СПОСОБ И УСТРОЙСТВО ДЛЯ ДЕКОДИРОВАНИЯ ВИДЕО Российский патент 2023 года по МПК H04N19/70 H04N19/119 H04N19/593 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[01] Настоящее изобретение относится к способу разделения на субизображения для синтеза с другими последовательностями и к способу разделения на слайсы для упаковки битового потока.

УРОВЕНЬ ТЕХНИКИ

[02] Потребность пользователей в высококачественном видео с высоким разрешением возрастает.Поскольку закодированные данные видео с высоким разрешением имеют больший объем информации, чем закодированные данные видео с низким или средним разрешением, стоимость передачи или хранения данных увеличивается.

[03] Для решения этой проблемы продолжаются исследования способов кодирования и декодирования для эффективного уменьшения объема кодированных данных видео высокого разрешения.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[04] Таким образом, настоящее изобретение было сделано с учетом вышеуказанных проблем, и целью настоящего изобретения является создание способа разделения на субизображения для синтеза с другими последовательностями и способа разделения на слайсы для упаковки битового потока.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

[05] Для достижения вышеуказанной цели, согласно одному аспекту настоящего изобретения, предложен способ декодирования видео, выполняемый устройством декодирования видео, включающий этапы, на которых: получают информацию о типе единицы NAL, указывающую тип текущего слоя сетевой абстракции (NAL) из битового потока; и декодируют, когда информация о типе единицы NAL указывает, что тип единицы NAL текущей единицы NAL является закодированными данными для слайса изображения, причем слайс основан на том, применяется ли смешанный тип единицы NAL к текущему изображению. В данном случае этап декодирования слайса может быть выполнен путем определения того, указывает ли тип единицы NAL текущей единицы NAL на атрибут субизображения для текущего слайса, на основании того, применяется ли смешанный тип единицы NAL.

[06] Устройство декодирования видео в соответствии с вариантом осуществления настоящего изобретения для решения описанных выше задач представляет собой устройство декодирования видео, содержащее память и по меньшей мере один процессор, и по меньшей мере один процессор может получать информацию о типе единицы NAL, указывающую тип текущей единицы уровня сетевой абстракции (NAL), из битового потока; и декодировать, когда информация о типе единицы NAL указывает, что тип единицы NAL текущей единицы NAL является закодированными данными для слайса, слайс на основании того, применяется ли смешанный тип единицы NAL к текущему изображению. В данном случае этап декодирования слайса может быть выполнен путем определения того, указывает ли тип единицы NAL текущей единицы NAL на атрибут субизображения для текущего слайса, на основании того, применяется ли смешанный тип единицы NAL.

[07] Кроме того, способ кодирования видео, выполняемый устройством кодирования видео в соответствии с вариантом осуществления настоящего изобретения для решения описанных выше задач, может включать этапы, на которых: определяют, когда текущее изображение кодировано на основе смешанного типа единицы NAL, тип субизображения для разделения изображения; и генерируют текущую единицу NAL путем кодирования по меньшей мере одного текущего слайса, составляющего субизображение, на основе типа субизображения. В данном случае этап кодирования по меньшей мере одного текущего слайса может быть выполнен путем кодирования, когда текущее изображение кодируется на основе смешанного типа единицы NAL, слайса так, что тип единицы NAL текущей единицы NAL указывает атрибут субизображения для текущего слайса.

[08] Кроме того, способ передачи в соответствии с вариантом осуществления настоящего изобретения для решения вышеуказанных задач может предусматривать передачу битового потока, генерируемого устройством кодирования видео или способом кодирования видео согласно настоящему изобретению.

[09] Кроме того, машиночитаемый записывающий носитель в соответствии с вариантом осуществления настоящего изобретения для решения вышеуказанных задач может хранить битовые потоки, сгенерированные способом кодирования видео или устройством кодирования видео согласно настоящему изобретению.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[10] Настоящее изобретение предлагает способ генерирования изображения путем синтеза с несколькими другими последовательностями. Изображение в последовательности разделяют на множество субизображений, и генерируют новое изображение посредством синтеза разделенных субизображений других изображений.

[11] В соответствии с применением настоящего изобретения значения типа единицы уровня сетевой абстракции (NAL) для двух или более субизображений, составляющих изображение, могут отличаться друг от друга. Это имеет преимущество облегчения создания/синтезирования видео, поскольку он не требует равномерно задавать NUT для множества субизображений, составляющих один лист видео, при синтезировании различного контента.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[12] На фиг. 1 показан вид, схематически иллюстрирующий конфигурацию устройства кодирования видео, к которому может быть применено настоящее изобретение.

[13] На фиг. 2 показан вид, иллюстрирующий пример способа кодирования видео, выполняемого устройством кодирования видео.

[14] На фиг. 3 показан вид, схематически иллюстрирующий конфигурацию устройства декодирования видео, к которому может быть применено настоящее изобретение.

[15] На фиг. 4 показан вид, иллюстрирующий пример способа декодирования видео, выполняемого устройством декодирования.

[16] На фиг. 5 показан вид, иллюстрирующий пример пакета NAL для слайса.

[17] На фиг. 6 показан вид, иллюстрирующий пример иерархической структуры GOP.

[18] На фиг. 7 показан вид, иллюстрирующий пример порядка вывода отображения и порядка декодирования.

[19] На фиг. 8 показан вид, иллюстрирующий пример ведущего изображения и обычного изображения.

[20] На фиг. 9 показан вид, иллюстрирующий пример изображения RASL и изображения RADL.

[21] На фиг. 10 показан вид, иллюстрирующий синтаксис заголовка сегмента слайса.

[22] На фиг. 11 показан вид, иллюстрирующий пример процесса синтеза контента.

[23] На фиг. 12 показан вид, иллюстрирующий пример идентификатора субизображения и адреса слайса.

[24] На фиг. 13 показан вид, иллюстрирующий пример NUT для каждого субизображения/слайса.

[25] На фиг. 14 показан вид, иллюстрирующий вариант осуществления синтаксиса набора параметров изображения (PPS).

[26] На фиг. 15 показан вид, иллюстрирующий вариант осуществления синтаксиса заголовка слайса.

[27] На фиг. 16 показан вид, иллюстрирующий синтаксис структуры заголовка изображения.

[28] На фиг. 17 показан вид, иллюстрирующий синтаксис для получения списка опорных изображений.

[29] На фиг. 18 показан вид, иллюстрирующий пример синтеза контента.

[30] На фиг. 19 и 20 показаны блок-схемы, иллюстрирующие способ

декодирования и способ кодирования в соответствии с вариантом осуществления настоящего изобретения.

СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[31] Поскольку настоящее изобретение может предусматривать внесение различных модификаций и обеспечивать различные варианты осуществления, конкретные варианты осуществления проиллюстрированы на чертежах и подробно описаны далее. Тем не менее, указанное описание предназначено для ограничения настоящего изобретения конкретными вариантами осуществления. Термины, используемые в настоящем описании, используются только для описания конкретных вариантов осуществления и не предназначены для ограничения технической сущности настоящего изобретения. Выражения в единственном числе включают выражения во множественном числе, если контекст явно не указывает на иное. Следует понимать, что в настоящем описании такие термины, как «включает», «имеет» и тому подобные, предназначены для указания на существование признаков, номеров, этапов, операций, компонентов, частей или их комбинаций, описанных в описании, и возможность существования или добавления одного или более других признаков, номеров, этапов, операций, компонентов, частей или их комбинаций не исключается заранее.

[32] Между тем, каждый из компонентов на чертежах, описанных в настоящем изобретении, независимо проиллюстрирован для удобства описания различных характерных функций, что не означает, что каждый из компонентов реализован в виде отдельного аппаратного или программного обеспечения. Например, два или более компонентов могут быть объединены с образованием одного компонента, или один компонент может быть разделен на множество компонентов. Варианты осуществления изобретения, в которых каждый компонент интегрирован и/или отделен, также включены в объем настоящего изобретения, поскольку они не выходят за пределы сущности настоящего изобретения.

[33] Предпочтительные варианты осуществления настоящего изобретения описаны более подробно далее со ссылкой на приложенные чертежи. Далее одни и те же номера позиций используются для одних и тех же компонентов на чертежах, а повторения описаний для одних и тех же компонентов опущены.

[34] При этом настоящее изобретение относится к области кодирования видео. Например, способы/варианты осуществления, раскрытые в настоящем изобретении, могут быть применены к способам, раскрытым в стандарте универсального кодирования видео (VVC), стандарте основного кодирования видео (EVC), стандарте AOMedia Video 1 (AVI), стандарте второго поколения кодирования аудиовидео (AVS2) или стандарте кодирования видео следующего поколения (например, Н.267, Н.268 и т.д.).

[35] В данном описании единица доступа (AU) означает единицу, представляющую множество наборов изображений, принадлежащих различным слоям, выводимым из буфера декодированных изображений (DPB) одновременно. Изображение в целом означает единицу, представляющую видео в определенный период времени, а слайс представляет собой единицу, составляющую часть изображения при кодировании. Одно изображение может быть выполнено из множества слайсов, и, при необходимости, изображение и слайс могут использоваться взаимозаменяемо.

[36] Пиксель или пиксел может означать минимальную единицу измерения, составляющую одно изображение (или видео). Кроме того, «отсчет» может быть использован в качестве термина, соответствующего пикселю. Как правило, отсчет может представлять собой пиксель или значение пикселя и может представлять собой только пиксель/значение пикселя компонента яркости или может представлять собой только пиксель/значение пикселя компонента цветности.

[37] Единица представляет собой базовую единицу обработки видео. Единица может включать по меньшей мере одну из конкретной области изображения и информации, относящейся к соответствующей области. Единица и такие термины, как блок или область, могут использоваться взаимозаменяемо в зависимости от обстоятельств. Как правило, блок MxN может представлять собой набор отсчетов или коэффициентов преобразования, сконфигурированный из М столбцов и N строк.

[38]

[39] На фиг. 1 показан вид, схематически иллюстрирующий конфигурацию устройства кодирования видео, к которому может быть применено настоящее изобретение.

[40] Как показано на фиг. 1, устройство 100 кодирования видео может содержать модуль 105 разделения изображения, модуль 110 предсказания, модуль 120 остаточной обработки, модуль 130 энтропийного кодирования, модуль 140 добавления, модуль 150 фильтра и память 160. Модуль 120 остаточной обработки может содержать модуль 121 вычитания, модуль 122 преобразования, модуль 123 квантования, модуль 124 переупорядочивания, модуль 125 обратного квантования и модуль 126 обратного преобразования.

[41] Модуль 105 разделения изображения может разделять входное изображение на по меньшей мере одну единицу обработки.

[42] Например, единица обработки может называться единицей кодирования (CU). В этом случае единица кодирования может быть рекурсивно отделена от единицы дерева кодирования в соответствии со структурой квадродерева двоичного дерева (QTBT). Например, одна единица дерева кодирования может быть разделена на множество узлов с большей глубиной на основе структуры квадродерева и/или структуры двоичного дерева. В этом случае, например, сначала может быть применена структура квадродерева, а затем может быть применена структура двоичного дерева. В качестве альтернативы, сначала может быть применена структура двоичного дерева. Декодирование может быть выполнено на узле, который больше не разделяется, и единица кодирования может быть определена для узла, который больше не разделяется, как описано выше. Поскольку единица дерева кодирования является единицей для разделения единицы кодирования, единица дерева кодирования может называться единицей кодирования. В этом случае единица дерева кодирования может называться наибольшей единицей кодирования (LCU), поскольку единица кодирования определяется разделением единицы дерева кодирования.

[43] Как описано выше, процедура кодирования в соответствии с настоящим изобретением может быть выполнена на основе конечной единицы кодирования, которая больше не разделяется. В этом случае, сама единица дерева кодирования может быть использована в качестве конечной единицы кодирования на основе эффективности кодирования или тому подобного в соответствии с характеристиками видео, или единица кодирования может быть рекурсивно разделена на единицы кодирования еще большей глубины по мере необходимости, и единица кодирования оптимального размера может быть использована в качестве конечной единицы кодирования. В данном случае процедура кодирования может включать такую процедуру, как предсказание, преобразование, восстановление или тому подобное, описанное ниже.

[44] В качестве другого примера, единица обработки может содержать единицу кодирования (CU), единицу предсказания (PU) или единицу преобразования (TU). Единица кодирования может быть отделена от единицы дерева кодирования на единицы кодирования большей глубины в соответствии со структурой квадродерева. В этом случае, сама единица дерева кодирования может быть использована в качестве конецной единицы кодирования на основе эффективности кодирования или тому подобного в соответствии с характеристиками видео, или единица кодирования может быть рекурсивно разделена на единицы кодирования еще большей глубины по мере необходимости, и единица кодирования оптимального размера может быть использована в качестве конечной единицы кодирования. Когда установлена минимальная единица кодирования (min CU), единица кодирования не может быть разделена на единицы кодирования меньше минимальной единицы кодирования. Здесь конечная единица кодирования означает единицу кодирования, которая функционирует как основа для разделения или разделения на единицы предсказания или единицы преобразования. Единица предсказания является единицей, разделенной от единицы кодирования, и может быть единицей предсказания отсчета. На этом этапе единица предсказания может быть разделена на субблоки. Единицы преобразования может быть отделена от единицы кодирования в соответствии со структурой квадродерева и может быть единицей для указания коэффициента преобразования и/или единицей для указания остаточного сигнала от коэффициента преобразования. В дальнейшем единица кодирования может называться блоком кодирования (СВ), единица предсказания может называться блоком предсказания (РВ), а единица преобразования может называться блоком преобразования (ТВ). Блок предсказания или единица предсказания может означать конкретную область формы блока в изображении и может включать в себя массив отсчетов предсказания. Кроме того, блок преобразования или единица преобразования может означать определенную область формы блока в изображении и может включать в себя массив коэффициентов преобразования или остаточных отсчетов.

[45] Модуль 110 предсказания может осуществлять предсказание на целевом блоке обработки (далее называемым текущим блоком) и генерировать предсказанный блок, включающий отсчеты предсказания для текущего блока. Единица предсказания, выполняемая модулем 110 предсказания, может быть блоком кодирования, блоком преобразования или блоком предсказания.

[46] Модуль 110 предсказания может определять, применяется ли к текущему блоку интра-предсказание или интер-предсказание. Например, модуль 110 предсказания может определять, применяется ли интра-предсказание или интер-предсказание по единице CU.

[47] В случае интра-предсказания модуль 110 предсказания может получить отсчет предсказания для текущего блока на основе опорного отсчета вне текущего блока в изображении, которому принадлежит текущий блок (далее называемый текущим изображением). На этом этапе модуль 110 предсказания может (i) получать отсчет предсказания на основе среднего значения или интерполяции соседних опорных отсчетов текущего блока и (ii) получать отсчет предсказания на основе опорного отсчета, существующего в определенном (предсказанном) направлении относительно отсчета предсказания среди соседних опорных отсчетов текущего блока. Случай (i) может называться ненаправленным или неугловым режимом, а случай (ii) может называться направленным или угловым режимом. В интра-предсказании режим предсказания может иметь, например, 33 режима направленного предсказания и по меньшей мере два ненаправленных режима. Ненаправленный режим может включать в себя режим предсказания DC и планарный режим. Модуль 110 предсказания может определять режим предсказания, применяемый к текущему блоку, используя режим предсказания, применяемый к соседним блокам.

[48] В случае интер-предсказания модуль 110 предсказания может получать отсчет предсказания для текущего блока на основе отсчета, заданного вектором движения на опорном изображении. Модуль 110 предсказания может получать отсчет предсказания для текущего блока путем применения любого из режима пропуска, режима слияния и режима предсказания вектора движения (MVP). В случае режима пропуска и режима слияния модуль 110 предсказания может использовать информацию о движении соседнего блока в качестве информации о движении текущего блока. В случае режима пропуска, в отличие от режима слияния, разница (остаток) между отсчетом предсказания и исходным отсчетом не передается. В случае режима MVP вектор движения текущего блока может быть получен использованием вектора движения соседнего блока в качестве предиктора вектора движения текущего блока.

[49] В случае интер-предсказания соседний блок может содержать пространственно-соседний блок, существующий в текущем изображении, и временно-соседний блок, существующий в опорном изображении. Опорное изображение, включающее временно-соседний блок, может называться совмещенным изображением (colPic). Информация о движении может включать вектор движения и индекс опорного изображения. Информация, такая как информация о режиме предсказания и информация о движении, может быть (энтропийно) закодирована и выведена в виде битового потока.

[50] Когда информация о движении временно-соседнего блока используется в режиме пропуска и режиме слияния, наиболее высоко расположенное изображение в списке опорных изображений может быть использовано в качестве опорного изображения. Опорные изображения, включенные в список опорных изображений, могут быть упорядочены на основе разницы в счетчике порядка изображений (РОС) между текущим изображением и опорным изображением. РОС соответствует порядку отображения изображений и может быть отличен от порядка кодирования.

[51] Модуль 121 вычитания генерирует остаточный отсчет, который представляет собой разницу между исходным отсчетом и отсчетом предсказания. При применении режима пропуска остаточный отсчет может не генерироваться как описано выше.

[52] Модуль 122 преобразования генерирует коэффициент преобразования по единице блока преобразования. Модуль 122 преобразования может выполнять преобразование в соответствии с размером соответствующего блока преобразования и режимом предсказания, применяемым к блоку кодирования или блоку предсказания, пространственно перекрывающимся с блоком преобразования. Например, когда итра-предсказание применяется к блоку кодирования или блоку предсказания, перекрывающемуся с блоком преобразования, и блок преобразования представляет собой остаточный массив 4x4, остаточный отсчет преобразуется с использованием ядра преобразования дискретного синусоидального преобразования (DST), а в других случаях остаточный отсчет может быть преобразован с использованием ядра преобразования дискретного косинусного преобразования (DST).

[53] Модуль 123 квантования может генерировать квантованные коэффициенты преобразования посредством квантования коэффициентов преобразования.

[54] Модуль 124 переупорядочивания переупорядочивает квантованные коэффициенты преобразования. Модуль 124 переупорядочивания может переупорядочивания квантованные коэффициенты преобразования блока с формой в виде одномерного вектора с помощью способа сканирования коэффициентов. В данном случае, хотя модуль 124 переупорядочивания описан как отдельная конфигурация, модуль 124 переупорядочивания может быть частью модуля 123 квантования.

[55] Модуль 130 энтропийного кодирования может выполнять энтропийное кодирование на квантованных коэффициентах преобразования. Энтропийное кодирование может включать, например, способы кодирования, такие как экспоненциальное кодирование Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (САВАС) и тому подобное. Модуль 130 энтропийного кодирования может кодировать информацию, необходимую для восстановления видео (например, значение синтаксического элемента и т.д.) вместе или по отдельности, в дополнение к квантованным коэффициентам преобразования. Энтропийно кодированная информация может быть передана или сохранена в виде битового потока по единице слоя сетевой абстракции (NAL).

[56] Модуль 125 обратного квантования выполняет обратное квантование значений, квантованных модулем 123 квантования (квантованные коэффициенты преобразования), а модуль 126 обратного преобразования генерирует остаточный отсчет посредством выполнения обратного преобразования значений, квантованных модулем 125 обратного квантования.

[57] Модуль 140 сложения восстанавливает изображение путем сложения остаточного отсчета и отсчета предсказания. Остаточный отсчет и отсчет предсказания могут быть добавлены единицей блока для генерирования восстановленного блока. В данном случае, хотя модуль 140 добавления описан как отдельная конфигурация, модуль 140 добавления может быть частью модуля 110 предсказания. Между тем, модуль 140 добавления может называться модулем восстановления или модулем генерирования восстановленного блока.

[58] Для восстановленного изображения модуль 150 фильтра может применять фильтр удаления блочности и/или адаптивное смещение отсчета. С помощью фильтра удаления блочности и/или адаптивного смещения отсчета артефакт границы блоков в восстановленном изображении или искажения в процессе квантования могут быть скорректированы. Адаптивное смещение отсчета может быть применено единицей отсчета и может быть применено после завершения процесса фильтрации удаления блочности. Модуль 150 фильтра может применять адаптивный петлевой фильтр (ALF) к восстановленному изображению. ALF может быть применен к восстановленному изображению после применения фильтра удаления блочности и/или адаптивного смещения отсчета.

[59] Память 160 может хранить восстановленное изображение (декодированное изображение) или информацию, необходимую для кодирования/декодирования. В данном случае восстановленное изображение может быть восстановленным изображением, для которого процедура фильтрации была завершена модулем 150 фильтра. Сохраненное восстановленное изображение может быть использовано в качестве опорного изображения для (интер) предсказания других изображений. Например, память 160 может хранить (опорные) изображения, используемые для интер-предсказания. На этом этапе изображения, используемые для интер-предсказания, могут быть заданы набором опорных изображений или списком опорных изображений.

[60] На фиг. 2 показан вид, иллюстрирующий пример способа кодирования видео, выполняемого устройством кодирования видео. Со ссылкой на фиг. 2, способ кодирования видео может включать процессы блочного разделения, интра/интер -предсказания, преобразования, квантования и энтропийного кодирования. Например, текущее изображение может быть разделено на множество блоков, и блок предсказания текущего блока может быть сгенерирован посредством интра/интер предсказания, и остаточный блок текущего блока может быть сгенерирован посредством вычитания входного блока текущего блока и блока предсказания. После этого блок коэффициентов, то есть коэффициентов преобразования текущего блока, может быть сгенерирован посредством преобразования остаточного блока. Коэффициенты преобразования могут быть квантованы, энтропийно кодированы и сохранены в битовом потоке.

[61] На фиг. 3 показан вид, схематически иллюстрирующий конфигурацию устройства декодирования видео, к которому может быть применено настоящее изобретение.

[62] Со ссылкой на фиг. 3, устройство 300 декодирования видео может содержать модуль 310 энтропийного декодирования, модуль 320 остаточной обработки, модуль 330 предсказания, модуль 340 добавления, модуль 350 фильтрации и память 360. В данном случае модуль 320 остаточной обработки может содержать модуль 321 переупорядочивания, модуль 322 обратного квантования и модуль 323 обратного преобразования.

[63] Когда вводится битовый поток, содержащий видеоинформацию, устройство 300 декодирования видео может восстанавливать видео в ответ на процесс, в котором видеоинформация обрабатывается устройством кодирования видео.

[64] Например, устройство 300 декодирования видео может выполнять декодирование видео с использованием единицы обработки, используемой в устройстве кодирования видео. Соответственно, блок единицы обработки декодирования видео может быть, например, единицей кодирования, и в качестве другого примера, он может быть единицей кодирования, единицей предсказания или единицей преобразования. Единица кодирования может быть выделена из единицы дерева кодирования в соответствии со структурой квадродерева и/или структурой двоичного дерева.

[65] Единица предсказания и единица преобразования могут быть дополнительно использованы в некоторых случаях, и в этом случае блок предсказания является блоком, полученным или выделенным из единицы кодирования, и может быть единицей предсказания отсчета. На этом этапе единица предсказания может быть разделена на субблоки. Единицы преобразования может быть отделена от единицы кодирования в соответствии со структурой квадродерева и может быть единицей для указания коэффициента преобразования или единицей для указания остаточного сигнала от коэффициента преобразования.

[66] Модуль 310 энтропийного декодирования может анализировать битовый поток и выходную информацию, необходимую для восстановления видео или изображения. Например, модуль 310 энтропийного декодирования может декодировать информацию в битовом потоке на основе способа кодирования, такого как экспоненциальное кодирование Голомба, CAVLC или САВАС, и выводить значение синтаксического элемента, необходимого для восстановления видео, и квантованные значения коэффициентов преобразования, относящиеся к остатку.

[67] Конкретнее, способ энтропийного декодирования САВАС может принимать ячейку, соответствующую каждому элементу синтаксиса, из битового потока, определять контекстную модель с использованием информации об элементе синтаксиса цели декодирования и информации о декодировании соседних и декодируемых целевых блоков или с использованием информации о символе/ячейке, декодированном на предыдущем этапе, и генерировать символ, соответствующий значению каждого элемента синтаксиса, путем выполнения арифметического декодирования на ячейке после предсказания вероятности возникновения ячейки в соответствии с определенной контекстной моделью. На этом этапе способ энтропийного декодирования САВАС может обновлять контекстную модель, используя информацию о декодированном символе/ячейке для контекстной модели следующего символа/ячейки после определения контекстной модели.

[68] Среди информации, декодированной модулем 310 энтропийного декодирования, информация о предсказании предоставляется модулю 330 предсказания, а остаточное значение, на котором энтропийное декодирование выполняется модулем 310 энтропийного декодирования, то есть квантованный коэффициент преобразования, может быть введено в модуль 321 переупорядочивания.

[69] Модуль 321 переупорядочивания может переупорядочивать квантованные коэффициенты преобразования в виде двумерного блока. Модуль 321 переупорядочивания может выполнять переупорядочивание в ответ на сканирование коэффициента, выполняемое устройством кодирования. В данном случае, хотя модуль 321 переупорядочивания описан как отдельная конфигурация, модуль 321 переупорядочивания может быть частью модуля 322 обратного квантования.

[70] Модуль 322 обратного квантования может выполнять обратное квантование квантованных коэффициентов преобразования на основе (обратных) параметров квантования и выходных коэффициентов преобразования. На этом этапе информация для получения параметров квантования может быть передана из устройства кодирования.

[71] Модуль 323 обратного преобразования может получать остаточные отсчеты путем выполнения обратного преобразования на коэффициентах преобразования.

[72] Модуль 330 предсказания может выполнять предсказание на текущем блоке и генерировать предсказанный блок, включающий отсчета предсказания для текущего блока. Единица предсказания, выполняемая модулем 330 предсказания, может быть блоком кодирования, блоком преобразования или блоком предсказания.

[73] Модуль 330 предсказания может определять, следует ли применять интра-предсказание или интер-предсказание на основе информации о предсказании. На этом этапе единица для определения того, какое из интра-предсказания и интерпредсказания применять, может отличаться от единицы для генерирования отсчета предсказания. Кроме того, в интер-предсказании и интра-предсказании, единицы для генерирования отсчета предсказания также могут отличаться. Например, решение о том, следует ли применять интер-предсказание или интра-предсказание, может определяться единицей CU. Кроме того, например, в интер-предсказании режим предсказания может быть определен, и отсчет предсказания может быть сгенерирован единицей PU. В интра-предсказании режим предсказания может быть определен единицей PU, и отсчет предсказания может быть сгенерирован единицей TU.

[74] В случае интра-предсказания модуль 330 предсказания может получить отсчет предсказания для текущего блока на основании соседних опорных отсчетов в текущем изображении. Модуль 330 предсказания может получать отсчет предсказания для текущего блока путем применения направленного или ненаправленного режима на основе соседних опорных отсчетов текущего блока. На этом этапе режим предсказания, применяемый к текущему блоку, может быть определен с использованием режима интра-предсказания соседнего блока.

[75] В случае интер-предсказания модуль 330 предсказания может получать отсчет предсказания для текущего блока на основе отсчета, заданного на опорном изображении вектором движения на опорном изображении. Модуль 330 предсказания может получить отсчет предсказания для текущего блока путем применения любого из режима пропуска, режима слияния и режима MVP. На этом этапе информация о движении, необходимая для интер-предсказания текущего блока, предоставленного устройством кодирования видео, такая как информация о векторе движения, индексе опорного изображения и тому подобное, может быть получена или выведена на основе информации о предсказании.

[76] В случае режима пропуска и режима слияния информация о движении соседнего блока может использоваться в качестве информации о движении текущего блока. На этом этапе соседний блок может включать в себя пространственно-соседний блок и временно-соседний блок.

[77] Модуль 330 предсказания может создавать список кандидатов на слияние путем использования информации о движении доступных соседних блоков и может использовать информацию, указанную индексом слияния в списке кандидатов на слияние, в качестве вектора движения текущего блока. Индекс слияния может быть передан от устройства кодирования. Информация о движении может включать вектор движения и опорное изображение. Когда информация о движении временно-соседнего блока используется в режиме пропуска и режиме слияния, наиболее высоко расположенное изображение в списке опорных изображений может быть использовано в качестве опорного изображения.

[78] В случае режима пропуска разница (остаточная) между отсчетом предсказания и исходным отсчетом не передается, в отличие от режима слияния.

[79] В случае режима MVP вектор движения текущего блока может быть получен использованием вектора движения соседнего блока в качестве предиктора вектора движения. На этом этапе соседний блок может включать в себя пространственно-соседний блок и временно-соседний блок.

[80] Например, когда применяется режим слияния, список кандидатов на слияние может быть сгенерирован с использованием вектора движения восстановленного пространственно-соседнего блока и/или вектора движения, соответствующего блоку Col, который является временно-соседним блоком. В режиме слияния вектор движения блока-кандидата, выбранного из списка кандидатов слияния, используется в качестве вектора движения текущего блока. Информация о предсказании может содержать индекс слияния, указывающий на блок-кандидат, имеющий оптимальный вектор движения, выбранный среди блоков-кандидатов, включенных в список кандидатов для слияния. На этом этапе модуль 330 предсказания может получить вектор движения текущего блока с помощью индекса слияния.

[81] В качестве другого примера, когда применяется режим предсказания вектора движения (MVP), список кандидатов предиктора вектора движения может быть сгенерирован с использованием вектора движения восстановленного пространственно-соседнего блока и/или вектора движения, соответствующего блоку COL, который является временно-соседним блоком. То есть, вектор движения восстановленного пространственно-соседнего блока и/или вектор движения, соответствующий блоку Col, который является временно-соседним блоком, может быть использован в качестве кандидата вектора движения. Информация о предсказании может содержать индекс вектора движения предсказания, указывающий оптимальный вектор движения, выбранный из кандидатов вектора движения, включенных в список. На этом этапе модуль 330 предсказания может выбирать вектор движения предсказания текущего блока из кандидатов вектора движения, включенных в список кандидатов вектора движения, с использованием индекса вектора движения. Единица предсказания устройства кодирования может получать разность векторов движения (MVD) между вектором движения текущего блока и предиктором вектора движения и кодировать и выводить разность векторов движения в виде битового потока. То есть, MVD может быть получено путем вычитания предиктора вектора движения из вектора движения текущего блока. На этом этапе модуль 330 предсказания может получать разность векторов движения, включенную в информацию о предсказании, и выводить вектор движения текущего блока посредством добавления разности векторов движения и предиктора вектора движения. Модуль предсказания может также получать или выводить индекс опорного изображения или тому подобное, указывающий опорное изображение, из информации о предсказании.

[82] Модуль 340 сложения может восстанавливать текущий блок или текущее изображение путем сложения остаточного отсчета и отсчета предсказания. Модуль 340 сложения может восстанавливать текущее изображение путем сложения остаточного отсчета и отсчета предсказания единицей блока. Когда применяется режим пропуска, так как остаток не передается, отсчет предсказания может представлять собой восстановленный отсчет.В данном случае, хотя модуль 340 добавления описан как отдельная конфигурация, модуль 340 добавления может быть частью модуля 330 предсказания. Между тем, модуль 340 добавления может называться модулем восстановления или модулем генерирования восстановленного блока.

[83] Модуль 350 фильтра может применять адаптивное смещение отсчета с фильтрацией удаления блочности и/или ALF к восстановленному изображению. На этом этапе адаптивное смещение отсчета может быть применено единицей отсчета и может быть применено после фильтрации удаления блочности. ALF может быть применен после фильтрации удаления блочности и/или адаптивного смещения отсчета.

[84] Память 360 может хранить восстановленное изображение (декодированное изображение) или информацию, необходимую для декодирования. В данном случае восстановленное изображение может быть восстановленным изображением, для которого процедура фильтрации была завершена модулем 350 фильтра. Запример, память 160 может хранить изображения, используемые для интерпредсказания. На этом этапе изображения, используемые для интер-предсказания, могут быть заданы набором опорных изображений или списком опорных изображений. Восстановленное изображение может быть использовано в качестве опорного изображения для другого изображения. Кроме того, память 360 может выводить восстановленные изображения в порядке вывода.

[85] На фиг. 4 показан вид, иллюстрирующий пример способа декодирования видео, выполняемого устройством декодирования видео. Со ссылкой на фиг. 4, способ декодирования видео может включать процессы энтропийного декодирования, обратного квантования, обратного преобразования и интра/интер предсказания. Например, в устройстве декодирования может выполняться обратный процесс способа кодирования. В частности, квантованные коэффициенты преобразования могут быть получены с помощью энтропийного декодирования битового потока, а блок коэффициентов текущего блока, то есть коэффициенты преобразования, может быть получен с помощью процесса обратного квантования на квантованных коэффициентах преобразования. Остаточный блок текущего блока может быть получен посредством обратного преобразования коэффициентов преобразования, а восстановленный блок текущего блока может быть получен посредством добавления блока предсказания текущего блока, полученного посредством интра/интер предсказания, и остаточного блока.

[86] Между тем, операторы в вариантах осуществления изобретения, описанных ниже, могут быть определены, как показано в следующей таблице.

[88] Ссылаясь на Таблицу 1, Floor(x) может представлять собой максимальное целое значение, меньшее или равное х, Log2(u) может представлять собой логарифмическое значение с 2 по и в качестве основания, a Ceil(x) может представлять собой минимальное целое значение, большее или равное х. Например, в случае Floor(5.93), поскольку максимальное целое значение меньше или равно 5.93, оно может равняться 5.

[89] Кроме того, ссылаясь на Таблицу 1, х»у может представлять оператор, который смещает х вправо у раз, и х«у может представлять оператор, который смещает х влево у раз.

[90] <Введение>

[91] Стандарт HEVC предлагает два типа способов разделения экрана.

[92] 1) Слайс: обеспечивает функцию кодирования/декодирования изображения путем разделения изображения в единицах дерева кодирования (CTU) в порядке растрового сканирования. И, имеется информация заголовка слайса.

[93] 2) Тайл: обеспечивает функцию кодирования/декодирования изображения путем разделения изображения на несколько столбцов и строк единицей CTU. Способ разделения может включать как равное разделение, так и индивидуальное разделение. Заголовок для тайла не существует отдельно.

[94] Слайс становится единицей упаковки битового потока. Такимо бразом, один слайс может быть сгенерирован из одного битового потока слоя сетевой абстракции (NAL). Как показано на фиг. 5, пакет NAL для слайса сконфигурирован в порядке заголовок NAL, заголовок слайса и данные слайса. На этом этапе тип единицы NAL (NUT) включается в информацию заголовка NAL.

[95] NUT для слайса, предложенного в стандарте HEVC в соответствии с вариантом осуществления изобретения, показаны в таблице 2. В таблице 2 значения NUT для интер-слайса, в котором выполняется интер-предсказание, составляют от 0 до 9, а значения NUT для интра-слайса, в котором выполняется интра-предсказание, составляют от 16 до 21. В данном случае интер-слайс означает, что он закодирован в способе интер-предсказания, а интра-слайс означает, что он закодирован в способе интра-предсказания. Один слайс определен как имеющий один NUT, и множество слайсов на изображении могут быть установлены как имеющие одинаковые значения для NUT. Например, когда одно изображение разделено на 4 слайса и закодировано в методе интра-предсказания, значения NUT для всех 4 слайсов на изображении могут быть в равной степени быть установлены как «19: IDR_W_RADL».

[97] В таблице 2 сокращения могут быть определены, как показано ниже.

[98] - TSA (Временной подслойный коммутационный доступ)

[99] - STSA (пошаговый временной подуровневый коммутационный доступ)

[100] - RADL (произвольный доступ с декодируемым начальным изображением)

[101] - RASL (произвольный доступ с пропуском начального изображения)

[102] - BLA (доступ по разорванной связи)

[103] - IDR (мгновенное декодирующее обновление)

[104] - CRA (чистый произвольный доступ)

[105] - LP (Ведущее изображение)

[106] - N (не опорное)

[107] - R (опорное)

[108] - _W_LP / RADL (с LP / RADL)

[109] - _N_LP (без LP, без LP)

[110] BLA, IDR и CRA, которые являются NUT для интра-слайса, называются интра-точками произвольного доступа (IRAP). IRAP означает изображение со способностью произвольного доступа к положению в середине битового потока. То есть это относится к изображению, на котором положение воспроизведения может быть внезапно изменено во время воспроизведения видео. Интра-слайс может существовать только в слайсе I типа.

[111] Интер-слайс может быть классифицирован как слайс Р или слайс В в соответствии с однонаправленным предсказанием (Р: предсказываемый) или двунаправленным предсказанием (В: двунаправленно предсказываемый). Процесс предсказания и кодирования выполняется единицей группы изображений (GOP), и стандарт HEVC выполняет процесс кодирования/декодирования, включая предсказание с использованием иерархической структуры GOP. На фиг. 6 показан пример иерархической структуры GOP, и каждое изображение классифицируется как I, Р или В изображение (слайс) в соответствии со способом предсказания.

[112] Из-за характеристик слайса В, выполняющего двунаправленное предсказание и/или иерархической структуры GOP, порядок декодирования и порядок отображения изображений в последовательности отличаются (см. фиг. 7). На фиг. 7 IRAP означает интра-слайс, В и Р означает интер-слайс, и может быть подтверждено, что порядок воспроизведения и порядок восстановления были полностью изменены.

[113] Среди интра-слайсов изображение, которое предшествует IRAP в порядке воспроизведения, и которое при этом следует за IRAP в порядке восстановления, называется ведущим изображением (LP) (см. фиг. 8). LP классифицируется как RADL или RASL в зависимости от ситуации. Когда происходит произвольный доступ, LP, который может быть декодирован, определяется как RADL, а LP, который не может быть декодирован во время произвольного доступа, и, таким образом, процесс восстановления соответствующего изображения должен быть пропущен, определяется как RASL. На фиг. 8 изображения одного и того же цвета определены как один GOP.

[114] Различие между RADL и RASL определяется в соответствии с положением опорного изображения во время межэкранного (интер) предсказания (см. фиг. 9). То есть RASL означает итер-изображение, которое использует восстановленное изображение в GOP, отличное от соответствующего GOP, в качестве опорного изображения, или использует изображение, восстановленное с использованием восстановленного изображения в другом GOP в качестве опорного изображения. В этом случае он называется открытым GOP, поскольку восстановленное изображение в другом GOP (прямо или косвенно) используется в качестве опорного изображения. RASL и RADL устанавливаются в качестве информации о NUT для соответствующего интер-слайса.

[115] NUT для интра-слайса классифицируют как другой NUT интра-слайса в соответствии с NUT интер-слайса, который предшествует и/или следует в порядке воспроизведения и/или в порядке восстановления соответствующего интра-слайса. Наблюдая за IDR NUT, IDR может быть классифицирован как IDR_W_RADL с RADL и IDR_N_LP без LP. То есть, IDR - это тип, который не имеет LP или тип, имеющий только RADL из LP, и IDR может не иметь RASL. С другой стороны, CRA - это тип, который может иметь как RADL, так и/или RASL из LP. То есть CRA - это тип, который может поддерживать открытую GOP.

[116] Как правило, поскольку интра-слайс выполняет только внутриэкранное (интра) предсказание, информация опорного изображения для интра-слайса не требуется. Здесь опорное изображение используется для межэкранного (интер) предсказания. Однако из-за характеристики CRA NUT слайса, поддерживающего структуру открытой GOP, информация опорного изображения вставляется в битовый поток NAL соответствующего CRA, хотя слайс CRA представляет собой интра-слайс.Информация опорного изображения представляет собой информацию об опорном изображении, которая будет использоваться в интер-слайсе после соответствующего CRA (в порядке восстановления), а не использоваться в соответствующем слайсе CRA. Это сделано не для удаления опорного изображения из буфера декодированных изображений (DPB). Например, когда NUT соответствующего интра-слайса имеет значение IDR, DPB сбрасывается. То есть все восстановленные изображения, существующие в DPB на соответствующий момент времени, удаляются. На фиг. 10 показан вид, иллюстрирующий синтаксис заголовка сегмента слайса. Как показано на фиг. 10, когда NUT соответствующего слайса не является IDR, информация опорного изображения может быть описана в битовом потоке. То есть, когда NUT соответствующего слайса является CRA, может быть описана информация опорного изображения.

[117] Настоящее изобретение предлагает способ разделения на субизображения для синтеза с другими последовательностями и способ разделения на слайсы для упаковки битового потока.

[118] В настоящем изобретении слайс означает область кодирования/декодирования и представляет собой единицу упаковки данных для генерирования одного битового потока NAL. Например, лист изображения разделен на множество слайсов, и каждый слайс генерируется в виде одного пакета NAL посредством процесса кодирования.

[119] В настоящем изобретении субизображение представляет собой раздел области для синтеза с другим контентом. На фиг. 11 показан пример синтеза с другим контентом. Имеются три контента белого, серого и черного, и AU (единица доступа) каждого контента разделена на четыре слайса для генерирования пакета, и, как изображение на правой стороне на фиг. 11, новое изображение может быть сгенерировано посредством синтеза верхней левой части с белым контентом, нижней левой части с серым контентом и правой части с черным контентом. Здесь в белой области и в серой области один слайс может быть сконфигурирован как одно субизображение, а в черной области два слайса могут быть сконфигурированы как одно субизображение. То есть, одно субизображение может содержать по меньшей мере один слайс.Чтобы создать новое изображение (синтез контента), Bit-stream Extractor and Merger (BEAMer) извлекает области из другого контента по единице субизображения и синтезирует их. На фиг. 11 синтезированное изображение может быть разделено на четыре слайса и сконфигурировано из трех субизображений.

[120] Одно субизображение означает область, имеющую одинаковый идентификатор субизображения и/или одинаковое значение индекса субизображения. Иными словами по меньшей мере один слайс, имеющий одинаковый идентификатор субизображения и/или одинаковое значение индекса субизображения, может называться одной областью субизображения. Здесь идентификатор субизображения и/или значение индекса субизображения включены в информацию заголовка слайса. Значение индекса субизображения может быть установлено в порядке растрового сканирования. На фиг. 12 показан пример, в котором одно изображение выполнено из 6 (прямоугольных) слайсов и 4 областей субизображения (разных цветов). Здесь "А", "В", "С" и "D" обозначают примеры идентификатора субизображения, а "0" и "1" обозначают адреса слайсов в пределах соответствующего субизображения. То есть, значение адреса слайса - это значение индекса слайса в порядке растрового сканирования в пределах соответствующего субизображения. Например, "В-0" означает 0-й слайс в субизображении В, а "В-1" означает первый слайс на субизображении В.

[121] В настоящем изобретении значения NUT для двух или более субизображений, составляющих одно изображение, могут отличаться. Например, на фиг. 12 белое субизображение (слайс) на одном листе изображения может представлять собой интра-слайс, а серое субизображение (слайс) и черное субизображение (слайс) могут представлять собой интре-слайсы.

[122] Это имеет преимущество легкого создания/синтеза видео, поскольку не нужно равномерно устанавливать NUT множества субизображений, составляющих изображение, при синтезе различного контента. Соответствующая функция может называться смешанным типом единицы NAL в одном изображении и может быть просто названа смешанной NUT. mixed nalu type in_pic flag может использоваться для установки включенной/отключенной соответствующей функции. Соответствующий флаг может быть определен в положении одного или более из множества параметров последовательности (SPS), множества параметров изображения (PPS), заголовка изображения (РН) и заголовка слайса (SH). Например, когда флаг определен в PPS, флаг может называться pps_mixed_nalu_types_in_pic_rlag.

[123] Когда значение флага отключено (например, mixed_nalu_type_in_pic_flag =0), NUT для всех субизображений и/или слайсов на соответствующем изображении может иметь одинаковое значение. Например, NUT для всех единиц NAL уровня кодирования видео (VCL) для изображения может быть задано имеющим одинаковое значение. Кроме того, на изображение или единицу изображения (PU) можно ссылаться, чтобы иметь NUT, аналогичную таковой для единицы NAL слайса, кодированной для изображения или единицы изображения. Здесь VCL означает тип NAL для слайса, включающего значение данных слайса.

[124] С другой стороны, когда значение флага включено (например, mixed_nalu_type_in_pic_flag=1), соответствующее изображение может быть сконфигурировано из двух или более субизображений. Кроме того, NUT для субизображений и/или слайсов на соответствующем изображении могут иметь различное значение. Кроме того, когда значение флага включено, оно может быть ограничено, так что единица NAL VCL изображения может не иметь NUT типа GDR NUT. Кроме того, когда NUT (например, первая NUT) любой одной единицы NAL VCL (например, первой единицы NAL) соответствующего изображения является любой из IDR_W_RADL, IDR_N_LP и CRA NUT, она может быть ограничена таким образом, что NUT (например, вторая NUT) другой единицы NAL VCL (например, второй единицы NAL) изображения может быть установлена на любую из IDR_W_RADL, IDR_N_LP, CRA NUT и TRAIL NUT. Например, она может быть ограничена таким образом, что вторая NUT может быть установлена на одно значение из первой NUT и TRAIL NUT.

[125] Пример, в котором единицы NAL VCL соответствующего изображения имеют по меньшей мере два различных значения NUT, будет описан со ссылкой на фиг. 12 и 13. В одном варианте осуществления изобретения два или более субизображений могут иметь два или более различных значений NUT. На этом этапе он может быть ограничен таким образом, чтобы значения NUT для всех слайсов, включенных в одно субизображение, были одинаковыми. Например, как показано на фиг. 13, значения NUT для двух слайсов на субизображении В на фиг. 12 могут быть равными значениям CRA, и значения NUT для двух слайсов на субизображении С могут быть равными значениям TRAIL, а субизображения А, В, С и D могут быть установлены по меньшей мере двумя или более различными значениями NUT. Соответственно, как показано на фиг. 13, значение NUT для слайсов на субизображениях А, С и D является TRAIL, и оно может быть установлено как значение NUT, отличающееся от CRA, которая является NUT субизображения В.

[126] В настоящем изобретении NUT для интра-слайса и интер-слайса могут быть выбраны, как показано в Таблице 3. Как показано в варианте осуществления Таблицы 3, определения и функции для RADL, RASL, IDR, CRA и тому подобного могут быть установлены таким же образом, как показано в стандарте HEVC (Таблица 1). В случае Таблицы 3 добавляется смешанный тип NUT. В таблице 3 значение 'disabled' (например, 0) параметра mixed nalutype injtic flag может представлять NUT для слайса на изображении (так же, как и HEVC), а значение 'enabled' (например, 1) параметра mixed nalu type in_pic_flag может представлять NUT для слайса на изображении. Например, когда значение mixed nalu type injtic flag равно 0, a NUT единицы NAL VCL равна TRAIL_NUT, NUT текущего изображения может быть идентифицирована как TRAIL_NUT, a NUT другого субизображения, принадлежащего текущему изображению, также может быть получена как TRAIL_NUT. Кроме того, когда значение mixed_nalu_type_in_pic_flag равно 1, a NUT единицы NAL VCL равна TRAIL_NUT, NUT текущего субизображений может быть идентифицирована как TRAIL_NUT, и NUT по меньшей мере одного из других субизображений, принадлежащих к текущему изображению, может быть предсказана как не являющаяся TRAIL_NUT.

[128] Как описано выше, в случае, когда значение mixed_nalu_type_in_pic_flag указывает на включение (например, 1), когда любая одна единица NAL VCL (например, первая единица NAL), принадлежащая одному изображению, имеет любое одно значение из IDR_W_RADL, IDR_NLP и CRA_NUT в качестве NUT (например, первая NUT), по меньшей мере одна единица NAL_VCL (например, вторая единица NAL) из других единиц NAL_VCL изображения может иметь любое одно значение NUT, отличное от первого, из IDR_W_RADL, IDR_N_LP, CRA_NUT и TRAIL_NUT в качестве NUT (например, вторая NUT).

[129] Таким образом, когда единица NAL_VCL (например, первая единица NAL) для первого субизображения, принадлежащего одному изображению, имеет любое одно значение из IDR_W_RADL, IDR_N_LP и CRA NUT в качестве NUT (например, первая NUT), единица NAL VCL (например, вторая единица NAL) для второго субизображения соответствующего изображения может иметь любое одно значение NUT, отличное от первого NUT, из IDR_W_RADL, IDR_N_LP, CRA_NUT и TRAIL_NUT в качестве NUT (например, вторая NUT).

[130] Например, когда значение mixed_nalu_type_in_pic_flag указывает на активацию (например, 1), значение NUT единицы NAL VCL для двух или более субизображений может быть сконфигурировано, как показано ниже. Следующее описание предназначено только для иллюстративных целей и не ограничивается ими.

[131] Комбинация 1) IRAP+не-IRAP (интер)

[132] Комбинация 2) поп IRAP (интер)+поп-IRAP (интер)

[133] Комбинация 3) IRAP+IRAP=IDR+CRA (ограничено вариантом осуществления изобретения)

[134] Комбинация 1) представляет собой вариант осуществления изобретения,

в котором по меньшей мере субизображений на изображении имеет значение NUT_IRAP (IDR или CRA), и по меньшей мере одно другое субизображен1 л имеет значение NUT не-IRAP (между слайсами). Здесь значение, исключающее LP (RASL и RADL), может быть разрешено в качестве значения NUT интер-слайса. Например, LP (RASL или RADL) не может быть разрешен в качестве значения NUT интер-слайса. Таким образом, он может быть ограничен таким образом, чтобы субизображения RASL и RADL не кодировались в битовом потоке, связанном с субизображением IDR или CRA.

[135] В другом варианте осуществления изобретения в качестве значения NUT интер-слайса может быть разрешено только значение TRAIL. В качестве альтернативы, в другом варианте осуществления изобретения, все промежуточные NUT_VCL могут быть разрешены в качестве значения промежуточной NUT.

[136] Комбинация 2) представляет собой вариант осуществления изобретения, в котором по меньшей мере субизображений на изображении имеет значение NUT не-IRAP (интер-слайс), и по меньшей мере одно другое субизображени! имеет другое значение NUT не-IRAP (между слайсами). Например, по меньшей мере субизображение может иметь значение RASL_NUT, в то время как по меньшей мере одно другое субизображение имеет значение RADL_NUT. В случае варианта осуществления изобретения в соответствии с комбинацией 2, ограничения, описанные ниже, могут быть применены в соответствии с вариантами осуществления изобретения.

[137] В одном варианте осуществления изобретения LP (RASL и RADL) и не-LP (TRAIL) не могут использоваться вместе. Например, NUT по меньшей мере одного другого субизображения может не быть TRAIL, в то время как NUT по меньшей мере одного субизображения является RASL (или RADL). Если NUT по меньшей мере одного субизображения является RASL (или RADL), RASL или RADL могут использоваться в качестве NUTno меньшей мере одного другого субизображения. Например, ведущее субизображение IRAP субизображения может быть принудительно назначено RADL или RASL субизображением.

[138] В другом варианте осуществления изобретения LP (RASL и RADL) и не-LP (TRAIL) могут использоваться вместе. Например, в то время как по меньшей мере субизображение является RASL (или RADL), по меньшей мере одно другое субизображение может быть TRAIL.

[139] - В другом варианте осуществления изобретения, в исключительных случаях в случае условия 2), все субизображения могут иметь одинаковое значение NUT интер-слайса. Например, все субизображения в изображении могут иметь значение NUT TRAIL. В качестве другого примера, все субизображения в изображении могут иметь значение NUT RASL (или RADL).

[140] Комбинация 3) иллюстрирует вариант осуществления изобретения, в котором все субизображения или слайсы на изображении сконфигурированы как IRAP. Например, когда значение NUT для слайса в первом субизображении равно IDR_W_RADL, IDR_N_LP или CRA NUT, значение NUT для слайса во втором субизображении может быть сконфигурировано из значения между IDR_W_RADL, IDR_N_LP и CRA NUT, которое не является NUT первого субизображения. Например, в то время как значение NUT для слайса по меньшей мере в субизображении является IDR, значение NUT для слайса по меньшей мере в одном другом субизображении может быть сконфишурировано как CRA.

[141] Между тем, в соответствии с вариантами осуществления изобретения применение варианта осуществления изобретения, такого как Комбинация 3, может быть ограничено. В одном варианте осуществления изобретения все изображения, принадлежащие единице доступа IRAP или GDR, могут быть ограничены иметь одну и ту же NUT. Таким образом, когда текущая единица доступа представляет собой единицу доступа IRAP, сконфигурированную только из изображений IRAP, или текущая единица доступа представляет собой единицу доступа GDR, сконфигурированную только из изображений GDR, он может быть ограничен таким образом, что все изображения, принадлежащие к нему, могут иметь одну и ту же NUT.

Например, оно может быть ограничено таким образом, что, хотя значение NUT для слайса по меньшей мере в субизображении является IDR, значение NUT для слайса по меньшей мере в одном другом субизображении не сконфигурировано как CRA. Таким образом, когда комбинация 3) ограничена и комбинация 1) и комбинация 2), описанные выше, могут быть ограничены таким образом, что по меньшей мере субизображение в соответствующем изображении может иметь значение NUT как не-IRAP (интер-слайс). Например, в процессе кодирования и декодирования он может быть ограничен таким образом, что все субизображения на соответствующем изображении могут не иметь значения NUT для IDR. В качестве альтернативы, он может быть ограничен таким образом, что некоторые субизображения на соответствующем изображении имеют значение NUT для IDR, а другие субизображения могут не иметь значение CRA NUT.

[142] Далее будут описаны синтаксис и семантика, связанные с сигнализацией кодированной информации при применении смешанного типа единицы NAL (NUT) в изображении. Кроме того, будет описан процесс декодирования с использованием синтаксиса и семантики. Как описано выше, когда mixed nalu type in_pic flag=1, изображение, описанное NUT, может означать субизображение (см. Таблицу 3).

[143] Между тем, как описано выше, когда значение mixed÷nalu÷type÷in_tic flag указывает, что применяется смешанное NUT, изображение может быть разделено по меньшей мере на два субизображения. Соответственно, информация о субизображениях для изображения может передаваться через битовый поток. В этом смысле mixed_nalu_type_in_pic_flag может указывать, разделена ли текущее изображение. Например, когда значение mixed_nalu_type_in_pic_flag указывает на то, что применяется смешанная NUT, это может указывать на то, что текущее изображение разделена.

[144] Далее он будет описан со ссылкой на синтаксис, показанный на фиг. 14. На фиг. 14 показан вид, иллюстрирующий вариант осуществления синтаксиса набора параметров изображения (PPS). Например, флаг (например, pps_no_pic_partition_flag), указывающий, разделено ли текущее изображение через битовый поток, может сигнализироваться через набор параметров изображения (PPS). Значение, указывающее на включение pps_no_pic_partition_flag (например, 1), может указывать на то, что разделение изображения не применяется к изображениям, в настоящее время ссылающимся на PPS. Значение, указывающее на отключение pps_no_pic_partition_flag (например, 0), может указывать на то, что разделение изображения с использованием слайсов или тайлов может быть применено к изображениям, в настоящее время ссылающимся на PPS. В этом варианте осуществления изобретения, когда значение mixed nalu type injtic flag указывает, что применяется смешанная NUT, значение pps no jticjtartitionflag может быть принудительно приведено к значению, указывающему на отключение (например, 0).

[145] Когда pps_no_pic_tartition_flag указывает, что текущее изображение может быть разделено, информация о количестве субизображений (например, pps num subpics minus 1) может быть получена из битового потока, pps num subpics minus 1 может указывать значение, полученное путем вычитания 1 из количества субизображений, включенных в текущее изображение. Когда pps_no_pic_partition_flag указывает, что текущее изображение не разделено, значение ppsnumsubpicsminusl может не быть получено из битового потока и может быть выведено как 0. В соответствии с информацией о количестве субизображений, определенных таким образом, кодированная информация для каждого субизображения может быть передана так же, как количество субизображений, включенных в изображение. Например, идентификатор субизображения (например, pps_sub_pic_id) для идентификации каждого субизображения и/или значение флага (subpic_treated_as_pic_flag[i]), указывающее, является ли процесс кодирования/декодирования каждого субизображения независимым, могут быть определены и сигнализированы.

[146] Смешанная NUT может быть применена, когда изображение сконфигурировано из двух или более субизображений. На этом этапе значение флага (subpic_treated_as_pic_flag[i]), указывающее на то, является ли процесс кодирования/декодирования каждого субизображения независимым, может быть определено и сигнализировано как количество субизображений (i), включенных в изображение. То, что субизображение независимо декодировано, указывает на то, что декодирование выполняется путем обработки субизображения как отдельного изображения. То есть, когда значение флага «включено» (например, subpic_treated_as_pic_flag=1), соответствующее субизображение может быть декодировано, чтобы быть независимым от других субизображений во всех других процессах декодирования, за исключением процесса петлевой фильтрации. Напротив, когда значение флага «ВЫКЛ» (например, subpic_treated_as_pic flag=0), соответствующее субизображение может относиться к другим субизображениям на изображении в процессе интер-предсказания. Здесь может быть установлен отдельный флаг для процесса петлевой фильтрации, чтобы контролировать, является ли субизображение независимым от других субизображений или использует их в качестве опорных. Соответствующий флаг (subpic_treated_as_pic_flag) может быть определен в позиции одного или нескольких из SPS, PPS и РН. Например, когда флаг определен в SPS, он может именоваться как sps_subpic_treated_as_pic_flag.

[147] Кроме того, в настоящем изобретении, когда на изображении присутствуют различные NUT (например, mixed_nalu_type_in_pic_flag=1), каждое субизображение на изображении должно быть независимо закодировано/декодировано из-за характеристики, что для субизображений на изображении должны использоваться различные NUT. Например, в случае изображения, на котором mixed_nalu_type_in_pic_flag=1, когда один или более интер-слайсов (Р или В) включены в изображение, значение subpic_treated_as_pic_flag всех субизображений на изображении может быть принудительно установлено на «1» или приведено к значению «1». В качестве альтернативы, когда mixed_nalu_type_in_pic_flag=1, subpic_treated_as_pic_flag может быть вынужден не иметь значение «О». Например, в случае изображения, на котором mixed_nalu_type_in_pic flag=1, когда на изображении присутствует один или несколько промежуточных слайсов, значение subpic_treated_as_pic flag может быть сброшено на «1» для всех субизображений изображения независимо от проанализированного значения. Напротив, в случае изображения, на которой mixed_nalu_type_in_pic_flag=1 и subpic treated as_pic flag=О для всех субизображений на изображении, интер-слайс не должен быть включен в изображение. То есть в случае изображения, на которой mixed_nalu_type_in_jtic flag=1 и subpic treated as j»ic flag=0, тип слайса на изображении должен быть интра.

[148] Кроме того, в другом варианте осуществления изобретения, в случае,

когда mixed nalu type inj»ic flag=1, когда NUT текущего изображения является RASL, subpic_treated_as_pic_flag для текущего изображения может быть принудительно установлен на «1». В качестве другого примера, в случае, когда mixed_nalu_type_in_pic_flag=1, когда NUT текущего изображения является RADL, а NUT изображения, на которое имеется ссылка, является RASL, subpic_treated_as_pic_flag для текущего изображения может быть принудительно установлено как «1».

[149] Функция смешанной NUT может ограничить конфигурацию IRAP для всех субизображений (или слайсов) на изображении. На этом этапе значение флага (gdr_or_irap_pic flag), указывающее на то, что все слайсы на изображении сконфигурированы из IRAP или что соответствующее изображение является GDR (Gradual Decoding Refresh), может быть принудительно установлено на «О». То есть, в настоящем изобретении, когда на изображении присутствует другая NUT (mixed_nalu_type_in_pic_flag=1), значение флага (gdr_or_irap_pic_flag) может быть установлено на «О» или может быть выведено как значение «О». В качестве альтернативы, когда mixed_nalu_type_in_pic_flag=1, gdr or irapjtic flag может быть вынужден установлен не иметь значение «1». Флаг (gdr or irapjtic flag) может быть определен в позиции одного или нескольких из SPS, PPS и РН.

[150] Кроме того, когда применяется функция смешанной NUT, по меньшей мере субизображение на изображении может иметь значение NUT IRAP (IDR или CRA), и по меньшей мере одно другое субизображение может иметь значение NUT не-IRAP (интер-слайс). То есть, интра-слайсы и интер-слайсы могут существовать на изображении одновременно. В случае существующего стандарта HEVC, когда NUT соответствующего интра-слайса имеет значение IDR, DPB сбрасывается. Соответственно, все восстановленные изображения, существующие в DPB на соответствующий момент времени, удаляются.

[151] Однако, в соответствии с настоящим изобретением, когда mixed_nafu_type_in_pic_flag=1, поскольку интра-слайсы и интер-слайсы могут существовать на изображении одновременно, существует случай, когда DPB не может быть сброшен, хотя изображение представляет собой NUT IDR. Соответственно, в одном варианте осуществления изобретения, когда соответствующий слайс представляет собой NUT IDR, информация об опорном изображении (RPL: список опорных изображений) может быть вставлена в поток NAL в качестве информации заголовка слайса соответствующего IDR, такого как CRA. С этой целью, хотя соответствующий слайс является NUT IDR, значение флага (idr_rpl_present_flag), указывающее на существование информации RPL, может быть установлено на «1». Когда значение флага (idr_rpl_present_flag) равно «1», RPL существует как информация заголовка слайса IDR. Напротив, когда значение флага (idr_rpl_present_flag) равно «0», RPL не существует в качестве информации заголовка слайса IDR.

[152] Между тем, в настоящем изобретении, когда другая NUT существует на изображении (mixed_nalu_type_in_pic_flag=1) и информация RPL изображения IDR не разрешена (idr_rpl_present_flag=0), NUT для изображения может не иметь значения IDR_W_RADL или IDR_N_LP.

[153] Флаг (idr rpUpresent flag) может быть определен в позиции одного или нескольких из SPS, PPS и РН. Например, когда флаг определен в SPS, флаг может называться sps idr rpUpresent flag. Например, хотя NUT текущего слайса является IDR_W_RADL или IDR N RADL, информация заголовка слайса может быть сигнализирована с использованием синтаксиса заголовка слайса на фиг. 15, чтобы сигнализировать RPL в соответствии со значением sps idr rpUpresent flag. Здесь первое значение (например, 0) sps idr rpl_present flag может указывать на то, что элемент синтаксиса RPL не может быть предоставлен заголовком слайса, из которого NUT является IDRNLP или IDRWRADL. Второе значение (например, 1) sps_idr_rpl_present_flag может указывать на то, что элемент синтаксиса RPL может быть предоставлен заголовком слайса, в котором NUT представляет собой IDR_N_LP или IDRWRADL.

[154] Между тем, в другом варианте осуществления изобретения, когда mixed_nalu_type_in_pic_flag=1, RPL может быть сигнализирован как информация заголовка изображения. Например, при применении синтаксиса, показанного на фиг. 14, когда значение mixed_nalu_type_in_pic_flag указывает, что применяется смешанная NUT, значение pps_no_pic_partition_flag может быть принудительно приведено к значению, указывающему на отключение (например, 0). Соответственно, значение флага (pps_rpl_info_in_ph_flag), указывающее, предоставляется ли информация RPL из заголовка изображения, может быть получено из битового потока. Когда pps_rpl_info_in_phflag указывает на включение (например, 1), информация RPL может быть получена из заголовка изображения, как показано на фиг. 16 и 17. Таким образом, информация RPL может быть получена независимо от типа соответствующего изображения на основе значения mixed_nalu_type_in_pic_flag. С другой стороны, когда pps rpl info inj>hflag указывает на отключение (например, 0), информация RPL не может быть получена из заголовка изображения. Например, когда NUT слайса IDR_N_LP или IDR_W_RADL и значение sps idr rpUpresent flag равно «0», в то время как значение pps rpl info inj^h flag равно «0», информация RPL соответствующего слайса может быть не получена. То есть, поскольку информация RPL соответствующего слайса отсутствует, информация RPL может быть выедена как инициализированная и пустая.

[155] Как описано выше, изображение может быть передано в виде NAL единиц с различными типами. Таким образом, поскольку единица NAL, имеющая различные NUT, может быть использована для сигнализации изображения, требуется способ определения типа изображения в соответствии с типом единицы NAL. Соответственно, в случае произвольного доступа (RA) может быть определено, может ли соответствующее изображение быть нормально восстановлено и выведено.

[156] В процессе декодирования в соответствии с вариантом осуществления изобретения, когда каждая единица NAL VCL, соответствующая изображению, является единицей NAL типа CRA_NUT, изображение может быть определено как изображение CRA. Кроме того, когда каждая единица NAL VCL, соответствующая изображению, является единицей NAL типа IDR_W_RADL или IDR_NLP, изображение может быть определено как изображение IDR. Кроме того, когда каждая единица NAL VCL, соответствующая изображению, является единицей NAL типа IDR_W_RADL, IDR_N_LP или CRA_NUT, изображение может быть определено как изображение IRAP.

[157] Кроме того, когда каждая единица NAL VCL, соответствующая изображению, является единицей NAL типа RADL_NUT, изображение может быть определено как декодируемое ведущее изображение с произвольным доступом (RADL). Кроме того, когда каждая единица NAL VCL, соответствующая изображению, является единицей NAL типа TRAIL_NUT, изображение может быть определено как завершающее изображение. Кроме того, когда тип по меньшей мере одной единицы NAL VCL из единиц NAL VCL, соответствующих изображению, является типом RASL_NUT, а типы всех других единиц NAL VCL являются типом RASL_NUT или типом RADL_NUT, изображение может быть определено как пропущенное ведущее изображение с произвольным доступом (RASL).

[158] Между тем, в процессе декодирования в соответствии с другим вариантом осуществления изобретения, когда по меньшей мере субизображение является RASL на изображении и по меньшей мере одно другое субизображение является RADL, изображение может быть определено как изображение RASL. Например, когда по меньшей мере субизображение является RASL на изображении и по меньшей мере одно другое субизображение является RADL, изображение может быть задано как изображение RASL в процессе декодирования. Здесь, когда тип единицы iNAL VCL, соответствующий субизображению, это RASL_NUT, субизображение может быть определено как RASL. Соответственно, в случае RA как субизображение RASL, так и субизображение RADL могут рассматриваться как изображение RASL, и, соответственно, изображение может не выводиться.

[159] Между тем, в процессе декодирования в соответствии с другим вариантом осуществления изобретения, когда по меньшей мере субизображение в изображении является RASL, изображение может быть установлено как изображение RASL. Например, когда по меньшей мере субизображение на изображении является RASL и по меньшей мере одно другое субизображение является TRAIL, изображение может быть задано как изображение RASL в процессе декодирования. Соответственно, в случае RA изображение может рассматриваться как изображение RASL, а изображение может не выводиться.

[160] В данном случае возникновение RA может определяться значением NoOutputBeforeRecoveryFlag изображения IRAP, связанного (связанного) с соответствующим интер-слайсом (RADL, RASL или TRAIL). Когда значение флага равно «1» (NoOutputBeforeRecoveryFlag=1), это означает возникновение RA, а когда значение флага равно «0» (NoOutputBeforeRecoveryFlag=0), это означает нормальное воспроизведение. Значение флага может быть установлено следующим образом для IRAP.

[161] - Процесс установки значения NoOutputBeforeRecoveryFlag при текущем изображении IRAP

[162] Когда изображение является первым изображением в битовом потоке, NoOutputBeforeRecoveryFlag устанавливается на «1».

[163] Когда изображение имеет значение IDR, NoOutputBeforeRecoveryFlag устанавливается на «1».

[164] Когда изображение является CRA и RA уведомляется снаружи, NoOutputBeforeRecoveryFlag устанавливается на «1».

[165] Когда изображение является CRA и RA не уведомляется снаружи, NoOutputBeforeRecoveryFlag устанавливается на «О».

[166] В одном варианте осуществления изобретения устройство декодирования может принимать сигнал, указывающий на возникновение произвольного доступа от внешнего терминала. Например, внешний терминал может сигнализировать возникновение произвольного доступа к устройству декодирования путем установки значения информации о возникновении произвольного доступа равным 1 и сигнализирования информации о возникновении произвольного доступа к устройству декодирования. Устройство декодирования может установить значение флага HandleCraAsClvsStartFlag, указывающее, принимается ли случайный доступ от внешнего терминала на 1 в соответствии с информацией произвольного доступа, полученной от внешнего терминала. Устройство декодирования может установить значение NoOutputBeforeRecoveryFlag равным значению HandleCraAsClvsStartFlag. Соответственно, когда текущее изображение является изображением CRA, а значение HandleCraAsClvsStartFlag равно «1», устройство декодирования может определить, что для соответствующего изображения CRA имел место произвольный доступ, или может выполнить декодирование, рассматривая CRA как находящийся в начале битового потока.

[167] В случае RA процесс установки флага (PictureOutputFlag), который определяет, следует ли выводить текущее изображение, выглядит следующим образом. Например, PictureOutputFlag для текущего изображения может быть установлен в порядке, описанном ниже. Здесь первое значение (например, 0) флажка PictureOutputFlag может указывать на то, что текущее изображение не выводится. Второе значение (например, 1) флага PictureOutputFlag может указывать на то, что текущее изображение выводится.

[168] (1) Если текущее изображение RASL и NoOutputBeforeRecoveryFlag соответствующего изображения IRAP имеет значение «1», PictureOutputFlag имеет значение «0».

[169] (2) Когда текущее изображение является изображением GDR, для которой значение NoOutputBeforeRecoveryFlag равно «1», или ее восстановленным изображением, Picture0utputFlag устанавливается на «0».

[170] (3) В противном случае значение PictureOutputFlag устанавливается равным значению pic output flag в битовом потоке. Здесь, pic output flag может быть получен в позиции одного или нескольких из РН и SH.

[171] На фиг. 18 показан пример синтеза трех различных типов контента, представленных в настоящем изобретении. На фиг. 18(a) показаны последовательности для трех различных типов контента, и хотя одно изображение показано в виде одного пакета для удобства, изображение может быть разделено на множество слайсов, и может быть множество пакетов. На фиг. 18(b) и 18(c) показаны результаты синтезированного изображения для изображения, обозначенного пунктирными линиями на фиг. 18(a). На фиг. 18 один и тот же цвет означает одно и то же изображение/субизображение/слайс.Кроме того, слайс Р и слайс В могут иметь значение из интер-NUT.

[172] Как описано выше, в случае синтеза множества типов контента посредством настоящего изобретения, контент может быть быстро и легко синтезирован без задержки путем простой установки иерархических структур GOP без необходимости обязательной установки положений интра-слайсов (изображений).

[173] Варианты кодирования и декодирования

[174] Далее описан способ декодирования видео устройством декодирования видео в соответствии со способом, описанным выше. На фиг. 19 и 20 показаны блок-схемы, иллюстрирующие способ декодирования и способ кодирования в соответствии с вариантом осуществления настоящего изобретения.

[175] Устройство декодирования видео в соответствии с вариантом осуществления изобретения может содержать память и по меньшей мере один процессор и может выполнять способ декодирования, описанный ниже, посредством работы процессора. Во-первых, устройство декодирования может получать информацию о типе единицы NAL, указывающую тип текущей единицы слоя сетевой абстракции (NAL) из битового потока (S1910).

[176] Далее, когда информация о типе единицы NAL указывает, что тип единицы NAL текущей единицы NAL является закодированными данными для слайса, устройство декодирования может декодировать слайс на основании того, применяется ли смешанный тип единицы NAL к текущему изображению (S1920).

[177] В данном случае устройство декодирования может выполнять декодирование слайса путем определения того, указывает ли тип единицы NAL текущей единицы NAL атрибут субизображения для текущего слайса видео на основании того, применяется ли смешанный тип единицы NAL.

[178] Применяется ли смешанный тип единицы NAL, может быть идентифицировано на основе первого флага (например, pps_mixed_nalu_types_in_pic_flag), полученного из набора параметров изображения. При применении единицы NAL смешанного типа текущее изображение, к которому относится текущий слайс, может быть разделено по меньшей мере на два субизображения.

[179] Кроме того, на основании того, применяется ли единица NAL смешанного типа, информация декодирования для субизображения может быть включена в битовый поток. В одном варианте осуществления изобретения из битового потока может быть получен второй флаг (например, pps_no_pic_partition_flag), указывающий, является ли текущее изображение не разделенным. Кроме того, когда второй флаг указывает, что текущее изображение может быть разделено (например, pps_no_pic_partition_flag=0), из битового потока может быть получен третий флаг (например, pps_rpl_info_in_ph flag), указывающий, предоставлена ли информация списка опорных изображений в заголовке изображения.

[180] В этом примере, когда применяется смешанный тип единицы NAL, значение второго флага (pps_no_pic_partition_flag) принудительно устанавливается 0, поскольку текущее изображение принудительно разделяется по меньшей мере на два субизображения, и третий флаг (например, pps_rpl_info_in_ph_flag), указывающий, предоставляется ли информация списка опорных изображений из заголовка изображения, может быть получен из битового потока независимо от значения второго флага (pps_no_pic_ptartition_flag), фактически полученного из битового потока. Соответственно, когда третий флаг указывает, что информация списка опорных изображений предоставляется из заголовка изображения (например, pps_rpl_info_in_phflag=1), информация списка опорных изображений может быть получена из битового потока, связанного с заголовком изображения.

[181] Кроме того, когда применяется смешанный тип единицы NAL, текущее изображение может быть декодировано на основе первого субизображения и второго субизображения, имеющих различные типы единицы NAL. Здесь, когда тип единицы NAL первого субизображения имеет любое одно значение из Instantaneous Decoding RefreshWithRandom Access Decodable Leading (IDRWRADL), Instantaneous Decoding RefreshNo referenceLeading Picture (IDR_N_LP) и Clean Random Access NAL Unit Type (CRA_NUT), доступный тип единицы NAL, который может быть выбран в качестве второго субизображения NUT, может включать в себя тип единицы NAL, который не выбран первым субизображением из IDR_W_RADL, IDR_NLP и CRA_NUT.

[182] Альтернативно, когда тип единицы NAL первого субизображения имеет любое одно значение из Instantaneous Decoding Refresh With Random Access Decodable Leading (IDR_W_RADL), Instantaneous Decoding Refresh No reference Leading Picture (IDR_N_LP) и Clean Random Access NAL_Unit_Type (CRA_NUT), доступный тип единицы NAL второго субизображения может включать TRAIL_NUT (Trail_NAL Unit Type).

[183] Между тем, когда применяется смешанный тип единицы NAL, первое субизображение и второе субизображение, составляющие текущее изображение, могут быть независимо декодированы. Например, первое субизображение и второе субизображение, содержащее В- или Р-слайс, могут рассматриваться и декодироваться как одно изображение. Например, первое субизображение может быть декодировано без использования второго субизображение в качестве опорного изображения.

[184] Более конкретно, из битового потока может быть получен четвертый флаг (например, sps_subpic_treated_as_pic_flag), указывающий, рассматривается ли первое субизображение как изображение в процессе декодирования. Когда четвертый флаг указывает, что первое субизображение рассматривается как изображение в процессе декодирования (например, sps_subpic_treated_as_pic_flag=1), первое субизображение может рассматриваться и декодироваться как изображение в процессе декодирования. В этом процессе, когда смешанный тип единицы NAL применяется к текущему изображению и текущее изображение, включающее в себя первое субизображение, включает в себя по меньшей мере один из Р-слайса и В-слайса, четвертый флаг может быть принудительно установлен на значение, указывающее, что первое субизображение рассматривается как изображение в процессе декодирования. С другой стороны, когда смешанный тип единицы NAL применяется к текущему изображению, а четвертый флаг указывает, что первое субизображение не рассматривается как изображение в процессе декодирования (например, sps_subpic_treated_as_pic_flag=0), тип слайса, принадлежащий текущему изображению, должен быть интра.

[185] Когда четвертый флаг указывает, что первое субизображение рассматривается как изображение в процессе декодирования, может быть определено, что процесс декодирования первого субизображения независим от процессов других субизображений. Например, когда четвертый флаг указывает, что первое субизображение декодируется, чтобы быть независимым от других субизображений в процессе декодирования, первое субизображение может быть декодировано без использования других субизображений в качестве опорного изображения.

[186] Кроме того, когда первое субизображение является пропускаемым ведущим субизображением с произвольным доступом (RASL), текущее изображение может быть определено как изображение RASL на основании того, является ли второе субизображение декодируемым ведущим субизображением с произвольным доступом (RADL). Здесь, когда тип единицы NAL, соответствующий первому субизображению, является единицей NAL типа Ведущее пропускаемое с произвольным доступом (RASL NUT), первое субизображение может быть определено как субизображение RASL.

[187] Кроме того, когда третий флаг (например, pps_rpl_info_in_ph_flag) указывает, что информация списка опорных изображений может быть получена из заголовка слайса (например, pps_rpl_info_in_ph_flag=0), а не из заголовка изображения, и тип единицы NAL первого субизображения имеет любое одно значение из Instantaneous Decoding RefreshWithRandom Access Decodable Leading (IDR_W_RADL) и Instantaneous Decoding RefreshNo referenceLeading Picture (IDR_N_LP), информация списка опорных изображений может быть получена из битового потока, связанного с заголовком слайса, на основе пятого флага (например, sps_idr_rpl_present_flag), указывающего, может ли быть получена информация списка опорных изображений для изображения IDR в заголовке слайса. В данном случае пятый флаг может быть получен из битового потока, связанного с набором параметров последовательности.

[188] Между тем, в случае, когда произвольный доступ осуществляется для изображения интра-точки произвольного доступа (IRAP), относящегося к текущему изображению, когда текущее изображение является RASL (пропускаемым ведущим с произвольным доступом) субизображением, текущее изображение может не выводиться (отображаться).

[189] Устройство кодирования видео в соответствии с вариантом осуществления изобретения может содержать память и по меньшей мере один процессор и может выполнять способ кодирования, соответствующий вышеописанному способу декодирования, посредством работы процессора. Например, когда текущее изображение кодируется на основе смешанного типа единицы NAL, устройство кодирования может определять тип субизображения для разделения изображения (S2010). Кроме того, устройство кодирования может генерировать текущую единицу NAL путем кодирования по меньшей мере одного текущего слайса, составляющего субизображение, на основании типа субизображения (S2020). На этом этапе, когда текущее изображение кодируется на основе смешанного типа единицы NAL, устройство кодирования может кодировать слайс путем кодирования таким образом, что тип единицы NAL текущей единицы NAL указывает атрибут субизображения для текущего слайса.

[190] Кроме того, настоящее изобретение может быть реализовано на машиночитаемом носителе записи в виде кода, который может быть считан компьютером (включая все устройства, имеющие функцию обработки информации). Машиночитаемый носитель записи включает в себя все типы записывающих устройств для хранения данных, которые могут быть прочитаны компьютерной системой. Примеры машиночитаемых записывающих устройств включают ПЗУ, ОЗУ, CD-ROM, магнитные ленты, гибкие диски и оптические устройства хранения данных.

[191] Хотя настоящее изобретение было описано со ссылкой на варианты

осуществления изобретения, показанные на чертежах, они являются лишь иллюстративными, и специалистам в данной области техники будет понятно, что из них возможны различные модификации и эквивалентные другие варианты осуществления изобретения. Таким образом, истинный объем настоящего изобретения должен определяться сущностью прилагаемой формулы изобретения.

Изобретение относится к области обработки видео, в частности к разделению на субизображения для синтеза с другими последовательностями для упаковки битового потока. Техническим результатом является создание способа разделения на субизображения для синтеза с другими последовательностями и способа разделения на слайсы для упаковки битового потока. Предложен способ декодирования видео, выполняемый устройством декодирования видео, который включает этапы: получают информацию о типе единицы NAL, указывающую тип текущего слоя сетевой абстракции (NAL) из битового потока; и декодируют, когда информация о типе единицы NAL указывает, что тип единицы NAL текущей единицы NAL является закодированными данными для слайса изображения, причем слайс основан на том, применяется ли смешанный тип единицы NAL к текущему изображению. 6 з.п. ф-лы, 20 ил., 3 табл.

1. Способ декодирования видео, выполняемый устройством декодирования видео, причем способ содержит этапы:

получения первого флага, указывающего, содержит ли текущее изображение субизображения, имеющие различные типы единиц слоя сетевой абстракции (NAL); и

получения вторых флагов, соответствующим образом соответствующих субизображениям, причем

каждый из вторых флагов указывает, рассматривается ли соответствующее субизображение как изображение в процессе декодирования,

когда первый флаг указывает, что текущее изображение включает в себя субизображения, имеющие различные типы единиц NAL, вторые флаги для всех субизображений, имеющих тип единицы NAL, равный произвольному доступу с пропуском начального изображения (RASL) из указанных субизображений, ограничивают первым значением независимо от того, имеется ли ссылка на каждое субизображение, тип единицы NAL которой равен RASL, и

первое значение указывает, что соответствующее субизображение рассматривают как изображение в процессе декодирования.

2. Способ по п. 1, в котором в процессе декодирования, за исключением петлевой фильтрации, субизображение, второй флаг которого равен первому значению, рассматривают как изображение и декодируют независимо от других субизображений.

3. Способ по п. 1, в котором, когда первая единица NAL изображения имеет тип единицы NAL, равный мгновенному декодирующему обновлению (IDR) или чистому произвольному доступу (CRA), вторую единицу NAL изображения ограничивают типом единицы NAL, исключающим RASL и произвольный доступ с пропуском начального изображения (RADL).

4. Способ по п. 3, в котором вторая единица NAL имеет тип единицы NAL, равный одному из IDR и CRA, при этом тип единицы NAL второй единицы NAL отличается от типа единицы NAL первой единицы NAL.

5. Способ по п. 3, в котором вторая единица NAL имеет тип единицы NAL, равный запаздывающему изображению (TRAIL).

6. Способ по п. 1, в котором, когда изображение включает в себя субизображение, имеющее тип единицы NAL, равный RASL, и другое субизображение, имеющее тип единицы NAL, равный RADL, изображение рассматривают как RASL изображение в процессе декодирования.

7. Способ по п. 6, в котором RASL изображение не выводят.