КОДЕР, ДЕКОДЕР И СООТВЕТСТВУЮЩИЕ СПОСОБЫ ДЛЯ СИГНАЛИЗАЦИИ СУБИЗОБРАЖЕНИЙ В НАБОРЕ ПАРАМЕТРОВ ПОСЛЕДОВАТЕЛЬНОСТИ Российский патент 2024 года по МПК H04N19/70 H04N19/82 H04N19/172 

Описание патента на изобретение RU2828202C1

ОБЛАСТЬ ТЕХНИКИ

Варианты осуществления настоящей заявки (раскрытия) в общем относятся к области обработки изображений и более конкретно к сигнализации субизображений (субкадров) в наборе параметров последовательности.

УРОВЕНЬ ТЕХНИКИ

Видеокодирование (кодирование и декодирование видео) используется в широком диапазоне применений цифрового видео, например, в широковещательном цифровом телевидении, передаче видео через Интернет и мобильные сети, в диалоговых приложениях в реальном времени, таких как видеочат, видеоконференцсвязь, DVD и Blu-ray диски, системы сбора и редактирования видеоконтента и видеокамеры приложений безопасности.

Объем видеоданных, необходимых для представления даже относительно короткого видео, может быть значительным, что может привести к трудностям, когда эти данные должны передаваться в потоковом режиме или иным образом передаваться по сети связи с ограниченной пропускной способностью. Таким образом, видеоданные, как правило, сжимаются перед тем, как передаваться через современные телекоммуникационные сети. Размер видео также может быть проблемой, когда видео хранится на запоминающем устройстве, поскольку ресурсы памяти могут быть ограничены. Устройства сжатия видео часто используют программное и/или аппаратное обеспечение в источнике для кодирования видеоданных перед передачей или сохранением, тем самым уменьшая количество данных, необходимых для представления цифровых видеоизображений. Затем сжатые данные принимаются устройством декомпрессии видео получателя, которое декодирует видеоданные. С ограниченными сетевыми ресурсами и постоянно растущими требованиями к более высокому качеству видео, желательны улучшенные методы сжатия и декомпрессии, которые улучшают степень сжатия с минимальными потерями качества изображения или вообще без таких потерь.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Варианты осуществления настоящей заявки обеспечивают аппаратные системы и способы для кодирования и декодирования согласно независимым пунктам формулы изобретения.

Вышеупомянутые и другие цели достигаются изобретением по независимым пунктам формулы изобретения. Дополнительные формы реализации очевидны из зависимых пунктов формулы изобретения, описания и фигур.

Первый аспект настоящего изобретения обеспечивает способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит: получение значения синтаксического элемента sps_num_subpics_minus1 посредством синтаксического анализа (парсинга) битового потока видео; когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, получение значения синтаксического элемента sps_independent_subpics_flag из битового потока.

Согласно вариантам осуществления настоящего изобретения раскрыта схема сигнализации информации субизображений, синтаксический элемент, указывающий, обрабатываются ли все границы субизображений в CLVS как границы изображений, и отсутствует ли контурная (пелевая / циклическая) фильтрация через границы субизображений, сигнализируется условно. Только когда имеется по меньшей мере два субизображения, этот синтаксический элемент сигнализируется. Следовательно, эффективность использования битового потока и эффективность декодирования были улучшены.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке.

В одной реализации способ дополнительно содержит: когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию.

В одной реализации заданным значением является 0 или 1.

В одной реализации значением по умолчанию является 1.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag получают посредством непосредственного синтаксического анализа значения кодового слова в битовом потоке.

В одной реализации значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

Второй аспект настоящего изобретения обеспечивает аппаратную систему декодирования видео, причем аппаратная система содержит: модуль приема, который выполнен с возможностью получения битового потока; модуль синтаксического анализа, который выполнен с возможностью получения значения синтаксического элемента sps_num_subpics_minus1 согласно синтаксическому анализу битового потока; причем модуль синтаксического анализа выполнен с возможностью получения значения синтаксического элемента sps_independent_subpics_flag из битового потока, когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке.

В одной реализации модуль синтаксического анализа выполнен с возможностью установки значения синтаксического элемента sps_independent_subpics_flag равным значению по умолчанию, когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению.

В одной реализации значением по умолчанию является 1.

В одной реализации заданным значением является 0 или 1.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag получают посредством непосредственного синтаксического анализа значения кодового слова в битовом потоке.

В одной реализации значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

Третий аспект настоящего изобретения обеспечивает способ кодирования/декодирования, реализуемый устройством кодирования, причем способ содержит: получение изображения, определение значения синтаксического элемента sps_num_subpics_minus1 согласно изображению; когда определено, что значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, кодирование значения синтаксического элемента sps_independent_subpics_flag для текущего изображения в битовый поток.

Согласно вариантам осуществления настоящего изобретения раскрыта схема сигнализации информации субизображений, синтаксический элемент, указывающий, обрабатываются ли все границы субизображений в CLVS как границы изображений, и отсутствует ли контурная фильтрация через границы субизображений, сигнализируется условно. Только когда имеется по меньшей мере два субизображения, этот синтаксический элемент сигнализируется. Следовательно, эффективность использования битового потока и эффективность декодирования были улучшены.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag кодируют в наборе параметров последовательности битового потока.

В одной реализации способ дополнительно содержит: когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно заданному значению, значение синтаксического элемента sps_independent_subpics_flag не кодируется в битовый поток.

В одной реализации заданным значением является 0 или 1.

В одной реализации значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

Четвертый аспект настоящего изобретения обеспечивает аппаратную систему кодирования видео, причем аппаратная система содержит: модуль приема, который выполнен с возможностью получения изображения; модуль обработки, который выполнен с возможностью определения значения синтаксического элемента sps_num_subpics_minus1 согласно изображению; причем модуль обработки выполнен с возможностью кодирования значения синтаксического элемента sps_independent_subpics_flag для текущего изображения в битовый поток, когда определено, что значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения.

Согласно вариантам осуществления настоящего изобретения раскрыта схема сигнализации информации субизображений, синтаксический элемент, указывающий, обрабатываются ли все границы субизображений в CLVS как границы изображений, и отсутствует ли контурная фильтрация через границы субизображений, сигнализируется условно. Только когда имеется по меньшей мере два субизображения, этот синтаксический элемент сигнализируется. Следовательно, эффективность использования битового потока и эффективность декодирования были улучшены.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag кодируют в наборе параметров последовательности битового потока.

В одной реализации, когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно заданному значению, значение синтаксического элемента sps_independent_subpics_flag не кодируется в битовый поток.

В одной реализации заданным значением является 0 или 1.

В одной реализации значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

В одной реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

Пятый аспект настоящего изобретения обеспечивает декодер, содержащий схему обработки для осуществления способа согласно первому аспекту, третьему аспекту и любой реализации первого аспекта, третьего аспекта.

Шестой аспект настоящего изобретения обеспечивает компьютерный программный продукт, содержащий программный код для выполнения способа согласно первому аспекту, третьему аспекту и любой реализации первого аспекта, третьего аспекта, когда он исполняется на компьютере или процессоре.

Седьмой аспект настоящего изобретения обеспечивает декодер, содержащий: один или более процессоров; и долговременный считываемый компьютером носитель, связанный с процессорами и хранящий программную часть для исполнения процессорами, при этом программная часть, когда исполняется процессорами, конфигурирует декодер для осуществления способа согласно одному из первого аспекта, третьего аспекта и любой реализации первого аспекта, третьего аспекта.

Восьмой аспект настоящего изобретения обеспечивает долговременный считываемый компьютером носитель, несущий программный код, который, когда исполняется компьютерным устройством, побуждает это компьютерное устройство выполнять способ согласно одному из первого аспекта, третьего аспекта и любой реализации первого аспекта, третьего аспекта.

Девятый аспект настоящего изобретения обеспечивает долговременный запоминающий носитель, содержащий битовый поток, закодированный/декодированный способом по любому одному из вышеприведенных вариантов осуществления. Десятый аспект настоящего изобретения обеспечивает кодируемый битовый поток для видеосигнала путем включения в его состав множества синтаксических элементов, при этом множество синтаксических элементов содержит синтаксический элемент sps_independent_subpics_flag, который сигнализируется условно на основе, по меньшей мере, значения синтаксического элемента sps_num_subpics_minus1, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности. Одиннадцатый аспект настоящего изобретения обеспечивает долговременный запоминающий носитель, который включает в себя закодированный битовый поток, декодируемый устройством декодирования изображений, причем битовый поток генерируется путем разделения кадра видеосигнала или сигнала изображения на множество блоков и включает в себя множество синтаксических элементов, при этом множество синтаксических элементов содержит синтаксический элемент sps_independent_subpics_flag, который сигнализируется условно на основе, по меньшей мере, значения синтаксического элемента sps_num_subpics_minus1, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

Подробности одного или более вариантов осуществления изложены на прилагаемых чертежах и в нижеследующем описании. Другие особенности, цели и преимущества будут очевидны из описания, чертежей и формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В нижеследующих вариантах осуществления изобретение описано более подробно со ссылкой на сопроводительные фигуры и чертежи, на которых:

ФИГ. 1A является блок-схемой, показывающей пример системы кодирования/декодирования видео, выполненной с возможностью реализации вариантов осуществления изобретения;

ФИГ. 1B является блок-схемой, показывающей пример системы кодирования/декодирования видео, выполненной с возможностью реализации вариантов осуществления изобретения;

ФИГ. 2 является блок-схемой, показывающей пример видеокодера, выполненного с возможностью реализации вариантов осуществления изобретения;

ФИГ. 3 является блок-схемой, показывающей примерную структуру видеодекодера, выполненного с возможностью реализации вариантов осуществления изобретения;

ФИГ. 4 является блок-схемой, иллюстрирующей пример устройства кодирования или устройства декодирования;

ФИГ. 5 является блок-схемой, иллюстрирующей другой пример устройства кодирования или устройства декодирования;

ФИГ. 6 является примером порядка растрового сканирования;

ФИГ. 7 является примером тайлов, слайсов и субизображений;

ФИГ. 8 представляет собой блок-схему, показывающую примерную структуру системы 3100 предоставления контента, которая реализует службу доставки контента;

ФИГ. 9 является блок-схемой, показывающей структуру примера терминального устройства.

Одинаковые ссылочные позиции далее относятся к одинаковым или по меньшей мере функционально эквивалентным признакам, если явно не указано иное.

ФИГ. 10 является блок-схемой последовательности операций, показывающей вариант осуществления способа согласно настоящему изобретению.

ФИГ. 11 является блок-схемой, показывающей вариант осуществления аппаратной системы согласно настоящему изобретению.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В нижеследующем описании делается ссылка на сопроводительные фигуры, которые составляют часть данного раскрытия и которые показывают, в качестве иллюстрации, конкретные аспекты вариантов осуществления изобретения или конкретные аспекты, в которых варианты осуществления настоящего изобретения могут быть использованы. Понятно, что варианты осуществления данного изобретения могут быть использованы в других аспектах и содержат структурные или логические изменения, не показанные на фигурах. Поэтому нижеследующее подробное описание не следует воспринимать в ограничивающем смысле, и объем настоящего изобретения определяется прилагаемой формулой изобретения.

Например, понятно, что раскрытие, связанное с описанным способом, также может быть справедливо для соответствующего устройства или системы, выполненных с возможностью выполнения способа, и наоборот. Например, если описан один или множество конкретных этапов способа, соответствующее устройство может включать в себя один или множество блоков, например функциональных блоков, чтобы выполнять описанный один или множество этапов способа (например, один блок, выполняющий один или множество этапов, или множество блоков, каждый из которых выполняет один или более из множества этапов), даже если такой один или более блоков явным образом не описаны или не проиллюстрированы на фигурах. С другой стороны, например, если конкретная аппаратная система описана на основе одного или множества блоков, например функциональных блоков, соответствующий способ может включать в себя один этап для выполнения функциональных возможностей одного или множества блоков (например, один этап, выполняющий функциональные возможности одного или множества блоков, или множество этапов, каждый из которых выполняет функциональные возможности одного или более из множества блоков), даже если такой один или множество этапов не описаны явным образом или не проиллюстрированы на фигурах. Кроме того, понятно, что признаки различных примерных вариантов осуществления и/или аспектов, описанных в данном документе, могут быть объединены друг с другом, если специально не указано иное.

Кодирование/декодирование видео обычно относится к обработке последовательности изображений, которые образуют видео или видеопоследовательность. Вместо термина «изображение» термины «кадр» или «картинка» могут использоваться как синонимы в области кодирования/декодирования видео. Кодирование/декодирование видео (или кодирование/декодирование (coding) в целом) содержит две части: видеокодирование (video encoding) и видеодекодирование. Видеокодирование выполняется на стороне источника и обычно содержит обработку (например, посредством сжатия) исходных видеоизображений для сокращения объема данных, требуемого для представления видеоизображений (для более эффективного хранения и/или передачи). Видеодекодирование выполняется на стороне получателя и обычно содержит обратную обработку по сравнению с кодером для восстановления видеоизображений. Варианты осуществления, относящиеся к «кодированию/декодированию» видеоизображений (или изображений в целом), должны пониматься как относящиеся к «кодированию» или «декодированию» видеоизображений или соответствующих видеопоследовательностей. Комбинация кодирующей части и декодирующей части также называется CODEC (кодирование и декодирование).

В случае кодирования/декодирования видео без потерь исходные видеоизображения могут быть восстановлены, т.е. восстановленные видеоизображения имеют такое же качество, что и исходные видеоизображения (при условии отсутствия потерь передачи или других потерь данных во время сохранения или передачи). В случае кодирования/декодирования видео с потерями выполняется дополнительное сжатие, например посредством квантования, для сокращения объема данных, представляющих видеоизображения, которые не могут быть полностью восстановлены на декодере, т.е. качество восстановленных видеоизображений ниже или хуже по сравнению с качеством исходных видеоизображений.

Несколько стандартов кодирования/декодирования видео принадлежат к группе «гибридных видеокодеков с потерями» (т.е. сочетают пространственное и временное предсказание в области выборок и кодирование/декодирование с 2D преобразованием для применения квантования в области преобразования). Каждое изображение видеопоследовательности обычно разделяется на набор неперекрывающихся блоков, и кодирование/декодирование обычно выполняется на уровне блоков. Другими словами, в кодере видео обычно обрабатывается, то есть кодируется, на уровне блока (видеоблока), например с использованием пространственного (интра-изображения) предсказания и/или временного (интер-изображения) предсказания для генерирования блока предсказания, блок предсказания вычитается из текущего блока (блока, который в настоящее время обрабатывается/подлежит обработке) для получения остаточного блока, остаточный блок преобразуется и этот остаточный блок квантуется в области преобразования для сокращения объема данных (сжатия), которые подлежат передаче, тогда как в декодере обратная обработка по сравнению с кодером применяется к кодированному или сжатому блоку для восстановления текущего блока для представления. Кроме того, кодер дублирует контур обработки декодера, так что они оба будут генерировать одинаковые предсказания (например, интра- и интер-предсказания) и/или реконструкции для обработки, то есть кодирования/декодирования, последующих блоков.

В нижеследующих вариантах осуществления системы 10 кодирования/декодирования видео, видеокодер 20 и видеодекодер 30 описаны на основе Фиг. с 1 по 3.

ФИГ. 1A представляет собой схематичное блочное представление, иллюстрирующее примерную систему 10 кодирования/декодирования, например систему 10 кодирования/декодирования видео (или сокращенно систему 10 кодирования/декодирования), которая может использовать методики согласно настоящей заявке. Видеокодер 20 (или сокращенно кодер 20) и видеодекодер 30 (или сокращенно декодер 30) системы 10 кодирования/декодирования видео представляют примеры устройств, которые могут быть выполнены с возможностью выполнения методик в соответствии с различными примерами, описанными в настоящей заявке.

Как показано на ФИГ. 1A, система 10 кодирования/декодирования содержит устройство-источник 12, выполненное с возможностью обеспечения кодированных данных 21 изображения, например в устройство-получатель 14 для декодирования кодированных данных 13 изображения.

Устройство-источник 12 содержит кодер 20 и может дополнительно, т.е. опционально, содержать источник 16 изображений, препроцессор (или блок предварительной обработки) 18, например, препроцессор 18 изображений, а также интерфейс связи или блок 22 связи.

Источник 16 изображений может содержать или быть устройством захвата изображений любого типа, например камерой для захвата изображения реального мира, и/или устройством генерирования изображений любого типа, например процессором компьютерной графики для генерирования компьютерного анимированного изображения, или любым типом другого устройства для получения и/или обеспечения изображения реального мира, генерируемого компьютером изображения (например, содержимого экрана, изображения виртуальной реальности (VR)) и/или любой их комбинации (например, изображения дополненной реальности (AR)). Источником изображений может быть любой тип памяти или хранилища, где хранятся любые из вышеупомянутых изображений.

В отличие от препроцессора 18 и обработки, выполняемой посредством блока 18 предварительной обработки, изображение или данные 17 изображения также могут именоваться необработанным (raw) изображением или необработанными данными 17 изображения.

Препроцессор 18 выполнен с возможностью приема (необработанных) данных 17 изображения и выполнения предварительной обработки в отношении этих данных 17 изображения для получения предварительно обработанного изображения 19 или предварительно обработанных данных 19 изображения. Предварительная обработка, выполняемая препроцессором 18, может, например, содержать обрезку, преобразование цветового формата (например, из RGB в YCbCr), цветокоррекцию или шумоподавление. Должно быть понятно, что блок 18 предварительной обработки может быть опциональным компонентом.

Видеокодер 20 выполнен с возможностью приема предварительно обработанных данных 19 изображения и обеспечения кодированных данных 21 изображения (дополнительные подробности будут описаны ниже, например, на основе Фиг. 2).

Интерфейс 22 связи устройства-источника 12 может быть выполнен с возможностью приема кодированных данных 21 изображения и передачи этих кодированных данных 21 изображения (или любой их дальнейшей обработанной версии) по каналу 13 связи в другое устройство, например устройство-получатель 14 или любое другое устройство, для сохранения или непосредственного восстановления.

Устройство-получатель 14 содержит декодер 30 (например, видеодекодер 30) и может дополнительно, т.е. опционально, содержать интерфейс связи или блок 28 связи, постпроцессор 32 (или блок 32 постобработки) и устройство 34 отображения.

Интерфейс 28 связи устройства-получателя 14 выполнен с возможностью приема кодированных данных 21 изображения (или любой их дальнейшей обработанной версии), например непосредственно от устройства-источника 12 или из любого другого источника, например запоминающего устройства, например устройства хранения кодированных данных изображений, и обеспечения кодированных данных 21 изображения в декодер 30.

Интерфейс 22 связи и интерфейс 28 связи могут быть выполнены с возможностью передачи или приема кодированных данных 21 изображений или кодированных данных 13 через прямую линию связи между устройством-источником 12 и устройством-получателем 14, например прямое проводное или беспроводное соединение, или через сеть любого типа, например проводную или беспроводную сеть или любое их сочетание, или любую частную и общедоступную сеть, или любое их сочетание.

Интерфейс 22 связи может быть, например, выполнен с возможностью упаковки кодированных данных 21 изображения в надлежащий формат, например, в пакеты, и/или обработки кодированных данных изображения с использованием любого типа кодирования передачи или обработки для передачи по линии связи или сети связи.

Интерфейс 28 связи, являющийся аналогом интерфейса 22 связи, может быть, например, выполнен с возможностью приема переданных данных и обработки данных передачи с использованием любого вида соответствующего декодирования или обработки и/или распаковки передачи для получения кодированных данных 21 изображения.

Как интерфейс 22 связи, так и интерфейс 28 связи могут быть выполнены как интерфейсы однонаправленной связи, как показано стрелкой для канала 13 связи на Фиг. 1A, указывающей от устройства-источника 12 к устройству-получателю 14, или как интерфейсы двунаправленной связи, и могут быть выполнены с возможностью, например отправки и приема сообщений, например для установления соединения, для подтверждения и обмена любой другой информацией, относящейся к линии связи и/или передаче данных, например передаче кодированных данных изображения.

Декодер 30 выполнен с возможностью приема кодированных данных 21 изображения и обеспечения декодированных данных 31 изображения или декодированного изображения (дополнительные подробности будут описаны ниже, например на основе Фиг. 3 или Фиг. 5).

Постпроцессор 32 устройства-получателя 14 выполнен с возможностью постобработки декодированных данных 31 изображения (также называемых данными восстановленного изображения), таких как декодированное изображение 31, чтобы получить пост-обработанные данные 33 изображения, такие как пост-обработанное изображение 33. Постобработка, выполняемая блоком 32 постобработки, может содержать, например, преобразование цветового формата (например, из YCbCr в RGB), цветокоррекцию, обрезку или повторную выборку, или любую другую обработку, например для подготовки декодированных данных 31 изображения для отображения, например с помощью устройства 34 отображения.

Устройство 34 отображения устройства-получателя 14 выполнено с возможностью приема пост-обработанных данных 33 изображения для отображения изображения, например пользователю или зрителю. Устройство 34 отображения может представлять собой или содержать дисплей любого типа для представления восстановленного изображения, например, интегрированного или внешнего дисплея или монитора. Дисплеи могут, например, содержать жидкокристаллические дисплеи (LCD), дисплеи на органических светодиодах (OLED), плазменные дисплеи, проекторы, дисплеи на микро-LED, жидкий кристалл на кремнии (LCoS), цифровой световой процессор (DLP) или другой дисплей любого типа.

Хотя Фиг. 1A иллюстрирует устройство-источник 12 и устройство-получатель 14 как отдельные устройства, варианты осуществления устройств также могут содержать обе или обе функциональные возможности, устройство-источник 12 или соответствующую функциональную возможность и устройство-получатель 14 или соответствующую функциональную возможность. В таких вариантах осуществления устройство-источник 12 или соответствующая функциональная возможность и устройство-получатель 14 или соответствующая функциональная возможность могут быть реализованы с использованием одного и того же аппаратного и/или программного обеспечения или с помощью отдельного аппаратного и/или программного обеспечения или любой их комбинации.

Как будет очевидно для специалиста на основе описания, наличие и (точное) разделение функциональных возможностей различных блоков или функциональных возможностей в устройстве-источнике 12 и/или устройстве-получателе 14, как показано на Фиг. 1A, может меняться в зависимости от фактического устройства и применения.

Кодер 20 (например, видеокодер 20) или декодер 30 (например, видеодекодер 30) или и кодер 20, и декодер 30 могут быть реализованы через схему обработки, как показано на Фиг. 1B, такую как один или более микропроцессоров, цифровые сигнальные процессоры (DSP), специализированные интегральные схемы (ASIC), программируемые вентильные матрицы (FPGA), дискретную логику, аппаратное обеспечение, выделенное кодирование/декодирование видео или любые их комбинации. Кодер 20 может быть реализован через схему 46 обработки для воплощения различных модулей, как обсуждалось в отношении кодера 20 на ФИГ. 2 и/или любой другой системы кодера или подсистемы, описанной в данном документе. Декодер 30 может быть реализован через схему 46 обработки для воплощения различных модулей, как обсуждалось в отношении декодера 30 на ФИГ. 3 и/или любой другой системы декодера или подсистемы, описанной в данном документе. Схема обработки может быть выполнена с возможностью выполнения различных операций, которые будут описаны ниже. Как показано на фиг. 5, если методики частично реализуются в программном обеспечении, устройство может хранить инструкции для программного обеспечения на подходящем, долговременном считываемом компьютером носителе данных и может исполнять инструкции в аппаратном обеспечении, используя один или более процессоров для выполнения методик согласно этому раскрытию. Любой из видеокодера 20 и видеодекодера 30 может быть интегрирован как часть объединенного кодера/декодера (CODEC) в одном устройстве, например как показано на Фиг. 1B.

Устройство-источник 12 и устройство-получатель 14 могут содержать любое из широкого диапазона устройств, в том числе любые виды портативных или стационарных устройств, например ноутбуки или портативные компьютеры, мобильные телефоны, смартфоны, планшеты или планшетные компьютеры, камеры, настольные компьютеры, телевизионные приставки, телевизоры, устройства отображения, цифровые медиаплееры, игровые консоли, устройства потоковой передачи видео (например, серверы служб контента или серверы доставки контента), широковещательное приемное устройство, широковещательное передающее устройство или подобное, и могут использовать операционную систему любого типа или обходиться без нее. В некоторых случаях устройство-источник 12 и устройство-получатель 14 могут быть оборудованы для беспроводной связи. Таким образом, устройство-источник 12 и устройство-получатель 14 могут быть устройствами беспроводной связи.

В некоторых случаях система 10 кодирования/декодирования видео, проиллюстрированная на Фиг. 1A, является лишь примером, а методики настоящей заявки могут применяться к настройкам кодирования/декодирования видео (таким как видеокодирование или видеодекодирование), которые не обязательно включают в себя передачу каких-либо данных между устройствами кодирования и декодирования. В других примерах данные извлекаются из локальной памяти, передаются в потоковом режиме по сети или подобное. Устройство видеокодирования может кодировать и сохранять данные в память, и/или устройство видеодекодирования может извлекать и декодировать данные из памяти. В некоторых примерах кодирование и декодирование выполняется устройствами, которые связь друг с другом не осуществляют, а просто кодируют данные в память и/или извлекают и декодируют данные из памяти.

Для удобства описания здесь описаны варианты осуществления данного изобретения, например, со ссылкой на высокоэффективное кодирование/декодирование видео (HEVC) или на эталонное программное обеспечение универсального кодирования/декодирования видео (VVC), стандарт кодирования/декодирования видео следующего поколения, разрабатываемый объединенной группой сотрудничества по кодированию/декодированию видео (JCT-VC) экспертной группы по кодированию/декодированию видео ITU-T (VCEG) и экспертной группы по движущимся изображениям ISO/IEC (MPEG). Обычный специалист в данной области техники поймет, что варианты осуществления данного изобретения не ограничиваются HEVC или VVC.

Кодер и способ кодирования

ФИГ. 2 показывает схематичное блочное представление примерного видеокодера 20, который выполнен с возможностью реализации методик настоящей заявки. В примере на Фиг. 2 видеокодер 20 содержит ввод 201 (или входной интерфейс 201), блок 204 вычисления остатка, блок 206 обработки преобразования, блок 208 квантования, блок 210 обратного квантования и блок 212 обработки обратного преобразования, блок 214 восстановления, блок 220 контурного фильтра, буфер 230 (DPB) декодированных изображений, блок 260 выбора режима, блок 270 энтропийного кодирования и вывод 272 (или выходной интерфейс 272). Блок 260 выбора режима может включать в себя блок 244 интер-предсказания, блок 254 интра-предсказания и блок 262 разделения. Блок 244 интер-предсказания может включать в себя блок оценки движения и блок компенсации движения (не показаны). Видеокодер 20, показанный на Фиг. 2, также может называться гибридным видеокодером или видеокодером согласно гибридному видеокодеку.

Блок 204 вычисления остатка, блок 206 обработки преобразования, блок 208 квантования, блок 260 выбора режима могут относится к формированию прямого пути прохождения сигнала кодера 20, тогда как блок 210 обратного квантования, блок 212 обработки обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер 230 (DPB) декодированных изображений, блок 244 интер-предсказания и блок 254 интра-предсказания могут относится к формированию обратного пути прохождения сигнала видеокодера 20, при этом обратный путь прохождения сигнала видеокодера 20 соответствует пути прохождения сигнала декодера (см. видеодекодер 30 на Фиг. 3). Блок 210 обратного квантования, блок 212 обработки обратного преобразования, блок 214 восстановления, контурный фильтр 220, буфер 230 (DPB) декодированных изображений, блок 244 интер-предсказания и блок 254 интра-предсказания также относятся к формированию «встроенного декодера» видеокодера 20.

Изображения и разделение изображений (изображения и блоки)

Кодер 20 может быть выполнен с возможностью приема, например, через ввод 201, изображения 17 (или данных 17 изображения), например изображения из последовательности изображений, образующих видео или видеопоследовательность. Принятое изображение или данные изображения также могут представлять собой предварительно обработанное изображение 19 (или предварительно обработанные данные 19 изображения). Для простоты нижеследующее описание ссылается на изображение 17. Изображение 17 также может именоваться текущим изображением или изображением, которое подлежит кодированию/декодированию (в частности, при кодировании/декодировании видео, чтобы отличать текущее изображение от других изображений, например, ранее кодированных и/или декодированных изображений той же видеопоследовательности, т.е. видеопоследовательности, которая также содержит текущее изображение).

(Цифровое) изображение является или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности. Выборка в массиве также может упоминаться как пиксель (сокращенная форма элемента изображения) или pel (элемент изображения). Число выборок в горизонтальном и вертикальном направлении (или оси) массива или изображения определяет размер и/или разрешение изображения. Для представления цвета обычно используются три цветовые компоненты, т.е. изображение может быть представлено или включать в себя три массива выборок. В формате RBG или цветовом пространстве изображение содержит соответствующий массив красных, зеленых или синих выборок. Однако при кодировании/декодировании видео каждый пиксель обычно представлен в формате яркости и цветности или цветовом пространстве, например YCbCr, которое содержит компоненту яркости, обозначаемую Y (иногда вместо этого также используется L), и две компоненты цветности (цветоразностные компоненты), обозначаемые Cb и Cr. Компонента Y яркости (luminance) (или сокращенно яркость (luma)) представляет яркость (brightness) или интенсивность уровня серого (например, как в полутоновом изображении), в то время как две компоненты Cb и Cr цветности (chrominance) (или сокращенно цветности (chroma)) представляют компоненты информации о цветности (chromaticity) или цвете. Соответственно, изображение в формате YCbCr содержит массив выборок яркости со значениями (Y) выборок яркости и два массива выборок цветности со значениями (Cb и Cr) цветности. Изображения в формате RGB могут быть конвертированы или преобразованы в формат YCbCr и наоборот, процесс также известен как цветовое преобразование или конвертация. Если изображение является монохромным, оно может содержать только массив выборок яркости. Соответственно, изображение может быть, например, массивом выборок яркости в монохромном формате или массивом выборок яркости и двумя соответствующими массивами выборок цветности в цветовом формате 4:2:0, 4:2:2 и 4:4:4.

Варианты осуществления видеокодера 20 могут содержать блок разделения изображения (не показан на Фиг. 2), выполненный с возможностью разделения изображения 17 на множество (обычно не перекрывающихся) блоков 203 изображения. Эти блоки также могут называться корневыми блоками, макроблоками (H.264/AVC) или блоками дерева кодирования/декодирования (CTB) или единицами дерева кодирования/декодирования (CTU) (H.265/HEVC и VVC). Блок разделения изображения может быть выполнен с возможностью использования одного и того же размера блока для всех изображений в видеопоследовательности и соответствующей сетки, определяющей размер блока, или изменения размера блока между изображениями или подмножествами или группами изображений и разделения каждого изображения на соответствующие блоки.

В дополнительных вариантах осуществления видеокодер может быть выполнен с возможностью приема непосредственно блока 203 изображения 17, например одного, нескольких или всех блоков, формирующих изображение 17. Блок 203 изображения также может именоваться текущим блоком изображения или блоком изображения, подлежащим кодированию/декодированию.

Подобно изображению 17, блок 203 изображения снова является или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности (значениями выборок), хотя и меньшего размера, чем изображение 17. Другими словами, блок 203 может содержать, например, один массив выборок (например, массив яркости в случае монохромного изображения 17 или массив яркости или цветности в случае цветного изображения) или три массива выборок (например, яркость и два массива цветности в случае цветного изображения 17) или любое другое число и/или вид массивов в зависимости от применяемого цветового формата. Число выборок в горизонтальном и вертикальном направлении (или оси) блока 203 определяет размер блока 203. Соответственно, блок может, например, быть MxN (M-столбцов на N-строк) массивом выборок или MxN массивом коэффициентов преобразования.

Варианты осуществления видеокодера 20, показанные на Фиг. 2, могут быть выполнены с возможностью кодирования изображения 17 блок за блоком, например кодирование и прогнозирование выполняется для каждого блока 203.

Варианты осуществления видеокодера 20, как показано на Фиг. 2, могут быть дополнительно выполнены с возможностью разделения и/или кодирования изображения с использованием слайсов (также именуемых видеослайсами), при этом изображение может быть разделено на или кодировано с использованием одного или более слайсов (обычно не перекрывающихся), и каждый слайс может содержать один или более блоков (например, CTU).

Варианты осуществления видеокодера 20, показанные на Фиг. 2, могут быть дополнительно выполнены с возможностью разделения и/или кодирования изображения с использованием групп тайлов (также называемых группами тайлов видео) и/или тайлов (также называемых тайлами видео), при этом изображение может быть разделено на или закодировано с использованием одной или более групп тайлов (обычно не перекрывающихся), и каждая группа тайлов может содержать, например один или более блоков (например, CTU) или один или более тайлов, при этом каждый тайл, в качестве примера, может иметь прямоугольную форму и может содержать один или более блоков (например, CTU), таких как полные или частичные блоки.

Вычисление остатка

Блок 204 вычисления остатка может быть выполнен с возможностью вычисления остаточного блока 205 (также именуемого остатком 205) на основе блока 203 изображения и блока 265 предсказания (дополнительные подробности о блоке 265 предсказания приведены ниже), например, путем вычитания значений выборок блока 265 предсказания из значений выборок блока 203 изображения, выборка за выборкой (пиксель за пикселем), чтобы получить остаточный блок 205 в области выборок.

Преобразование

Блок 206 обработки преобразования может быть выполнен с возможностью применения преобразования, например дискретного косинусного преобразования (DCT) или дискретного синусного преобразования (DST), к значениям выборок остаточного блока 205, чтобы получить коэффициенты 207 преобразования в области преобразования. Коэффициенты 207 преобразования могут также именоваться остаточными коэффициентами преобразования и представлять остаточный блок 205 в области преобразования.

Блок 206 обработки преобразования может быть выполнен с возможностью применения целочисленных аппроксимаций DCT/DST, таких как преобразования, специфицированные для H.265/HEVC. По сравнению с ортогональным преобразованием DCT такие целочисленные аппроксимации обычно масштабируются с некоторым коэффициентом. Чтобы сохранить норму остаточного блока, который обрабатывается прямым и обратным преобразованиями, дополнительные коэффициенты масштабирования применяются как часть процесса преобразования. Коэффициенты масштабирования обычно выбираются на основе определенных ограничений, таких как коэффициенты масштабирования, являющиеся степенью двойки для операций сдвига, битовая глубина коэффициентов преобразования, компромисс между точностью и затратами на реализацию и т. д. Конкретные коэффициенты масштабирования, например, специфицируются для обратного преобразования, например блоком 212 обработки обратного преобразования (и соответствующим обратным преобразованием, например блоком 312 обработки обратного преобразования в видеодекодере 30), и соответствующие коэффициенты масштабирования для прямого преобразования, например блоком 206 обработки преобразования, могут быть специфицированы надлежащим образом в кодере 20.

Варианты осуществления видеокодера 20 (соответственно блока 206 обработки преобразования) могут быть выполнены с возможностью вывода параметров преобразования, например типа преобразования или преобразований, например, непосредственно или кодированных, или сжатых через блок 270 энтропийного кодирования, так что, например, видеодекодер 30 может принимать и использовать параметры преобразования для декодирования.

Квантование

Блок 208 квантования может быть выполнен с возможностью квантования коэффициентов 207 преобразования для получения квантованных коэффициентов 209, например путем применения скалярного квантования или векторного квантования. Квантованные коэффициенты 209 также могут упоминаться как квантованные коэффициенты 209 преобразования или квантованные остаточные коэффициенты 209.

Процесс квантования может уменьшить битовую глубину, связанную с некоторыми или всеми коэффициентами 207 преобразования. Например, n-битовый коэффициент преобразования может быть округлен до m-битового коэффициента преобразования во время квантования, где n больше m. Степень квантования может быть изменена путем регулировки параметра квантования (QP). Например, для скалярного квантования может применяться другое масштабирование для достижения более тонкого или более грубого квантования. Меньшие размеры шагов квантования соответствуют более тонкому квантованию, тогда как большие размеры шагов квантования соответствуют более грубому квантованию. Применимый размер шага квантования может быть указан параметром квантования (QP). Параметр квантования может, например, представлять собой индекс для предопределенного набора применимых размеров шагов квантования. Например, небольшие параметры квантования могут соответствовать тонкому квантованию (небольшим размерам шагов квантования), а большие параметры квантования могут соответствовать грубому квантованию (большим размерам шагов квантования) или наоборот. Квантование может включать в себя деление на размер шага квантования, а соответствующее и/или обратное деквантование, например, блоком 210 обратного квантования, может включать в себя умножение на размер шага квантования. Варианты осуществления в соответствии с некоторыми стандартами, например HEVC, могут быть выполнены с возможностью использования параметра квантования для определения размера шага квантования. Как правило, размер шага квантования может быть вычислен на основе параметра квантования с использованием аппроксимации фиксированной точки уравнения, включающего в себя деление. Дополнительные коэффициенты масштабирования могут быть введены для квантования и деквантования, чтобы восстановить норму остаточного блока, которая могла бы быть изменена из-за масштабирования, используемого в аппроксимации фиксированной точки упомянутого уравнения для размера шага квантования и параметра квантования. В одной примерной реализации масштабирование обратного преобразования и деквантование могут быть объединены. В качестве альтернативы индивидуализированные таблицы квантования могут использоваться и сигнализироваться от кодера к декодеру, например в битовом потоке. Квантование является операцией с потерями, при которой потери возрастают с увеличением размеров шагов квантования.

Варианты осуществления видеокодера 20 (соответственно блока 208 квантования) могут быть выполнены с возможностью вывода параметров квантования (QP), например непосредственно или кодированных через блок 270 энтропийного кодирования, так что, например, видеодекодер 30 может принимать и применять параметры квантования для декодирования.

Обратное квантование

Блок 210 обратного квантования выполнен с возможностью применения обратного квантования блока 208 квантования к квантованным коэффициентам для получения деквантованных коэффициентов 211, например путем применения обратной схемы квантования относительно таковой, применяемой блоком 208 квантования, на основе или с использованием того же размера шага квантования, что и блок 208 квантования. Деквантованные коэффициенты 211 также могут упоминаться как деквантованные остаточные коэффициенты 211 и соответствовать - хотя обычно они не идентичны коэффициентам преобразования из-за потери при квантовании - коэффициентам 207 преобразования.

Обратное преобразование

Блок 212 обработки обратного преобразования выполнен с возможностью применения обратного преобразования относительно преобразования, применяемого блоком 206 обработки преобразования, например обратного дискретного косинусного преобразования (DCT) или обратного дискретного синусного преобразования (DST) или других обратных преобразований для получения восстановленного остаточного блока 213 (или соответствующих деквантованных коэффициентов 213) в области выборок. Восстановленный остаточный блок 213 также может именоваться блоком 213 преобразования.

Восстановление

Блок 214 восстановления (например, блок сложения или сумматор 214) выполнен с возможностью сложения блока 213 преобразования (т. е. восстановленного остаточного блока 213) с блоком 265 предсказания, чтобы получить восстановленный блок 215 в области выборок, например посредством сложения - выборка за выборкой - значений выборок восстановленного остаточного блока 213 и значений выборок блока 265 предсказания.

Фильтрация

Блок 220 контурного фильтра (или сокращенно «контурный фильтр» 220) выполнен с возможностью фильтрации восстановленного блока 215, чтобы получить отфильтрованный блок 221, или, в общем, для фильтрации восстановленных выборок для получения отфильтрованных выборок. Блок контурного фильтра, например, выполнен с возможностью сглаживания переходов пикселей или иного улучшения качества видео. Блок 220 контурного фильтра может содержать один или более контурных фильтров, таких как деблокирующий фильтр, фильтр с адаптивным к выборке смещением (SAO), или один или более других фильтров, таких как двусторонний фильтр, адаптивный контурный фильтр (ALF), фильтры сглаживания, повышения резкости или коллаборативные фильтры, или любая их комбинация. Хотя блок 220 контурного фильтра показан на ФИГ. 2 как внутриконтурный (in loop) фильтр, в других конфигурациях блок 220 контурного фильтра может быть реализован как пост-контурный фильтр. Отфильтрованный блок 221 также может именоваться отфильтрованным восстановленным блоком 221.

Варианты осуществления видеокодера 20 (соответственно блока 220 контурного фильтра) могут быть выполнены с возможностью вывода параметров контурного фильтра (таких как информация адаптивного к выборке смещения), например непосредственно или кодированных через блок 270 энтропийного кодирования, так что, например, декодер 30 может принимать и применять аналогичные параметры контурного фильтра или соответствующие контурные фильтры для декодирования.

Буфер декодированных изображений

Буфер 230 декодированных изображений (DPB) может быть памятью, в которой хранятся опорные изображения или, в общем, данные опорных изображений, для кодирования видеоданных посредством видеокодера 20. DPB 230 может быть сформирован любым из множества запоминающих устройств, таких как динамическая память с произвольным доступом (DRAM), в том числе синхронная DRAM (SDRAM), магниторезистивная RAM (MRAM), резистивная RAM (RRAM) или запоминающие устройства других типов. Буфер 230 (DPB) декодированных изображений может быть выполнен с возможностью сохранения одного или более фильтрованных блоков 221. Буфер 230 декодированных изображений может быть дополнительно выполнен с возможностью сохранения других ранее отфильтрованных блоков, например ранее восстановленных и отфильтрованных блоков 221, того же самого текущего изображения или разных изображений, например ранее восстановленных изображений, и может предоставлять полные ранее восстановленные, т.е. декодированные, изображения (и соответствующие опорные блоки и выборки) и/или частично восстановленное текущее изображение (и соответствующие опорные блоки и выборки), например, для интер-предсказания. Буфер 230 декодированных изображений (DPB) также может быть выполнен с возможностью сохранения одного или более нефильтрованных восстановленных блоков 215 или, в общем, нефильтрованных восстановленных выборок, например если восстановленный блок 215 не фильтруется блоком 220 контурного фильтра, или любой другой дополнительно обработанной версии восстановленных блоков или выборок.

Выбор режима (разделение и предсказание)

Блок 260 выбора режима содержит блок 262 разделения, блок 244 интер-предсказания и блок 254 интра-предсказания и выполнен с возможностью приема или получения исходных данных изображения, например исходного блока 203 (текущего блока 203 текущего изображения 17), и восстановленных данных изображения, например отфильтрованных и/или нефильтрованных восстановленных выборок или блоков того же самого (текущего) изображения и/или из одного или множества ранее декодированных изображений, например из буфера 230 декодированных изображений или других буферов (например, линейного (строкового) буфера, не показан). Данные восстановленного изображения используются в качестве данных опорного изображения для предсказания, например интер-предсказания или интра-предсказания, чтобы получить блок 265 предсказания или предиктор 265.

Блок 260 выбора режима может быть выполнен с возможностью определения или выбора разделения для текущего режима предсказания блока (в том числе без разделения) и режима предсказания (например, режима интра- или интер-предсказания) и генерирования соответствующего блока 265 предсказания, который используется для вычисления остаточного блока 205 и для восстановления восстановленного блока 215.

Варианты осуществления блока 260 выбора режима могут быть выполнены с возможностью выбора разделения и режима предсказания (например, из тех, которые поддерживаются блоком 260 выбора режима или доступны для него), которые обеспечивают наилучшее совпадение или, другими словами, минимальный остаток (минимальный остаток означает лучшее сжатие для передачи или хранения), или минимальные непроизводительные затраты на сигнализацию (минимальные непроизводительные затраты на сигнализацию означают лучшее сжатие для передачи или хранения), или который учитывает или балансирует оба фактора. Блок 260 выбора режима может быть выполнен с возможностью определения режима разделения и предсказания на основе оптимизации скорость/искажение (RDO), то есть выбора режима предсказания, который обеспечивает минимальное искажение при определенной скорости. Такие термины, как «лучший», «минимальный», «оптимальный» и т. д. в этом контексте не обязательно относятся к абсолютному «лучшему», «минимуму», «оптимальному» и т. д., но также могут относиться к выполнению критерия выбора или прекращения, например когда значение превышает или падает ниже порогового значения, или других ограничений, потенциально ведущих к «субоптимальному выбору», но уменьшающих сложность и время обработки.

Другими словами, блок 262 разделения может быть выполнен с возможностью разделения блока 203 на более мелкие разделы блока или субблоки (которые снова образуют блоки), например итеративно с использованием разделения квадродерева (QT), двоичного разделения (BT), или разделения троичного дерева (TT) или любой их комбинации, и выполнения, например, предсказания для каждого из разделов блока или субблоков, при этом выбор режима содержит выбор древовидной структуры разделяемого блока 203, а режимы предсказания применяются к каждому из разделов блока или субблоков.

Далее более подробно поясняется разделение (например, посредством блока 260 разделения) и обработка предсказания (посредством блока 244 интер-предсказания и блока 254 интра-предсказания), выполняемая примерным видеокодером 20.

Разделение

Блок 262 разделения может разделять (или разбивать) текущий блок 203 на более мелкие разделы, например блоки меньшего размера квадратного или прямоугольного размера. Эти меньшие блоки (которые также могут именоваться субблоками) могут быть дополнительно разделены на еще меньшие разделы. Это также называется разделением дерева или иерархическим разделением дерева, в котором корневой блок, например на корневом уровне 0 дерева (уровне 0 иерархии, глубине 0), может быть рекурсивно разделен, например разделен на два или более блоков следующего более низкого уровня дерева, например узлов на уровне 1 дерева (уровне 1 иерархии, глубине 1), при этом эти блоки могут быть снова разделены на два или более блоков следующего более низкого уровня, например уровня 2 дерева (уровня 2 иерархии, глубины 2), и т. д. пока разделение не будет завершено, например из-за выполнения критерия прекращения, например достижения максимальной глубины дерева или минимального размера блока. Блоки, которые далее не разделяются, также называются листовыми блоками или листовыми узлами дерева. Дерево, использующее разделение на два раздела, называется двоичным деревом (BT), дерево, использующее разделение на три раздела, называется троичным деревом (TT), а дерево, использующее разделение на четыре раздела, называется квадродеревом (QT).

Как упоминалось ранее, используемый здесь термин «блок» может быть частью, в частности квадратной или прямоугольной частью изображения. Что касается, например, HEVC и VVC, блок может быть или соответствовать единице дерева кодирования/декодирования (CTU), единице кодирования/декодирования (CU), единице предсказания (PU) и единице преобразования (TU) и/или соответствующим блокам, например блоку дерева кодирования/декодирования (CTB), блоку кодирования/декодирования (CB), блоку преобразования (TB) или блоку предсказания (PB).

Например, единица дерева кодирования/декодирования (CTU) может быть или содержать CTB выборок яркости, два соответствующих CTB выборок цветности изображения, которое имеет три массива выборок, или CTB выборок монохромного изображения или изображения, которое кодируется/декодируется с использованием трех отдельных цветовых плоскостей и синтаксических структур, используемых для кодирования/декодирования выборок. Соответственно, блок дерева кодирования/декодирования (CTB) может быть N×N блоком выборок для некоторого значения N, так что деление компоненты на CTB является разделением. Единица кодирования/декодирования (CU) может быть или содержать блок кодирования/декодирования выборок яркости, два соответствующих блока кодирования/декодирования выборок цветности изображения, которое имеет три массива выборок, или блок кодирования/декодирования выборок монохромного изображения или изображения, которое кодируется/декодируется с использованием трех отдельных цветовых плоскостей и синтаксических структур, используемых для кодирования/декодирования выборок. Соответственно, блок кодирования/декодирования (CB) может быть M×N блоком выборок для некоторых значений M и N, так что деление CTB на блоки кодирования/декодирования является разделением.

В вариантах осуществления, например, согласно HEVC, единица дерева кодирования/декодирования (CTU) может быть разбита на CU с использованием структуры квадродерева, обозначенной в качества дерева кодирования/декодирования. Решение о том, следует ли кодировать/декодировать область изображения с использованием предсказания интер-изображения (временного) или интра-изображения (пространственного), принимается на уровне CU. Каждая CU может быть дополнительно разбита на одну, две или четыре PU в соответствии с типом разбиения на PU. Внутри одной PU применяется один и тот же процесс предсказания, а релевантная информация передается в декодер на основе PU. После получения остаточного блока путем применения процесса предсказания на основе типа разбиения на PU, CU может быть разделена на единицы (TU) преобразования в соответствии с другой структурой квадродерева, аналогичной дереву кодирования/декодирования для CU.

В вариантах осуществления, например в соответствии с разрабатываемым в настоящее время наиболее новым стандартом кодирования/декодирования, который называется универсальное кодирование/декодирование (VVC), для разделения блока кодирования/декодирования используется, например, разделение на основе комбинированного квадродерева и двоичного дерева (QTBT). В блочной структуре QTBT CU может иметь либо квадратную, либо прямоугольную форму. Например, единица дерева кодирования/декодирования (CTU) сначала разделяется на структуру квадродерева. Листовые узлы квадродерева дополнительно разделяются двоичным деревом или троичной (или тройной) древовидной структурой. Листовые узлы дерева разделения называются единицами кодирования/декодирования (CU), и эта сегментация используется для обработки предсказания и преобразования без какого-либо дальнейшего разделения. Это означает, что CU, PU и TU имеют одинаковый размер блока в структуре блока кодирования/декодирования QTBT. Параллельно, вместе с блочной структурой QTBT можно использовать множественный раздел, например раздел троичного дерева.

В одном примере блок 260 выбора режима видеокодера 20 может быть выполнен с возможностью выполнения любой комбинации методик разделения, описанных в данном документе.

Как описано выше, видеокодер 20 выполнен с возможностью определения или выбора наилучшего или оптимального режима предсказания из набора (например, предопределенных) режимов предсказания. Набор режимов предсказания может содержать, например, режимы интра-предсказания и/или режимы интер-предсказания.

Интра-предсказание

Набор режимов интра-предсказания может содержать 35 различных режимов интра-предсказания, например ненаправленные режимы, такие как режим DC (или среднего) и планарный режим, или направленные режимы, например, как определены в HEVC, или может содержать 67 различных режимов интра-предсказания, например, ненаправленные режимы, такие как режим DC (или среднего) и планарный режим, или направленные режимы, например, как определены для VVC.

Блок 254 интра-предсказания выполнен с возможностью использования восстановленных выборок соседних блоков одного и того же текущего изображения для генерирования блока 265 интра-предсказания согласно режиму интра-предсказания из набора режимов интра-предсказания.

Блок 254 интра-предсказания (или, в общем, блок 260 выбора режима) дополнительно выполнен с возможностью вывода параметров интра-предсказания (или, в общем, информации, указывающей выбранный режим интра-предсказания для блока) в блок 270 энтропийного кодирования в форме синтаксических элементов 266 для включения в кодированные данные 21 изображения так, чтобы, например, видеодекодер 30 мог принимать и использовать эти параметры предсказания для декодирования.

Интер-предсказание

Набор (возможных) режимов интер-предсказания зависит от доступных опорных изображений (то есть предыдущих, по меньшей мере частично декодированных изображений, например сохраненных в DBP 230) и других параметров интер-предсказания, например используется ли опорное изображение целиком или только часть, например область окна поиска вокруг области текущего блока, опорного изображения для поиска наиболее подходящего опорного блока и/или, например, применяется ли интерполяция пикселей, например полупиксельная (half/semi-pel) и/или четвертьпиксельная (quarter-pel) интерполяция, или нет.

В дополнение к вышеупомянутым режимам предсказания могут применяться режим пропуска и/или прямой режим.

Блок 244 интер-предсказания может включать в себя блок оценки движения (ME) и блок компенсации движения (MC) (оба на Фиг. 2 не показаны). Блок оценки движения может быть выполнен с возможностью приема или получения блока 203 изображения (текущего блока 203 изображения текущего изображения 17) и декодированного изображения 231, или по меньшей мере одного или множества ранее восстановленных блоков, например восстановленных блоков одного или множества других/отличных ранее декодированных изображений 231, для оценки движения. Например, видеопоследовательность может содержать текущее изображение и ранее декодированные изображения 231 или, другими словами, текущее изображение и ранее декодированные изображения 231 могут быть частью или формировать последовательность изображений, образующих видеопоследовательность.

Кодер 20 может, например, быть выполнен с возможностью выбора опорного блока из множества опорных блоков одинаковых или разных изображений из множества других изображений и обеспечения опорного изображения (или индекса опорного изображения) и/или смещения (пространственного смещения) между позицией (x, y координатами) опорного блока и позицией текущего блока в качестве параметров интер-предсказания в блок оценки движения. Это смещение также называется вектором движения (MV).

Блок компенсации движения выполнен с возможностью получения, например, приема параметра интер-предсказания и выполнения интер-предсказания на основе или с использованием параметра интер-предсказания для получения блока 265 интер-предсказания. Компенсация движения, выполняемая блоком компенсации движения, может включать в себя получение или генерирование блока предсказания на основе вектора движения/блока, определенного посредством оценки движения, возможно с выполнением интерполяций с точностью до субпикселя. Интерполяционная фильтрация может генерировать дополнительные пиксельные выборки из известных пиксельных выборок, таким образом потенциально увеличивая число блоков предсказания-кандидатов, которые могут использоваться для кодирования блока изображения. После приема вектора движения для PU текущего блока изображения блок компенсации движения может определить местоположение блока предсказания, на который указывает вектор движения, в одном из списков опорных изображений.

Блок компенсации движения может также генерировать синтаксические элементы, связанные с блоками и слайсами видео, для использования видеодекодером 30 при декодировании блоков изображения слайса видео. В дополнение или в качестве альтернативы слайсам и соответствующим синтаксическим элементам могут генерироваться или использоваться группы тайлов и/или тайлы и соответствующие синтаксические элементы.

Энтропийное кодирование

Блок 270 энтропийного кодирования выполнен с возможностью применения, например, алгоритма или схемы энтропийного кодирования (например, схемы кодирования с переменной длиной (VLC), схемы контекстно-адаптивного VLC (CAVLC), схемы арифметического кодирования, бинаризации, контекстно-адаптивного двоичного арифметического кодирования (CABAC), основанного на синтаксисе контекстно-адаптивного двоичного арифметического кодирования (SBAC), энтропийного кодирования с разделением интервала вероятности (PIPE) или другого метода или методологии энтропийного кодирования) или обхода (без сжатия) в отношении квантованных коэффициентов 209, параметров интер-предсказания, параметров интра-предсказания, параметров контурного фильтра и/или других синтаксических элементов для получения кодированных данных 21 изображения, которые могут выводиться через вывод 272, например в форме кодированного битового потока 21, так что, например, видеодекодер 30 может принимать и использовать эти параметры для декодирования, . Кодированный битовый поток 21 может быть передан на видеодекодер 30 или сохранен в памяти для последующей передачи или извлечения видеодекодером 30.

Другие изменения в структуре видеокодера 20 могут использоваться для кодирования видеопотока. Например, кодер 20, не основанный на преобразовании, может квантовать остаточный сигнал напрямую без блока 206 обработки преобразования для определенных блоков или кадров. В другой реализации кодер 20 может иметь блок 208 квантования и блок 210 обратного квантования, объединенные в единый блок.

Декодер и способ декодирования

ФИГ. 3 показывает пример видеодекодера 30, который выполнен с возможностью реализации методик настоящей заявки. Видеодекодер 30 выполнен с возможностью приема кодированных данных 21 изображения (например, кодированного битового потока 21), например кодированных кодером 20, чтобы получить декодированное изображение 331. Кодированные данные изображения или битовый поток содержит информацию для декодирования кодированных данных изображения, например данных, которые представляют блоки изображения кодированного слайса видео (и/или тайлов или групп тайлов) и связанные синтаксические элементы.

В примере на Фиг. 3, декодер 30 содержит блок 304 энтропийного декодирования, блок 310 обратного квантования, блок 312 обработки обратного преобразования, блок 314 восстановления (например, сумматор 314), контурный фильтр 320, буфер 330 (DPB) декодированных изображений, блок 360 применения режима, блок 344 интер-предсказания и блок 354 интра-предсказания. Блок 344 интер-предсказания может быть или включать в себя блок компенсации движения. Видеодекодер 30 может, в некоторых примерах, выполнять проход декодирования, в целом обратный проходу кодирования, описанному в отношении видеокодера 100 на ФИГ. 2.

Как описано в отношении кодера 20, блок 210 обратного квантования, блок 212 обработки обратного преобразования, блок 214 восстановления, контурный фильтр 220, буфер 230 (DPB) декодированных изображений, блок 344 интер-предсказания и блок 354 интра-предсказания также относятся к формированию «встроенного декодера» видеокодера 20. Соответственно, блок 310 обратного квантования может быть идентичен по функции блоку 110 обратного квантования, блок 312 обработки обратного преобразования может быть идентичен по функции блоку 212 обработки обратного преобразования, блок 314 восстановления может быть идентичен по функции блоку 214 восстановления, контурный фильтр 320 может быть идентичен по функции контурному фильтру 220, а буфер 330 декодированных изображений может быть идентичен по функции буферу 230 декодированных изображений. Следовательно, пояснения, предоставленные для соответствующих блоков и функций видеокодера 20, применимы соответственно и к соответствующим блокам и функциям видеодекодера 30.

Энтропийное декодирование

Блок 304 энтропийного декодирования выполнен с возможностью синтаксического анализа битового потока 21 (или, в общем, кодированных данных 21 изображения) и выполнения, например, энтропийного декодирования кодированных данных 21 изображения, чтобы получить, например, квантованные коэффициенты 309 и/или декодированные параметры кодирования (не показаны на Фиг. 3), например, любые или все из параметров интер-предсказания (например, индекс опорного изображения и вектор движения), параметра интра-предсказания (например, индекс или режим интра-предсказания), параметров преобразования, параметров квантования, параметров контурного фильтра и/или других синтаксических элементов. Блок 304 энтропийного декодирования может быть выполнен с возможностью применения алгоритмов или схем декодирования, соответствующих схемам кодирования, как описано в отношении блока 270 энтропийного кодирования кодера 20. Блок 304 энтропийного декодирования может быть дополнительно выполнен с возможностью предоставления параметров интер-предсказания, параметра интра-предсказания и/или других синтаксических элементов блоку 360 применения режима и других параметров другим блокам декодера 30. Видеодекодер 30 может принимать синтаксические элементы на уровне слайса видео и/или уровне блока видео. В дополнение или в качестве альтернативы слайсам и соответствующим синтаксическим элементам могут генерироваться или использоваться группы тайлов и/или тайлы и соответствующие синтаксические элементы.

Обратное квантование

Блок 310 обратного квантования может быть выполнен с возможностью приема параметров квантования (QP) (или, в общем, информации, относящейся к обратному квантованию) и квантованных коэффициентов из кодированных данных 21 изображения (например, посредством синтаксического анализа и/или декодирования, например, посредством блока 304 энтропийного декодирования) и применения, на основе параметров квантования, обратного квантования в отношении декодированных квантованных коэффициентов 309 для получения деквантованных коэффициентов 311, которые также могут называться коэффициентами 311 преобразования. Процесс обратного квантования может включать в себя использование параметра квантования, определенного видеокодером 20 для каждого видеоблока в видеослайсе (или тайле или группе тайлов), для определения степени квантования и, аналогично, степени обратного квантования, которая должна быть применена.

Обратное преобразование

Блок 312 обработки обратного преобразования может быть выполнен с возможностью приема деквантованных коэффициентов 311, также именуемых коэффициентами 311 преобразования, и применения преобразования к деквантованным коэффициентам 311 для того, чтобы получить восстановленные остаточные блоки 213 в области выборок. Восстановленные остаточные блоки 213 также могут именоваться блоками 313 преобразования. Преобразование может быть обратным преобразованием, например, обратным DCT, обратным DST, обратным целочисленным преобразованием или концептуально аналогичным процессом обратного преобразования. Блок 312 обработки обратного преобразования может быть дополнительно выполнен с возможностью приема параметров преобразования или соответствующей информации из кодированных данных 21 изображения (например, путем синтаксического анализа и/или декодирования, например, посредством блока 304 энтропийного декодирования), чтобы определять преобразование, которое подлежит применению к деквантованным коэффициентам 311.

Восстановление

Блок 314 восстановления (например, блок сложения или сумматор 314) может быть выполнен с возможностью сложения восстановленного остаточного блока 313 с блоком 365 предсказания, чтобы получить восстановленный блок 315 в области выборок, например посредством сложения значений выборок восстановленного остаточного блока 313 и значений выборок блока 365 предсказания.

Фильтрация

Блок 320 контурного фильтра (либо в контуре кодирования/декодирования, либо после контура кодирования/декодирования) выполнен с возможностью фильтрации восстановленного блока 315 для получения отфильтрованного блока 321, например, для сглаживания переходов пикселей или иного улучшения качества видео. Блок 320 контурного фильтра может содержать один или более контурных фильтров, таких как деблокирующий фильтр, фильтр с адаптивным к выборке смещением (SAO), или один или более других фильтров, таких как двусторонний фильтр, адаптивный контурный фильтр (ALF), фильтры сглаживания, повышения резкости или совместные фильтры, или любая их комбинация. Хотя блок 320 контурного фильтра показан на ФИГ. 3 как внутриконтурный (in loop) фильтр, в других конфигурациях блок 320 контурного фильтра может быть реализован как пост-контурный фильтр.

Буфер декодированных изображений

Декодированные видеоблоки 321 изображения затем сохраняются в буфере 330 декодированных изображений, который сохраняет декодированные изображения 331 в качестве опорных изображений для последующей компенсации движения для других изображений и/или для вывода, соответственно, отображения.

Декодер 30 выполнен с возможностью вывода декодированного изображения 311, например, через вывод 312 для представления или просмотра пользователем.

Предсказание

Блок 344 интер-предсказания может быть идентичен блоку 244 интер-предсказания (в частности, блоку компенсации движения), а блок 354 интра-предсказания может быть идентичен блоку 254 интер-предсказания по функции, и принимает решения по разбиению или разделению и выполняет предсказание на основе параметров разделения и/или предсказания или соответствующей информации, принимаемой из кодированных данных 21 изображения (например, путем синтаксического анализа и/или декодирования, например, посредством блока 304 энтропийного декодирования). Блок 360 применения режима может быть выполнен с возможностью осуществления предсказания (интра- или интер-предсказания) для каждого блока на основе восстановленных изображений, блоков или соответствующих выборок (фильтрованных или нефильтрованных) для получения блока 365 предсказания.

Когда видеослайс кодируется/декодируется как интра-кодируемый/декодируемый (I) слайс, блок 354 интра-предсказания блока 360 применения режима выполнен с возможностью генерирования блока 365 предсказания для блока изображения текущего видеослайса на основе просигнализированного режима интра-предсказания и данных из ранее декодированных блоков текущего изображения. Когда видеоизображение кодируется/декодируется как интер-кодируемый/декодируемый (т.е. B или P) слайс, блок 344 интер-предсказания (например, блок компенсации движения) блока 360 применения режима выполнен с возможностью создания блоков 365 предсказания для видеоблока текущего видеослайса на основе векторов движения и других синтаксических элементов, принимаемых от блока 304 энтропийного декодирования. Для интер-предсказания блоки предсказания могут быть созданы из одного из опорных изображений в пределах одного из списков опорных изображений. Видеодекодер 30 может строить списки опорных кадров, Список 0 и Список 1, используя методы построения по умолчанию на основе опорных изображений, хранящихся в DPB 330. То же самое или подобное может применяться для или посредством вариантов осуществления с использованием групп тайлов (например, групп тайлов) и/или тайлов (например, тайлов видео) в дополнение или альтернативно к слайсам (например, видеослайсам), например, видео может быть кодировано/декодировано с использованием групп I, P или B тайлов и/или тайлов.

Блок 360 применения режима выполнен с возможностью определения информации предсказания для видеоблока текущего видеослайса путем синтаксического анализа векторов движения или связанной информации и других синтаксических элементов, и использует информацию предсказания для создания блоков предсказания для текущего декодируемого видеоблока. Например, блок 360 применения режима использует некоторые из принятых синтаксических элементов для определения режима предсказания (например, интра- или интер-предсказание), используемого для кодирования/декодирования видеоблоков видеослайса, типа слайса интер-предсказания (например, B-слайс, P-слайс или GPB-слайс), информации построения для одного или более списков опорных изображений для слайса, векторов движения для каждого интер-кодированного видеоблока слайса, статуса интер-предсказания для каждого интер-кодируемого/декодируемого видеоблока слайса, а также другой информации для декодирования видеоблоков в текущем видеослайсе. То же самое или подобное может применяться для или посредством вариантов осуществления с использованием групп тайлов (например, групп тайлов видео) и/или тайлов (например, тайлов видео) в дополнение или альтернативно к слайсам (например, видеослайсам), например, видео может быть кодировано/декодировано с использованием групп I, P или B тайлов и/или тайлов.

Варианты осуществления видеодекодера 30, как показано на Фиг. 3, могут быть выполнены с возможностью разделения и/или декодирования изображения с использованием слайсов (также именуемых видеослайсами), при этом изображение может быть разделено на или декодировано с использованием одного или более слайсов (обычно не перекрывающихся), и каждый слайс может содержать один или более блоков (например, CTU).

Варианты осуществления видеодекодера 30, показанные на Фиг. 3, могут быть выполнены с возможностью разделения и/или декодирования изображения с использованием групп тайлов (также называемых группами тайлов видео) и/или тайлов (также называемых тайлами видео), при этом изображение может быть разделено на или декодировано с использованием одной или более групп тайлов (обычно не перекрывающихся), и каждая группа тайлов может содержать, например один или более блоков (например, CTU) или один или более тайлов, при этом каждый тайл, в качестве примера, может иметь прямоугольную форму и может содержать один или более блоков (например, CTU), таких как полные или частичные блоки.

Другие варианты видеодекодера 30 могут использоваться для декодирования кодированных данных 21 изображения. Например, декодер 30 может создавать выходной видеопоток без блока 320 контурной фильтрации. Например, декодер 30, не основанный на преобразовании, может выполнять обратное квантование остаточного сигнала напрямую без блока 312 обработки обратного преобразования для определенных блоков или кадров. В другой реализации видеодекодер 30 может иметь блок 310 обратного квантования и блок 312 обработки обратного преобразования, объединенные в один блок.

Следует понимать, что в кодере 20 и декодере 30 результат обработки некоторого текущего этапа может быть обработан дополнительно, а затем выведен на следующий этап. Например, после интерполяционной фильтрации, получения вектора движения или контурной фильтрации, дополнительная операция, такая как Clip (усечение) или смещение, может выполняться над результатом обработки интерполяционной фильтрации, получения вектора движения или контурной фильтрации.

Следует отметить, что дополнительные операции могут применяться к получаемым векторам движения текущего блока (в том числе, но без ограничения, к векторам движения контрольной точки аффинного режима, векторам движения субблока в аффинном, планарном, ATMVP режимах, временным векторам движения и тому подобному). Например, значение вектора движения ограничивается предопределенным диапазоном в соответствии с его представляющим битом. Если представляющим битом вектора движения является bitDepth (битовая глубина), тогда диапазон составляет -2^(bitDepth-1) ~ 2^(bitDepth-1)-1, где «^» означает возведение в степень. Например, если bitDepth установлена равной 16, диапазон составляет -32768 ~ 32767; если bitDepth установлена равной 18, диапазон составляет -131072~131071. Например, значение получаемого вектора движения (например, MV четырех субблоков 4×4 в одном блоке 8×8) ограничивается таким образом, чтобы максимальная разность между целыми частями MV четырех субблоков 4×4 не превышала N пикселей, например была не более 1 пикселя. Здесь представлены два способа ограничения вектора движения в соответствии с bitDepth.

Способ 1: удаление MSB (наиболее значимого бита) переполнения посредством потоковых операций

ux= ( mvx+2bitDepth ) % 2bitDepth (1)

mvx=( ux >= 2bitDepth-1 ) ? (ux − 2bitDepth ) : ux (2)

uy= ( mvy+2bitDepth ) % 2bitDepth (3)

mvy=( uy >= 2bitDepth-1 ) ? (uy − 2bitDepth ) : uy (4)

где mvx представляет собой горизонтальную компоненту вектора движения блока изображения или субблока, mvy представляет собой вертикальную компоненту вектора движения блока изображения или субблока, а ux и uy указывает промежуточное значение;

Например, если значение mvx равно -32769, после применения формул (1) и (2) результирующее значение равняется 32767. В компьютерной системе десятичные числа хранятся как дополнение до двух. Дополнением до двух для -32769 является 1,0111,1111,1111,1111 (17 битов), затем MSB отбрасывается, поэтому результирующим дополнением до двух является 0111,1111,1111,1111 (десятичное число составляет 32767), что совпадает с выходными данными от применения формул (1) и (2).

ux= ( mvpx+mvdx +2bitDepth ) % 2bitDepth (5)

mvx=( ux >= 2bitDepth-1 ) ? (ux − 2bitDepth ) : ux (6)

uy= ( mvpy+mvdy +2bitDepth ) % 2bitDepth (7)

mvy=( uy >= 2bitDepth-1 ) ? (uy − 2bitDepth ) : uy (8)

Операции могут применяться во время суммирования mvp и mvd, как показано в формулах с (5) по (8).

Способ 2: удаление MSB переполнения посредством усечения значения

vx=Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)

vy=Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)

где vx представляет собой горизонтальную компоненту вектора движения блока изображения или субблока, vy представляет собой вертикальную компоненту вектора движения блока изображения или субблока; x, y и z соответственно соответствуют трем входным значениям процесса усечения MV, а определение функции Clip3 является следующим:

Clip3( x, y, z )=

ФИГ. 4 является схематичным представлением устройства 400 кодирования/декодирования видео согласно варианту осуществления настоящего раскрытия. Устройство 400 кодирования/декодирования видео подходит для реализации раскрытых вариантов осуществления, которые описаны в данном документе. В варианте осуществления устройство 400 кодирования/декодирования видео может быть декодером, таким как видеодекодер 30 по ФИГ. 1A, или кодером, таким как видеокодер 20 по ФИГ. 1А.

Устройство 400 кодирования/декодирования видео содержит входные порты 410 (или порты 410 ввода) и блоки 420 (Rx) приемника для приема данных; процессор, логический блок или центральный процессор (CPU) 430 для обработки данных; блоки 440 (Tx) передатчика и выходные порты 450 (или порты 450 вывода) для передачи данных; и память 460 для хранения данных. Устройство 400 кодирования/декодирования видео также может содержать компоненты преобразования оптических сигналов в электрические (OE) и компоненты преобразования электрических сигналов в оптические (EO), подключенные к входным портам 410, блокам 420 приемника, блокам 440 передатчика и выходным портам 450 для обеспечения входа или выхода оптических или электрических сигналов.

Процессор 430 реализуется аппаратным обеспечением и программным обеспечением. Процессор 430 может быть реализован в виде одного или более CPU-чипов, ядер (например, в виде многоядерного процессора), FPGA, ASIC и DSP. Процессор 430 поддерживает связь с входными портами 410, блоками 420 приемника, блоками 440 передатчика, выходными портами 450 и памятью 460. Процессор 430 содержит блок 470 кодирования/декодирования. Блок 470 кодирования/декодирования реализует раскрытые варианты осуществления, описанные выше. Например, блок 470 кодирования/декодирования реализует, обрабатывает, подготавливает или обеспечивает различные операции кодирования/декодирования. Следовательно, включение блока 470 кодирования/декодирования обеспечивает существенное улучшение функциональных возможностей устройства 400 кодирования/декодирования и обеспечивает трансформацию устройства 400 кодирования/декодирования в другое состояние. В качестве альтернативы блок 470 кодирования/декодирования реализуется как инструкции, хранящиеся в памяти 460 и исполняемые процессором 430.

Память 460 может содержать один или более дисков, ленточных накопителей и твердотельных накопителей и может использоваться в качестве устройства хранения данных переполнения для хранения программ, когда такие программы выбраны для исполнения, и для хранения инструкций и данных, которые считываются во время исполнения программ. Память 460 может быть, например, энергозависимой и/или энергонезависимой и может быть постоянной памятью (ROM), оперативной памятью (RAM), троичной ассоциативной памятью (TCAM) и/или статической оперативной памятью (SRAM).

ФИГ. 5 является упрощенной блок-схемой аппаратной системы 500, которая может использоваться как одно или оба из устройства-источника 12 и устройства-получателя 14 на Фиг. 1, согласно примерному варианту осуществления.

Процессор 502 в аппаратной системе 500 может быть центральным процессором. В качестве альтернативы, процессор 502 может быть устройством любого другого типа или множеством устройств, способных манипулировать или обрабатывать информацию, которая существует в настоящее время или будет разработана в будущем. Хотя раскрытые реализации могут быть осуществлены на практике с одним процессором, как показано, например, с процессором 502, преимущества в скорости и эффективности могут быть достигнуты с использованием более одного процессора.

Память 504 в аппаратной системе 500 может быть постоянной памятью (ROM) или устройством оперативной памяти (RAM) в реализации. В качестве памяти 504 может использоваться запоминающее устройство любого другого подходящего типа устройства. Память 504 может включать в себя код и данные 506, доступ к которым осуществляется процессором 502 с использованием шины 512. Память 504 может дополнительно включать в себя операционную систему 508 и прикладные программы 510, причем прикладные программы 510 включают в себя по меньшей мере одну программу, которая позволяет процессору 502 выполнять описанные в данном документе способы. Например, прикладные программы 510 могут включать в себя приложения с 1 по N, которые дополнительно включают в себя приложение кодирования/декодирования видео, которое выполняет описанные в данном документе способы.

Аппаратная система 500 может также включать в себя одно или более устройств вывода, например дисплей 518. Дисплей 518 может быть, в одном примере, сенсорным дисплеем, который объединяет дисплей с сенсорным элементом, способным воспринимать сенсорные вводы (касанием). Дисплей 518 может быть соединен с процессором 502 через шину 512.

Хотя здесь изображена как одна шина, шина 512 аппаратной системы 500 может состоять из многочисленных шин. Кроме того, вторичное хранилище 514 может быть напрямую связано с другими компонентами аппаратной системы 500 или может быть доступно через сеть и может содержать один встраиваемый блок, такой как карта памяти, или множество блоков, таких как множество карт памяти. Таким образом, аппаратная система 500 может быть реализована в самых разнообразных конфигурациях.

Наборы параметров

Наборы параметров принципиально схожи и преследуют одни и те же основные цели проектирования, а именно эффективность битрейта, устойчивость к ошибкам и обеспечение интерфейсов системных уровней. В HEVC (H.265) существует иерархия наборов параметров, включающая в себя набор параметров видео (VPS), набор параметров последовательности (SPS) и набор параметров изображения (PPS), которые аналогичны своим аналогам в AVC и VVC. Каждый слайс ссылается на один активный PPS, SPS и VPS для доступа к информации, используемой для декодирования слайса. PPS содержит информацию, которая применяется ко всем слайсам в изображении, и, следовательно, все слайсы в изображении должны относиться к одному и тому же PPS. Слайсы в разных изображениях также могут ссылаться на один и тот же PPS. Аналогичным образом, SPS содержит информацию, которая применяется ко всем изображениям в одной и той же кодируемой/декодируемой видеопоследовательности.

Хотя PPS может различаться для отдельных изображений, обычно многие или все изображения в кодируемой/декодируемой видеопоследовательности относятся к одному и тому же PPS. Повторное использование наборов параметров является эффективным с точки зрения битрейта, поскольку позволяет избежать многократной отправки совместно используемой информации. Он также является устойчивым к потерям, поскольку позволяет переносить содержимое набора параметров по более надежному внешнему каналу связи или часто повторять его в битовом потоке, чтобы гарантировать, что он не будет потерян.

Набор параметров последовательности (SPS)

SPS содержит параметры, которые применяются к одному или более слоям и не изменяются от изображения к изображению в кодируемой/декодируемой видеопоследовательности. В частности, SPS включает в себя информацию, сигнализация которой относится к субизображению.

В некоторых частях нижеследующей таблицы показан моментальный снимок части сигнализации субизображения в SPS в ITU JVET-Q2001-v11 со следующей ссылкой для загрузки: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v11.zip.

Таблица 1: синтаксические элементы в наборе параметров последовательности

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Чтобы объяснить понятие субизображения, необходимо сначала объяснить понятия CTU, тайлов и слайсов.

В HEVC или VVC изображение делится на сетку единиц дерева кодирования/декодирования (CTU). CTU содержит блок дерева кодирования/декодирования яркости (CTB) и два соответствующих CTB цветности.

Изображение может быть разделено на одну или несколько строк тайлов и одну или несколько столбцов тайлов. Тайл является последовательностью CTU, которая охватывает прямоугольную область изображения. CTU в тайле сканируются в порядке растрового сканирования внутри этого тайла. В порядке растрового сканирования сканирование осуществляется слева направо, а затем сверху вниз. В примере, показанном на фигуре 6, CTU сканируются в порядке растрового сканирования в пределах изображения.

Слайс содержит целое число полных тайлов или целое число последовательных строк CTU внутри тайла изображения. Следовательно, каждая вертикальная граница слайса также является вертикальной границей тайла. Возможно, что горизонтальная граница слайса не является границей тайла, а содержит горизонтальные границы CTU внутри тайла; этот случай возникает, когда тайл разбивается на несколько прямоугольных слайсов, каждый слайс содержит целое число последовательных полных строк CTU в тайле.

В некоторых примерах существует два режима слайсов: режим слайсов растрового сканирования и режим прямоугольных слайсов. В режиме слайсов растрового сканирования слайс содержит последовательность тайлов в растровом сканировании тайлов изображения. В режиме прямоугольных слайсов слайс содержит некоторое число тайлов, которые в совокупности формируют прямоугольную область изображения, или слайс содержит некоторое число последовательных строк CTU одного тайла, которые вместе образуют прямоугольную область изображения. Тайлы внутри прямоугольного слайса сканируются в порядке растрового сканирования тайлов в пределах прямоугольной области, соответствующей этому слайсу.

Субизображение содержит один или более слайсов, которые вместе покрывают прямоугольную область изображения. Следовательно, каждая граница субизображения всегда является границей слайса, а каждая вертикальная граница субизображения всегда является вертикальной границей тайла.

Фигура 7 иллюстрирует пример тайлов, слайсов и субизображений. На Фиг. 7 приведен пример изображения, содержащего 4 тайла (2 столбца тайлов и 2 строки тайлов), 4 прямоугольных слайса и 3 субизображения. Субизображение 1 содержит два слайса.

Некоторые синтаксические элементы в SPS сигнализируют информацию о положении и флаги управления каждого субизображения. Информация о положении для i-го субизображения включает в себя:

- subpic_ctu_top_left_x[ i ]; или

- subpic_ctu_top_left_y[ i ]; или

- subpic_width_minus1[ i ]; или

- subpic_height_minus1[ i ].

Флаги управления включают в себя:

- subpic_treated_as_pic_flag[ i ]; или

- loop_filter_across_subpic_enabled_flag[ i ].

Когда флаг subpic_info_present_flag равняется 1, дополнительно определяется, должны ли эти положения и флаги управления сигнализироваться в битовом потоке или нет.

Семантика связанных синтаксических элементов объясняется следующим образом:

subpic_info_present_flag, равный 1, специфицирует, что информация субизображения присутствует, и в каждом изображении кодируемой/декодируемой видеопоследовательности может быть одно или более одного субизображения. subpic_info_present_flag, равный 0, специфицирует, что информация субизображения не присутствует для кодируемой/декодируемой видеопоследовательности, и в каждом изображении кодируемой/декодируемой видеопоследовательности имеется только одно субизображение.

sps_num_subpics_minus1 плюс 1 специфицирует число субизображений в каждом изображении в кодируемой/декодируемой видеопоследовательности. Значение sps_num_subpics_minus1 должно находиться в диапазоне от 0 до Ceil(pic_width_max_in_luma_samples ÷ CtbSizeY) * Ceil(pic_height_max_in_luma_samples ÷ CtbSizeY) − 1 включительно. Когда не присутствует, значение sps_num_subpics_minus1 выводится равным 0. В некоторых примерах значение sps_num_subpics_minus1 должно находиться в диапазоне от 0 до X-1, X может быть равно 16, 20, 30, 40, 75, 200 или 600.

sps_independent_subpics_flag, равный 1, специфицирует, что никакое интра-предсказание, никакое интер-предсказание и никакие операции внутриконтурной фильтрации не могут выполняться через любую границу субизображений в кодируемой/декодируемой видеопоследовательности. sps_independent_subpics_flag, равный 0, специфицирует, что могут быть разрешены операции интер-предсказания или внутриконтурной фильтрации через границы субизображений в кодируемой/декодируемой видеопоследовательности. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 0. В примере sps_independent_subpics_flag, равный 1, специфицирует, что все границы субизображений в кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует. sps_independent_subpics_flag, равный 0, не накладывает такого ограничения. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1.

subpic_ctu_top_left_x[i] специфицирует горизонтальное положение верхней левой CTU i-го субизображения в единицах CtbSizeY. Длина этого синтаксического элемента равняется Ceil( Log2( ( pic_width_max_in_luma_samples+CtbSizeY − 1 ) >> CtbLog2SizeY ) ) бит. Когда не присутствует, значение subpic_ctu_top_left_x[ i ] выводится равным 0.

subpic_ctu_top_left_y[i] специфицирует вертикальное положение верхней левой CTU i-го субизображения в единицах CtbSizeY. Длина этого синтаксического элемента равняется Ceil( Log2( ( pic_height_max_in_luma_samples+CtbSizeY − 1 ) >> CtbLog2SizeY ) ) бит. Когда не присутствует, значение subpic_ctu_top_left_y[ i ] выводится равным 0.

subpic_width_minus1[i] плюс 1 специфицирует ширину i-го субизображения в единицах CtbSizeY. Длина этого синтаксического элемента равняется Ceil( Log2( ( pic_width_max_in_luma_samples+CtbSizeY − 1 ) >> CtbLog2SizeY ) ) бит. Когда не присутствует, значение subpic_width_minus1[i] выводится равным ( ( pic_width_max_in_luma_samples+CtbSizeY− 1 ) >> CtbLog2SizeY ) − subpic_ctu_top_left_x[i] − 1.

subpic_height_minus1[ i ] плюс 1 специфицирует высоту i-го субизображения в единицах CtbSizeY. Длина этого синтаксического элемента равняется Ceil( Log2( ( pic_height_max_in_luma_samples+CtbSizeY − 1 ) >> CtbLog2SizeY ) ) бит. Когда не присутствует, значение subpic_width_minus1[i] выводится равным ( ( pic_height_max_in_luma_samples+CtbSizeY− 1 ) >> CtbLog2SizeY ) − subpic_ctu_top_left_y[i] − 1.

subpic_treated_as_pic_flag[ i ], равный 1, специфицирует, что i-е субизображение каждого кодируемого/декодируемого изображения в кодируемой/декодируемой видеопоследовательности обрабатывается как изображение в процессе декодирования, исключающем операции внутриконтурной фильтрации. subpic_treated_as_pic_flag[ i ], равный 0, специфицирует, что i-е субизображение каждого кодируемого/декодируемого изображения в кодируемой/декодируемой видеопоследовательности не обрабатывается как изображение в процессе декодирования, исключающем операции внутриконтурной фильтрации. Когда не присутствует, значение subpic_treated_as_pic_flag[i] выводится равным sps_independent_subpics_flag или равным 1.

loop_filter_across_subpic_enabled_flag[i], равный 1, специфицирует, что операции внутриконтурной фильтрации через границы субизображений разрешены и могут выполняться через границы i-го субизображения в каждом кодируемом/декодируемом изображении в кодируемой/декодируемой видеопоследовательности. loop_filter_across_subpic_enabled_flag[i], равный 0, специфицирует, что операции внутриконтурной фильтрации через границы субизображений запрещены и не выполняются через границы i-го субизображения в каждом кодируемом/декодируемом изображении в кодируемой/декодируемой видеопоследовательности. Когда не присутствует, значение loop_filter_across_subpic_enabled_pic_flag[i] выводится равным 1 − sps_independent_subpics_flag или равным 0.

В одном примере, как показано на Фигуре 7, значение sps_num_subpics_minus1 равно 2, а синтаксические элементы, связанные с положением, имеют следующие значения:

Для субизображения 0

- subpic_ctu_top_left_x[ 0], не сигнализируется, а выводится равным 0;

- subpic_ctu_top_left_y[ 0 ], не сигнализируется, а выводится равным 0;

- subpic_width_minus1[ 0 ], значением является 8;

- subpic_height_minus1[ 0 ] , значением является 11.

Для субизображения 1

- subpic_ctu_top_left_x[ 1], значением является 9;

- subpic_ctu_top_left_y[ 1 ], значением является 0;

- subpic_width_minus1[ 1 ], значением является 8;

- subpic_height_minus1[ 1 ] , значением является 5.

Для субизображения 2

- subpic_ctu_top_left_x[ 2 ], значением является 9;

- subpic_ctu_top_left_y[ 2 ], значением является 6;

- subpic_width_minus1[ 2 ], не сигнализируется, а выводится равным 8;

- subpic_height_minus1[ 2 ], не сигнализируется, а выводится равным 5.

В зависимости от значения sps_independent_subpics_flag, кодированного в битовом потоке, когда значение sps_independent_subpics_flag равняется 1, тогда выводятся subpic_treated_as_pic_flag[ i ] и loop_filter_across_subpic_enabled_flag[ i ], где i находится в диапазоне от 0 до 2 включительно. В противном случае эти значения сигнализируются в битовом потоке на основе установочного параметра каждого субизображения.

Как показано в Таблице 1, два синтаксических элемента pic_width_max_in_luma_samples и pic_height_max_in_luma_samples сигнализируются перед синтаксическими элементами, связанными с положением. согласно семантике pic_width_max_in_luma_samples и pic_height_max_in_luma_samples они могут быть меньше, чем CtbSizeY.

Синтаксический элемент pic_width_max_in_luma_samples ограничен как «не должен быть равен 0 и должен быть целым числом, кратным Max(8, MinCbSizeY )».

Синтаксический элемент pic_height_max_in_luma_samples ограничен как «не должен быть равен 0 и должен быть целым числом, кратным Max(8, MinCbSizeY )».

То есть pic_width_max_in_luma_samples может быть равен всего 8.

С другой стороны, значение CtbSizeY определяется синтаксическим элементом sps_log2_ctu_size_minus5 и получается следующим образом

CtbLog2SizeY=sps_log2_ctu_size_minus5+5

CtbSizeY=1 << CtbLog2SizeY

sps_log2_ctu_size_minus5 плюс 5 специфицирует размер блока дерева кодирования/декодирования яркости каждой CTU. Значение sps_log2_ctu_size_minus5 должно находиться в диапазоне от 0 до 2 включительно. Значение 3 для sps_log2_ctu_size_minus5 зарезервировано для будущего использования ITU-T | ISO/IEC.

Другими словами, CtbSizeY может достигать 1<< 7=128.

Текущий проект сигнализации субизображений в JVET-Q2001- v11 не учитывает крайний случай сигнализации флага subpic_info_present_flag. Когда pic_width_max_in_luma_samples и pic_height_max_in_luma_samples меньше, чем CtbSizeY, subpic_info_present_flag не нужно сигнализировать, поскольку субизображение может быть лишь одно, и все связанные синтаксические элементы могут быть выведены. То есть

- sps_num_subpics_minus1 не сигнализируется, а выводится равным 0;

- sps_independent_subpics_flag не сигнализируется, а выводится равным 1, поскольку субизображение лишь одно, какие-либо операций через границы субизображений отсутствуют;

- subpic_ctu_top_left_x[ 0], не сигнализируется, а выводится равным 0;

- subpic_ctu_top_left_y[ 0 ], не сигнализируется, а выводится равным 0;

- subpic_width_minus1[ 0 ], не сигнализируется, а выводится равным 0;

- subpic_height_minus1[ 0 ], не сигнализируется, а выводится равным 0;

- subpic_treated_as_pic_flag[ 0 ], не сигнализируется, а выводится равным 1, поскольку в изображении субизображение лишь одно, границами субизображения являются границы изображений.

- loop_filter_across_subpic_enabled_flag[ 0 ] не сигнализируется, а выводится равным 0, поскольку субизображение лишь одно, какие-либо операций фильтра через границы субизображений отсутствуют.

Вариант 1 осуществления

Таким образом, в одном варианте осуществления настоящего изобретения сигнализация информации субизображения может быть изменена следующим образом, добавленное условие для subpic_info_present_flag выделено:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) if (!(pic_width_max_in_luma_samples <= CtbSizeY && pic_height_max_in_luma_samples<= CtbSizeY)) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

В этом варианте осуществления, когда и pic_width_max_in_luma_samples, и pic_height_max_in_luma_samples не меньше или равны размеру CTB CtbSizeY, сигнализируется флаг subpic_info_present_flag. Когда и pic_width_max_in_luma_samples, и pic_height_max_in_luma_samples меньше или равны размеру CTB CTbSizeY, subpic_info_present_flag не сигнализируется, и значение subpic_info_present_flag выводится равным 0.

Вариант 2 осуществления

В одном примере сигнализация субизображения может быть изменена следующим образом:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) if (pic_width_max_in_luma_samples > CtbSizeY || pic_height_max_in_luma_samples> CtbSizeY)) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Когда по меньшей мере одно из pic_width_max_in_luma_samples и pic_height_max_in_luma_samples больше размера CTB CtbSizeY, сигнализируется значение синтаксиса subpic_info_present_flag. Когда и pic_width_max_in_luma_samples, и pic_height_max_in_luma_samples меньше или равны размеру CTB CTbSizeY, значение subpic_info_present_flag не сигнализируется, и значение subpic_info_present_flag выводится равным 0.

Для вариантов 1 и 2 осуществления семантика subpic_info_present_flag изменяется следующим образом.

subpic_info_present_flag, равный 1, специфицирует, что информация субизображения присутствует для CLVS, и в каждом изображении упомянутой CLVS может быть одно или более одного субизображения. subpic_info_present_flag, равный 0, специфицирует, что информация субизображения не присутствует для CLVS, и в каждом изображении упомянутой CLVS имеется только одно субизображение. Когда не присутствует, значение subpic_info_present_flag выводится равным 0.

Что касается определения CLVS, пожалуйста, обратитесь к JVET-Q2001-v11.

связанная со слоем кодируемая/декодируемая видеопоследовательность (CLVS): Последовательность PU с одинаковым значением nuh_layer_id, которая состоит, в порядке декодирования, из PU CLVSS, за которой следует ноль или более PU, которые не являются PU CLVSS, в том числе все последующие PU вплоть до, но не включительно, любой последующей PU, которая является PU CLVSS.

PU начала связанной со слоем кодируемой/декодируемой видеопоследовательности (CLVSS): PU, в которой кодируемое/декодируемое изображение является изображением CLVSS.

Изображение начала связанной со слоем кодируемой/декодируемой видеопоследовательности (CLVSS): Кодируемое/декодируемое изображение, которое является изображением IRAP с NoOutputBeforeRecoveryFlag, равным 1, или изображение GDR с NoOutputBeforeRecoveryFlag, равным 1.

Вариант 3 осуществления

В другом варианте осуществления семантика subpic_info_present_flag ограничивается следующим образом.

subpic_info_present_flag, равный 1, специфицирует, что информация субизображения присутствует для CLVS, и в каждом изображении упомянутой CLVS может быть одно или более одного субизображения. subpic_info_present_flag, равный 0, специфицирует, что информация субизображения не присутствует для CLVS, и в каждом изображении упомянутой CLVS имеется только одно субизображение. Требованием соответствия битового потока является то, что когда значение subpic_info_present_flag равно 1, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples не должны быть меньше или равны размеру CTB CtbSizeY.

Вариант 4 осуществления

В другом варианте осуществления семантика subpic_info_present_flag ограничивается следующим образом.

subpic_info_present_flag, равный 1, специфицирует, что информация субизображения присутствует для CLVS, и в каждом изображении упомянутой CLVS может быть одно или более одного субизображения. subpic_info_present_flag, равный 0, специфицирует, что информация субизображения не присутствует для CLVS, и в каждом изображении упомянутой CLVS имеется только одно субизображение. Требованием соответствия битового потока является то, что когда значение subpic_info_present_flag равно 1, для значения pic_width_max_in_luma_samples и значения pic_height_max_in_luma_samples, по меньшей мере одно из них должно быть больше размера CTB CtbSizeY.

Вариант 5 осуществления

В некоторых примерах сигнализация sps_independent_subpics_flag имеет смысл только тогда, когда в каждом изображении в кодируемой/декодируемой видеопоследовательности имеется два или более субизображений. Когда в каждом изображении в кодируемой/декодируемой видеопоследовательности имеется только одно субизображение, значение sps_independent_subpics_flag не должно сигнализироваться в битовом потоке, значение sps_independent_subpics_flag может быть выведено равным 1.

Это также делает проект сигнализации более совместимым с «циклом for» ниже sps_independent_subpics_flag. При наличии только одного субизображения процесс в «цикле for» исполняться не будет, поскольку sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1 не выполняется. В этом случае вне зависимости от того, какое значение sps_independent_subpics_flag сигнализируется, значение subpic_treated_as_pic_flag[ 0 ] и loop_filter_across_subpic_enabled_flag[ 0 ] выводятся равными, соответственно, 1 и 0.

Предложенная сигнализация показана следующим образом, причем добавленное условие для sps_independent_subpics_flag выделено:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>0) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Вариант 6 осуществления

В другом примере сигнализация sps_independent_subpics_flag изменяется следующим образом:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>1) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Здесь условие сигнализации sps_independent_subpics_flag изменяется на наличие по меньшей мере трех (sps_num_subpics_minus1 равно или больше 2) субизображений. Причина в том, что когда в изображении есть два субизображения, не имеет смысла рассматривать одно субизображение в качестве независимого субизображения (с subpic_treated_as_pic_flag, равным 1, и loop_filter_across_subpic_enabled_flag, равным 0), в то время как другое субизображение не рассматривается в качестве независимого субизображения.

Согласно варианту 5 осуществления или варианту 6 осуществления сигнализация sps_independent_subpics_flag изменяется следующим образом

seq_parameter_set_rbsp( ) { Descriptor subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>0) sps_independent_subpics_flag u(1)

Или

seq_parameter_set_rbsp( ) { Descriptor subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>1) sps_independent_subpics_flag u(1)

Для вариантов 5 и 6 осуществления семантика sps_independent_subpics_flag изменяется следующим образом:

sps_independent_subpics_flag, равный 1, специфицирует, что никакое интра-предсказание, никакое интер-предсказание и никакие операции внутриконтурной фильтрации не могут выполняться через любую границу субизображений в CLVS. sps_independent_subpics_flag, равный 0, специфицирует, что могут быть разрешены операции интер-предсказания или внутриконтурной фильтрации через границы субизображений в CLVS. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1. В примере sps_independent_subpics_flag, равный 1, специфицирует, что все границы субизображений в CLVS обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует. sps_independent_subpics_flag, равный 0, не накладывает такого ограничения. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1.

В реализации, показанной на Фиг. 10, раскрыт способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит:

S1001: получение битового потока.

Битовый поток может быть получен согласно беспроводной сети или проводной сети. Битовый поток может передаваться с веб-сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная связь, радиосвязь, микроволновая связь, WIFI, Bluetooth, LTE или 5G.

В варианте осуществления битовый поток представляет собой последовательность битов, например в форме потока единиц уровня сетевой абстракции (NAL) или байтового потока, который формирует представление последовательности единиц доступа (AU), формирующей одну или более кодируемых/декодируемых видеопоследовательностей (CVS).

В некоторых вариантах осуществления для процесса декодирования сторона декодера считывает битовый поток и получает декодированные изображения из битового потока; для процесса кодирования сторона кодера создает битовый поток.

Обычно битовый поток будет содержать синтаксические элементы, которые формируются синтаксической структурой. синтаксический элемент: Элемент данных, представленный в битовом потоке.

синтаксическая структура: Ноль или более синтаксических элементов, присутствующих вместе в битовом потоке в специфицированном порядке.

В конкретном примере форматы битового потока специфицируют взаимосвязь между потоком единиц уровня сетевой абстракции (NAL) и байтовым потоком, каждый из которых называется битовым потоком.

Битовый поток может быть, например, в одном из двух форматов: в формате потока единиц NAL или в формате байтового потока. Формат потока единиц NAL концептуально является более «базовым» типом. Формат потока единиц NAL содержит последовательность синтаксических структур, называемых единицами NAL. Эта последовательность упорядочена в порядке декодирования. Существуют ограничения, налагаемые на порядок декодирования (и содержимое) единиц NAL в потоке единиц NAL.

Формат байтового потока может быть построен из формата потока единиц NAL путем упорядочивания единиц NAL в порядке декодирования и добавления к каждой единице NAL начального кодового префикса и нуля или более байтов с нулевым значением для формирования потока из байтов. Формат потока единиц NAL может быть извлечен из формата байтового потока путем поиска местоположения уникального шаблона начального кодового префикса в пределах этого потока из байтов.

В этом разделе специфицируется взаимосвязь между исходными и декодируемыми изображениями, которая определена через битовый поток.

Источник видео, который представлен битовым потоком, представляет собой последовательность изображений в порядке декодирования.

Каждое из исходных и декодированных изображений состоит из одного или более массивов выборок:

- Только яркость (Y) (монохромное).

- Яркость и две цветности (YCbCr или YCgCo).

- Зеленый, синий и красный (GBR, также известный как RGB).

- Массивы, представляющие другие не специфицированные монохромные или трехстимульные выборки цветов (например, YZX, также известная как XYZ).

Переменные и члены, ассоциированные с этими массивами, упоминаются как яркость (либо L, либо Y) и цветность, причем два массива цветности упоминаются как Cb и Cr; независимо от фактического используемого способа представления цвета. Фактический используемый способ представления цвета может быть указан в синтаксисе, который специфицирован в параметрах VUI, специфицированных в ITU-T H.SEI | ISO/IEC 23002-7.

S1002: получение значения синтаксического элемента sps_num_subpics_minus1 согласно синтаксическому анализу битового потока.

В примере, значение синтаксического элемента sps_num_subpics_minus1 получают согласно набору параметров последовательности, кодируемому/декодируемому в битовом потоке.

В примере, значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

S1003: когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, получение значения синтаксического элемента sps_independent_subpics_flag из битового потока.

В примере, значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодируемому/декодируемому в битовом потоке.

В примере, значение синтаксического элемента sps_independent_subpics_flag получают посредством непосредственного синтаксического анализа значения кодового слова в битовом потоке.

Заданное значение является целочисленным значением, в примере заданным значением является 0 или 1.

В реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

В реализации способ дополнительно содержит:

когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию. Значение по умолчанию является целочисленным значением, в примере значением по умолчанию является 1.

В реализации, показанной на Фиг. 11, раскрыта аппаратная система 1100 декодирования видео, причем аппаратная система 1100 содержит:

модуль 1101 приема, который выполнен с возможностью получения битового потока;

модуль 1102 синтаксического анализа, который выполнен с возможностью получения значения синтаксического элемента sps_num_subpics_minus1 согласно синтаксическому анализу битового потока;

модуль 1102 синтаксического анализа выполнен с возможностью получения значения синтаксического элемента sps_independent_subpics_flag из битового потока, когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения.

Битовый поток может быть получен согласно беспроводной сети или проводной сети. Битовый поток может передаваться с веб-сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная связь, радиосвязь, микроволновая связь, WIFI, Bluetooth, LTE или 5G.

В варианте осуществления битовый поток представляет собой последовательность битов, например в форме потока единиц уровня сетевой абстракции (NAL) или байтового потока, который формирует представление последовательности единиц доступа (AU), формирующей одну или более кодируемых/декодируемых видеопоследовательностей (CVS).

В некоторых вариантах осуществления для процесса декодирования сторона декодера считывает битовый поток и получает декодированные изображения из битового потока; для процесса кодирования сторона кодера создает битовый поток.

Обычно битовый поток будет содержать синтаксические элементы, которые формируются синтаксической структурой. синтаксический элемент: Элемент данных, представленный в битовом потоке.

синтаксическая структура: Ноль или более синтаксических элементов, присутствующих вместе в битовом потоке в специфицированном порядке.

В конкретном примере форматы битового потока специфицируют взаимосвязь между потоком единиц уровня сетевой абстракции (NAL) и байтовым потоком, каждый из которых называется битовым потоком.

Битовый поток может быть, например, в одном из двух форматов: в формате потока единиц NAL или в формате байтового потока. Формат потока единиц NAL концептуально является более «базовым» типом. Формат потока единиц NAL содержит последовательность синтаксических структур, называемых единицами NAL. Эта последовательность упорядочена в порядке декодирования. Существуют ограничения, налагаемые на порядок декодирования (и содержимое) единиц NAL в потоке единиц NAL.

Формат байтового потока может быть построен из формата потока единиц NAL путем упорядочивания единиц NAL в порядке декодирования и добавления к каждой единице NAL начального кодового префикса и нуля или более байтов с нулевым значением для формирования потока из байтов. Формат потока единиц NAL может быть извлечен из формата байтового потока путем поиска местоположения уникального шаблона начального кодового префикса в пределах этого потока из байтов.

В этом разделе специфицируется взаимосвязь между исходными и декодируемыми изображениями, которая определена через битовый поток.

Источник видео, который представлен битовым потоком, представляет собой последовательность изображений в порядке декодирования.

Каждое из исходных и декодированных изображений состоит из одного или более массивов выборок:

- Только яркость (Y) (монохромное).

- Яркость и две цветности (YCbCr или YCgCo).

- Зеленый, синий и красный (GBR, также известный как RGB).

- Массивы, представляющие другие не специфицированные монохромные или трехстимульные выборки цветов (например, YZX, также известная как XYZ).

Переменные и члены, ассоциированные с этими массивами, упоминаются как яркость (либо L, либо Y) и цветность, причем два массива цветности упоминаются как Cb и Cr; независимо от фактического используемого способа представления цвета. Фактический используемый способ представления цвета может быть указан в синтаксисе, который специфицирован в параметрах VUI, специфицированных в ITU-T H.SEI | ISO/IEC 23002-7.

В примере, значение синтаксического элемента sps_num_subpics_minus1 получают согласно набору параметров последовательности, кодируемому/декодируемому в битовом потоке.

В примере, значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности.

В примере, значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодируемому/декодируемому в битовом потоке.

В примере, значение синтаксического элемента sps_independent_subpics_flag получают посредством непосредственного синтаксического анализа значения кодового слова в битовом потоке.

Заданное значение является целочисленным значением, в примере заданным значением является 0 или 1.

В реализации значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, не накладывает такого ограничения.

В реализации модуль 1102 синтаксического анализа дополнительно выполнен с возможностью:

когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию. Значение по умолчанию является целочисленным значением, в примере значением по умолчанию является 1.

Вариант 7 осуществления

В другом варианте осуществления семантика sps_independent_subpics_flag ограничивается следующим образом.

sps_independent_subpics_flag, равный 1, специфицирует, что никакое интра-предсказание, никакое интер-предсказание и никакие операции внутриконтурной фильтрации не могут выполняться через любую границу субизображений в CLVS. sps_independent_subpics_flag, равный 0, специфицирует, что могут быть разрешены операции интер-предсказания или внутриконтурной фильтрации через границы субизображений в CLVS. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1. Требованием соответствия битового потока является то, что когда значение sps_independent_subpics_flag равно 1, значение sps_num_subpics_minus1 должно быть больше 0.

Вариант 8 осуществления

В другом варианте осуществления семантика sps_independent_subpics_flag ограничивается следующим образом.

sps_independent_subpics_flag, равный 1, специфицирует, что никакое интра-предсказание, никакое интер-предсказание и никакие операции внутриконтурной фильтрации не могут выполняться через любую границу субизображений в CLVS. sps_independent_subpics_flag, равный 0, специфицирует, что могут быть разрешены операции интер-предсказания или внутриконтурной фильтрации через границы субизображений в CLVS. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1. Требованием соответствия битового потока является то, что когда значение флага sps_independent_subpics_flag равно 1, значение sps_num_subpics_minus1 должно быть больше 1.

Объединенные варианты осуществления

Вариант осуществления из вариантов 1-4 осуществления и другой вариант осуществления из вариантов 5 и 8 осуществления могут быть объединены.

В одном примере объединенный вариант 2 и 5 осуществления показан следующим образом:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) if (pic_width_max_in_luma_samples > CtbSizeY || pic_height_max_in_luma_samples> CtbSizeY)) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>0) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Точно так же семантики subpic_info_present_flag и sps_independent_subpics_flag модифицируются как варианты 2 и 5 осуществления соответственно.

В другом примере объединенный вариант 4 и 5 осуществления показан следующим образом:

seq_parameter_set_rbsp( ) { Дескриптор sps_seq_parameter_set_id u(4) sps_video_parameter_set_id u(4) sps_max_sublayers_minus1 u(3) sps_reserved_zero_4bits u(4) sps_ptl_dpb_hrd_params_present_flag u(1) if( sps_ptl_dpb_hrd_params_present_flag ) profile_tier_level( 1, sps_max_sublayers_minus1 ) gdr_enabled_flag u(1) chroma_format_idc u(2) if( chroma_format_idc = = 3 ) separate_colour_plane_flag u(1) res_change_in_clvs_allowed_flag u(1) pic_width_max_in_luma_samples ue(v) pic_height_max_in_luma_samples ue(v) sps_conformance_window_flag u(1) if( sps_conformance_window_flag ) { sps_conf_win_left_offset ue(v) sps_conf_win_right_offset ue(v) sps_conf_win_top_offset ue(v) sps_conf_win_bottom_offset ue(v) } sps_log2_ctu_size_minus5 u(2) subpic_info_present_flag u(1) if( subpic_info_present_flag ) { sps_num_subpics_minus1 ue(v) if (sps_num_subpics_minus1>0) sps_independent_subpics_flag u(1) for( i = 0; sps_num_subpics_minus1 > 0 && i <= sps_num_subpics_minus1; i++ ) { if( i > 0 && pic_width_max_in_luma_samples > CtbSizeY ) subpic_ctu_top_left_x[ i ] u(v) if( i > 0 && pic_height_max_in_luma_samples > CtbSizeY ) { subpic_ctu_top_left_y[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_width_max_in_luma_samples > CtbSizeY )
subpic_width_minus1[ i ] u(v) if( i < sps_num_subpics_minus1 &&
pic_height_max_in_luma_samples > CtbSizeY )
subpic_height_minus1[ i ] u(v) if( !sps_independent_subpics_flag) { subpic_treated_as_pic_flag[ i ] u(1) loop_filter_across_subpic_enabled_flag[ i ] u(1) } }

Семантика subpic_info_present_flag модифицируется следующим образом:

subpic_info_present_flag, равный 1, специфицирует, что информация субизображения присутствует для CLVS, и в каждом изображении упомянутой CLVS может быть одно или более одного субизображения. subpic_info_present_flag, равный 0, специфицирует, что информация субизображения не присутствует для CLVS, и в каждом изображении упомянутой CLVS имеется только одно субизображение. Требованием соответствия битового потока является то, что когда значение subpic_info_present_flag равно 1, для значения pic_width_max_in_luma_samples и значения pic_height_max_in_luma_samples, по меньшей мере одно из них должно быть больше размера CTB CtbSizeY.

Семантика sps_independent_subpics_flag модифицируется следующим образом:

sps_independent_subpics_flag, равный 1, специфицирует, что никакое интра-предсказание, никакое интер-предсказание и никакие операции внутриконтурной фильтрации не могут выполняться через любую границу субизображений в CLVS. sps_independent_subpics_flag, равный 0, специфицирует, что могут быть разрешены операции интер-предсказания или внутриконтурной фильтрации через границы субизображений в CLVS. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1. В примере sps_independent_subpics_flag, равный 1, специфицирует, что все границы субизображений в CLVS обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует. sps_independent_subpics_flag, равный 0, не накладывает такого ограничения. Когда не присутствует, значение sps_independent_subpics_flag выводится равным 1.

Ниже приводится пояснение по применениям способа кодирования, а также способа декодирования, показанных в вышеописанных вариантах осуществления, а также использующей их системы.

ФИГ. 8 является блок-схемой, показывающей систему 3100 предоставления контента для реализации услуги распространения контента. Данная система 3100 предоставления контента включает в себя устройство 3102 захвата, терминальное устройство 3106 и опционально включает в себя дисплей 3126. Устройство 3102 захвата осуществляет связь с терминальным устройством 3106 по линии 3104 связи. Линия связи может включать в себя канал 13 связи, описанный выше. Линия 3104 связи включает в себя, но без ограничения упомянутым, WIFI, Ethernet, кабель, беспроводную связь (3G/4G/5G), USB или любую их комбинацию, или подобное.

Устройство 3102 захвата генерирует данные и может кодировать данные способом кодирования, показанным в вышеуказанных вариантах осуществления. В качестве альтернативы устройство 3102 захвата может распространять данные на сервер потоковой передачи (не показан на Фигурах), а сервер кодирует эти данные и передает закодированные данные на терминальное устройство 3106. Устройство 3102 захвата включает в себя, но без ограничения упомянутым, камеру, смартфон или планшет, компьютер или ноутбук, систему видеоконференцсвязи, КПК, устанавливаемое на транспортное средство устройство, или комбинацию любых из них, или подобное. Например, устройство 3102 захвата может включать в себя устройство-источник 12, описанное выше. Когда данные включают в себя видео, видеокодер 20, включенный в устройство 3102 захвата, может фактически выполнять обработку видеокодирования. Когда данные включают в себя аудио (т.е. речь), аудиокодер, включенный в устройство 3102 захвата, может фактически выполнять обработку аудиокодирования. Для некоторых практических сценариев устройство 3102 захвата распространяет закодированные видео- и аудиоданные путем их совместного мультиплексирования. Для других практических сценариев, например, в системе видеоконференцсвязи, кодированные аудиоданные и кодированные видеоданные не мультиплексируются. Устройство 3102 захвата распространяет закодированные аудиоданные и закодированные видеоданные на терминальное устройство 3106 по отдельности.

В системе 3100 предоставления контента терминальное устройство 310 принимает и воспроизводит закодированные данные. Терминальное устройство 3106 может быть устройством с возможностью приема и извлечения данных, таким как смартфон или планшет 3108, компьютер или ноутбук 3110, сетевой видеорегистратор (NVR) / цифровой видеорегистратор (DVR) 3112, телевизор 3114, телеприставка (STB) 3116, система 3118 видеоконференцсвязи, система 3120 видеонаблюдения, карманный персональный компьютер (КПК) 3122, устанавливаемое на транспортное средство устройство 3124, или их комбинация, или подобное, способное декодировать вышеупомянутые закодированные данные. Например, терминальное устройство 3106 может включать в себя устройство-получатель 14, описанное выше. Когда закодированные данные включают в себя видео, видеодекодеру 30, включенному в терминальное устройство, отдается приоритет для выполнения видеодекодирования. Когда закодированные данные включают в себя аудио, аудиодекодеру, включенному в терминальное устройство, отдается приоритет для выполнения обработки аудиодекодирования.

Для терминального устройства со своим дисплеем, например смартфона или планшета 3108, компьютера или ноутбука 3110, сетевого видеорегистратора (NVR) / цифрового видеорегистратора (DVR) 3112, телевизора 3114, карманного персонального компьютера (КПК) 3122 или устанавливаемого на транспортное средство устройства 3124, терминальное устройство может передавать декодированные данные на свой дисплей. Для терминального устройства, не оборудованного дисплеем, такого как STB 3116, система 3118 видеоконференцсвязи или система 3120 видеонаблюдения, контакт в нем устанавливается с внешним дисплеем 3126 для приема и показа декодированных данных.

Когда каждое устройство в этой системе выполняет кодирование или декодирование, может использоваться устройство кодирования изображений или устройство декодирования изображений, как показано в вышеупомянутых вариантах осуществления.

ФИГ. 9 является схемой, показывающей структуру примера терминального устройства 3106. После того, как терминальное устройство 3106 принимает поток от устройства 3102 захвата, блок 3202 обработки протокола анализирует протокол передачи упомянутого потока. Протокол включает в себя, но без ограничения упомянутым, протокол потоковой передачи в реальном времени (RTSP), протокол передачи гипертекста (HTTP), протокол потоковой передачи HTTP Live (HLS), MPEG-DASH, транспортный протокол реального времени (RTP), протокол обмена сообщениями в реальном времени (RTMP) или любую их комбинацию, или подобное.

После того, как блок 3202 обработки протокола обработает поток, генерируется файл потока. Файл выводится в блок 3204 демультиплексирования. Блок 3204 демультиплексирования может разделять мультиплексированные данные на закодированные аудиоданные и закодированные видеоданные. Как описано выше, в других практических сценариях, например, в системе видеоконференцсвязи, закодированные аудиоданные и закодированные видеоданные не мультиплексируются. В этой ситуации кодированные данные передаются на видеодекодер 3206 и аудиодекодер 3208 не через блок 3204 демультиплексирования.

Посредством обработки демультиплексирования генерируются элементарный поток (ES) видео, ES аудио и, опционально, субтитры. Видеодекодер 3206, который включает в себя видеодекодер 30, описанный в вышеупомянутых вариантах осуществления, декодирует ES видео с помощью способа декодирования, как показано в вышеупомянутых вариантах осуществления, для генерирования видеокадра и подает эти данные в блок 3212 синхронизации. Аудиодекодер 3208 декодирует ES аудио для генерирования аудиокадра и подает эти данные в блок 3212 синхронизации. В качестве альтернативы видеокадр может сохраняться в буфере (не показан на ФИГ. 9) перед его подачей в блок 3212 синхронизации. Точно так же аудиокадр может сохраняться в буфере (не показан на ФИГ. 9) перед его подачей в блок 3212 синхронизации.

Блок 3212 синхронизации синхронизирует видеокадр и аудиокадр и предоставляет видео/аудио в видео/аудио дисплей 3214. Например, блок 3212 синхронизации синхронизирует представление видео и аудио информации. Информация может кодироваться/декодироваться в синтаксисе с использованием временных меток, касающихся представления кодируемых/декодируемых аудио- и видеоданных, а также временных меток, касающихся доставки самого потока данных.

Если субтитр включен в поток, декодер 3210 субтитров декодирует субтитр и синхронизирует его с видеокадром и аудиокадром и передает видео/аудио/субтитр на дисплей 3216 видео/аудио/субтитров.

Настоящее изобретение не ограничивается вышеупомянутой системой, и либо устройство кодирования изображений, либо устройство декодирования изображений из вышеупомянутых вариантов осуществления может быть включено в другую систему, например, автомобильную систему.

Пример 1. Способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит:

получение битового потока;

получение значения первого синтаксического элемента pic_width_max_in_luma_samples и значения второго синтаксического элемента pic_height_max_in_luma_samples согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения размера блока дерева кодирования/декодирования согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

когда значение первого синтаксического элемента pic_width_max_in_luma_samples или значение второго синтаксического элемента pic_height_max_in_luma_samples больше, чем значение размера блока дерева кодирования/декодирования,

получение значения третьего синтаксического элемента subpic_info_present_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке).

Пример 2. Способ по примеру 1, в котором значение третьего синтаксического элемента subpic_info_present_flag получают в наборе параметров последовательности, кодированном в битовом потоке (в примере значение первого синтаксического элемента pic_width_max_in_luma_samples и второго синтаксического элемента pic_height_max_in_luma_samples также получают в наборе параметров последовательности, кодированном в битовом потоке).

Пример 3. Способ по примеру 1 или 2, причем способ дополнительно содержит:

когда как значение первого синтаксического элемента pic_width_max_in_luma_samples, так и значение второго синтаксического элемента pic_height_max_in_luma_samples не больше (что означает меньше или равно) значения размера блока дерева кодирования/декодирования,

значение третьего синтаксического элемента subpic_info_present_flag устанавливается равным значению по умолчанию (в примере значение по умолчанию равняется 0).

Пример 4. Способ по любому из примеров с 1 по 3, в котором значение третьего синтаксического элемента subpic_info_present_flag используется для специфицирования того, присутствует ли в битовом потоке информация субизображения для кодируемой/декодируемой видеопоследовательности.

Пример 5. Способ по любому из примеров с 1 по 4, в котором значение третьего синтаксического элемента subpic_info_present_flag может также указывать (например, когда значение subpic_info_present_flag равняется 1) либо значение первого синтаксического элемента pic_width_max_in_luma_samples, либо значение второго синтаксического элемента pic_height_max_in_luma_samples больше значения размера блока дерева кодирования/декодирования (например, когда значение subpic_info_present_flag равняется 1, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples не должны быть меньше или равны размеру CTB CtbSizeY).

Пример 6. Способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит:

получение битового потока;

получение значения четвертого синтаксического элемента sps_num_subpics_minus1 согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

когда значение четвертого синтаксического элемента sps_num_subpics_minus1 больше значения по умолчанию (например, значение по умолчанию может быть 0 или 1),

получение значения пятого синтаксического элемента sps_independent_subpics_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке).

Пример 7. Способ по примеру 6, в котором значение пятого синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке (в примере значение четвертого синтаксического элемента sps_num_subpics_minus1 также получают в наборе параметров последовательности, кодированном в битовом потоке).

Пример 8. Способ по примеру 6 или 7, причем способ дополнительно содержит:

когда значение четвертого синтаксического элемента sps_num_subpics_minus1 меньше или равно значению по умолчанию,

значение пятого синтаксического элемента sps_independent_subpics_flag устанавливается равным заданному значению (в примере заданное значение равняется 1).

Пример 9. Способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит:

получение битового потока;

получение значения первого синтаксического элемента pic_width_max_in_luma_samples и значения второго синтаксического элемента pic_height_max_in_luma_samples согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения размера блока дерева кодирования/декодирования согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения третьего синтаксического элемента subpic_info_present_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке);

получение значения четвертого синтаксического элемента sps_num_subpics_minus1 согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке) (в примере значение четвертого синтаксического элемента sps_num_subpics_minus1 синтаксически анализируется из битового потока, когда значение третьего синтаксического элемента subpic_info_present_flag равно заданному значению (например, заданное значение равно 1));

когда значение четвертого синтаксического элемента sps_num_subpics_minus1 больше значения по умолчанию (например, значение по умолчанию может быть 0 или 1),

получение значения пятого синтаксического элемента sps_independent_subpics_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке).

Пример 10. Способ по примеру 9, в котором значение третьего синтаксического элемента subpic_info_present_flag получают согласно набору параметров последовательности, кодированному в битовом потоке (в примере значение первого синтаксического элемента pic_width_max_in_luma_samples и второго синтаксического элемента pic_height_max_in_luma_samples также получают в наборе параметров последовательности, кодированном в битовом потоке).

Пример 11. Способ по примеру 9 или 10, в котором значение третьего синтаксического элемента subpic_info_present_flag указывает, больше ли значение первого синтаксического элемента pic_width_max_in_luma_samples или значение второго синтаксического элемента pic_height_max_in_luma_samples, чем значение размера блока дерева кодирования/декодирования (например, когда значение subpic_info_present_flag равняется 1, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples не должны быть меньше или равны размеру CTB CtbSizeY).

Пример 12. Способ по любому из примеров с 9 по 11, в котором значение пятого синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодируемому/декодируемому в битовом потоке.

Пример 13. Способ по любому из примеров с 9 по 12, причем способ дополнительно содержит:

когда значение четвертого синтаксического элемента sps_num_subpics_minus1 меньше или равно заданному значению,

значение пятого синтаксического элемента sps_independent_subpics_flag устанавливается равным заданному значению (в примере заданное значение равняется 1).

Пример 14. Способ по любому из примеров с 9 по 13, при этом способ дополнительно содержит: когда значение третьего синтаксического элемента subpic_info_present_flag равно заданному значению, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples оба меньше или равны значению размера блока дерева кодирования/декодирования,

останавливают последующий процесс для получения значения четвертого синтаксиса sps_num_subpics_minus1.

Пример 15. Способ кодирования/декодирования, реализуемый устройством декодирования, причем способ содержит:

получение битового потока;

получение значения первого синтаксического элемента pic_width_max_in_luma_samples и значения второго синтаксического элемента pic_height_max_in_luma_samples согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения размера блока дерева кодирования/декодирования согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения третьего синтаксического элемента subpic_info_present_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке);

когда значение третьего синтаксического элемента subpic_info_present_flag равно заданному значению (в примере заданное значение равно 1),

получение значения четвертого синтаксического элемента sps_num_subpics_minus1 согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке или вычисление в отношении значения кодового слова после синтаксического анализа значения кодового слова в битовом потоке);

получение значения пятого синтаксического элемента sps_independent_subpics_flag согласно битовому потоку (например, непосредственный синтаксический анализ значения кодового слова в битовом потоке).

Пример 16. Способ по примеру 15, в котором значение третьего синтаксического элемента subpic_info_present_flag получают согласно набору параметров последовательности, кодируемому в битовом потоке.

Пример 17. Способ по примеру 15 или 16, в котором значение третьего синтаксического элемента subpic_info_present_flag указывает, больше ли значение первого синтаксического элемента pic_width_max_in_luma_samples или значение второго синтаксического элемента pic_height_max_in_luma_samples, чем значение размера блока дерева кодирования/декодирования (например, когда значение subpic_info_present_flag равняется 1, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples не должны оба быть меньше или равны размеру CTB CtbSizeY).

Пример 18. Способ по любому из примеров 15 или 17, в котором значение пятого синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке.

Пример 19. Способ по любому из примеров с 15 по 18, в котором, когда значение пятого синтаксического элемента sps_independent_subpics_flag равно предопределенному значению (в примере, предопределенное значение равно 1), значение четвертого синтаксического элемента sps_num_subpics_minus1 меньше или равно значению по умолчанию (в примере значение по умолчанию равно 0 или 1).

Пример 20. Способ по любому из примеров с 15 по 19, при этом способ дополнительно содержит: когда значение третьего синтаксического элемента subpic_info_present_flag равно заданному значению, значение pic_width_max_in_luma_samples и значение pic_height_max_in_luma_samples оба меньше или равны значению размера блока дерева кодирования/декодирования, останавливают последующий процесс для получения значения четвертого синтаксиса sps_num_subpics_minus1.

Пример 21. Декодер (30), содержащий схему обработки для осуществления способа по любому из примеров с 1 по 20.

Пример 22. Компьютерный программный продукт, содержащий программный код для выполнения способа по любому из предшествующих примеров, когда он исполняется на компьютере или процессоре.

Пример 23. Декодер, содержащий:

один или более процессоров; и

долговременный считываемый компьютером запоминающий носитель, связанный с процессорами и хранящий программную часть для исполнения процессорами, причем программная часть, когда исполняется процессорами, конфигурирует декодер для выполнения способа по любому из предшествующих примеров.

Пример 24. Долговременный считываемый компьютером носитель, несущий программный код, который при исполнении компьютерным устройством, побуждает компьютерное устройство к выполнению способа по любому из предшествующих примеров.

Математические операторы

Математические операторы, используемые в этом раскрытии, аналогичны тем, которые используются в языке программирования C. Однако результаты операций целочисленного деления и арифметического сдвига определяются более точно, а также определяются дополнительные операции, такие как возведение в степень и вещественнозначное деление. Соглашения о нумерации и подсчете определяют начало с 0, например, «первый» эквивалентен 0-му, «второй» эквивалентен 1-му и т. д.

Арифметические операторы

Следующие арифметические операторы определены следующим образом:

+ Сложение Вычитание (как оператор с двумя аргументами) или отрицание (как унарный префиксный оператор) * Умножение, в том числе матричное умножение xy Возведение в степень. Определяет x в степени y. В других контекстах такое обозначение используется в качестве надстрочного индекса, которое не следует интерпретировать в качестве возведения в степень. / Целочисленное деление с усечением результата в сторону нуля. Например, 7/4 и -7 / -4 усекаются до 1, а -7/4 и 7 / -4 усекаются до -1. ÷ Используется для обозначения деления в математических уравнениях, где не предполагается усечение или округление. Используется для обозначения деления в математических уравнениях, где не предполагается усечение или округление. Суммирование f( i ), где i принимает все целые значения от x до y включительно. x % y Операция по модулю. Остаток от деления x на y, определена только для целых чисел x и y, где x >= 0 и y > 0.

Логические операторы

Следующие логические операторы определены следующим образом:

x && y Булево логическое "и" для x и y

x | | y Булево логическое "или" для x и y

! Булево логическое "не"

x ? y : z Если x равно ИСТИНА или не равно 0, оценивается в значение y; иначе оценивается в значение z.

Операторы сравнения

Следующие операторы сравнения определены следующим образом:

> Больше

>= Больше или равно

< Меньше

<= Меньше или равно

== Равно

!= Не равно

Когда оператор сравнения применяется к синтаксическому элементу или переменной, которому(ой) присвоено значение «na» (не применимо), значение «na» обрабатывается как отдельное значение для синтаксического элемента или переменной. Значение «na» не считается равным любому другому значению.

Побитовые операторы

Следующие побитовые операторы определены следующим образом:

& Побитовое «и». При работе над целочисленными аргументами оперирует над представлением дополнения до двух целочисленного значения. При работе над двоичным аргументом, который содержит меньше битов, чем другой аргумент, более короткий аргумент расширяется путем добавления более значащих битов, равных 0.

| Побитовое «или». При работе над целочисленными аргументами оперирует над представлением дополнения до двух целочисленного значения. При работе над двоичным аргументом, который содержит меньше битов, чем другой аргумент, более короткий аргумент расширяется путем добавления более значащих битов, равных 0.

^ Побитовое «исключающее или». При работе над целочисленными аргументами оперирует над представлением дополнения до двух целочисленного значения. При работе над двоичным аргументом, который содержит меньше битов, чем другой аргумент, более короткий аргумент расширяется путем добавления более значащих битов, равных 0.

x >> y Арифметический сдвиг вправо целочисленного представления дополнения до двух x на y двоичных разрядов. Эта функция определена только для неотрицательных целочисленных значений y. Биты, сдвинутые в старшие биты (MSB) в результате сдвига вправо, имеют значение, равное MSB для x до операции сдвига.

x << y Арифметический сдвиг влево целочисленного представления дополнения до двух x на y двоичных разрядов. Эта функция определена только для неотрицательных целочисленных значений y. Биты, сдвинутые в младшие биты (LSB) в результате сдвига влево, имеют значение, равное 0.

Операторы присваивания

Следующие арифметические операторы определены следующим образом:

= Оператор присваивания

+ + Приращение, т.е. x+ + эквивалентно x=x+1; при использовании в индексе массива оценивается в значение переменной до операции приращения.

− − Уменьшение, т.е. x− − эквивалентно x=x - 1; при использовании в индексе массива оценивается в значение переменной до операции уменьшения.

+= Приращение на указанную величину, т.е. x += 3 эквивалентно x=x+3, а x += (−3) эквивалентно x=x + (−3).

−= Уменьшение на указанную величину, т.е. x −= 3 эквивалентно x=x − 3, а x −= (−3) эквивалентно x=x − (−3).

Обозначение диапазона

Следующее обозначение используется для специфицирования диапазона значений:

x=y..z x принимает целочисленные значения от y до z, включительно, где x, y и z являются целыми числами, а z больше y.

Математические функции

Определены следующие математические функции:

Abs( x )=

Asin( x ) тригонометрическая функция арксинуса, работающая с аргументом x, который находится в диапазоне от -1,0 до 1,0 включительно, с выходным значением в диапазоне от -π÷2 до π÷2 включительно в единицах радиан

Atan( x ) тригонометрическая функция арктангенса, работающая с аргументом x, с выходным значением в диапазоне от −π÷2 до π÷2 включительно в единицах радиан

Atan2( y, x )=

Ceil( x ) наименьшее целое число, большее или равное x.

Clip1Y( x )=Clip3( 0, ( 1 << BitDepthY ) − 1, x )

Clip1C( x )=Clip3( 0, ( 1 << BitDepthC ) − 1, x )

Clip3( x, y, z )=

Cos( x ) тригонометрическая функция косинуса, работающая с аргументом x в единицах радиан.

Floor( x ) наибольшее целое число, меньшее или равное x.

GetCurrMsb( a, b, c, d )=

Ln( x ) натуральный логарифм x (логарифм по основанию e, где e - постоянная основания натурального логарифма 2,718 281 828...).

Log2( x ) логарифм x по основанию 2.

Log10( x ) логарифм x по основанию 10.

Min( x, y )=

Max( x, y )=

Round( x )=Sign( x ) * Floor( Abs( x ) + 0,5 )

Sign( x )=

Sin( x ) тригонометрическая функция синуса, работающая с аргументом x в единицах радиан

Sqrt( x )=

Swap( x, y )=( y, x )

Tan( x ) тригонометрическая функция тангенса, работающая с аргументом x в единицах радиан

Порядок приоритетности операций

Когда порядок приоритетности в выражении явно не указан с помощью круглых скобок, применяются следующие правила:

- Операции с более высоким приоритетом оцениваются перед любой операцией с более низким приоритетом.

- Операции с одинаковым приоритетом оцениваются последовательно слева направо.

В таблице ниже указан приоритет операций от наивысшего к низшему; более высокая позиция в таблице указывает на более высокий приоритет.

Для тех операторов, которые также используются в языке программирования C, порядок приоритетности, используемый в этом описании, является таким же, что и в языке программирования C.

Таблица: Приоритетность операций от наивысшей (в верхней части таблицы) до низшей (в нижней части таблицы)

операции (с операндами x, y и z) "x++", "x− −" "!x", "−x" (как унарный префиксный оператор) xy "x * y", "x/y", "x ÷ y", "" "x % y" "x+y", "x − y" (как оператор с двумя аргументами),
"x << y", "x >> y" "x < y", "x <= y", "x > y", "x >= y" "x == y", "x != y" "x & y" "x | y" "x && y" "x | | y" "x ? y : z" "x..y" "x=y", "x += y", "x −= y"

Текстовое описание логических операций

В тексте определение логических операций, которое математически бы описывалось в следующей форме:

if( condition 0 )

statement 0

else if( condition 1 )

statement 1 ... else /* информативный комментарий по оставшемуся условию */

statement n

может быть описано следующим образом:

... как указано ниже / ... применяется следующее:

- Если условие 0, определение 0

- Иначе, если условие 1, определение 1

- ...

-- Иначе (информативный комментарий по оставшемуся условию), определение n.

Каждое определение "если ... Иначе, если ... Иначе, ..." в тексте вводится словами "... как указано ниже" или "...применяется следующее", за которым сразу следует "если ...". Последним условием "если ... Иначе, если ... Иначе, ..." всегда является "Иначе, ...". Чередование определений "если ... Иначе, если ... Иначе, ..." могут быть идентифицированы путем сопоставления "... как указано ниже" или "... применяется следующее" с завершающим "Иначе, ...".

В тексте определение логических операций, которое математически бы описывалось в следующей форме:

if( condition 0a && condition 0b )

statement 0

else if( condition 1a | | condition 1b )

statement 1

...

else

statement n

может быть описано следующим образом:

... как указано ниже / ... применяется следующее:

- Если все из следующих условий выполняются, определение 0:

- условие 0a

- условие 0b

- Иначе, если одно или более из следующих условий выполняются, определение 1:

- условие 1a

- условие 1b

- ...

- Иначе, определение n

В тексте определение логических операций, которое математически бы описывалось в следующей форме:

if( condition 0 )

statement 0

if( condition 1 )

statement 1

может быть описано следующим образом:

Когда условие 0, определение 0

Когда условие 1, определение 1.

Хотя варианты осуществления данного изобретения были в основном описаны на основе видеокодирования, следует отметить, что варианты осуществления системы 10 кодирования/декодирования, кодера 20 и декодера 30 (и, соответственно, системы 10), а также другие варианты осуществления, описанные в данном документе, также могут быть выполнены с возможностью обработки или кодирования/декодирования неподвижного изображения, т.е. обработки или кодирования/декодирования отдельного изображения независимо от любого предшествующего или последующего изображения, как при кодировании/декодировании видео. В общем, только блоки 244 интер-предсказания (кодер) и 344 (декодер) могут не быть доступны в случае, если кодирование/декодирование для обработки изображения ограничено одним изображением 17. Все другие функциональные возможности (также именуемые инструментами или технологиями) видеокодера 20 и видеодекодера 30 могут в равной степени использоваться для обработки неподвижных изображений, например вычисления 204/304 остатка, преобразования 206, квантования 208, обратного квантования 210/310, (обратного) преобразования 212/312, разделения 262/362, интра-предсказания 254/354 и/или контурной фильтрации 220, 320 и энтропийного кодирования/декодирования 270 и энтропийного декодирования 304.

Варианты осуществления, например кодера 20 и декодера 30, а также описанные в данном документе функции, например применительно к кодеру 20 и декодеру 30 могут быть реализованы аппаратным обеспечением, программным обеспечением, микропрограммным обеспечением или любой их комбинацией. Если реализованы в программном обеспечении, функции могут храниться на считываемом компьютером носителе или передаваться через среду связи в виде одной или более инструкций или кода и исполняться аппаратным блоком обработки. Считываемые компьютером носители могут включать в себя считываемые компьютером носители, которые соответствуют материальному носителю, например носителю данных, или среде связи, в том числе любой среде, которая обеспечивает передачу компьютерной программы из одного места в другое, например, согласно протоколу связи. Таким образом, считываемые компьютером носители обычно могут соответствовать (1) материальным считываемым компьютером запоминающим носителям, которые являются долговременными, или (2) среде связи, такой как сигнал или несущая волна. Носители данных могут быть любыми доступными носителями, к которым может быть осуществлен доступ одним или более компьютерами или одним или более процессорами для извлечения инструкций, кода и/или структур данных для реализации методик, описанных в этом раскрытии. Компьютерный программный продукт может включать в себя считываемый компьютером носитель.

В качестве примера, а не ограничения, такие считываемые компьютером носители могут содержать RAM, ROM, EEPROM, CD-ROM или другое хранилище на оптическом диске, хранилище на магнитном диске или другие магнитные запоминающие устройства, флэш-память или любой другой носитель, который может использоваться для хранения желаемого программного кода в форме инструкций или структур данных и может быть доступен для компьютера. Кроме того, любое соединение правильно называть считываемой компьютером средой. Например, если инструкции передаются с веб-сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная-, радио- и микроволновая- связь, тогда коаксиальный кабель, оптоволоконный кабель, витая пара, DSL или беспроводные технологии, такие как инфракрасная-, радио- и микроволновая- связь, включаются в определение носителя. Однако следует понимать, что считываемые компьютером носители и носители хранения данных не включают в себя соединения, несущие волны, сигналы или другие кратковременные носители, а вместо этого направлены на долговременные, материальные запоминающие носители. Диск (disk) и диск (disc), используемые в данном документе, включают в себя компакт-диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), дискету и диск Blu-ray, где диски (disks) обычно воспроизводят данные магнитным образом, а диски (discs) воспроизводят данные оптически с помощью лазеров. Комбинации вышеперечисленного также должны быть включены в объем считываемых компьютером носителей.

Инструкции могут исполняться одним или более процессорами, такими как один или более цифровых сигнальных процессоров (DSP), микропроцессоров общего назначения, интегральных схем специального назначения (ASIC), программируемых вентильных матриц (FPGA) или других эквивалентных интегральных или дискретных логических схем. Соответственно, термин «процессор», используемый в данном документе, может относиться к любой из вышеупомянутой структуры или любой другой структуре, подходящей для реализации методик, описанных в данном документе. Кроме того, в некоторых аспектах функциональные возможности, описанные в данном документе, могут быть предоставлены в рамках специализированных аппаратных и/или программных модулей, сконфигурированных для кодирования и декодирования, или включены в комбинированный кодек. Кроме того, методики могут быть полностью реализованы в одной или более схемах или логических элементах.

Методики этого раскрытия могут быть реализованы в большом количестве устройств или аппаратных компонентов, в том числе беспроводной телефон, интегральная схема (ИС) или набор ИС (например, набор микросхем). В этом раскрытии описаны различные компоненты, модули или блоки, чтобы подчеркнуть функциональные аспекты устройств, выполненных с возможностью выполнения раскрытых технологий, но не обязательно требующих реализации различными аппаратными блоками. Скорее, как описано выше, различные блоки могут быть объединены в аппаратный блок кодека или предоставлены совокупностью взаимодействующих аппаратных блоков, в том числе один или более процессоров, как описано выше, вместе с подходящим программным обеспечением и/или микропрограммным обеспечением.

Похожие патенты RU2828202C1

название год авторы номер документа
Способ сигнализации смешанного типа блока NAL и разбиения на субизображения в кодированном видеопотоке 2021
  • Чой Бёнду
  • Венгер Стефан
  • Лю Шань
RU2785687C1
СПОСОБ СИГНАЛИЗИРОВАНИЯ РАЗДЕЛЕНИЯ СУБИЗОБРАЖЕНИЙ В КОДИРОВАННОМ ПОТОКЕ ВИДЕО 2021
  • Чой Беондоо
  • Лю Шань
  • Венгер Штефан
RU2806281C1
СПОСОБ И АППАРАТНЫЙ КОМПОНЕНТ СИГНАЛИЗАЦИИ ЧИСЛА КАНДИДАТОВ ДЛЯ РЕЖИМА СЛИЯНИЯ 2021
  • Филиппов, Алексей Константинович
  • Руфицкий, Василий Алексеевич
  • Алшина, Елена Александровна
RU2823267C1
СПОСОБ И УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ НА ОСНОВЕ ПОДКАРТИНКИ 2023
  • Хендри, Хендри
RU2820304C1
СПОСОБ И УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ НА ОСНОВЕ ПОДКАРТИНКИ 2020
  • Хендри, Хендри
RU2810200C2
СПОСОБ СИГНАЛИЗАЦИИ РАЗДЕЛЕНИЯ ПРЯМОУГОЛЬНОГО СЛАЙСА В КОДИРОВАННОМ ВИДЕОПОТОКЕ 2021
  • Чой Беондоо
  • Лю Шань
  • Венгер Штефан
RU2814858C1
КОДЕР, ДЕКОДЕР И СООТВЕТСТВУЮЩИЕ СПОСОБЫ О СИГНАЛИЗАЦИИ СИНТАКСИСА ВЫСОКОГО УРОВНЯ 2021
  • Котра, Ананд Меер
  • Эсенлик, Семих
  • Ван, Бяо
  • Гао, Хань
  • Алшина, Елена Александровна
RU2826547C1
ОГРАНИЧЕНИЯ ИЗОБРАЖЕНИЙ СМЕШАННЫХ ЕДИНИЦ NAL ПРИ КОДИРОВАНИИ/ДЕКОДИРОВАНИИ ВИДЕО 2020
  • Ван, Е-Куй
  • Хендри, Фну
RU2822452C2
СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ВИДЕО 2021
  • Чой Беондоо
  • Лю Шань
  • Венгер Штефан
RU2808148C1
Сигнализация параметров масштабируемости в битовом потоке видео 2020
  • Чой Бёнду
  • Венгер Стефан
  • Лю Шань
RU2779911C1

Иллюстрации к изобретению RU 2 828 202 C1

Реферат патента 2024 года КОДЕР, ДЕКОДЕР И СООТВЕТСТВУЮЩИЕ СПОСОБЫ ДЛЯ СИГНАЛИЗАЦИИ СУБИЗОБРАЖЕНИЙ В НАБОРЕ ПАРАМЕТРОВ ПОСЛЕДОВАТЕЛЬНОСТИ

Изобретение относится к средствам для кодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений. Получают значение синтаксического элемента sps_num_subpics_minus1 посредством синтаксического анализа битового потока видео, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности. Когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, получают значение синтаксического элемента sps_independent_subpics_flag из битового потока, при этом значение синтаксического элемента sps_independent_subpics_flag используется для указания того, выполняется ли контурная фильтрация через границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности. Когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию. Упомянутым заданным значением является 0. 9 н. и 10 з.п. ф-лы, 12 ил.

Формула изобретения RU 2 828 202 C1

1. Способ декодирования, реализуемый устройством декодирования, причем способ содержит:

получение значения синтаксического элемента sps_num_subpics_minus1 посредством синтаксического анализа битового потока видео, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности;

когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения,

получение значения синтаксического элемента sps_independent_subpics_flag из битового потока, при этом значение синтаксического элемента sps_independent_subpics_flag используется для указания того, выполняется ли контурная фильтрация через границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности;

когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию;

при этом упомянутым заданным значением является 0.

2. Способ по п. 1, в котором значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке.

3. Способ по п. 1, в котором значением по умолчанию является 1.

4. Способ по любому из пп. 1-3, в котором значение синтаксического элемента sps_independent_subpics_flag получают посредством синтаксического анализа значения кодового слова в битовом потоке.

5. Способ по любому из пп. 1-4, в котором значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, специфицирует, что не все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений.

6. Способ по любому из пп. 1-5, причем способ дополнительно содержит:

выполнение процесса контурной фильтрации в отношении границ субизображений на основе значения синтаксического элемента sps_independent_subpics_flag.

7. Аппаратная система декодирования видео, причем аппаратная система содержит:

модуль приема, который выполнен с возможностью получения битового потока видео;

модуль синтаксического анализа, который выполнен с возможностью получения значения синтаксического элемента sps_num_subpics_minus1 посредством синтаксического анализа битового потока, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности;

причем модуль синтаксического анализа выполнен с возможностью получения значения синтаксического элемента sps_independent_subpics_flag из битового потока, когда значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, при этом значение синтаксического элемента sps_independent_subpics_flag используется для указания того, выполняется ли контурная фильтрация через границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности, и установки значения синтаксического элемента sps_independent_subpics_flag равным значению по умолчанию, когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению;

при этом упомянутым заданным значением является 0 или 1.

8. Аппаратная система декодирования видео по п. 7, в которой значение синтаксического элемента sps_independent_subpics_flag получают согласно набору параметров последовательности, кодированному в битовом потоке.

9. Аппаратная система декодирования видео по п. 7, в которой значением по умолчанию является 1.

10. Аппаратная система декодирования видео по любому из пп. 7-9, в которой значение синтаксического элемента sps_independent_subpics_flag получают посредством синтаксического анализа значения кодового слова в битовом потоке.

11. Аппаратная система декодирования видео по любому из пп. 7-10, в которой значение синтаксического элемента sps_independent_subpics_flag, равное 1, специфицирует, что все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений и контурная фильтрация через границы субизображений отсутствует, а значение синтаксического элемента sps_independent_subpics_flag, равное 0, специфицирует, что не все границы субизображений в связанной со слоем кодируемой/декодируемой видеопоследовательности обрабатываются как границы изображений.

12. Аппаратная система декодирования видео по любому из пп. 7-11, при этом упомянутая аппаратная система содержит:

модуль фильтрации, который выполнен с возможностью осуществления процесса контурной фильтрации в отношении границ субизображений на основе значения синтаксического элемента sps_independent_subpics_flag.

13. Декодер, содержащий схему обработки для осуществления способа по любому из пп. 1-6.

14. Декодер, содержащий:

один или более процессоров; и

долговременный считываемый компьютером носитель, связанный с процессорами и хранящий программную часть для исполнения процессорами, причем программная часть, когда исполняется процессорами, конфигурирует декодер для выполнения способа по любому из пп. 1-6.

15. Способ кодирования, реализуемый устройством кодирования, причем способ содержит:

получение изображения, определение значения синтаксического элемента sps_num_subpics_minus1 согласно изображению, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности;

когда определено, что значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, кодирование значения синтаксического элемента sps_independent_subpics_flag в битовый поток видео, при этом значение синтаксического элемента sps_independent_subpics_flag используется для указания того, выполняется ли контурная фильтрация через границы субизображений;

при этом когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию;

при этом упомянутым заданным значением является 0.

16. Долговременный считываемый компьютером носитель, несущий программный код, который при исполнении компьютерным устройством, побуждает компьютерное устройство к выполнению способа по любому из пп. 1-6 и 15.

17. Устройство кодирования видео, причем устройство содержит:

модуль приема, который выполнен с возможностью получения изображения; модуль обработки, который выполнен с возможностью определения значения синтаксического элемента sps_num_subpics_minus1 согласно изображению, при этом значение синтаксического элемента sps_num_subpics_minus1 плюс 1 указывает число субизображений в каждом изображении в связанной со слоем кодируемой/декодируемой видеопоследовательности; причем модуль обработки выполнен с возможностью кодирования значения синтаксического элемента sps_independent_subpics_flag для текущего изображения в битовый поток видео, когда определено, что значение синтаксического элемента sps_num_subpics_minus1 больше заданного значения, при этом значение синтаксического элемента sps_independent_subpics_flag используется для указания того, выполняется ли контурная фильтрация через границы субизображений;

при этом когда значение синтаксического элемента sps_num_subpics_minus1 меньше или равно упомянутому заданному значению, значение синтаксического элемента sps_independent_subpics_flag устанавливается равным значению по умолчанию;

при этом упомянутым заданным значением является 0.

18. Устройство декодирования видеоданных, содержащее: долговременное запоминающее хранилище, выполненное с возможностью хранения видеоданных в форме битового потока; и

видеодекодер, выполненный с возможностью осуществления любого из способов по пп. 1-6.

19. Устройство кодирования видеоданных, содержащее: долговременное запоминающее хранилище, выполненное с возможностью хранения видеоданных в форме битового потока; и

видеокодер, выполненный с возможностью осуществления любого из способов по п. 15.

Документы, цитированные в отчете о поиске Патент 2024 года RU2828202C1

Mitra Damghanian et al
Разборный с внутренней печью кипятильник 1922
  • Петухов Г.Г.
SU9A1
Benjamin Bross et al
Топка с несколькими решетками для твердого топлива 1918
  • Арбатский И.В.
SU8A1
ПРИСПОСОБЛЕНИЕ ДЛЯ УДЕРЖАНИЯ РАЗОРВАННОГО ПРИВОДНОГО РЕМНЯ ДИНАМОМАШИНЫ ВАГОННОГО ОСВЕЩЕНИЯ 1927
  • Воротников С.Д.
SU20190A1
Станок для придания концам круглых радиаторных трубок шестигранного сечения 1924
  • Гаркин В.А.
SU2019A1
Станок для придания концам круглых радиаторных трубок шестигранного сечения 1924
  • Гаркин В.А.
SU2019A1
УСОВЕРШЕНСТВОВАННАЯ СИГНАЛИЗАЦИЯ ИДЕНТИФИКАТОРОВ СЛОЕВ ДЛЯ РАБОЧИХ ТОЧЕК ВИДЕОКОДЕРА 2013
  • Ван Е-Куй
RU2656827C2

RU 2 828 202 C1

Авторы

Ван, Бяо

Эсенлик, Семих

Котра, Ананд Меер

Гао, Хань

Алшина, Елена Александровна

Даты

2024-10-07Публикация

2021-01-28Подача