КОДИРОВАНИЕ ОПОРНОЙ КАРТИНКИ ДЛЯ НАБОРА ОПОРНЫХ КАРТИНОК Российский патент 2015 года по МПК H04N19/105 H04N19/597 H04N19/61 

По данной заявке испрашивается приоритет:

Предварительной Заявки США №61/538,787, поданной 23 сентября 2011г.;

Предварительной Патентной Заявки США №61/539,433, поданной 26 сентября 2011г.; и

Предварительной Патентной Заявки США №61/542,034, поданной 30 сентября 2011г., полное содержимое каждой из которых, во всей своей полноте включено в настоящее описание посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к кодированию видео и, более конкретно, к методам для кодирования видеоданных.

УРОВЕНЬ ТЕХНИКИ

Возможности цифрового видео могут быть включены в широкий диапазон устройств, включая цифровые телевизоры, системы цифрового непосредственного вещания, системы беспроводного вещания, персональные цифровые помощники (PDA), компьютеры класса лэптоп или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые устройства записи, цифровые мультимедийные проигрыватели, видеоигровые устройства, видеоигровые консоли, сотовые или спутниковые радиотелефоны, так называемые смартфоны, устройства проведения видео телеконференций, устройства потокового видео, и подобное. Устройства цифрового видео реализуют методы сжатия видео, такие как те, что описаны в стандартах, которые определяются стандартами MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, Расширенное Кодирование Видео (AVC), стандартом Высокоэффективного Кодирования Видео (HEVC), который в настоящий момент находится на стадии разработки, и расширениях таких стандартов. Видеоустройства могут передавать, принимать кодировать, декодировать, и/или хранить цифровую видеоинформацию более эффективно посредством реализации таких методов сжатия видео.

Методы сжатия видео выполняют пространственное (внутри картинки, интра-) предсказание и/или временное (между картинками, интра-) предсказание для сокращения или удаления избыточности, свойственной видеопоследовательностям. Применительно к основанному на блоках кодированию видео, видео слайс (т.е., видео картинка или часть видео картинки) может быть разбит на видео блоки, которые также могут именоваться как древовидные блоки, древовидные блоки кодирования (CTB), древовидные единицы кодирования (CTU), единицы кодирования (CU) и/или узлы кодирования. Видео блоки в интер-кодированном (I) слайсе (сегменте) картинки кодируются при помощи пространственного предсказания по отношению к опорным выборкам в соседних блоках в той же самой картинке. Видео блоки в интра-кодированном (P или B) слайсе картинки могут использовать пространственное предсказание по отношению к опорным выборкам в соседних блоках в той же самой картинке или временное предсказание по отношению к опорным выборкам в других опорных картинках. Картинки могут именоваться кадрами, и опорные картинки могут именоваться опорными кадрами.

Пространственное или временное предсказание дает предсказывающий блок для блока, который должен быть закодирован. Остаточные данные представляют собой пиксельные разности между исходным блоком, который должен быть закодирован, и предсказывающим блоком. Интер-кодированный блок кодируется в соответствии с вектором движения, который указывает на блок в опорных выборках, образующий предсказывающий блок, и остаточными данными, указывающими разность между кодируемым блоком и предсказывающим блоком. Интра-кодированный блок кодируется в соответствии с режимом интра-кодирования и остаточными данными. Для дальнейшего сжатия, остаточные данные могут быть преобразованы из пиксельной области в область преобразования, что дает остаточные коэффициенты преобразования, которые затем, могут быть подвергнуты квантованию. Квантованные коэффициенты преобразования, исходно организованные в двумерном массиве, могут быть просканированы для создания одномерного вектора коэффициентов преобразования, и может быть применено энтропийное кодирование для достижения еще большего сжатия.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В целом, данное изобретение описывает методы, которые относятся к получению набора опорных картинок для использования при кодировании видео. Например, набор опорных картинок может составлять сочетание множества подмножеств опорных картинок. Каждое из подмножеств опорных картинок может идентифицировать множество потенциальных опорных картинок, но меньше, чем все потенциальные опорные картинки. В примерных методах, описываемых в данном изобретении, компонент кодирования видео (кодер или декодер) может строить несколько списков, при этом каждый включает в себя идентификаторы подмножества потенциальных опорных картинок. Из этих нескольких списков, компонент кодирования видео может строить множество подмножеств опорных картинок, что приводит к тому, что компонент кодирования видео получает набор опорных картинок.

В дополнение к методам, которые относятся к получению набора опорных картинок, данное изобретение описывает упрощенные методы инициализации списка опорных картинок. Такая инициализация списка опорных картинок может снять потребность в переупорядочение опорных картинок. Например, если не требуется модифицирование списка опорных картинок, тогда исходные списки опорных картинок образуют итоговые списки опорных картинок, и дальнейшее переупорядочение может не потребоваться. Методы также могут быть направлены на построение списка опорных картинок, таким образом, при котором компонент кодирования видео неоднократно добавляет опорные картинки в список опорных картинок до тех пор, пока количество записей в списке опорных картинок не станет равно максимальному разрешенному количеству записей.

В некоторых примерах, методы направлены на модифицирование списка опорных картинок. Например, компонент кодирования видео может модифицировать исходный список опорных картинок посредством обращения к одному или более из подмножеств опорных картинок, и включения одной или более картинок из подмножества опорных картинок в список опорных картинок после построения исходного списка опорных картинок.

В некоторых примерах, компонент кодирования видео может выполнять управление буфером декодированных картинок (DPB). В этих примерах, компонент кодирования видео может удалять декодированные картинки из DPB, если декодированная картинка не принадлежит к набору опорных картинок. В некоторых случаях, компонент кодирования видео может удалять декодированную картинку до кодирования текущей картинки.

В одном примере, изобретение описывает способ для кодирования видеоданных, который включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодируют текущую картинку на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, который выполнен с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодирования текущей картинки на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных, кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодировать текущую картинку на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство, для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок, и средство для кодирования текущей картинки на основании множества подмножеств опорных картинок.

В одном примере, изобретение включает в себя способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавляют опорные картинки из первого подмножества из множества подмножеств опорных картинок, затем опорные картинки из второго подмножества из множества подмножеств опорных картинок и затем опорные картинки из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодируют текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавления опорных картинок из первого подмножества из множества подмножеств опорных картинок, затем опорных картинок из второго подмножества из множества подмножеств опорных картинок и затем опорных картинок из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавлять опорные картинки из первого подмножества из множества подмножеств опорных картинок, затем опорные картинки из второго подмножества из множества подмножеств опорных картинок и затем опорные картинки из третьего подмножества из множества подмножеств опорных картинок, в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодировать текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для добавления опорных картинок из первого подмножества из множества подмножеств опорных картинок, затем опорных картинок из второго подмножества из множества подмножеств опорных картинок и затем опорных картинок из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и средство для кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение включает в себя способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавляют опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определяют, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторно добавляют одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок, и кодируют текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавления опорных картинок из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определения, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторного добавления одной или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и кодирования текущей картинки на основании списка опорных картинок.

В одном пример, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавлять опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определять, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторно добавлять одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и кодировать текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для добавления опорных картинок из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; средство для определения, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то средство для неоднократного повторного добавления одной или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и средство для кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение описывает способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; строят исходный список опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентифицируют опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок; и добавляют идентифицированную опорную картинку в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Способ дополнительно включает в себя этап, на котором кодируют текущую картинку на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; построения исходного списка опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентификации опорной картинки, по меньшей мере, в одном из построенных подмножеств опорных картинок, и добавления идентифицированной опорной картинки в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Компонент кодирования видео также выполнен с возможностью кодирования текущей картинки на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных, кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; строить исходный список опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок, и добавить идентифицированную опорную картинку в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Инструкции также предписывают процессору кодировать текущую картинку на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для построения исходного списка опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, средство для идентификации опорной картинки, по меньшей мере, в одном из построенных подмножеств опорных картинок, и средство для добавления идентифицированной опорной картинки в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Устройство также включает в себя средство для кодирования текущей картинки на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: получают набор опорных картинок на основании закодированной информации; определяют, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удаляют декодированную картинку из DPB, и вслед за удалением декодированной картинки, кодируют текущую картинку.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможность кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: получения набора опорных картинок на основании закодированной информации; определения, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удаления декодированной картинки из DPB, и вслед за удалением декодированной картинки, кодирования текущей картинки.

В одном примере, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видео кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: получать набор опорных картинок на основании закодированной информации; определять, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удалять декодированную картинку из DPB, и вслед за удалением декодированной картинки, кодировать текущую картинку.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для получения набора опорных картинок на основании закодированной информации; средство для определения, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, средство для удаления декодированной картинки из DPB, и вслед за удалением декодированной картинки, средство для кодирования текущей картинки.

В одном примере, изобретение описывает способ кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют элементы синтаксиса, указывающие потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и строят, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования элементов синтаксиса, указывающих потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать элементы синтаксиса, указывающие потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: кодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и строить, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования элементов синтаксиса, указывающих потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и средство для построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

Подробности одного или более примеров, излагаются ниже в сопроводительных чертежах и описании. Прочие признаки, цели, и преимущества станут очевидны из описания и чертежей, и из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является структурной схемой, иллюстрирующей пример системы кодирования и декодирования видео, которая может использовать методы, описанные в данном изобретении.

Фиг. 2 является концептуальной схемой, иллюстрирующей примерную видеопоследовательность, которая включает в себя множество картинок, которые кодируются и передаются.

Фиг. 3 является структурной схемой, иллюстрирующей примерный кодер видео, который может реализовывать методы, описываемые в данном изобретении.

Фиг. 4 является структурной схемой, иллюстрирующей примерный декодер видео, который может реализовывать методы, описанные в данном изобретении.

Фиг. 5 является блок-схемой, иллюстрирующей примерную операцию получения набора опорных картинок.

Фиг. 6 является блок-схемой, иллюстрирующей примерную операцию построения списка опорных картинок.

Фиг. 7 является блок-схемой, иллюстрирующей другую примерную операцию построения списка опорных картинок.

Фиг. 8 является блок-схемой, иллюстрирующей примерную операцию модифицирования исходного списка опорных картинок.

Фиг. 9 является блок-схемой, иллюстрирующей примерную операцию удаления декодированной картинки.

Фиг. 10 является блок-схемой, иллюстрирующей примерную операцию определения того, какая из долгосрочных опорных картинок принадлежит к набору опорных картинок текущей картинки.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Методы данного изобретения главным образом направлены на управление опорными картинками, которые используются для интер-предсказания. Например, компонент кодирования видео (например, кодер видео или декодер видео) включает в себя буфер декодированных картинок (DPB). DPB хранит декодированные картинки, включая опорные картинки. Опорные картинки являются картинками, которые могут потенциально быть использованы для интер-предсказания картинки. Другими словами, компонент кодирования видео может предсказывать картинку, во время кодирования (кодирования или декодирования) этой картинки, на основании одной или более опорных картинок, хранящихся в DPB.

Для эффективного использования DPB, может быть задан процесс управления DPB, такой как процесс сохранения декодированных картинок в DPB, процесс маркирования опорных картинок, процесс вывода и удаления декодированных картинок из DPB, и т.д. В целом, в некоторых настоящих и разрабатываемых стандартах кодирования видео, управление DPB может включать в себя один или более из следующих аспектов: идентификацию картинки и идентификацию опорной картинки; построение списка опорных картинок; маркирование опорной картинки; вывод картинки из DPB; вставку картинки в DPB; и удаление картинки из DPB.

Чтобы помочь с пониманием, нижеследующее предоставляет краткое описание того, каким образом может происходить маркирование опорной картинки и построение списка опорных картинок в соответствии с некоторыми стандартами кодирования видео. Некоторые из описываемых в данном изобретении методов могут решать некоторые проблемы, которые могут присутствовать при маркировании опорной картинки и построении списка опорных картинок.

Применительно к маркированию опорной картинки, максимальное количество, обозначенное как M (num_ref_frames), опорных картинок используемых для интер-предсказания, указывается в активном наборе параметров последовательности. При декодировании опорной картинки, она маркируется как «используется для ссылки». Если декодирование опорной картинки вызывает маркирование более чем M картинок в качестве «используется для ссылки», то, по меньшей мере, одна картинка должна быть промаркирована как «не используется для ссылки». Процесс удаления из DPB затем будет удалять картинки, промаркированные как «не используется для ссылки» из DPB, если они также не требуются для вывода.

Когда картинка декодируется, она может быть либо не опорной картинкой, либо опорной картинкой. Опорная картинка может быть долгосрочной опорной картинкой или краткосрочной опорной картинкой, и когда она промаркирована как «не используется для ссылки», она может стать той, которая более не требуется для ссылки. В некоторых стандартах кодирования видео, могут присутствовать операции маркирования опорной картинки, которые меняют статус опорных картинок.

Может присутствовать два типа операций для маркирования опорной картинки: скользящее окно и адаптивное управление памятью. Режим обработки для маркирования опорной картинки может быть выбран на основании картинки; поскольку операция скользящего окна может работать в качестве очереди типа «первым пришел, первым обслужен» с фиксированным количеством краткосрочных опорных картинок. Другими словами, краткосрочные опорные картинки с наиболее ранним временем декодирования могут быть первыми на удаление (промаркированными как картинка, которая не используется для ссылки), неявным образом.

Между тем, адаптивное управление памятью удаляет краткосрочные или долгосрочные картинки явным образом. Оно также предоставляет возможность обеспечения переключения статуса краткосрочных и долгосрочных картинок, и т.д. Например, при адаптивном управлении памятью, кодер видео может сигнализировать элементы синтаксиса, которые указывают на то, какие картинки должны быть промаркированы в качестве картинок, которые используются для ссылки. Декодер видео может принимать элементы синтаксиса и маркировать картинки в соответствии с тем, что указано. При скользящем окне, кодеру видео может не требоваться сигнализировать то, какие картинки должны быть промаркированы в качестве тех, которые используются для ссылки. Наоборот, декодер видео может неявным образом (т.е., не принимая элементы синтаксиса) определять, какие картинки должны быть промаркированы в качестве тех, которые используются для ссылки, на основании того, какие картинки находятся в рамках скользящего окна.

На компонент кодирования видео также может быть возложена задача по построению списков опорных картинок, которые указывают, какие опорные картинки могут быть использованы в целях интер-предсказания. Два из этих списка опорных картинок именуются как Список 0 и Список 1, соответственно. Компонент кодирования видео сначала использует методы построения по умолчанию для построения Списка 0 и Списка 1 (например, предварительно сконфигурированные схемы построения для построения Списка 0 и Списка 1). Опционально, после того как построен исходный Список 0 и Список 1, декодер видео может декодировать элементы синтаксиса, если присутствуют, которые предписывают декодеру видео модифицировать исходный Список 0 и Список 1.

Кодер видео может сигнализировать элементы синтаксиса, которые указывают идентификатор(ы) опорных картинок в DPB, и кодер видео также может сигнализировать элементы синтаксиса, которые включают в себя индексы, в Списке 0, Списке 1, или как Списке 0, так и Списке 1, которые указывают на то, какую опорную картинку или картинки использовать для декодирования закодированного блока текущей картинки. Декодер видео, в свою очередь, использует принятый идентификатор для идентификации значения или значений индекса для опорной картинки или опорных картинок, зарегистрированных в Списке 0, Списке 1, или как Списке 0, так и Списке 1. По значению(ям) индекса, а также идентификатору(ам) опорной картинки или опорных картинок, декодер видео извлекает опорную картинку или опорные картинки или их часть(и) из DPB, и декодирует закодированный блок текущей картинки на основании извлеченной опорной картинки или картинок и одного или более векторов движения, которые идентифицируют блоки в опорной картинке или картинках, которые используются для декодирования закодированного блока.

Например, построение списка опорных картинок для первого или второго списка опорных картинок картинки с двунаправленным предсказанием включает в себя два этапа: инициализацию списка опорных картинок и модифицирование списка опорных картинок (также именуемое как переупорядочение списка опорных картинок). Инициализация списка опорных картинок может быть неявным механизмом, который помещает опорные картинки в память опорных картинок (также именуемую как буфер декодированных картинок) в список, основанный на очередности значений POC (Номер Очередности Картинки, совпадающий с очередностью отображения картинки). Механизм переупорядочения списка опорных картинок может модифицировать позицию картинки, которая была помещена в список во время инициализации списка опорных картинок, на любую новую позицию, или помещать любую опорную картинку в память опорных картинок в любую позицию, даже если картинка не принадлежит к инициализированному списку. Некоторые картинки после переупорядочения (модифицирования) списка опорных картинок, могут быть помещены в очень дальнюю позицию в списке. Тем не менее, если позиция картинки превышает количество активных опорных картинок списка, то картинка не рассматривается в качестве записи итогового списка опорных картинок. Количество активных опорных картинок может сигнализироваться в заголовке слайса для каждого списка.

Описываемые в данном изобретении методы могут быть применены к различным стандартам кодирования видео. Примеры стандартов кодирования видео включают в себя ITU-T H.261, ISO/IEC MPEG-1 Визуальный, ITU-T H.262 или ISO/IEC MPEG-2 Визуальный, ITU-T H.263, ISO/IEC MPEG-4 Визуальный и ITU-T H.264 (также известный как ISO/IEC MPEG-4 AVC), включая его расширения Масштабируемое Кодирование Видео (SVC) и Многовидовое Кодирование Видео (MVC). В дополнение, существует новый стандарт кодирования видео, а именно Высокоэффективное Кодирование Видео (HEVC), разрабатываемый Объединенной Командой по Кодированию Видео (JCT-VC) Экспертной Группы по Кодированию Видео (VCEG) ITU-T и Экспертной Группы по Кинематографии (MPEG) ISO/IEC.

Лишь в целях иллюстрации, методы описываются в контексте стандарта HEVC. Последний Рабочий Проект (WD) стандарта HEVC, и именуемый ниже как HEVC WD8, доступен от 20 июля 2012г., по адресу:http://phenix.intevry.fr/jct/doc_end_ user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

Как описано выше, методы, описываемые в данном изобретении, могут решать проблемы, которые могут присутствовать в существующих решениях для управления буфером декодированных картинок (DPB). В качестве одного примера, в некоторых примерных методах, описываемых в данном изобретении, маркирование опорных картинок как «не используется для ссылки» может не требоваться. Например, методы, описываемые в данном изобретение могут решать: проблемы, которые относятся к методам управления DPB, которые не так хорошо подходят для временного масштабирования; проблемы, которые относятся к потерям на сигнализацию применительно к долгосрочным опорным картинкам; проблемы, которые относятся к эффективности и сложности в отношении инициализации и модифицирования списка опорных картинок. Методы, описываемые в данном изобретении также могут решать: проблемы, которые относятся к маркированию «нет опорной картинки» для незавершенных записей в списке опорных картинок во время инициализации списка опорных картинок; проблемы, которые относятся к выводу декодированной картинки, ее вставке в, и удалению из DPB; как впрочем, и проблемы, которые относятся к возможным значениям для значений номера очередности картинки (POC).

В соответствии с методами, описываемыми в данном изобретении, списки опорных картинок строятся из набора опорных картинок. Набор опорных картинок определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, которые предшествуют связанной картинке в очередности декодирования, которые могут быть использованы для интер-предсказания блоков в связанной картинке или любой картинке, следующей за связанной картинкой в очередности декодирования, например, до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). Другими словами, для опорных картинок в наборе опорных картинок может требоваться наличие следующих характеристик: (1) все они предшествуют текущей картинке в очередности декодирования, и (2) они могут быть использованы для интер-предсказания текущей картинки и/или интер-предсказания любой картинки, следующей за текущей картинкой в очередности декодирования, и в некоторых примерах, до следующей картинки IDR или картинки BLA. Могут существовать другие альтернативные определения набора опорных картинок, которые предоставляются ниже.

В примерных методах, описываемых в данном изобретении, компонент кодирования видео может получать набор опорных картинок, и после такого получения, компонент кодирования видео может строить списки опорных картинок. Например, только опорные картинки из набора опорных картинок могут быть потенциальными опорными картинками, которые используются для построения списков опорных картинок.

Для построения набора опорных картинок, компонент кодирования видео может строить множество подмножеств опорных картинок. Комбинация подмножеств опорных картинок вместе может образовывать набор опорных картинок. Например, кодер видео может явным образом сигнализировать, в закодированном битовом потоке, значения, которые позволяют декодеру видео определить идентификаторы для опорных картинок, которые включены в набор опорных картинок. Например, идентификаторы опорных картинок могут быть номерами очередности картинки. Каждая картинка связана с одним номером очередности картинки, который обозначается как PicOrderCnt. PicOrderCnt указывает очередность вывода или очередность отображения соответствующей картинки относительно предыдущей картинки IDR в очередности декодирования, и, в некоторых других альтернативных вариантах, указывает позицию связанной картинки в очередности вывода относительно позиций очередности вывода других картинок в одной и той же закодированной видеопоследовательности.

PicOrderCnt может именоваться как значение номера очередности картинки (POC). Значение POC может указывать очередность вывода или отображения картинки, и может быть использовано для идентификации картинки. Например, внутри закодированной видеопоследовательности, картинка с меньшим значением POC выводится или отображается раньше картинки с большим значением POC.

Декодер видео может определять идентификаторы для опорных картинок, и из этих идентификаторов строить множество подмножеств опорных картинок. Из этих подмножеств опорных картинок, декодер видео может получать набор опорных картинок, как описано более подробно ниже. В некоторых примерах, каждое из подмножеств опорных картинок включает в себя разные опорные картинки, по этой причине отсутствует пересечение опорных картинок в подмножествах опорных картинок. Таким образом, каждая из опорных картинок может присутствовать только в одном из подмножеств опорных картинок, и ни в одном другом подмножестве опорных картинок. Тем не менее, аспекты данного изобретения не должны рассматриваться как ограниченные этим.

После определения идентификаторов (например, значений POC) опорных картинок в наборе опорных картинок или его подмножествах, декодер видео может построить подмножества опорных картинок. Как описывается более подробно ниже, декодер видео может построить шесть подмножеств опорных картинок, несмотря на то, что декодер видео может быть выполнен с возможностью построения большего или меньшего числа подмножеств опорных картинок.

Эти шесть подмножеств опорных картинок именуются: RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. Подмножество RefPicSetStCurr0 опорных картинок быть обозначено как подмножество RefPicSetStCurrBefore опорных картинок, а подмножество RefPicSetStCurr1 опорных картинок может быть обозначено как подмножество RefPicSetStCurrAfter опорных картинок.

Подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок могут идентифицировать краткосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать краткосрочные опорные картинки на основании того, находятся ли краткосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка, как впрочем, и могут ли быть краткосрочные опорные картинки потенциально использованы для интер-предсказания текущей картинки и картинок, следующих за текущей картинкой в очередности декодирования, или могут ли быть потенциально использованы для интер-предсказания только картинок, следующих за текущей картинкой в очередности декодирования.

Например, подмножество RefPicSetStCurr0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации, такую как значения POC, всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetStCurr1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Подмножество RefPicSetStFoll0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки. Подмножество RefPicSetStFoll1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Подмножества RefPicSetLtCurr и RefPicSetLtFoll могут идентифицировать долгосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать долгосрочные опорные картинки на основании того, находятся ли долгосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка.

Например, подмножество RefPicSetLtCurr опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetLtFoll опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

После построения подмножеств опорных картинок, декодер видео может упорядочить подмножества опорных картинок в другой очередности для получения набора опорных картинок. В качестве одного примера, очередность набора опорных картинок может быть следующей: RefPicSetStCurr0, RefPicSetSetCurr1, RefPicSetFoll0, RefPicSetFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. Тем не менее, другое упорядочение подмножеств может быть возможно для получения набора опорных картинок. Например, в качестве другого примера, очередность набора опорных картинок может быть следующей: подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, и за которым следует подмножество RefPicSetLtFoll опорных картинок.

В соответствии с методами, описываемыми в данном изобретении, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr включают в себя все опорные картинки, которые могут быть использованы для интер-предсказания блока в текущей картинке и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножества RefPicSetStFoll0, RefPicSetStFoll1, и RefPicSetLtFoll включают в себя все опорные картинки, которые не используются для интер-предсказания блока в текущей картинке, но могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Следует понимать, что шесть подмножеств опорных картинок описываются лишь в целях иллюстрации, и не должны рассматриваться как накладывающие ограничения. В альтернативных примерах, может присутствовать большее или меньшее число подмножеств опорных картинок. Такие подмножества опорных картинок, в этих альтернативных примерах, описываются более подробно ниже.

В некоторых методах, описываемых в данном изобретении, декодеру видео может не требоваться маркировать декодированные картинки как «используется для ссылки», «не используется для ссылки», «используется для краткосрочной ссылки», или «используется для долгосрочной ссылки». Наоборот, требуется ли декодированная картинка, хранящаяся в DPB, для интер-предсказания, указывается посредством того, включена ли она в набор опорных картинок текущей картинки. В альтернативных примерах, может существовать возможность того, что декодер видео маркирует декодированные картинки как «используется для ссылки», «не используется для ссылки», «используется для краткосрочной ссылки», или «используется для долгосрочной ссылки». В этих примерах, после того, как декодер видео декодирует картинку, она является опорной картинкой и маркируется как «используется для ссылки». Затем, после вызова процесса для получения набора опорных картинок, все опорные картинки, хранящиеся в DPB, но не включенные в набор опорных картинок текущей картинки маркируются как «не используется для ссылки», перед возможным удалением декодированных картинок из DPB. Таким образом, требуется ли декодированная картинка, хранящаяся в DPB, для интер-предсказания может быть указано посредством того, промаркирована ли она как «используется для ссылки».

Как только декодер видео получает набор опорных картинок из множества подмножеств опорных картинок, декодер видео может построить списки опорных картинок (например, Список 0 и Список 1) из набора опорных картинок. Например, построение списков опорных картинок может включать в себя этап инициализации и возможно этап модифицирования. Посредством получения набора опорных картинок описанным выше образом, декодер видео может быть способен повысить эффективность и сократить сложность применительно к инициализации списка опорных картинок и модифицированию списка опорных картинок.

Могут существовать различные способы, которыми декодер видео может строить списки опорных картинок. Методы, описываемые в данном изобретении, предоставляют механизм, посредством которого декодер видео может строить списки опорных картинок, не прибегая к переупорядочению опорных картинок, которые должны быть включены в (исходный) список опорных картинок. Например, декодер видео может быть выполнен с возможностью реализации методы построения ссылочного списка по умолчанию, при которой декодер видео использует подмножества опорных картинок для построения исходных списков опорных картинок. Затем, если не требуется модифицирование списка опорных картинок, то итоговые списки опорных картинок могут быть точно такими же, что и исходные списки опорных картинок, не прибегая к какому-либо дополнительному переупорядочению списков опорных картинок.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к построению списков опорных картинок таким образом, что отсутствуют незавершенные записи. Например, методы могут неоднократно добавлять опорные картинки в список опорных картинок из одного или более подмножеств опорных картинок. Например, после того как декодер видео добавляет опорные картинки из одного или более подмножеств опорных картинок для построения исходного списка опорных картинок, декодер видео может определять, меньше ли количество записей в списке опорных картинок максимального разрешенного количества записей. Если количество записей в списке опорных картинок меньше максимального количества разрешенного количества записей, то декодер видео может повторно добавлять, по меньшей мере, одну из опорных картинок из одного из подмножеств опорных картинок, использованных для построения списка опорных картинок, в список опорных картинок. Это повторное добавление (также именуемое как повторная регистрация) опорной картинки может происходить в других местах в списках опорных картинок, в сравнении с местоположением, в которое опорная картинка была добавлена декодером видео первый раз.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к модифицированию исходного списка опорных картинок. Например, декодер видео может строить исходный список опорных картинок. Декодер видео может определять, что требуется модифицирование списка опорных картинок на основании элементов синтаксиса, сигнализируемых кодером видео в закодированном битовом потоке. Когда требуется модифицирование списка опорных картинок, декодер видео может идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок. Декодер видео может регистрировать (например, добавлять) идентифицированную опорную картинку в текущей записи исходного списка опорных картинок для построения модифицированного списка опорных картинок. Декодер видео затем может декодировать текущую картинку на основании модифицированного списка опорных картинок.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к выводу и удалению декодированных картинок из буфера декодированных картинок (DPB). Примерные методы могут удалять декодированную картинку из DPB перед кодированием текущей картинки. Например, примерные методы могут удалять декодированную картинку, если эта декодированная картинка не идентифицирована в наборе опорных картинок текущей картинки и если эта декодированная картинка не требуется для вывода (т.е., она, либо была не предназначена для вывода, либо она была предназначена для вывода, но была уже выведена).

Фиг. 1 является структурной схемой, иллюстрирующей примерную систему 10 кодирования и декодирования видео, которая может использовать методы, описываемые в данном изобретении. В целом, набор опорных картинок определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, которые находятся перед связанной картинкой в очередности декодирования, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования. В некоторых примерах, опорные картинки, которые находятся перед связанной картинкой, могут быть опорными картинками до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). Другими словами, опорные картинки в наборе опорных картинок могут все находиться перед текущей картинкой в очередности декодирования. Также, опорные картинки в наборе опорных картинок могут быть использованы для интер-предсказания текущей картинки и/или интер-предсказания любой картинки, следующей за текущей картинкой в очередности декодирования, до следующей картинки IDR или картинки BLA.

Могут существовать другие альтернативные определения набора опорных картинок. Например, набором опорных картинок может быть набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, исключая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования, и у которых значение temporal_id меньше либо равно тому, что имеется у связанной картинки. temporal_id может быть значением временной идентификации. Значение временной идентификации может быть иерархическим значением, которое указывает на то, какие картинки могут быть использованы для кодирования текущей картинки. В целом, картинка с конкретным значением temporal_id возможно может быть опорной картинкой для картинок с одинаковым или большими значениями temporal_id, но не наоборот. Например, картинка со значением temporal_id равным 1 возможно может быть опорной картинкой для картинок со значениями temporal_id равными 1, 2, 3, ..., но не для картинки со значение temporal_id равным 0.

Самое низкое значение temporal_id также может указывать на самую низкую частоту отображения. Например, если декодер видео декодирует только картинки со значениями temporal_id равными 0, то частота отображения может быть 7,5 картинок в секунду. Если декодер видео декодирует только картинки со значениями temporal_id равными 0 и 1, то частота отображения может быть 15 картинок в секунду, и т.д.

В качестве другого примера, набор опорных картинок может быть набором из опорных картинок, связанных с картинкой, состоящим из всех опорных картинок, исключая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки и любой картинки, следующей за связанной картинкой в очередности декодирования. В качестве еще одного другого примера, набор опорных картинок может быть определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, возможно включая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования. В качестве другого примера, набор опорных картинок может быть определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, возможно включая саму связанную опорную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования, и которая имеет значение temporal_id меньше либо равное тому, что имеется у связанной опорной картинки.

В качестве еще одного другого примера, в вышеприведенных определениях набора опорных картинок, фраза «могут быть использованы для интер-предсказания» заменяется на «используемые для интер-предсказания». Хотя могут существовать альтернативные определения набора опорных картинок, в данном изобретении, примеры описываются с учетом определения набора опорных картинок как набора из опорных картинок, связанных с картинкой, состоящего из всех опорных картинок, которые находятся перед связанной картинкой в очередности декодирования, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования.

Например, некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блока текущей картинки, но не картинок, следующих за текущей картинкой в очередности декодирования. Некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блока текущей картинки, и блоков в одной или более картинках, следующих за текущей картинкой в очередности декодирования. Некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блоков в одной или более картинках, следующих за текущей картинкой в очередности декодирования, и не могут быть использованы для интер-предсказания блока в текущей картинке.

Используемые в данном изобретении опорные картинки, которые могут потенциально быть использованы для интер-предсказания, относятся к опорным картинкам, которые могут быть использованы для интер-предсказания, но не обязательно должны быть использованы для интер-предсказания. Например, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания. Тем не менее, это не означает, что все из идентифицированных опорных картинок должны быть использованы для интер-предсказания. Наоборот, одна или более из этих идентифицированных опорных картинок могут быть использованы для интер-предсказания, но не обязательно все должны быть использованы для интер-предсказания.

Как показано на Фиг. 1, система 10 включает в себя устройство-источник 12, которое генерирует закодированное видео для декодирования устройством-получателем 14. Устройство-источник 12 и устройство-получатель 14 каждое может быть примером компонента кодирования видео. Устройство-источник 12 может передавать закодированное видео устройству-получателю 14 через канал 16 связи или может сохранять закодированное видео на носителе 17 информации или файловом сервере 19, таким образом, что при необходимости со стороны устройства-получателя 14 может быть получен доступ к закодированному видео.

Устройство-источник 12 и устройство-получатель 14 могут быть выполнены в виде любого из широкого диапазона устройств, включая: беспроводную телефонную трубку, такую как так называемые смартфоны, так называемые интеллектуальные планшеты или другие такие беспроводные устройства, оборудованные для беспроводной связи. Дополнительные примеры устройства-источника 12 и устройства-получателя 14 включают в себя, без ограничения указанным: цифровой телевизор, устройство в системе цифрового непосредственного вещания, устройство в системе беспроводного вещания, персональные цифровые помощники (PDA), компьютер класса лэптоп, настольный компьютер, планшетный компьютер, устройство для чтения электронных книг, цифровую камеру, цифровое устройство записи, цифровой мультимедийный проигрыватель, видеоигровое устройство, видеоигровую консоль, сотовый радиотелефон, спутниковый радиотелефон, устройство проведения видео телеконференций, устройство потокового видео, устройство беспроводной связи или подобное.

Как указано выше, во многих случаях, устройство-источник 12 и/или устройство-получатель 14 могут быть оборудованы для беспроводной связи. Следовательно, канал 16 связи может быть выполнен в виде беспроводного канала, проводного канала, или комбинации беспроводных и проводных каналов, пригодной для передачи закодированных видеоданных. Аналогичным образом, доступ к файловому серверу 19 может быть получен со стороны устройства-получателя 14 посредством любого стандартного соединения для передачи данных, включая Интернет соединение. Это может включать в себя беспроводной канал (например, Wi-Fi соединение), проводное соединение (например, DSL, кабельный модем и т.д.), или комбинацию обоих, которая пригодна для получения доступа к закодированным видеоданным, хранящимся на файловом сервере.

Тем не менее, методы данного изобретения могут быть применены к кодированию видео для поддержки любых из разнообразных мультимедийных применений, таких как эфирное телевизионное вещание, передачи кабельного телевидения, передачи спутникового телевидения, передачи потокового видео, например, через Интернет, кодирования цифрового видео для хранения на носителе информации для данных, декодирования цифрового видео, хранящегося на носителе информации для данных, или других применений. В некоторых примерах, система 10 может быть выполнена с возможностью обеспечения односторонней или двусторонней передачи видео для поддержки применений, таких как потоковая передача видео, воспроизведение видео, видео вещание, и/или видео телефония.

В примере на Фиг. 1 устройство-источник 12 включает в себя источник 18 видео, кодер 20 видео, модулятор/демодулятор 22 (MODEM) и интерфейс 24 вывода. В устройстве-источнике 12, источник 18 видео может включать в себя источник, такой как устройство захвата видео, такое как видеокамера, видео архив, содержащий ранее захваченное видео, интерфейс внешнего видеосигнала для приема видео от поставщика видео контента, и/или систему компьютерной графики для генерирования данных компьютерной графики в качестве исходного видео, или комбинацию таких источников. В качестве одного примера, если источник 18 видео является видеокамерой, то устройство-источник 12 и устройство-получатель 14 могут образовывать так называемые телефоны с камерой или видеотелефоны. Тем не менее, методы, описываемые в данном изобретении, могут быть применены к кодированию видео в целом, и могут быть применены к беспроводным и/или проводным применениям.

Захваченное, предварительно захваченное или сгенерированное компьютером видео может быть закодировано кодером 20 видео. Закодированная видеоинформация может быть подвергнута модуляции посредством модема 22, в соответствии со стандартом связи, таким как протокол беспроводной связи, и передана устройству-получателю 14 через интерфейс вывода. Модем 22 может включать в себя различные микшеры, фильтры, усилители или другие компоненты, разработанные для модуляции сигнала. Интерфейс 24 вывода может включать в себя схемы, разработанные для передачи данных, включая усилители, фильтры и одну или более антенны.

Захваченное, предварительно захваченное или сгенерированное компьютером видео, которое кодируется кодером 20 видео, также может быть сохранено на носителе 17 информации или файловом сервере 19 для потребления позже. Носитель 17 информации может включать в себя диски Blu-ray, DVD, CD-ROM, флэш-память или любые другие пригодные цифровые носители информации для хранения закодированного видео. Затем к закодированному видео, хранящемуся на носителе 17 информации, может быть получен доступ со стороны устройства-получателя 14 для декодирования и воспроизведения.

Файловый сервер 19 может быть любым типом сервера, выполненным с возможностью хранения закодированного видео и передачи этого закодированного видео устройству-получателю 14. Примерные файловые серверы включают в себя web-сервер (например, для web-сайта), FTP сервер, устройства сетевой системы хранения данных (NAS), локальный накопитель на диске, или любой другой тип устройства, выполненного с возможностью хранения закодированного видео и передачи его устройству-получателю. Передача закодированных видеоданных от файлового сервера 19 может быть потоковой передачей, загружаемой передачей, или комбинацией двух. Доступ к файловому серверу 19 может быть получен со стороны устройства-получателя 14 посредством любого стандартного соединения для передачи данных, включая Интернет соединение. Это может включать в себя беспроводной канал (например, Wi-Fi соединение), проводное соединение (например, DSL, кабельный модем, Ethernet, USB, и т.д.), или комбинацию двух, которая пригодна для получения доступа к закодированным видеоданным, хранящимся на файловом сервере.

Устройство-получатель 14, в примере на Фиг. 1, включает в себя интерфейс 26 ввода, модем 28, декодер 30 видео, и устройство 32 отображения. Интерфейс 26 ввода устройства-получателя 14 принимает информацию через канал 16, в качестве одного примера, или от носителя 17 информации или файлового сервера 19, в качестве альтернативных примеров, и модем 28 демодулирует информацию для создания демодулированного битового потока для декодера 30 видео. Демодулированный битовый поток может включать в себя разнообразие информации синтаксиса, сгенерированной кодером 20 видео для использования декодером 30 видео при декодировании видеоданных. Такой синтаксис также может быть включен в закодированные видеоданные, хранящиеся на носителе 17 информации или файловом сервере 19. В качестве одного примера, синтаксис может быть встроен в закодированные видеоданные, несмотря на то, что аспекты данного изобретения не должны рассматриваться как ограниченные таким требованием. Информация синтаксиса, определенная кодером 20 видео, которая также используется декодером 30 видео, может включать в себя элементы синтаксиса, которые описывают характеристики и/или обработку видео блоков, таких как древовидных единиц кодирования (CTU), древовидных блоков кодирования (CTB), единиц предсказания (PU), единиц кодирования (CU) и других единиц закодированного видео, например, видео слайсы, видео картинки, и видеопоследовательности или группы картинок (GOP). Каждый из кодера 20 видео и декодера 30 видео могут образовывать часть соответствующего кодера-декодера (CODEC), который выполнен с возможностью кодирования или декодирования видеоданных.

Устройство 32 отображения может быть встроенным или может быть внешним по отношению к устройству-получателю 14. В некоторых примерах, устройство-получатель 14 может включать в себя встроенное устройство отображения и также может быть выполнено с возможностью взаимодействия с внешним устройством отображения. В других примерах устройство-получатель 14 может быть устройством отображения. В целом, устройство 32 отображения отображает декодированные видеоданные пользователю и может быть выполнено в виде любого из разнообразных устройств отображения, такого как жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED), или другого типа устройства отображения.

В примере на Фиг. 1 канал 16 связи может быть выполнен в виде любого беспроводного или проводного средства связи, такого как радиочастотный (RF) спектр или одна или более физических линий передачи, или любой комбинации беспроводных и проводных средств. Канал 16 связи может образовывать часть основанной на пакетах сети, такой как локальная сеть, широкомасштабная сеть, или глобальная сеть, такая как Интернет. Канал 16 связи в целом представляет собой любое пригодное средство связи, или совокупность разных средств связи, для передачи видеоданных от устройства-источника 12 устройству-получателю 14, включая любое пригодное сочетание проводных или беспроводных средств. Канал 16 связи может включать в себя маршрутизаторы, коммутаторы, базовые станции, иди любое другое оборудование, которое может быть полезно для обеспечения связи от устройства-источника 12 к устройству-получателю 14.

Кодер 20 видео и декодер 30 видео могут функционировать в соответствии со стандартом сжатия видео, таким как, включая ITU-T H.261, ISO/IEC MPEG-1 Визуальный, ITU-T H.262 или ISO/IEC MPEG-2 Визуальный, ITU-T H.263, ISO/IEC MPEG-4 Визуальный и ITU-T H.264 (также известный как ISO/IEC MPEG-4 AVC), включая его расширения Масштабируемое Кодирование Видео (SVC) и Многовидовое Кодирование Видео (MVC). В дополнение, существует новый стандарт кодирования видео, а именно Высокоэффективное Кодирование Видео (HEVC), разрабатываемый Объединенной Командой по Кодированию Видео (JCT-VC) Экспертной Группы по Кодированию Видео (VCEG) ITU-T и Экспертной Группы по Кинематографии (MPEG) ISO/IEC. Последний Рабочий Проект (WD) стандарта HEVC, и именуемый ниже как HEVC WD8, доступен от 20 июля 2012г., по адресу: http://phenix.intevry.fr/jct/doc_end_ user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

Тем не менее, методы данного изобретения не ограничиваются любым конкретным стандартом кодирования. Лишь в целях иллюстрации, методы описываются в соответствии со стандартом HEVC.

Хотя не показано на Фиг. 1, в некоторых аспектах, кодер 20 видео и декодер 30 видео, каждый может быть интегрирован с аудио кодером и декодером, и может включать в себя соответствующие компоненты MUX-DEMUX (мультиплексирования-демультиплексирования) или другое аппаратное и программное обеспечение для обработки кодирования как аудио, так и видео, в общем потоке данных или отдельных потоках данных. Если применимо, компоненты MUX-DEMUX могут соответствовать протоколу мультиплексирования ITU H.223, или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP).

Кодер 20 видео и декодер 30 видео каждый могут быть реализованы в качестве любой из разнообразных пригодных схем кодера, таких как: один или более процессоров, включая микропроцессоры, цифровые сигнальные процессоры (DSP), проблемно ориентированные интегральные схемы (ASIC), программируемые вентильные матрицы (FPGA), дискретная логика, программное обеспечение, аппаратное обеспечение, встроенное программное обеспечение или любые их комбинации. Когда методы реализуются частично в программном обеспечении, устройство может хранить инструкции для программного обеспечения на пригодном, постоянном машиночитаемом носителе информации, и исполнять инструкции в аппаратном обеспечении, используя один или более процессоров для выполнения методов данного изобретения.

Каждый из кодера 20 видео и декодера 30 видео может быть включен в один или более кодеров или декодеров, любой из которых может быть включен как часть объединенного кодера/декодера (CODEC) в соответствующем устройстве. В некоторых случаях, кодер 20 видео и декодер 30 видео могут обычно именоваться как компонент кодирования видео, который кодирует информацию (например, картинки и элементы синтаксиса). Кодирование информации может относиться к кодированию, когда компонент кодирования видео соответствует кодеру 20 видео. Кодирование информации может относиться к декодированию, когда компонент кодирования видео соответствует декодеру 30 видео.

Кроме того, методы, описываемые в данном изобретении, могут относиться к сигнализации информации кодером 20 видео. Когда кодер 20 видео сигнализирует информацию, то методы данного изобретения в целом относятся к любому способу, которым кодер 20 видео предоставляет информацию. Например, когда кодер 20 видео сигнализирует элементы синтаксиса декодеру 30 видео, это может означать, что кодер 20 видео передает элементы синтаксиса декодеру 30 видео через интерфейс 24 вывода и канал 16 связи, или что кодер 20 видео сохраняет элементы синтаксиса через интерфейс 24 вывода на носителе 17 информации и/или файловом сервере 19 для приема, в конечном счете, декодером 30 видео. Таким образом, сигнализация от кодера 20 видео декодеру 30 видео не должна интерпретироваться как требующая передачи от кодера 20 видео, которая непосредственно принимается декодером 30 видео, несмотря на то, что это может быть возможным. Наоборот, сигнализация от кодера 20 видео декодеру 30 видео должна интерпретироваться как любая методов а, с помощью которой кодер 20 видео предоставляет информацию для приема, в конечном счете, декодером 30 видео, либо непосредственно, либо через промежуточное хранилище (например, носитель 17 информации и/или файловый сервер 19).

Кодер 20 видео и декодер 30 видео могут быть выполнены с возможностью реализации примерных методов, описываемых в данном изобретении, для получения набора опорных картинок. Например, декодер 30 видео может вызывать процесс для получения набора опорных картинок один раз на картинку. Декодер 30 видео может вызывать процесс для получения набора опорных картинок после декодирования заголовка слайса, но перед декодированием любой единицы кодирования и перед процессом декодирования для построения списка опорных картинок слайса.

Как описано выше, набор опорных картинок является полным описанием опорных картинок, используемых в процессе декодирования текущей картинки и дальнейших закодированных картинок в очередности декодирования до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). В примерах, описываемых в данном изобретении, кодер 20 видео может явным образом сигнализировать значения, по которым декодер 30 видео может определять идентификаторы для опорных картинок, которые принадлежат к набору опорных картинок. Сигнализация набора опорных картинок является явной в том смысле, что все опорные картинки, включенные в набор опорных картинок, приведены в списке явным образом, за исключением некоторых картинок, например, картинок IDR, для которых элементы синтаксиса набора опорных картинок не включаются в заголовок слайса и получают пустой набор опорных картинок.

Могут существовать различные способы, которыми кодер 20 видео может сигнализировать элементы синтаксиса в закодированном битовом потоке, которые декодер 30 видео может использовать для получения набора опорных картинок. Например, кодер 20 видео может сигнализировать элементы синтаксиса в наборе параметров картинки (PPS), наборе параметров последовательности (SPS), заголовке картинки (если таковой имеется), заголовке слайса, или любой их комбинации. Лишь в целях иллюстрации, кодер 20 видео может сигнализировать элементы синтаксиса, используя SPS, PPS, и заголовок слайса, как описывается более подробно.

Для получения набора опорных картинок, декодер 30 видео может реализовывать процесс декодирования для определения идентификаторов для картинок, которые принадлежат к набору опорных картинок. Декодер 30 видео затем может строить множество подмножеств опорных картинок, при этом каждое их подмножеств идентифицирует ноль или больше опорных картинок, которые принадлежат к набору опорных картинок. Декодер 30 видео может получать набор опорных картинок из построенных подмножеств опорных картинок. Например, декодер 30 видео может регистрировать множество подмножеств опорных картинок в конкретной очередности для получения набора опорных картинок.

Могут существовать различные способы, которыми декодер 30 может определять идентификаторы для картинок, которые принадлежат к набору опорных картинок. В целом, кодер 20 видео может сигнализировать значения, по которым декодер 30 видео может определять идентификаторы для картинок, включая картинки, которые принадлежат к набору опорных картинок. Идентификаторы картинок могут быть PicOrderCnt (т.е., значениями номера очередности картинки (POC)). Как описано выше, значение POC может указывать очередность отображения или вывода картинки, при этом картинки с меньшими значениями POC отображаются раньше, чем картинки с большими значениями POC. Значение POC заданной картинки может указываться относительно предыдущей картинки мгновенного восстановления при декодировании (IDR). Например, PicOrderCnt (т.е., значение POC) для картинки IDR может быть равно 0, значение POC для картинки после картинки IDR в очередности отображения или вывода может быть равно 1, значение POC для картинки после картинки со значением POC равным 1, в очередности отображения или вывода может быть равно 2, и т.д.

В соответствии с методами, описываемыми в данном изобретении, когда текущая картинка не является картинкой IDR, то нижеследующее может быть применено для получения значения POC текущей картинки. Нижеследующее упомянуто для того, чтобы помочь в понимании, и не должно рассматриваться как накладывающее ограничения.

Например, рассмотрим список listD переменных, который включает в себя в качестве элементов значения PicOrderCnt (значения POC), связанные со списком картинок, включающим в себя все из следующего: (1) первая картинка в списке является предыдущей картинкой IDR в очередности декодирования, и (2) все другие картинки следуют в очередности декодирования за первой картинкой в списке и, либо предшествуют текущей картинке в очередности декодирования, либо являются текущей картинкой. В данном примере, текущая картинка включается в listD перед вызовом процесса получения для набора опорных картинок. Также, рассмотрим список listO переменных, который включает в себя элементы listD, отсортированные в порядке возрастания значения POC. В данном примере, listO может не содержать значение POC, значение которого равно значению POC другой картинки.

В некоторых примерах, значения POC могут быть ограничены диапазоном от -2^pocLen-1 до 2^pocLen-1-1, включительно. В данном примере, pocLen может быть равна long_term_ref_pic_id_ len_delta + long_term_ref_pic_id_delta_len_minus4 + 4. Элементы long_term_ref_pic_id_len_delta, и long_term_ref_pic_id_delta_len _minus4 могут быть элементами синтаксиса, которые декодер 30 видео принимает в закодированном битовом потоке как часть синтаксиса набора параметров картинки, как описывается более подробно ниже. В качестве другого примера, значения POC могут быть ограничены диапазоном от -2³¹ до 2³¹-1, включительно.

В качестве одного примера, декодер 30 видео может принимать в закодированном битовом потоке (т.е., битовом потоке, который сигнализируется кодером 20 видео), элемент pic_order_cnt_lsb синтаксиса. Элемент pic_order_cnt_lsb синтаксиса может указывать номера очередности картинки по модулю MaxPicOrderCntLsb для закодированной картинки. Длина элемента pic_order_cnt_lsb синтаксиса может быть log2_max_pic_order_cnt_ lsb_minus4+4 бита. Значение pic_order_cnt_lsb может находиться в диапазоне от 0 до MaxPicOrderCntLsb -1, включительно. Декодер 30 видео может принимать элемент pic_order_cnt_lsb синтаксиса в синтаксисе заголовка слайса для текущей картинки, которая должна быть декодирована.

Декодер 30 видео также может принимать элемент log2_max_pic_order_cnt_lsb_minus4 синтаксиса в закодированном битовом потоке, сигнализируемом кодером 20 видео. Декодер 30 видео может принимать элемент log2_max_pic_order_cnt_lsb _minus4 в наборе параметров последовательности. Значение элемента log2_max_pic_order_cnt_lsb_minus4 может находиться в диапазоне от 0 до 12, включительно. Элемент log2_max_pic_order_cnt_lsb _minu4 синтаксиса может указывать значение переменной MaxPicOrderCntLsb, которую декодер 30 видео использует в процессе декодирования для определения значений POC. Например:

MaxPicOrderCntLsb = 2^{(log2_max_pic_order_cnt_lsb_minus4+4)}.

По этим принятым элементам синтаксиса, декодер 30 видео может определять значение POC текущей картинки следующим образом. Например, декодер 30 видео может определять PicOrderCntMsb для текущей картинки. Значение POC для текущей картинки может быть определенным PicOrderCntMsb для текущей картинки полюс принятый pic_order_cnt_lsb для текущей картинки.

В нижеследующем, функция PicOrderCnt(picX) равна значению POC для картинки X. Функция DiffPicOrderCnt(picA, picB) равна PicOrderCnt(picA) минус PicOrderCnt(picB). В некоторых примерах, закодированный битовый поток может не включать в себя данные, которые приводят к значениям DiffPicOrderCnt(picA, picB), используемым в процессе декодирования, которые превышают диапазон от -2¹⁵ до 2¹⁵-1, включительно. Кроме того, пусть X будет текущей картинкой, а Y и Z будут двумя другими картинками в той же последовательности, причем Y и Z рассматриваются как находящиеся по одному и тому же направлению очередности вывода от X, когда как DiffPicOrderCnt(X, Y), так и DiffPicOrderCnt(X, Z), положительные или оба отрицательные. Также, в некоторых примерах, кодер 20 видео может назначать PicOrderCnt пропорционально шагу квантования по времени соответствующей картинки относительно шагу квантования по времени предыдущей картинки IDR.

В рамках процесса определения значения POC для текущей картинки, декодер 30 видео может определять переменные prevPicOrderCntMsb и prevPicOrderCntLsb. Например, если текущей картинкой является картинка IDR, то декодер 30 видео может установить prevPicOrderCntMsb равной 0, и установить prevPicOrderCntLsb равной 0. В противном случае (т.е., когда текущая картинка не является картинкой IDR), декодер 30 видео может установить prevPicOrderCntMsb равной PicOrderCntMsb предыдущей опорной картинки в очередности декодирования с меньшим или равным temporal_id, чем у текущей картинки, и установить prevPicOrderCntLsb равной значению pic_order_cnt_lsb предыдущей опорной картинки в очередности декодирования с меньшим или равным temporal_id, чем у текущей картинки.

С помощью этих значений переменных и значений элементов синтаксиса (например, значений prevPicOrderCntMsb, prevPicOrderCntLsb, pic_order_cnt_lsb, и MaxPicOrderCntLsb), декодер 30 видео может определять значение PicOrderCntMsb на основании этапов, изложенных в нижеследующем псевдокоде. Следует понимать, что декодер 30 видео может реализовывать этапы, изложенные в нижеследующем псевдокоде, для определения PicOrderCntMsb для каждой текущей картинки, которая используется для получения значения POC текущей картинки.

if((pic_order_cnt_lsb<prevPicOrderCntLsb) && ((prevPicOrderCntLsb - pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))

PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb

else if((pic_order_cnt_lsb>prevPicOrderCntLsb) && ((pic_order_cnt_lsb − prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))

PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb

else

PicOrderCntMsb = prevPicOrderCntMsb

После определения PicOrderCntMsb для текущей картинки, декодер 30 видео может определять значение POC для текущей картинки на основании PicOrderCntMsb для текущей картинки и pic_order_cnt_lsb для текущей картинки. Декодер 30 видео может определять значение POC для текущей картинки следующим образом:

PicOrderCnt = PicOrderCntMsb + pic_order_cnt_lsb

После декодирования картинки, декодер 30 видео может сохранять значение PicOrderCntMsb, значение pic_order_cnt_lsb, и значение POC для этой картинки, включая каждую из опорных картинок, которые принадлежат к набору опорных картинок, в буфере декодированных картинок (DPB) декодера 30 видео. Таким образом, каждая картинка в DPB связана со значением POC, значением PicOrderCntMsb, и значением pic_order_cnt_lsb.

Способ для определения значений POC опорных картинок, включенных в набор опорных картинок текущей картинки, описываются более подробно ниже. По определенным значениям POC, декодер 30 видео может реализовать процесс получения для набора опорных картинок. Тем не менее, перед описанием способа, посредством которого декодер 30 видео реализует процесс получения для набора опорных картинок, нижеследующее предоставляет таблицы элементов синтаксиса, которые декодер 30 видео может принимать в закодированном битовом потоке, сигнализируемые кодером 20 видео. Например, кодер 20 видео может сигнализировать элементы синтаксиса в следующих таблицах в битовом потоке, который принимает декодер 30 видео. Некоторые из этих элементов синтаксиса были описаны выше. По элементам синтаксиса, декодер 30 видео может определить значения POC опорных картинок, включенных в набор опорных картинок и затем получить набор опорных картинок.

Например, в методах, описываемых в данном изобретении, следующие структуры синтаксиса модифицированы по отношению к предыдущим стандартам кодирования видео: синтаксис полезной нагрузки последовательности необработанных байтов (RBSP) набора параметров последовательности (SPS), seq_paramater_set_rbsq(), синтаксис RBSP набора параметров картинки (PPS), pic_parameter_set_rbsp(), slice header syntax, slice_header(), и синтаксис модифицирования списка опорных картинок, ref_pic_list_modification(). Модифицирование списка опорных картинок более подробно описывается вслед за описанием получения набора опорных картинок и инициализацией одного или более списков опорных картинок.

Также в соответствии с методами, описываемыми в данном изобретении, следующие структуры синтаксиса добавляются в закодированный битовый поток: синтаксис набора краткосрочных опорных картинок, short_term_ref_pic_set(), и синтаксис набора долгосрочных опорных картинок, long_term_ref_pic_set(). Декодер 30 видео может использовать синтаксиса набора краткосрочных опорных картинок и синтаксис набора долгосрочных опорных картинок для построения подмножеств опорных картинок, из которых декодер 30 видео получает набор опорных картинок.

Например, для того чтобы декодер 30 видео определил значения POC для опорных картинок, которые принадлежат к набору опорных картинок, кодер 20 видео может сигнализировать информацию идентификации опорной картинки, которую декодер 30 видео использует для определения значения POC, в наборе параметров картинки, а индекс списка может упоминаться в заголовке слайса. Тем не менее, это один пример способа, посредством которого кодер 20 видео может просигнализировать такую информацию идентификации опорной картинки.

В одном альтернативном примере, кодер 20 видео может сигнализировать информацию опорной картинки в наборе параметров последовательности и индекс списка может упоминаться в заголовке слайса, что может сократить потери на сигнализацию. В другом альтернативном примере, компонент кодирования видео может сигнализировать информацию опорной картинки в новом типе набора параметров (например, наборе параметров набора опорных картинок (RPSPS)), а id RPSPS и индекс списка информации идентификации опорной картинки оба могут упоминаться в заголовке слайса. Это может сократить потери на сигнализацию, не увеличивая потребность в количестве наборов параметров картинки или наборов параметров последовательности. В других примерах, кодер 20 видео может использовать любую комбинацию этих примерных методов для сигнализации информации идентификации опорной картинки.

Таблица 1
Синтаксис RBSP Набора Параметров Последовательности seq_parameter_set_rbsp() { Дескриптор profile_idc u(8) reserved_zero_8bits/* равен 0 */ u(8) level_idc u(8) seq_parameter_set_id ue(v) max_temporal_layers_minus1 u(3) pic_width_in_luma_samples u(16)

pic_height_in_luma_samples u(16) bit_depth_luma_minus8 ue(v) bit_depth_chroma_minus8 ue(v) pcm_bit_depth_luma_minus1 u(4) pcm_bit_depth_chroma_minus1 u(4) log2_max_pic_order_cnt_lsb_minus4 ue(v) max_num_ref_frames ue(v) log2_min_coding_block_size_minus3 ue(v) log2_diff_max_min_coding_block_size ue(v) log2_min_transform_block_size_minus2 ue(v) log2_diff_max_min_transform_block_size ue(v) log2_min_pcm_coding_block_size_minus3 ue(v) max_transform_hierarchy_depth_inter ue(v) max_transform_hierarchy_depth_intra ue(v) chroma_pred_from_luma_enabled_flag u(1) loop_filter_across_slice_flag u(1) sample_adaptive_offset_enabled_flag u(1) adaptive_loop_filter_enabled_flag u(1) pcm_loop_filter_disable_flag u(1) cu_qp_delta_enabled_flag u(1) temporal_id_nesting_flag u(1) inter_4x4_enabled_flag u(1) rbsp_trailing_bits()   }  

Элемент pic_width_in_luma_samples может указывать ширину каждой декодированной картинки в выборках яркости. Значение pic_width_in_luma_samples может находиться в диапазоне от 0 до 2¹⁶-1, включительно.

Элемент pic_height_in_luma_samples может указывать высоту каждой декодированной картинки в выборках яркости. Значение pic_height_in_luma_samples может находиться в диапазоне от 0 до 2¹⁶-1, включительно.

Как указано в Таблице 1, декодер 30 видео может принимать в наборе параметров последовательности (SPS) элемент log2_max_pic_order_cnt_lsb_minus4 синтаксиса. Как описано выше, значение log2_max_pic_order_cnt_lsb_minus4 может указывать значение переменной MaxPicOrderCntLsb, которую декодер 30 видео использует в процессе декодирования для определения значений POC, при этом MaxPicOrderCntLsb = 2^{(log2_max_pic_order_cnt_lsb_minus4+4)}.

Таблица 2
Синтаксис RBSP Набора параметров Картинки pic_parameter_set_rbsp() { Дескриптор pic_parameter_set_id ue(v) seq_parameter_set_id ue(v) entropy_coding_mode_flag u(1) num_short_term_ref_pic_sets_pps ue(v) for(i=0; i< num_short_term_ref_pic_sets_pps; i++)   short_term_ref_pic_set( )   long_term_ref_pics_present_flag u(1) if(long_term_ref_pics_present_flag) {   long_term_ref_pic_id_delta_len_minus4 ue(v) long_term_ref_pic_id_len_delta ue(v)

num_long_term_ref_pics_pps ue(v) for(i=0; i<num_long_term_ref_pics_pps; i++)   long_term_ref_pic_id_pps[i] i(v) }   num_temporal_layer_switching_point_flags ue(v) for(i=0; i< num_temporal_layer_switching_point_flags; i++)   temporal_layer_switching_point_flag[i] u(1) num_ref_idx_l0_default_active_minus1 ue(v) num_ref_idx_l1_default_active_minus1 ue(v) pic_init_qp_minus26/* в сравнении с 26*/ se(v) constrained_intra_pred_flag u(1) slice_granularity u(2) shared_pps_info_enabled_flag u(1) if(shared_pps_info_enabled_flag)   if(adaptive_loop_filter_enabled_flag)   alf_param()   if(cu_qp_delta_enabled_flag)   max_cu_qp_delta_depth u(4) rbsp_trailing_bits()   }  

Элемент num_short_term_ref_pic_sets_pps указывает количество структур short_term_ref_pic_set() синтаксиса, включенных в набор параметров картинки. Значение num_short_term_ref_pic_sets_pps должно находиться в диапазоне от 0 до 32, включительно.

Элемент long_term_ref_pics_present_flag равный 0 указывает на то, что долгосрочная опорная картинка используется для интер-предсказания любой закодированной картинки, ссылающейся на набор параметров картинки, и элементы long_term_ref_ pic_id_delta_len_minus4, long_term_ref_pic_id_len _delta и num_long_term_ref_pics_pps синтаксиса отсутствуют. Элемент long_term_ref_pics_present_flag равный 1 указывает на то, что долгосрочные опорные картинки могут быть использованы для интер-предсказания одной или более закодированных картинок, ссылающихся на набор параметров картинки, и элементы long_term_ref_pic_id_delta_len_minus4, long_term_ref_pic_id_len _delta и num_long_term_ref_pics_pps присутствуют.

Элемент long_term_ref_pic_id_delta_len_minus4 плюс 4 указывает длину в битах элементов long_term_ref_pic_id_delta_add _foll[i] синтаксиса. Значение long_term_ref_pic_id_delta_len _minus4 должно находиться в диапазоне от 0 до 12, включительно.

Элемент long_term_ref_pic_id_len_delta плюс long_term _ref_pic_id_delta_len_minus4 плюс 4 указывает длину в битах элемента long_term_ref_pic_id_pps[i] синтаксиса. Значение long_term_ref_pic_id_len_delta может находиться в диапазоне от 0 до 28 - long_term_ref_pic_id_delta_len_minus4, включительно. Значение long_term_ref_pic_id_len_delta + long_term_ref_pic_id _delta_len_minus4 + 4 во всех наборах элементов картинки, ссылающихся на один конкретный набор параметров последовательности, может быть идентичным.

Элемент num_long_term_ref_pics_pps указывает количество идентификаторов долгосрочных опорных картинок, включенных в набор параметров картинки. Значение num_long_term _ref_pics_pps может находиться в диапазоне от 0 до 32, включительно.

Элемент long_term_ref_pic_id_pps[i] указывает информацию идентификации i-ой долгосрочной опорной картинки, включенной в набор параметров картинки. Количество бит, используемых для представления long_term_ref_pic_id_pps[i], может быть равно long_term_ref_pic_id_len_delta + long_term_pic _id_len_minus4 + 4.

Таблица 3
Синтаксис набора краткосрочных опорных картинок short_term_ref_pic_set() { Дескриптор num_short_term_curr0 ue(v) num_short_term_curr1 ue(v) num_short_term_foll0 ue(v) num_short_term_foll1 ue(v) NumShortTerm = num_short_term_curr0 + num_short_term_curr1 + num_short_term_foll0 + num_short_term_foll1   for(i=0; i < NumShortTerm; i++)   short_term_ref_pic_id_delta_minus1[i] ue(v) }  

Синтаксис набора краткосрочных опорных картинок может быть для краткосрочных картинок. Краткосрочная картинка может быть определена как опорная картинка для которой информация идентификации включена в структуру short_term_ref_pic_set() синтаксиса для закодированной картинки, включенную либо в заголовок(ки) слайса, либо в упомянутый набор параметров картинки и ссылку посредством элемента short_term_ref_pic_set _idx синтаксиса в заголовке(ах) слайса. Элементы синтаксиса заголовка слайса приведены в Таблице 4 ниже.

Элемент num_short_term_curr0 указывает количество краткосрочных опорных картинок в RefPicSetStCurr0, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_curr0 может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_short_term_curr1 указывает количество краткосрочных опорных картинок в RefPicSetStCurr1, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывается ниже. Значение num_short_term_curr1 может находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0, включительно.

Элемент num_short_term_foll0 указывает количество краткосрочных опорных картинок в RefPicSetStFoll0, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_foll0 может находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0 - num_short_term_curr1, включительно.

Элемент num_short_term_foll1 указывает количество краткосрочных опорных картинок в RefPicSetStFoll1, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_foll1 должно находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0 - num_short_term_curr1 - num_short_term_foll0, включительно.

Элемент short_term_ref_pic_id_delta_minus1[i] указывает информацию идентификации i-ой краткосрочной опорной картинки, включенной в структуру short_term_ref_pic_set() синтаксиса.

Таблица 4
Синтаксис заголовка слайса slice_header() { Дескриптор lightweight_slice_flag u(1) if(!lightweight_slice_flag) {   slice_type ue(v) pic_parameter_set_id ue(v) if(IdrPicFlag) {   idr_pic_id ue(v) no_output_of_prior_pics_flag u(1) }   pic_order_cnt_lsb u(v) if(!IdrPicFlag) {   short_term_ref_pic_set_pps_flag u(1) if(short_term_ref_pic_set_pps_flag)   short_term_ref_pic_set_idx ue(v) Else   short_term_ref_pic_set()   if(long_term_ref_pics_present_flag)   long_term_ref_pic_set()  

}   if(slice_type ==P || slice_type ==B){   num_ref_idx_active_override_flag u(1) if(num_ref_idx_active_override_flag){   num_ref_idx_l0_active_minus1 ue(v) if(slice_type == B)   num_ref_idx_l1_active_minus1 ue(v) }   }   ref_pic_list_modification()   ref_pic_list_combination()   }   if(entropy_coding_mode_flag && slice_type !=I)   cabac_init_idc ue(v) first_slice_in_pic_flag u(1) if(first_slice_in_pic_flag ==0)   slice_address u(v) if(!lightweight_slice_flag) {   slice_qp_delta se(v) if(sample_adaptive_offset_enabled_flag)   sao_param()   if(deblocking_filter_control_present_flag){   disable_deblocking_filter_idc   if(disable_deblocking_filter_idc !=1){   slice_alpha_c0_offset_div2   slice_beta_offset_div2  

}   }   if(slice_type == B)   collocated_from_l0_flag u(1) if(adaptive_loop_filter_enabled_flag) {   if(!shared_pps_info_enabled_flag)   alf_param()   alf_cu_control_param()   }   }   }  

Элемент no_output_of_prior_pics_flag указывает то, каким образом ранее декодированные картинки в буфере декодированных картинок обрабатываются после декодирования картинки IDR. Когда картинка IDR является первой картинкой IDR в битовом потоке, значение no_output_of_prior_pics_flag может не оказывать влияния на процесс декодирования. Когда картинка IDR не является первой картинкой IDR в битовом потоке и значение pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering полученное из активного набора параметров последовательности может быть отличным от значения pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering полученного из набора параметров последовательности активного для предшествующей картинки, то no_output_of_prior_pics_flag равный 1 может, но не обязательно, подразумеваться декодером, независимо от фактического значения no_output_of_prior_pics_flag.

Элемент short_term_ref_pic_set_pps_flag равный 1 указывает на то, что информация идентификации набора из краткосрочных опорных картинок, включенного в набор опорных картинок для текущей картинки присутствует в упомянутом наборе параметров картинки. Элемент short_term_ref_pic_set_pps _flag равный 0 указывает на то, что информация идентификации набора из краткосрочных опорных картинок, включенного в набор опорных картинок для текущей картинки, отсутствует в упомянутом наборе параметров картинки.

Элемент short_term_ref_pic_set_idx указывает индекс структуры short_term_ref_pic_set() синтаксиса, включенной в упомянутый набор параметров картинки, которая включает информацию идентификации набора из краткосрочных опорных картинок в набор опорных картинок для текущей картинки.

Переменная NumShortTermCurr0 и NumShortTermCurr1 задаются в виде:

NumShortTermCurr0 = num_short_term_curr0

NumShortTermCurr1 = num_short_term_curr1

При этом num_short_term_curr0 и num_short_term_curr1 являются элементами синтаксиса с одинаковыми именами, соответственно, в структуре short_term_ref_pic_set() синтаксиса, либо присутствующей в упомянутом наборе параметров картинки и на которую ссылается short_term_ref_pic_set_idx, либо непосредственно присутствующей в заголовке слайса.

Элемент num_ref_idx_l0_active_minus1 указывает максимальный опорный индекс для списка 0 опорных картинок, который должен быть использован для декодирования слайса.

Когда текущий слайс является P или B слайсом и отсутствует num_ref_idx_l0_active_minus1, то может подразумеваться, что num_ref_idx_l0_active_minus1 должен быть равен num_ref_idx_l0_default_active_minus1.

Значение num_ref_idx_l0_active_minus1 может находиться в диапазоне от 0 до 15, включительно.

Элемент num_ref_idx_l1_active_minus1 указывает максимальный опорный индекс для списка 1 опорных картинок, который должен быть использован для декодирования слайса.

Когда текущий слайс является P или B слайсом и отсутствует num_ref_idx_l1_active_minus1, то может подразумеваться, что num_ref_idx_l1_active_minus1 должен быть равен num_ref_idx_l1_default_active_minus1.

Значение num_ref_idx_l1_active_minus1 может находиться в диапазоне от 0 до 15, включительно.

Таблица 5
Синтаксис набора долгосрочных опорных картинок long_term_ref_pic_set() { Дескриптор num_long_term_pps_curr ue(v) num_long_term_add_curr ue(v) num_long_term_pps_foll ue(v) num_long_term_add_foll ue(v) for(i=0; i<num_long_term_ pps_curr + num_long_term_ pps_foll; i++)   long_term_ref_pic_set_idx_pps[i] ue(v)

for(i=0; i<num_long_term_add_curr + num_long_term _add_foll; i++)   long_term_ref_pic_id_delta_add[i] i(v) }  

Синтаксис набора долгосрочных опорных картинок может быть для долгосрочных картинок. Долгосрочная картинка может быть определена как опорная картинка, для которой информация идентификации включена в структуру long_term_ref_pic_set() синтаксиса для закодированной картинки.

Элемент num_long_term_pps_curr указывает количество всех долгосрочных опорных картинок, информация идентификации которых включена в упомянутый набор параметров картинки, и которые могут быть использованы для интер-предсказания текущей картинки. Если num_long_term_pps_curr отсутствует, то значение может быть получено как равное 0. Значение num_long_term_pps_curr может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_long_term_add_curr указывает количество всех долгосрочных опорных картинок, информация идентификации которых не включена в упомянутый набор параметров картинки, и которые могут быть использованы для интер-предсказания текущей картинки. Если num_long_term_add_curr отсутствует, то значение может быть получено как равное 0. Значение num_long_term_add_curr может находиться в диапазоне от 0 до max_num_ref_frames - num_long_term_pps_curr, включительно.

Переменная NumLongTermCurr задается в виде:

NumLongTermCurr =num_long_term_pps_curr + num_long_term_add_curr

Элемент num_long_term_pps_foll указывает количество всех долгосрочных опорных картинок, информация идентификации которых включена в упомянутый набор параметров картинки, и которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания любой из картинок, следующей за текущей картинкой в очередности декодирования. Если num_long_term_pps_foll отсутствует, то значение может быть получено как равное 0. Значение num_long_term_pps_foll может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_long_term_add_foll указывает количество всех долгосрочных опорных картинок, информация идентификации которых не включена в упомянутый набор параметров картинки, которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания любой из следующих картинок в очередности декодирования. Если num_long_term_add_foll отсутствует, значение может быть получено как равное 0. Значение num_long_term_add _foll может находиться в диапазоне от 0 до max_num_ref_frames -

num_long_term_pps_foll, включительно.

Элемент long_term_ref_pic_set_idx_pps[i] указывает индекс, для списка информации идентификации долгосрочной опорной картинки, включенного в упомянутый набор параметров картинки, i-ой долгосрочной опорной картинки, наследуемой из упомянутого набора параметров картинки в набор опорных картинок текущей картинки. Значение long_term_ref_pic_set_idx _pps[i] может находиться в диапазоне от 0 до 31, включительно.

Элемент long_term_ref_pic_id_delta_add[i] указывает информацию идентификации долгосрочной опорной картинки i-ой долгосрочной опорной картинки, которая не наследуется из упомянутого набора параметров картинки, но включается в набор опорных картинок текущей картинки. Количество бит, используемое для представления long_term_ref_pic_id_add_curr[i], может быть равно long_term_pic_id_len_minus4+4.

С помощью упомянутых просигнализированных или полученных значений (т.е., значений в Таблицах 1-5), декодер 30 видео может получить набор опорных картинок. Как описано выше, полученный набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для кодирования/предсказания текущей картинки (т.е., картинки, которая декодируется в настоящей момент), и картинок, которые следуют за текущей картинкой в очередности декодирования. В соответствии с методами, описываемыми в данном изобретении, очередность кодирования всех опорных картинок в полученном наборе опорных картинок находится раньше очередности декодирования текущей картинки.

Процесс получения может включать в себя построение набора опорных картинок из множества подмножеств опорных картинок. Данный процесс может вызываться один раз на картинку, после декодирования заголовка слайса, но перед декодированием любой единицы кодирования и перед процессом декодирования для построения списка опорных картинок слайса. Например, из полученных значений и просигнализированных элементов синтаксиса, декодер 30 видео может определять значения POC для опорных картинок, которые принадлежат к набору опорных картинок. Из определенных значений POC, декодер 30 видео может построить подмножества опорных картинок, которые вместе образуют набор опорных картинок. Таким образом, посредством построения подмножеств опорных картинок, декодер 30 видео может построить набор опорных картинок. Например, декодер 30 видео может упорядочить подмножества опорных картинок определенным образом, чтобы получить набор опорных картинок. Упорядочение может относиться к образу, посредством которого декодер 30 видео регистрирует подмножества опорных картинок для получения набора опорных картинок.

Как описано выше, для получения набора опорных картинок, декодер 30 видео может построить множество подмножеств опорных картинок. В некоторых примерах, декодер 30 видео может построить шесть подмножеств опорных картинок. Шесть подмножеств опорных картинок могут быть названы: RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. RefPicSetStCurr0 может называться RefPicSetStCurrBefore, а RefPicSetStCurr1 может называться RefPicSetStCurrAfter.

Следует понимать, что шесть подмножеств опорных картинок описываются в целях иллюстрации, и они не должны рассматриваться, как накладывающие ограничения. В качестве одного примера, декодер 30 видео может строить меньше подмножеств опорных картинок, чем шесть подмножеств опорных картинок, например, посредством объединения некоторых из подмножеств. Некоторые из этих примеров, при которых декодер 30 видео строит меньше шести подмножеств опорных картинок, описываются ниже. Тем не менее, в целях иллюстрации, методы описываются с примерами, в которых декодер 30 видео строит шесть подмножеств опорных картинок.

Подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок могут идентифицировать краткосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать краткосрочные опорные картинки на основании того, находятся ли краткосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка, как впрочем, и, могут ли краткосрочные опорные картинки потенциально быть использованы для интер-предсказания текущей картинки и картинок, следующих за текущей картинкой в очередности декодирования, или могут ли потенциально быть использованы для интер-предсказания только картинок, следующих за текущей картинкой в очередности декодирования.

Например, подмножество RefPicSetStCurr0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации, такую как значения POC, всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetStCurr1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Подмножество RefPicSetStFoll0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки. Подмножество RefPicSetStFoll1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Подмножества RefPicSetLtCurr и RefPicSetLtFoll могут идентифицировать долгосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать долгосрочные опорные картинки на основании того, находятся ли долгосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка.

Например, подмножество RefPicSetLtCurr опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetLtFoll опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Если текущей картинкой, которая должна быть закодирована, является картинка IDR, декодер 30 видео может установить подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок, как пустые подмножества. Это может быть выполнено, поскольку в отношении картинки IDR не может быть выполнено интер-предсказание и поскольку ни одна картинка после картинки IDR в очередности кодирования не может использовать ни одну картинку перед картинкой IDR при декодировании для ссылки. В противном случае (например, когда текущая картинка не является картинкой IDR), декодер 30 видео может строить подмножества краткосрочных опорных картинок и подмножества долгосрочных опорных картинок посредством реализации следующего псевдокода.

Например, когда декодер 30 видео декодирует экземпляр структуры short_term_ref_pic_set() синтаксиса либо в заголовке слайса, либо обращаясь к упомянутому набору опорных картинок, декодер 30 видео может реализовать следующий псевдокод для построения подмножеств RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок.

cIdx=0

for(i=0, pocPred = PicOrderCnt(CurrPic); i<num_short_term_curr0; pocPred = RefPicSetStCurr0[i], i++, cIdx++)

RefPicSetStCurr0[i] = pocPred - short_term_ref_pic_id_delta_minus1[cIdx]-1

for(i=0, pocPred = PicOrderCnt(CurrPic); i< num_short_term_curr1; pocPred = RefPicSetStCurr1[i], i++, cIdx++)

RefPicSetStCurr1[i]= short_term_ref_pic_id_delta_minus1[cIdx]+1 - pocPred

for(i=0, pocPred = PicOrderCnt(CurrPic); i< num_short_term_foll0; pocPred = RefPicSetStFoll[i], i++, cIdx++)

RefPicSetStFoll0[i] = pocPred - short_term_ref_pic_id_delta_minus1[cIdx]-1

for(i=0, pocPred = PicOrderCnt(CurrPic); i<num_short_term_foll1; pocPred = RefPicSetStFoll[i], i++, cIdx++)

RefPicSetStFoll1[i]= short_term_ref_pic_id_delta_minus1[cIdx]+1 - pocPred

Если декодер 30 видео определяет, что long_term_ref _pics_present_flag равен 0, декодер 30 видео может установить RefPicSetLtCurr и RefPicSetLtFoll как пустые потому, что, в данном случае, отсутствуют долгосрочные опорные картинки. В противном случае, если декодер 30 видео декодирует экземпляр структуры long_term_ref_pic_set() синтаксиса в заголовке слайса, декодер 30 видео может реализовать следующий псевдокод для построения подмножеств RefPicSetLtCurr и RefPicSetLtFoll опорных картинок.

cIdx=0

for(i=0; i<num_long_term_pps_curr; i++, cIdx++)

{

pIdx = long_term_ref_pic_idx_pps[i]

RefPicSetLtCurr[cIdx] = long_term_ref_pic_id_ pps[pIdx]

}

for(i=0; i<num_long_term_add_curr; i++, cIdx++)

{

picIdDelta = long_term_ref_pic_id_delta_add[i]

RefPicSetLtCurr[cIdx] = PicOrderCnt(CurrPic) - picIdDelta

}

cIdx=0

for(i=0; i<num_long_term_pps_foll; i++, cIdx++)

{

pIdx = long_term_ref_pic_idx_pps[i + num_long_term_pps_curr]

RefPicSetLtFoll[cIdx]=long_term_ref_pic_id_ pps[pIdx]

}

for(i=0; i < num_long_term_add_foll; i++, cIdx++)

{

picIdDelta = long_term_ref_pic_id_delta_add[i+ num_long_term_add_curr]

RefPicSetLtFoll[cIdx] = PicOrderCnt(CurrPic) - picIdDelta

}

В соответствии с методами, описываемыми в данном изобретении, опорная картинка с конкретным значением PicOrderCnt (значение POC) может называться включенной в набор опорных картинок закодированной картинки, если опорная картинка включена в любое из шести подмножеств набора опорных картинок данной закодированной картинки. Опорная картинка с конкретным PicOrderCnt называется включенной в конкретное подмножество набора опорных картинок, если конкретное значение PicOrderCnt (значение POC) равно одному из значений PicOrderCnt, включенных в это подмножество.

После построения подмножеств опорных картинок, декодер 30 видео может получить набор опорных картинок. Например, декодер 30 видео может упорядочить подмножества опорных картинок для получения набора опорных картинок. В качестве одного примера, декодер 30 видео может регистрировать подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, и затем подмножество RefPicSetLtFoll опорных картинок. В качестве другого примера, декодер 30 видео может регистрировать подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, и затем подмножество RefPicSetLtFoll опорных картинок.

Другие перестановки в отношении способа, посредством которого декодер 30 видео упорядочивает подмножества опорных картинок, могут быть возможны для получения набора опорных картинок. В некоторых примерах, этапы построения подмножеств опорных картинок и получения набора опорных картинок могут быть объединены вместе. Например, построение подмножеств опорных картинок может автоматически приводить к получению декодером 30 видео набора опорных картинок. Другими словами, декодеру 30 видео может не требоваться выполнять разные этапы для построения подмножеств опорных картинок и получения набора опорных картинок, несмотря на то, что для декодера 30 видео может быть возможным сначала построить подмножества опорных картинок, а затем получить набор опорных картинок.

Также, в соответствии с методами, описываемыми в данном изобретении, построение набора опорных картинок описанным выше способом может привести к тому, что декодер 30 видео выполняет следующие ограничения. Например, конкретная опорная картинка с конкретным значением PicOrderCnt может быть не включена более чем в одно из подмножеств опорных картинок набора опорных картинок текущей картинки. Другими словами, опорная картинка, идентифицированная в одном из подмножеств опорных картинок, может быть не идентифицирована в любом из других подмножеств опорных картинок. В качестве другого примера, в полученном наборе опорных картинок, может отсутствовать опорная картинка с temporal_id, значение которого больше, чем у текущей картинки, которая включена в любое из подмножеств опорных картинок, которые образуют набор опорных картинок.

Как описано выше, значение временной идентификации (temporal_id) может быть иерархическим значением, которое указывает, какие картинки могут быть использованы для кодирования/предсказания текущей картинки. В целом, картинка с конкретным значением temporal_id возможно может быть опорной картинкой для картинок с равными или более высокими значениями temporal_id, но не наоборот. Например, картинка со значением temporal_id равным 1 возможно может быть опорной картинкой для картинок со значениями temporal_id равными 1, 2, 3,..., но не для картинки со значением temporal_id равным 0.

Самое низкое значение temporal_id также может указывать на самую низкую частоту отображения. Например, если декодер 30 видео декодирует только картинки со значениями temporal_id равными 0, то частота отображения может быть 7,5 картинок в секунду. Если декодер видео декодирует только картинки со значениями temporal_id равными 0 и 1, то частота отображения может быть 15 картинок в секунду, и т.д.

В некоторых примерах, только картинки со значениями temporal_id меньшими или равными значению temporal_id текущей картинки могут быть включены в набор опорных картинок текущей картинки. Как описано выше, только картинки со значениями temporal_id меньшими или равными значению temporal_id текущей картинки могут быть использованы в качестве опорных картинок. Следовательно, все опорные картинки с более низкими или равными значениями temporal_id могут быть использованы текущей картинкой для интер-предсказания и могут быть включены в набор опорных картинок. Также, некоторые опорные картинки с более высокими значениями temporal_id, чем у текущей картинки, и которые будут использоваться картинками, следующими за текущей картинкой в очередности декодирования и с более высокими значениями temporal_id чем у текущей картинки, исключаются из набора опорных картинок.

С помощью этих методов, для получения набора опорных картинок не требуется сигнализация temporal_id в дополнение к идентификации картинки; следовательно, сигнализация набора опорных картинок становится более эффективной. Например, кодер 20 видео может не сигнализировать значения temporal_id опорных картинок, которые принадлежат к набору опорных картинок, и декодеру 30 видео может не требоваться принимать значения temporal_id опорных картинок, которые принадлежат к набору опорных картинок, в целях получения набора опорных картинок.

Кроме того, таким образом, построенные подмножества опорных картинок могут не идентифицировать опорные картинки со значениями temporal_id большими, чем значение у текущей картинки. Например, декодер 30 видео может быть выполнен с возможностью построения подмножеств опорных картинок, и обеспечения того, что ни одна опорная картинка, идентифицированная в любом из подмножеств опорных картинок, не имеет значение temporal_id большее, чем значение у текущей картинки, потому что согласование битового потока может требовать того, чтобы значения temporal_id не включались в битовый поток, сигнализируемый кодером 20 видео и принимаемый декодером 30 видео. Таким образом, декодер 30 видео может получать набор опорных картинок, не принимая значения временной идентификации для опорных картинок, которые принадлежат к набору опорных картинок.

В вышеприведенных примерах, декодер 30 может строить шесть подмножеств опорных картинок, четыре для краткосрочных опорных картинок (т.е., RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1), и два для долгосрочных опорных картинок (т.е., RefPicSetLtCurr и RefPicSetLtFoll). Тем не менее, аспекты данного изобретения этим не ограничиваются. В других примерах, два или более эти подмножества опорных картинок могут быть объединены в одно подмножество опорных картинок, приводя к меньшему числу подмножеств опорных картинок, которые строит декодер 30 видео. Нижеследующее описывает некоторые не накладывающие ограничений примеры, в которых декодер 30 видео может строить меньшее число подмножеств опорных картинок. Могут существовать другие способы, которыми декодер 30 видео может строить меньшее число подмножеств опорных картинок.

Например, в некоторых примерах, может отсутствовать разделение на подмножество для текущей картинки и подмножество для следующих картинок в очередности декодирования. Следовательно, может существовать два подмножества для краткосрочных опорных картинок, именуемых RefPicSetSt0 и RefPicSetSt1, и может существовать только одно подмножество для долгосрочных опорных картинок, именуемое RefPicSetLt. В данном примере, подмножество RefPicSetSt0 опорных картинок может быть последовательным соединением RefPicSetStCurr0 и RefPicSetStFoll0, при этом RefPicSetStCurr0 находится в начале результата последовательного соединения. В данном примере, подмножество RefPicSetSt1 опорных картинок может быть последовательным соединением RefPicSetStCurr1 и RefPicSetStFoll1, при этом RefPicSetStCurr1 находится в начале результата последовательного соединения. Подмножество RefPicSetLt опорных картинок может быть последовательным соединением RefPicSetLtCurr и RefPicSetLtFoll, при этом RefPicSetLtCurr находится в начале результата последовательного соединения.

В качестве другого примера, может отсутствовать разделение на подмножество с более ранней или более поздней очередностью вывода, чем у текущего кадра. Это может быть применено только к краткосрочным опорным картинкам. Следовательно, может существовать два подмножества для краткосрочных опорных картинок, именуемые как RefPicSetStCurr и RefPicSetStFoll. Подмножество RefPicSetStCurr опорных картинок может быть последовательным соединением RefPicSetStCurr0 и RefPicSetStCurr1, при этом RefPicSetStCurr0 находится в начале результата последовательного соединении. Подмножество RefPicSetStFoll опорных картинок может быть последовательным соединением RefPicSetStFoll0 и RefPicSetStFoll1, при этом RefPicSetStFoll0 находится в начале результата последовательного соединения.

В качестве другого примера, могут не применяться оба типа упомянутых выше разделений. Следовательно, может существовать только одно подмножество для краткосрочных опорных картинок, именуемое RefPicSetSt, и только одно подмножество для долгосрочных опорных картинок, именуемое RefPicSetLt. Подмножество RefPicSetSt опорных картинок может быть последовательным соединением RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1, в зарегистрированной очередности (или любой другой очередности), а RefPicSetLt может быть точно таким же, как то, что приведено выше.

Вышеприведенные методы описывают примерный способ, с помощью которого декодер 30 видео может получить набор опорных картинок. Во время процесса кодирования, кодеру 20 видео также может потребоваться декодировать закодированные картинки в целях кодирования последующих картинок, что именуется процессом восстановления. Соответственно, в некоторых примерах, кодер 20 видео также может быть выполнен с возможностью получения набора опорных картинок. В некоторых примерах, кодер 20 видео может реализовывать те же методы, что реализуются декодером 30 видео, для получения набора опорных картинок. Тем не менее, получение набора опорных картинок посредством кодера 20 видео может не требоваться в каждом примере, и декодер 30 видео может быть единственным компонентом кодирования видео, который получает набор опорных картинок.

Соответственно, в некоторых примерах, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может кодировать (например, кодировать или декодировать, соответственно) информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. Например, кодер 20 видео может сигнализировать закодированный битовый поток, который включает в себя значения для определения того, какие опорные картинки принадлежат к набору опорных картинок. Аналогичным образом, декодер 30 видео может декодировать битовый поток для определения того, какие опорные картинки принадлежат к набору опорных картинок.

Компонент кодирования видео может строить множество подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок. Например, компонент кодирования видео может строить шесть подмножеств опорных картинок (т.е., подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок), при этом каждое из подмножеств идентифицирует ноль или больше опорных картинок. В некоторых примерах, компонент кодирования видео может кодировать текущую картинку на основании множества подмножеств опорных картинок.

Например, компонент кодирования видео может получать набор опорных картинок из построенного множества подмножеств опорных картинок. Например, компонент кодирования видео может упорядочивать подмножества опорных картинок в любой очередности для получения набора опорных картинок, или может получать набор опорных картинок в рамках построения подмножеств опорных картинок. В некоторых примерах, из полученного набора опорных картинок, компонент кодирования видео может кодировать текущую картинку. Поскольку набор опорных картинок получается из множества подмножеств опорных картинок, компонент кодирования видео может рассматриваться как кодирующий текущую картинку на основании множества подмножеств опорных картинок.

В некоторых примерах, для того чтобы упорядочить подмножества опорных картинок, компонент кодирования видео может строить подмножества опорных картинок в очередности, в которой подмножества опорных картинок должны быть зарегистрированы в наборе опорных картинок. Например, компонент кодирования видео может сначала строить подмножество RefPicSetLtCurr опорных картинок, затем строить подмножество RefPicSetLtFoll опорных картинок, затем строить подмножество RefPicSetStCurr0 опорных картинок, затем строить подмножество RefPicSetStCurr1 опорных картинок, затем строить подмножество RefPicSetStFoll0 опорных картинок, и затем строить подмножество RefPicSetStFoll1 опорных картинок. В данном иллюстративном примере, очередность подмножеств опорных картинок в наборе опорных картинок может соответствовать очередности RefPicSetLtCurr, RefPicSetLtFoll, RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1, несмотря на то, что возможны другие очередности.

В соответствии с примерными методами, описываемыми в данном изобретении, после получения набора опорных картинок, декодер 30 видео может начать декодирование слайсов в текущей картинке. Часть процесса декодирования задействует построение одного или двух списков опорных картинок. Список опорных картинок является списком из опорных картинок, который используется для предсказания P или B слайса. Применительно к процессу декодирования P слайса, существует один список опорных картинок (Список 0). Применительно к процессу декодирования B слайса, существует два списка опорных картинок (Список 0 и Список 1). Список 0, иногда именуемый списком 0 опорных картинок или RefPicList0, является списком опорных картинок, используемым для интер-предсказания P или B слайса. Все интер-предсказание, используемое для P слайсов, использует Список 0. Список 0 опорных картинок является одним из двух списков опорных картинок, используемых для двунаправленного предсказания B слайса, при этом другим списком является список 1 опорных картинок. Список 1, иногда именуемый списком 1 опорных картинок или RefPicList1, является списком опорных картинок, используемым для предсказания B слайса. Список 1 опорных картинок является одним из двух списков опорных картинок, используемых для предсказания B слайса, при этом другим списком является список 0 опорных картинок. Некоторые блоки в B слайсе могут быть предсказанными посредством двунаправленного предсказания, используя как Список 0, так и Список 1, а некоторые блоки в B слайсе могут быть предсказанными посредством однонаправленного предсказания, используя либо Список 0, либо Список 1.

Для построения списков опорных картинок, декодер 30 видео может реализовывать методов у построения по умолчанию для построения исходного Списка 0, и, применительно к B слайсам, исходного Списка 1. Построение исходного Списка 0 и исходного Списка 1 может именоваться процессом инициализации. В некоторых примерах, закодированный битовый поток может указывать на то, что декодер 30 видео должен модифицировать исходный Список 0 и/или исходный Список 1, для генерирования итогового Списка 0 и итогового Списка 1. Модифицирование исходного Списка 0 и/или исходного Списка 1 может именоваться процессом модифицирования. Процесс модифицирования может не требоваться в каждом примере, и способ, которым декодер 30 видео может реализовывать процесс модифицирования, описывается более подробно ниже. В соответствии с методами, описываемыми в данном изобретении, когда не требуется модифицирование исходного Списка 0 или исходного Списка 1, итоговый Список 0 и итоговый Список 1 (т.е., список 0 или 1 опорных картинок, который используется для декодирования слайса текущей картинки) могут быть равны исходному Списку 0 или исходному Списку 1. Таким образом, может не требоваться переупорядочение списка опорных картинок.

В методах, описываемых в данном изобретении, декодер 30 видео может строить исходный Список 0 или исходный Список 1 таким образом, что декодеру 30 видео может не требоваться выполнение переупорядочения опорных картинок, которые должны быть включены в исходный Список 0 или исходный Список 1, независимо от того, требуется ли процесс модифицирования, поскольку опорные картинки в каждом из подмножеств опорных картинок уже расставлены в правильной очередности. Например, в некоторых других методах, независимо от того, требуется ли процесс модифицирования, требуется переупорядочение опорных картинок, которые должны быть включены в исходный Список 0 или исходный Список 1, в соответствии с их значениями POC, при добавлении или построении списка опорных картинок в исходный Список 0 или исходный Список 1.

В процессе инициализации, декодер 30 видео может реализовывать метод построения по умолчанию для построения исходного Списка 0 и исходного Списка 1. Метод построения по умолчанию означает то, что декодер 30 видео строит исходные списки опорных картинок, не принимая элементы синтаксиса от кодера 20 видео, касающиеся того, каким образом декодер 30 видео должен строить исходные списки опорных картинок, или того, какие опорные картинки должны быть идентифицированы в исходных списках опорных картинок.

Декодер 30 видео может вызывать процесс построения списка опорных картинок при декодировании заголовка P или B слайса. Например, при декодировании P слайса, декодер 30 видео может вызывать процесс построения исходного Списка 0, но может не вызывать процесс построения исходного Списка 1, так как блок в P слайсе предсказывается посредством однонаправленного предсказания по отношению к опорной картинке, идентифицированной в Списке 0. При декодировании B слайса, декодер 30 видео может вызывать процесс для построения исходного Списка 0 и построения исходного Списка 1, так как блок в B слайсе может быть предсказан посредством двунаправленного предсказания по отношению к опорным картинкам, идентифицированным в каждом из Списка 0 и Списка 1.

В соответствии с примерными методами, описываемыми в данном изобретении, декодер 30 видео может использовать подмножества опорных картинок для построения исходного Списка 0 и исходного Списка 1. Например, исходный Список 0 и исходный Список 1 могут регистрировать ноль или больше опорных картинок, идентифицированных в RefPicSetStCurr0, RefPicSetStCurr1, или

RefPicSetLtCurr. В данном примере, когда вызван процесс построения списка опорных картинок, может существовать, по меньшей мере, одна опорная картинка в RefPicSetStCurr0,

RefPicSetStCurr1, и RefPicSetLtCurr. Несмотря на то, что исходный Список 0 и исходный Список 1 могут идентифицировать одну или более опорных картинок из одних и тех же подмножеств опорных картинок, очередность, в которой декодер 30 видео добавляет опорные картинки в исходный Список 0, может отличаться от очередности, в которой декодер 30 видео добавляет опорные картинки в исходный Список 1.

В данном изобретении, когда декодер 30 видео добавляет (например, регистрирует) опорные картинки из одного или более подмножеств опорных картинок в исходный Список 0 или исходный Список 1, данное изобретение относится к декодеру 30 видео, идентифицирующему опорные картинки в исходном Списке 0 или исходном Списке 1. Например, множество подмножеств опорных картинок каждое может идентифицировать ноль или больше опорных картинок. Для построения исходного Списка 0 и исходного Списка 1, декодер 30 видео может идентифицировать одну или более опорных картинок, которые идентифицированы в подмножествах опорных картинок в исходном Списке 0 или исходном Списке 1.

Для того чтобы избежать путаницы и обеспечения ясности, данное изобретение может относиться к декодеру 30 видео, который регистрирует или добавляет ноль или больше опорных картинок, которые идентифицированы в подмножествах опорных картинок, в исходный Список 0 и исходный Список 1, для построения исходного Списка 0 и исходного Списка 1. Таким образом, под декодером 30 видео, который добавляет или регистрирует опорные картинки, понимается декодер 30 видео, который добавляет или регистрирует идентификатор опорной картинки, идентифицированный в подмножестве опорных картинок. Соответственно, результирующий исходный Список 0 и исходный Список 1 включают в себя множество идентификаторов для опорных картинок, которые могут потенциально быть использованы для кодирования блока или слайса текущей картинки. Эти опорные картинки хранятся в соответствующих буферах декодированных картинок декодера 30 видео и кодера 20 видео.

Например, для построения исходного Списка 0, декодер 30 видео может сначала регистрировать (например, добавлять) в исходном Списке 0 опорные картинки, идентифицированные в RefPicSetStCurr0, за которыми в исходном Списке 0 следуют опорные картинки, идентифицированные в RefPicSetStCurr1, и затем в исходном Списке 0 следуют опорные картинки, идентифицированные в RefPicSetLtCurr. Для построения исходного Списка 1, декодер 30 видео может сначала регистрировать (например, добавлять) в исходном Списке 1 опорные картинки, идентифицированные в RefPicSetStCurr1, за которыми в исходном Списке 1 следуют опорные картинки, идентифицированные в RefPicSetStCurr0, и затем в исходном Списке 1 следуют опорные картинки, идентифицированные в RefPicSetLtCurr.

Более того, в дополнение к добавлению опорных картинок из подмножеств опорных картинок в разной очередности, декодер 30 видео может использовать разное количество опорных картинок из каждого из подмножеств опорных картинок, при построении Списка 0 и Списка 1. Например, Список 0 и Список 1 не обязательно должны включать в себя все опорные картинки из RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr. Наоборот, количество опорных картинок, которое регистрируется из этих примерных подмножеств опорных картинок для построения исходного Списка 0 и исходного Списка 1, может быть основано на элементах синтаксиса, которые указывают максимальное количество опорных картинок в каждом из исходного Списка 0 и исходного Списка 1.

Например, применительно к исходному Списку 0, кодер 20 видео может сигнализировать элемент num_ref_idx_l0_active_minus1 синтаксиса для P и B слайсов в заголовке слайса, и элемент num_ref_idx_l1_active_minus1 синтаксиса для B слайсов, которые являются предсказываемыми посредством двунаправленного предсказания. Как описано выше, num_ref_idx_l0_active_minus1 может определять максимальное количество опорных картинок, которые могут находиться в исходном Списке 0, а num_ref_idx_l1_active_minus1 может определять максимальное количество опорных картинок, которые могут находиться в исходном Списке 1. В некоторых примерах, может существовать возможность того, что значение num_ref_idx_l0_active_minus1 отличается от значения num_ref_idx_l1_active_minus1, несмотря на то, что это не является необходимым в каждом примере. В некоторых примерах, значение num_ref_idx_l0_active_minus1 может быть точно таким же, что и значение num_ref_idx_l1_active_minus1.

Как описано выше, декодер 30 видео может принимать в закодированном битовом потоке значения для num_short_term_curr0 и num_short_term_curr1. Декодер 30 видео может задавать переменную NumShortTermCurr0 равной num_short_term_curr0 и задавать переменную NumShortTermCurr1 равной num_short_term _curr1. NumShortTermCurr0 может указывать количество опорных картинок в подмножестве RefPicSetStCurr0 опорных картинок, а NumShortTermCurr1 может указывать количество опорных картинок в подмножестве RefPicSetStCurr1 опорных картинок.

Декодер 30 видео также может принимать в закодированном битовом потоке значения для num_long_term_pps_curr и num_long_term_add_curr. Декодер 30 видео может задавать переменную NumLongTermCurr равной num_long_term_pps_curr плюс

num_long_term_add_curr. NumLongTermCurr может указывать количество опорных картинок в RefPicSetLtCurr.

Для построения исходного Списка 0, декодер 30 видео может сначала добавлять опорные картинки из RefPicSetStCurr0 в исходный Список 0 до тех пор, пока декодер 30 видео не добавит все опорные картинки из RefPicSetStCurr0 в исходный Список 0, и пока количество записей в исходном Списке 0 (например, количество опорных картинок, идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, NumShortTermCurr0 может указывать количество опорных картинок в подмножестве RefPicSetStCurr0 опорных картинок. В данном примере, декодер 30 видео может регистрировать (например, добавлять) опорные картинки из подмножества RefPicSetStCurr0 опорных картинок до тех пор, пока количество опорных картинок вносимых в список из RefPicSetStCurr0 не станет равно NumShortTermCurr0. Тем не менее, при регистрации опорных картинок из RefPicSetStCurr0 в исходном Списке 0, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr0, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

После того, как декодер 30 видео зарегистрировал все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок и общее количество записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, затем декодер 30 видео может добавлять опорные картинки из RefPicSetStCurr1 до тех пор, пока декодер 30 видео не идентифицирует все опорные картинки из RefPicSetStCurr1, и пока количество записей в исходном Списке 0 (например, количество опорных картинок идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, подобно вышеприведенному, NumShortTermCurr1 может указывать количество опорных картинок в подмножестве RefPicSetStCurr1 опорных картинок. В данном примере, декодер 30 видео может регистрировать опорные картинки из подмножества RefPicSetStCurr1 опорных картинок до тех пор, пока количество опорных картинок, зарегистрированных из RefPicSetStCurr1, не станет равно NumShortTermCurr1. Тем не менее, при регистрации опорных картинок из RefPicSetStCurr1, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr1, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

После того, как декодер 30 видео зарегистрирует все опорные картинки из подмножества RefPicSetStCurr1 опорных картинок и общее число записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetLtCurr до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetLtCurr, и пока количество записей в исходном Списке 0 (например, количество опорных картинок идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, подобно вышеприведенному, NumLongTermCurr может указывать количество опорных картинок в подмножестве RefPicSetLtCurr опорных картинок. В данном примере, декодер 30 видео может регистрировать опорные картинки из подмножества RefPicSetLtCurr опорных картинок до тех пор, пока количество опорных картинок, зарегистрированных из RefPicSetLtCurr, не станет равно NumLongTermCurr. Тем не менее, при регистрации опорных картинок из RefPicSetLtCurr, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetLtCurr опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetLtCurr, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

Нижеследующий псевдокод иллюстрирует способ, посредством которого декодер 30 видео может строить исходный Список 0.

cIdx=0

while(cIdx<=num_ref_idx_l0_active_minus1)

{

for(i=0; i<NumShortTermCurr0 && cIdx<=num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx] = RefPicSetStCurr0[i]

for(i=0; i<NumShortTermCurr1 && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx]=RefPicSetStCurr1[i]

for(i=0; i<NumLongTermCurr && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx] = RefPicSetLtCurr[i]

}

В вышеприведенном псевдокоде, RefPicList0 может быть исходным Списком 0. В примерах, где не требуется модифицирование Списка 0, итоговый Список 0 может быть равен исходному Списку 0. Вследствие этого, в примерах, где модифицирование Списка 0 не требуется, RefPicList0, в вышеприведенном псевдокоде, может быть итоговым Списком 0.

Декодер 30 видео может подобным образом строить исходный Список 1. Тем не менее, для построения исходного Списка 1, декодер 30 видео может сначала добавлять опорные картинки из подмножества RefPicSetStCurr1 опорных картинок в исходный Список 1, после чего из подмножества RefPicSetStCurr0 опорных картинок в исходный Список 1, и после чего из подмножества RefPicSetLtCurr опорных картинок в исходный Список 1. Также, подобно вышеприведенному, если, при регистрировании опорных картинок из любого из подмножеств RefPicSetStCurr1, RefPicSetStCurr0, и RefPicSetLtCurr опорных картинок, общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, декодер 30 видео может останавливать добавление опорных картинок, даже если присутствуют дополнительные опорные картинки в этих подмножествах опорных картинок.

Например, для построения исходного Списка 1, декодер 30 видео может сначала регистрировать опорные картинки из RefPicSetStCurr1 до тех пор, пока декодер 30 видео не идентифицирует все опорные картинки из RefPicSetStCurr1, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, значение NumShortTermCurr1 может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetStCurr1 опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetStCurr1, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr1, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

После того как декодер 30 видео регистрирует все опорные картинки из подмножества RefPicSetStCurr1 опорных картинок и общее количество записей в исходном Списке 1 меньше num_ref_idx_l1_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetStCurr0 до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetStCurr0, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, подобно вышеприведенному, значение NumShortTermCurr0 может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetStCurr0 опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetStCurr0, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr0, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

После того как декодер 30 видео регистрирует все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок и общее количество записей в исходном Списке 1 меньше num_ref_idx_l1_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetLtCurr до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetLtCurr, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, подобно вышеприведенному, значение NumLongTermCurr может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetLtCurr опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetLtCurr, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetLtCurr опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetLtCurr, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

Нижеследующий псевдокод иллюстрирует способ, посредством которого декодер 30 видео может строить исходный Список 1.

cIdx=0

while(cIdx <= num_ref_idx_l1_active_minus1)

{

for(i=0; i<NumShortTermCurr1 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++)

RefPicList1[cIdx] = RefPicSetStCurr1[i]

for(i=0; i<NumShortTermCurr0 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++)

RefPicList1[cIdx] = RefPicSetStCurr0[i]

for(i=0; i< NumLongTermCurr && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++

RefPicList1[cIdx] = RefPicSetLtCurr[i]

}

В вышеприведенном псевдокоде, RefPicList1 может быть исходным Списком 1. В примерах, где не требуется модифицирование Списка 1, итоговый Список 1 может быть равен исходному Списку 1. Вследствие этого, в примерах, где не требуется модифицирование Списка 1, RefPicList1, в вышеприведенном псевдокоде, может быть итоговым Списком 1.

Предшествующее является одним примером способа, посредством которого декодер 30 видео может строить итоговый список 0 и итоговый список 1, когда не требуется модифицирование списка опорных картинок. В других примерах, декодер 30 видео может добавлять подмножества опорных картинок в очередностях отличных от тех, что описаны выше. В еще одних некоторых примерах, декодер 30 видео может добавлять подмножества опорных картинок отличные от тех, что описаны выше.

Несмотря на то, что предшествующие примеры описывают методы для построения списка опорных картинок, выполняемые декодером 30 видео, аспекты данного изобретения этим не ограничиваются, и кодер 20 видео может реализовывать аналогичные методы для построения списков опорных картинок. Тем не менее, для кодера 20 видео может быть не обязательным выполнение построения списков опорных картинок способом, аналогичным тому, посредством которого декодер 30 видео строит списки опорных картинок.

Соответственно, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может быть выполнен с возможностью кодирования (например, кодирования или декодирования) информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. Как описано выше, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео также может быть выполнен с возможностью построения множества подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок. Например, компонент кодирования видео может строить, по меньшей мере, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Компонент кодирования видео может строить дополнительные подмножества опорных картинок, такие как те, что описаны выше.

Затем, компонент кодирования видео может добавлять в исходный список опорных картинок опорные картинки из первого подмножества опорных картинок, после чего опорные картинки из второго подмножества опорных картинок, и после чего опорные картинки из третьего подмножества опорных картинок, пока количество записей исходного списка опорных картинок не больше максимального количества разрешенных записей списка опорных картинок. Например, компонент кодирования видео может регистрировать опорные картинки из подмножества RefPicSetStCurr0 опорных картинок, после чего из подмножества RefPicSetStCurr1 опорных картинок, и после чего из подмножества RefPicSetLtCurr, в исходном Списке 0 до тех пор, пока количество записей в исходном Списке 0 не больше num_ref_idx_l0_active_minus1. Вновь, значение num_ref_idx_l0_active_minus1 может указывать максимальное количество разрешенных записей списка опорных картинок для Списка 0.

В некоторых примерах, компонент кодирования видео может добавлять опорные картинки из первого подмножества опорных картинок в исходный список опорных картинок до тех пор, пока все опорные картинки из первого подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок. Когда количество записей исходного списка опорных картинок меньше максимального количества разрешенных записей списка опорных картинок, и после добавления опорных картинок из первого подмножества опорных картинок, компонент кодирования видео может добавлять опорные картинки из второго подмножества опорных картинок в исходный список опорных картинок пока все опорные картинки из второго подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок. Когда количество записей исходного списка опорных картинок меньше максимального количества разрешенных записей списка опорных картинок, и после добавления опорных картинок из второго подмножества опорных картинок, компонент кодирования видео может добавлять опорные картинки из третьего подмножества опорных картинок в исходный список опорных картинок пока все опорные картинки из третьего подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок.

Подобным образом компонент кодирования видео может строить исходный Список 1. Например, компонент кодирования видео может добавлять в исходный Список 1 опорные картинки из второго подмножества опорных картинок, после чего опорные картинки из первого подмножества опорных картинок, и после чего опорные картинки из третьего подмножества опорных картинок, пока количество записей исходного списка опорных картинок в исходном Списке 1 не больше num_ref_idx_l1_active_minus1. Элемент num_ref_idx_l1_active _minus1 синтаксиса может определять максимальное количество разрешенных записей в Списке 1.

В некоторых примерах, таких как, когда не требуется модифицирование, исходный Список 0 и исходный Список 1 могут быть равны итоговому Списку 0 и итоговому Списку 1. Другими словами, компонент кодирования видео может строить итоговый Список 0 и итоговый Список 1, не модифицируя исходный Список 0 и исходный Список 1, когда модифицирование не требуется. В этих случаях, после построения исходного Списка 0 и исходного Списка 1, компоненту кодирования видео может не требоваться выполнение дополнительных этапов для построения итогового Списка 0 и итогового Списка 1 (т.е., списков опорных картинок, которые компонент кодирования видео использует для кодирования блока текущей картинки).

Как указано в вышеприведенном псевдокоде, декодер 30 видео может строить исходный Список 0, до тех пор, пока cIdx меньше либо равна num_ref_idx_l0_active_minus1, и может строить исходный Список 1, до тех пор, пока cIdx меньше либо равна num_ref_idx_l1_active_minus1. Это может привести к тому, что декодер 30 видео, строит исходный Список 0 и исходный Список 1 без какой-либо незавершенной записи в списках опорных картинок. Например, в некоторых других методах кодирования видео, декодер видео применительно к этим другим видео методам будет строить исходный Список 0 и Список 1, используя методы, отличные от тех, что описываются в данном изобретении. Применительно к этим другим методам кодирования видео, если количество записей в исходном Списке 0 и исходном Списке 1 было меньше максимального разрешенного количества записей, декодер видео этих других методов кодирования видео, будет заполнять оставшиеся записи в Списке 0 и Списке 1 с помощью «нет опорной картинки» для незавершенных записей. Незавершенные записи относятся к записям в Списке 0 и Списке 1 после последней записи, которая идентифицирует опорную картинку вплоть до последней возможной записи.

В качестве иллюстративного примера, декодер видео применительно к этим другим методам кодирования видео может строить Список 0 с пятью записями, при этом максимальное количество разрешенных записей составляет десять записей. В данном примере, декодер видео применительно к этим другим методам кодирования видео будет заполнять с шестой по десятую запись как «нет опорной картинки». В данном примере, незавершенными записями будут с шестой записи (например, записи после последней записи, которая идентифицирует опорную картинку) вплоть до десятой записи (например, последней возможной записи, как определено максимальным количеством разрешенных записей).

В соответствии с методами данного изобретения, декодер 30 видео может строить исходный Список 0 и исходный Список 1 таким образом, что отсутствуют незавершенные записи. Также, в примерах, где не требуется модифицирования списка опорных картинок, итоговый Список 0 и итоговый Список 1 могут быть равны исходному Списку 0 и исходному Списку 1. Вследствие этого, в примерах, где не требуется модифицирование списка опорных картинок, декодер 30 видео может строить итоговый Список 0 и итоговый Список 1 таким образом, что отсутствуют незавершенные записи. Даже в тех случаях, где требуется модифицирование списка опорных картинок, модифицирование может не приводить к каким-либо незавершенным записям. Вследствие этого, даже в примерах, где требуется модифицирование списка опорных картинок, декодер 30 видео может строить итоговый Список 0 и итоговый Список 1 таким образом, что отсутствуют незавершенные записи.

Например, Список 0 и Список 1 могут быть рассмотрены в качестве списков с записями, и каждая запись может идентифицировать опорную картинку (например, посредством ее значения POC). Другими словами, декодер 30 видео может идентифицировать опорную картинку посредством ее значения POC в каждой записи Списка 0 и Списка 1. Количество записей в Списке 0 и Списке 1 может быть определено посредством элементов num_ref_idx_l0_active_minus1 и num_ref_idx_l1_active_minus1 синтаксиса, соответственно.

Для того чтобы гарантировать отсутствие незавершенных записей, декодер 30 видео может неоднократно регистрировать (например, добавлять или идентифицировать) опорные картинки из подмножеств опорных картинок в исходном Списке 0 и исходном Списке 1 до тех пор, пока декодер 30 видео не определяет, какая опорная картинка должна быть идентифицирована в каждой возможной записи исходного Списка 0 и исходного Списка 1. Например, как описано выше, для построения исходного Списка 0, после добавления опорных картинок из подмножеств RefPicSetStCurr0 и RefPicSetStCurr1 опорных картинок в исходный Список 0, декодер 30 видео может добавлять опорные картинки из подмножества RefPicSetLtCurr опорных картинок в исходный Список 0.

В некоторых примерах, может существовать возможность того, что общее количество записей в исходном Списке 0 меньше максимального количества разрешенных записей в Списке 0 после того, как декодер 30 видео добавляет опорные картинки из подмножества RefPicSetLtCurr опорных картинок в исходный Список 0. Например, в псевдокоде для построения исходного Списка 0, переменная cIdx может указывать количество записей в Списке 0. В некоторых примерах, после того, как декодер 30 видео идентифицирует опорные картинки из RefPicSetLtCurr в исходном Списке 0, значение cIdx может быть меньше num_ref_idx_l0_active _minus1, где num_ref_idx_l0_active_minus1 указывает максимальное количество разрешенных записей в Списке 0.

В соответствии с методами, описываемыми в данном изобретении, после регистрирования опорных картинок из трех из множества подмножеств опорных картинок, если количество записей в исходном Списке 0 меньше максимального количества разрешенных записей, то декодер 30 видео может неоднократно добавлять опорные картинки из трех подмножеств опорных картинок до тех пор, пока не будут заполнены все записи в Списке 0. Например, после того, как декодер 30 видео добавляет опорные картинки из подмножества RefPicSetLtCurr опорных картинок и количество записей в исходном Списке 0 меньше максимального количества разрешенных записей, то затем декодер 30 видео может повторно регистрировать (например, повторно добавлять или повторно идентифицировать) опорные картинки из подмножества RefPicSetStCurr0 опорных картинок.

В аспектах, описываемых в данном изобретении, когда декодер 30 видео регистрирует опорные картинки из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок, декодер 30 видео может быть рассмотрен как добавляющий опорные картинки из этого множества подмножеств опорных картинок в первый набор записей в списке опорных картинок (например, Списке 0). Например, первым набором записей могут быть записи в списке опорных картинок, в которых декодер 30 видео идентифицирует опорные картинки из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Затем, если количество записей в списке опорных картинок меньше максимального разрешенного количества записей, декодер 30 видео может повторно регистрировать (например, повторно добавлять или повторно идентифицировать) одну или более опорных картинок, по меньшей мере, из одного из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок в записях в списке опорных картинок, которые являются следующими за первым набором записей. Записи, следующие за первым набором записей могут быть записями, которые следуют за первым набором записей, в которые декодер 30 видео добавляет уже зарегистрированные опорные картинки из одного или боле подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок, как описано ниже.

Если, при повторном добавлении опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, общее количество записей в исходном списке 0 равно num_ref_idx_l0_active_minus1, декодер 30 видео может останавливать повторное добавление опорных картинок в исходный Список 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0, и в нем могут отсутствовать незавершенные записи. В противном случае, декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetStCurr0 опорных картинок до тех пор, пока все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок не будут повторно зарегистрированы.

Если после повторного добавления всех опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, количество записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, то затем декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetStCurr1 опорных картинок, способом аналогичным тому, посредством которого декодер 30 видео повторно регистрирует опорные картинки из подмножества RefPicSetStCurr0 опорных картинок. Если после повторного добавления всех опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, количество записей в исходном Списке 0 меньше num_ref_idx_l0 _active_minus1, то затем декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetLtCurr опорных картинок, способом аналогичным тому, посредством которого декодер 30 видео повторно регистрирует опорные картинки из подмножеств RefPicSetStCurr0 и RefPicSetStCurr1 опорных картинок. Декодер 30 видео неоднократно добавляет опорные картинки из подмножеств опорных картинок до тех пор, пока количество записей в исходном Списке 0 не станет равно максимальному количеству разрешенных записей для Списка 0 (т.е., равно num_ref_idx_l0_active_minus1).

Используемые в данном изобретении понятия повторной регистрации или повторного добавления относятся к добавлению вновь (например, идентификации вновь) опорной картинки, которая была ранее добавлена (например, идентифицирована) в исходный список опорных картинок. Тем не менее, при повторном добавлении опорной картинки, опорная картинка может быть расположена в двух разных записях в исходном списке опорных картинок. Другими словами, при повторном добавлении опорной картинки, может присутствовать два значения индекса в исходном списке опорных картинок, которые идентифицируют одну и ту же опорную картинку.

Например, предположим, что присутствует одна опорная картинка в RefPicSetStCurr0, одна опорная картинка в RefPicSetCurr1, и одна опорная картинка в RefPicSetLtCurr. Также предположим, что num_ref_idx_l0_active_minus1 равен пяти. В данном примере, декодер 30 видео может идентифицировать опорную картинку из RefPicSetStCurr0 в двух записях в исходном Списке 0. Например, декодер 30 видео может идентифицировать опорную картинку из RefPicSetStCurr0 в первой записи исходного Списка 0 и повторно идентифицировать опорную картинку из RefPicSetStCurr0 в четвертой записи исходного Списка 0. В данном примере, значение индекса для опорной картинки в RefPicSetStCurr0 может быть index[0] для первой записи в исходном списке 0, и index[3] для четвертой записи в исходном списке 0. Соответственно, в некоторых примерах, одна опорная картинка из одного из подмножеств опорных картинок может быть зарегистрирована (например, идентифицирована) более одного раза в исходных списках опорных картинок.

Декодер 30 видео может подобным образом строить исходный Список 1, так что отсутствуют незавершенные записи в исходном Списке 1. Например, декодер 30 видео может неоднократно добавлять опорные картинки из подмножеств RefPicSetStCurr1, RefPicSetStCurr0, и RefPicSetLtCurr, в такой очередности, до тех пор, пока количество записей в исходном Списке 1 не станет равно максимальному количеству разрешенных записей в Списке 1 (т.е., равно num_ref_idx_l1_active_minus1).

Таким образом, из-за того что циклы с параметром вложены в цикл с предусловием, в вышеприведенном псевдокоде для построения исходного Списка 0 и исходного Списка 1, декодер 30 видео может строить исходный Список 0 и исходный Список 1 таким образом, что отсутствуют незавершенные записи в исходном Списке 0 и исходном Списке 1 (т.е., отсутствуют незавершенные записи после процесса инициализации). В некоторых примерах, каждая из записей в исходном Списке 0 и исходном Списке 1 может идентифицировать опорную картинку из одного из подмножеств опорных картинок. В некоторых примерах, существует возможность того, что одна или более опорных картинок из одного из подмножеств опорных картинок идентифицируется больше чем один раз в итоговых списках опорных картинок, но в разных записях с разными значениями индекса.

Несмотря на то, что предшествующие примеры описывают методы для построения списка опорных картинок без незавершенных записей, как выполняемые декодером 30 видео, аспекты данного изобретения этим не ограничиваются, и кодер 20 видео может реализовывать подобные методы для построения списков опорных картинок без незавершенных записей. Тем не менее, для кодера 20 видео может отсутствовать необходимость выполнения построения списков опорных картинок образом аналогичным тому, посредством которого строит списки опорных картинок декодер 30 видео.

Соответственно, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео), может быть выполнен с возможностью кодирования (например, кодирования или декодирования) информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. Как описано выше, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео может строить множество подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок (например, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок). Компонент кодирования видео может регистрировать (например, идентифицировать или добавлять) опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок. Компонент кодирования видео может определять, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок.

Когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, компонент кодирования видео может неоднократно повторно добавлять (например, повторно идентифицировать) одну или более опорных картинок, по меньшей мере, из одной из опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, до тех пор, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок. Компонент кодирования видео затем может кодировать текущую картинку на основании построенного списка опорных картинок.

Как описано выше, в некоторых примерах, кодер 20 видео может сигнализировать элементы синтаксиса, которые предписывают декодеру 30 видео модифицировать исходный список или списки опорных картинок. Например, декодер 30 видео может строить исходный список или списки опорных картинок описанным выше способом. Тогда, в некоторых случаях, декодер 30 видео может декодировать элементы синтаксиса из закодированного битового потока, которые предписывают декодеру 30 видео модифицировать исходный список или списки опорных картинок, для построения итогового списка или списков опорных картинок. В целом, при модифицировании, декодер 30 видео может сопоставлять одну или более картинок, идентифицированных в одном или более из множества подмножеств опорных картинок, с записью одного из списков опорных картинок после инициализации списка опорных картинок.

Например, после того как декодер 30 видео строит исходный список или списки опорных картинок описанным выше способом, декодер 30 видео может модифицировать, по меньшей мере, одну из записей в одном из исходных списков опорных картинок образом, который предписывается закодированным битовым потоком. Например, кодер 20 видео может указывать в рамках элементов синтаксиса модифицирования, какая картинка из одного из множества подмножеств опорных картинок должна быть идентифицирована в записи списка опорных картинок, даже несмотря на то, что запись списка опорных картинок может уже идентифицировать опорную картинку в рамках процесса инициализации. В некоторых примерах, методы модифицирования списка опорных картинок, описываемые в данном изобретении, могут обеспечить возможность модифицирования гибким образом. Например, декодеру 30 видео может быть предоставлена возможность идентификации в одном или обоих списках опорных картинок опорной картинки, которая не присутствует в исходных списках опорных картинок.

Используемая в данном изобретении фраза «модифицированный список опорных картинок» относится к списку опорных картинок после модифицирования исходного списка опорных картинок. Модифицированный список опорных картинок может быть итоговым списком опорных картинок. Количество записей в модифицированном списке опорных картинок равно num_ref_idx_l0 _active_minus1+1 для Списка 0, и num_ref_idx_l1_active_minus1+1 для Списка 1. Опорная картинка может появляться под более чем одним индексом (например, записью) в модифицированных ссылочных списках применительно к Списку 0 и Списку 1.

Применительно к модифицированию списка опорных картинок, кодер 20 видео может сигнализировать элементы синтаксиса Таблицы 6.

Таблица 6
Синтаксис Модифицирования Списка Опорных Картинок ref_pic_list_modification() { Дескриптор if(slice_type != 2) {   ref_pic_list_modification_flag_l0 u(1) if(ref_pic_list_modification_flag_l0)   do {   modification_of_ref_pic_ idc ue(v) if(modification_of_ref_pic_idc !=3)   ref_pic_set_idx   } while(modification_of_ref_pic_idc !=3)   }   if(slice_type == 1) {   ref_pic_list_modification_flag_l1 u(1) if(ref_pic_list_modification_flag_l1)   do {   modification_of_ref_pic_ idc ue(v) if(modification_of_ref_pic_idc != 3)   ref_pic_set_idx   } while(modification_of_ref_pic_idc != 3)   }   }  

Элементы modification_of_ref_pic_idc, short_term_ref _pic_set_idx и long_term_ref_pic_set_idx синтаксиса могут указывать изменение по отношению к исходным спискам опорных картинок в списках опорных картинок, которые должны использоваться для декодирования слайса.

Элемент ref_pic_list_modification_flag_l0 равный 1 может указывать на то, что присутствует элемент modification_of _ref_pic_idc синтаксиса для указания списка 0 опорных картинок. Элемент ref_pic_list_modification_flag_l0 равный 0 указывает на то, что данный элемент синтаксиса отсутствует.

Когда элемент ref_pic_list_modification_flag_l0 равен 1, то количество раз, которое modification_of_ref_pic_idc не равен 3 вслед за ref_pic_list_modification_flag_l0 может не превышать num_ref_idx_l0_active_minus1 + 1.

Элемент ref_pic_list_modification_flag_l1 равный 1 может указывать на то, что присутствует элемент modification_of _ref_pic_idc синтаксиса для указания списка 1 опорных картинок. Элемент ref_pic_list_modification_flag_l1 равный 0 может указывать на то, что элемент синтаксиса отсутствует.

Когда элемент ref_pic_list_modification_flag_l1 равен 1, то количество раз, которое modification_of_ref_pic_idc не равен 3 вслед за ref_pic_list_modification_flag_l1 может не превышать num_ref_idx_l1_active_minus1 + 1.

Элемент modification_of_ref_pic_idc совместно с short_term_ref_pic_set_idx или long_term_ref_pic_set_idx может указывать на то, какие из опорных картинок подвергаются повторному сопоставлению. Значения элемента modification_of_ref _pic_idc указаны в Таблице 7. Значение первого modification_of _ref_pic_idc, который следует непосредственно за ref_pic_list _modification_flag_l0 или ref_pic_list_modification_flag_l1 не может быть равно 3.

Элемент ref_pic_set_idx указывает индекс, применительно к RefPicSetStCurr0, RefPicSetStCurr1 или RefPicSetLtCurr, текущей картинки, перемещаемой в текущий индекс в списке опорных картинок. Значение ref_pic_set_idx может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Таблица 7
Операции modification_of_ref_pic_idc применительно к модифицированию списков опорных картинок modification_of_ref
_pic_idc указанное модифицирование 0 Для списка 0: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr0; Для списка 1: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr1 1 Для списка 0: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr1; Для списка 1: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr0 2 присутствует ref_pic_set_idx и соответствует индексу в RefPicSetLtCurr 3 ref_pic_idx отсутствует и завершается цикл для модифицирования исходного списка опорных картинок

Применительно к модифицированию списка опорных картинок, когда элемент ref_pic_list_modification_flag_l0 равен 1, декодер 30 видео может модифицировать исходный список 0 опорных картинок (т.е., исходный Список 0), а когда элемент ref_pic_list_modification_flag_l1 равен 1, декодер 30 видео может модифицировать исходный список 1 опорных картинок (т.е., исходный Список 1). Чтобы помочь в понимании модифицирования списка опорных картинок, предположим, что переменная refIdxL0 является индексом в исходном Списке 0, а переменная refIdxL1 является индексом в исходном Списке 1. Другими словами, refIdxL0 может идентифицировать запись исходного Списка 0 (т.е., индекс в исходном Списке 0 идентифицирует запись в исходном Списке 0), а refIdxL1 может идентифицировать запись в исходном Списке 1. Переменные refIdxL0 и refIdxL1 могут быть исходно установлены равными 0.

Декодер 30 видео может обрабатывать элементы синтаксиса применительно к modification_of_ref_pic_idc в процессе возникновения элементов синтаксиса в битовом потоке. Например, если кодер 20 видео сигнализирует о том, что требуется модифицирование списка опорных картинок применительно к исходному Списку 0, тогда декодер 30 видео может обработать очередность, в которой кодер 20 видео сигнализирует элементы modification_of_ref_pic_idc синтаксиса для модифицирования исходного Списка 0. Подобным образом, если кодер 20 видео сигнализирует о том, что требуется модифицирование списка опорных картинок применительно к исходному Списку 1, тогда декодер 30 видео может обработать очередность, в которой кодер 20 видео сигнализирует элементы modification_of_ref_pic_idc синтаксиса для модифицирования исходного Списка 1.

Значения элемента modification_of_ref_pic_idc синтаксиса могут быть 0, 1, 2, или 3, как указывается в Таблице 7. Если значение элемента modification_of_ref_pic_idc синтаксиса равно 3, тогда декодер 30 видео может останавливать модифицирование исходного списка опорных картинок. В противном случае, декодер 30 видео может продолжать модифицирование списка опорных картинок до тех пор, пока значение элемента modification_of_ref_pic_idc синтаксиса не станет равно 3. Например, кодер 20 видео может сигнализировать множество значений для элемента modification_of_ref_pic_idc синтаксиса, и декодер 30 видео может обрабатывать каждое из значений в очередности, в которой значения представлены в закодированном битовом потоке. Когда декодер 30 обрабатывает значение элемента modification_of_ref_pic_idc синтаксиса равное 3, декодер 30 видео может определять, что дальнейшее модифицирование не требуется.

Значение элемента modification_of_ref_pic_idc синтаксиса, которое является любым отличным от 3 (т.е., 0, 1, или 2) может указывать на то, из какого подмножества опорных картинок декодер 30 видео должен идентифицировать опорную картинку, которая должна быть зарегистрирована (например, добавлена) в текущей записи списка опорных картинок. Как описано выше, текущая запись списка опорных картинок может быть идентифицирована посредством значения refIdxLX, где LX является либо Списком 0, либо Списком 1. Например, если декодер 30 видео модифицирует исходный Список 0, и modification_of_ref_pic_idc равен 0, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr0 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Если декодер 30 видео модифицирует исходный Список 1, и modification_of_ref_pic _idc равен 0, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr1 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Например, переменная curRefPicSet может определять то, какое подмножество опорных картинок декодер 30 видео должен использовать для модифицирования исходного Списка 0 или исходного Списка 1.

Например, если modification_of_ref_pic_idc равен 0, и декодер 30 видео модифицирует исходный Список 0, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr0 опорных картинок. Если modification_of_ref_pic_idx равен 0, и декодер 30 видео модифицирует исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr1 опорных картинок.

Если декодер 30 видео модифицирует исходный Список 0, и modification_of_ref_pic_idc равен 1, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr1 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Если декодер 30 видео модифицирует исходный Список 1, и modification_of_ref_pic_idc равен 1, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr0 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx.

В данном случае, если modification_of_ref_pic_idc равен 1, и декодер 30 видео модифицирует исходный Список 0, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr1 опорных картинок. Если modification_of_ref_pic_idx равен 1, и декодер 30 видео модифицирует исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr0 опорных картинок.

Если декодер 30 видео модифицирует исходный Список 0 или исходный Список 1, и modification_of_ref_pic_idc равен 2, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetLtCurr должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. В данном примере, если modification_of_ref_pic_idc равен 2, и декодер 30 видео модифицирует исходный Список 0 или исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetLtCurr опорных картинок.

Как описано выше, элемент ref_pic_set_idx синтаксиса может указывать индекс в одном из множестве подмножеств опорных картинок. Другими словами, элемент ref_pic_set_idx синтаксиса может указывать декодеру 30 видео запись из одного из множества подмножеств опорных картинок. Декодер 30 видео может определять опорную картинку, идентифицированную в записи одного из множества подмножеств опорных картинок в качестве опорной картинки, которая должна быть идентифицирована в текущем индексе исходного Списка 0 или исходного Списка 1.

Переменная curRefPicPoc может быть равна PicOrderCnt(curRefPicSet[ref_pic_set_idx]). Таким образом, значение curRefPicPoc может быть значением POC опорной картинки, идентифицированной в записи ref_pic_set_idx в curRefPicSet. Как описано выше, curRefPicSet может быть равна RefPicSetStCurr0,

RefPicSetStCurr1, или RefPicSetLtCurr, на основании значения элемента modification_of_ref_pic_idc синтаксиса и на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1.

Декодер 30 видео может реализовывать следующий псевдокод для модифицирования списка опорных картинок. Например, в следующем псевдокоде, декодер 30 видео может идентифицировать картинку со значение POC равным curRefPicPoc в записи исходного списка опорных картинок. Переменная refIdxLX указывает позицию индекса для записи в исходном списке опорных картинок. Например, когда декодер 30 видео модифицирует исходный Список 0, то refIdxLX может быть refIdxL0, а когда декодер 30 видео модифицирует исходный Список 1, то refIdxLX может быть refIdxL1.

После того, как декодер 30 видео идентифицирует опорную картинку со значением POC равным curRefPicPOC в исходном списке опорных картинок (т.е., исходном Списке 0 или исходном Списке 1), декодер 30 видео может сдвинуть позиции других оставшихся картинок на более поздние в списке. Например, декодер 30 видео может переместить опорные картинки, идентифицированные в исходном списке опорных картинок в записях, следующих за текущей записью, на следующую запись, для построения модифицированного списка опорных картинок. В качестве иллюстративного примера, предположим, что текущей записью в исходном списке опорных картинок является третья запись с индексом [2]. Декодер 30 видео может перемещать опорную картинку, идентифицируемую в настоящей момент в третьей записи с индексом [2], в следующую запись (например, четвертую запись с индексом [3]). Декодер 30 видео может перемещать опорную картинку, идентифицируемую в настоящий момент в четвертой записи с индексом [3] в пятую запись с индексом [4]. В некоторых примерах, декодер 30 видео может начинать с последней записи в исходном списке опорных картинок, и перемещать опорную картинку, идентифицированную в записи, во временно новую запись. Затем перемещать опорную картинку, идентифицированную в предпоследней записи в последнюю запись, и т.д., до тех пор, пока декодер 30 видео не достигает текущей записи.

Декодер 30 видео затем может увеличивать значение переменной refIdxLX. В данном псевдокоде, длина RefPicListX (т.е., RefPicList0 или RefPicList1) временно задается на один элемент длиннее той длины, которая требуется для итогового списка опорных картинок. Например, как описано выше, декодер 30 видео может начинать с последней записи в исходном списке опорных картинок, перемещать последнюю запись во временную запись, перемещать предпоследнюю запись в последнюю запись, и т.д. для модифицирования исходного списка опорных картинок. После исполнения псевдокода, декодер 30 видео может сохранять только записи с индексом от 0 до num_ref_idx_lX_active_minus1, где num_ref_idx_lX_active_minus1 является num_ref_idx_l0_active _minus1 для Списка 0, и num_ref_idx_l1_active_minus1 для Списка 1.

for(cIdx = num_ref_idx_lX_active_minus1+1; cIdx > refIdxLX; cIdx−−)

RefPicListX[cIdx]=RefPicListX[cIdx−1]

RefPicListX[refIdxLX++]=опорная картинка с PicOrderCnt равным currRefPicPoc

nIdx = refIdxLX

for(cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1; cIdx++)

if(PicOrderCnt(RefPicListX[cIdx]) != currRefPicPoc)

RefPicListX[nIdx++] = RefPicListX[cIdx]

В вышеприведенном псевдокоде, RefPicListX относится либо к RefPicList0 (т.е., итоговому Списку 0), либо к RefPicList1 (т.е., итоговому Списку 1) на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1. Элемент num_ref_idx_lX_active_minus1 относится либо к num_ref_idx_l0_active_minus1, либо ref_idx_l1_active_minus1 на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1.

Вышеприведенные методы описывают примерный способ, посредством которого декодер 30 видео может модифицировать исходный список опорных картинок. Во время процесса кодирования, кодеру 20 видео также требуется декодировать закодированную картинку в целях кодирования последующих картинок. Соответственно, в некоторых примерах, кодер 20 видео также может быть выполнен с возможностью построения исходных списков опорных картинок, и модифицирования исходных списков опорных картинок описанным выше способом. Тем не менее, кодеру 20 видео не обязательно требуется модифицирование списка или списков опорных картинок в каждом примере. В некоторых примерах, декодер 30 видео может быть единственным компонентом кодирования видео, который модифицирует исходный список опорных картинок, используя описанные выше методы.

Соответственно, в некоторых примерах, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может строить исходный список опорных картинок (например, исходный Список 0 или исходный Список 1), используя описанные выше методы. Компонент кодирования видео может определять, требуется ли модифицирование списка опорных картинок, на основании закодированных элементов синтаксиса в закодированном битовом потоке. Когда требуется модифицирование списка опорных картинок, компонент кодирования видео может модифицировать исходный список опорных картинок.

Например, когда требуется модифицирование списка опорных картинок, компонент кодирования видео может идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножествах опорных картинок. Компонент кодирования видео может регистрировать (например, добавлять) идентифицированную опорную картинку в текущую запись исходного списка опорных картинок для построения модифицированного списка опорных картинок. Затем компонент кодирования видео может кодировать (например, кодировать или декодировать) текущую картинку на основании модифицированного списка опорных картинок.

В качестве одного примера, компонент кодирования видео может строить подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Для идентификации опорной картинки, по меньшей мере, в одном из этих подмножеств опорных картинок, компонент кодирования видео может определять индекс, по меньшей мере, в одном из этих подмножеств опорных картинок. Затем компонент кодирования видео может определять опорную картинку, идентифицированную в записи, по меньшей мере, одного из этих подмножеств опорных картинок на основании определенного индекса.

Например, компонент кодирования видео может кодировать (например, кодировать или декодировать) первый элемент синтаксиса, такой как элемент modification_of_ref_pic _idc синтаксиса, посредством которого компонент кодирования видео идентифицирует одно из подмножеств опорных картинок (например, одно из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок). Компонент кодирования видео может кодировать второй элемент синтаксиса, такой как элемент ref_pic_set_idx синтаксиса, который указывает индекс в идентифицированном подмножестве опорных картинок (например, одном из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок).

В некоторых примерах, компонент кодирования видео может быть дополнительно выполнен с возможностью перемещения опорных картинок в исходном списке опорных картинок. Например, компонент кодирования видео может перемещать опорные картинки, идентифицированные в списке опорных картинок в записях, следующих за текущей записью, в следующую запись в модифицированном списке опорных картинок.

Предыдущие примеры описывают способ, посредством которого кодер 20 видео и декодер 30 видео могут получать набор опорных картинок, а также примерные методы для построения списков опорных картинок, когда не требуется модифицирование и когда модифицирование требуется. Тем не менее, методы, описываемые в данном изобретении, этим не ограничиваются. В некоторых примерах, методы, описываемые в данном изобретении, могут быть направлены на управление буфером декодированных картинок (DPB). DPB может быть буфером, который хранит декодированные картинки.

Каждый из кодера 20 видео и декодера 30 видео может включать в себя соответствующие DPB. Например, в рамках процесса кодирования, кодер 20 видео может декодировать текущую картинку, сохранять декодированную картинку в DPB кодера 20 видео, и использовать декодированную картинку, сохраненную в DPB, для интер-предсказания последующей картинки. Аналогичным образом, в рамках процесса декодирования, декодер 30 видео может декодировать текущую картинку и сохранять декодированную картинку в DPB декодера 30 видео. Затем декодер 30 видео может использовать декодированную картинку для интер-предсказания последующей картинки.

В некоторых примерах, DPB либо для кодера 20, либо для декодера 30 видео, может хранить декодированные картинки для переупорядочения вывода или отсрочки вывода. Например, декодер 30 видео может определять, что декодированные картинки должны быть переупорядочены для вывода или, что вывод декодированной картинки должен быть отсрочен. В этих примерах, DPB декодера 30 видео может хранить декодированные картинки для переупорядочения вывода или отсрочки вывода.

Методы управления DPB, описываемые в данном изобретении, могут быть направлены на способ, посредством которого DPB выводит и удаляет декодированные картинки. Элемент output_flag синтаксиса может оказывать влияние на процесс вывода и удаления декодированной картинки, и может быть определен в рамках семантики единицы сетевого уровня абстракции (NAL). Единица NAL может быть определена в качестве структуры синтаксиса, которая включает в себя указание типа данных, которого следует придерживаться, и байтов, которые включают в себя данные в форме полезной нагрузки последовательности необработанных байтов (RBSP) с внедренными, при необходимости, байтами предотвращения эмуляции. RBSP может быть структурой синтаксиса, которая включает в себя целое число байт, которые инкапсулированы в единицу NAL. RBSP может быть либо пустой, либо иметь форму строки битов данных, которая включает в себя элементы синтаксиса, за которыми следует стоповый бит RBSP и за которыми следует ноль или больше последующих бит, равных 0. Таблица 8 определяет синтаксис единицы NAL.

Таблица 8
Синтаксис единицы NAL nal_unit(NumBytesInNALunit) { Описатель forbidden_zero_bit f(1)

nal_ref_idc u(2) nal_unit_type u(5) NumBytesInRBSP=0   nalUnitHeaderBytes = 1   if(nal_unit_type ==1 || nal_unit_type ==4 || nal_unit_type ==5) {   temporal_id u(3) output_flag u(1) reserved_one_4bits u(4) nalUnitHeaderBytes +=1   }   for(i=nalUnitHeaderBytes; i<NumBytesInNALunit; i++) {   if(i+2<NumBytesInNALunit && next_bits(24)== 0x000003) {   rbsp_byte[NumBytesInRBSP++] b(8) rbsp_byte[NumBytesInRBSP++] b(8) i += 2   emulation_prevention_three_byte/* равен 0x03*/ f(8) } else   rbsp_byte[NumBytesInRBSP++] b(8) }   }  

В Таблице 8, элемент output_flag может оказывать влияние на процесс вывода и удаления декодированной картинки как более подробно описывается ниже. Для любой картинки, если output_flag равен 1, картинка предназначена для вывода. В противном случае, картинка никогда не выводиться. В методах, описываемых в данном изобретении, переменная OutputFlag равна элементу output_flag синтаксиса.

В некоторых примерах, любая единица NAL закодированного слайса закодированной картинки текущей единицы доступа может отличаться от единицы NAL закодированного слайса закодированной картинки предыдущей единицы доступа по одному или более из следующих признаков. Например, могут быть разными значения pic_parameter_set_id, могут быть разными значения nal_ref_idc, при этом одно из значений nal_ref_idc является равным 0. Могут быть разными значения pic_order_cnt_lsb. Могут быть разными значения IdrPicFlag. Элемент IdrPicFlag может быть равен 1 для обоих случаев, и могут быть разными значения idr_pic_id.

В методах, описываемых в данном изобретении, единица доступа может быть определена как набор единиц NAL, которые являются последовательными в очередности декодирования и содержат одну закодированную картинку. В дополнение к закодированной картинке одна вспомогательная закодированная картинка, или другие единицы NAL, могут не содержать слайсы закодированной картинки. В некоторых примерах, декодирование единицы доступа может приводить к декодированной картинке. Закодированная картинка может быть закодированным представление картинки, которая должна быть использована процессом декодирования.

Как указано в Таблице 4, синтаксис заголовка слайса может включать в себя элемент pic_parameter_set_id синтаксиса, элемент pic_order_cnt_lsb синтаксиса, элемент IdrPicFlag синтаксиса, и элемент idr_pic_id синтаксиса. Как указано в Таблице 8, синтаксис единицы NAL может включать в себя элемент nal_ref_idc синтаксиса.

В целях иллюстрации, методы управления DPB описываются с точки зрения гипотетического эталонного декодера (HRD). HRD может быть определен в качестве модели гипотетического декодера, которая указывает ограничения на непостоянство согласующихся потоков единиц NAL или согласующихся потоков байтов, которые может создавать процесс кодирования. Тем не менее, в соответствии с методами, описываемыми в данном изобретении, декодер 30 видео может реализовывать методы управления DPB, и в некоторых примерах, также существует возможность реализации методов управления DPB посредством кодера 20 видео.

Модель HDR может определять буфер закодированных картинок (CPB), процесс мгновенного декодирования, и буфер декодированных картинок (DPB). CPB может быть подобен CPB моделей HDR, которые определены в других предыдущих стандартах (т.е., CPB может хранить закодированные картинки). Методы, описываемые в данном изобретении, направлены на операции DPB, которые отличаются от операций в других стандартах. Вновь следует понимать, что декодер 30 видео и возможно кодер 20 видео могут реализовывать операции DPB, как описывается ниже.

В целом, методы, описываемые в данном изобретении, относятся к выводу и удалению декодированных картинок в DPB. Вывод декодированных картинок, в данном контексте, означает вывод декодированной картинки для отображения, хранения или в других целях. Тем не менее, декодированная картинка, которая выводиться, не обязательно должна удаляться из DPB. Например, декодер 30 видео может не удалять декодированную картинку, которая выводится из DPB, так как декодеру 30 видео может потребоваться использовать эту декодированную картинку в качестве опорной картинки для интер-предсказания последующей картинки. Удаление декодированной картинки, в данном контексте, означает удаление декодированной картинки из DPB.

Например, декодер 30 видео может сохранять декодированные картинки в DPB декодера 30 видео в очередности, в которой картинки декодируются. Тем не менее, очередность декодирования картинок может быть не точно такой же, что и очередность вывода картинок. Например, могут присутствовать картинки, которые являются последующими для текущей картинки в очередности декодирования, но которые должны выводиться раньше текущей картинки. Соответственно, в некоторых примерах, декодер 30 видео может выполнять переупорядочение, посредством которого декодер 30 видео переупорядочивает картинки в DPB, которые упорядочены в очередности декодирования, в очередность вывода. Декодер 30 видео затем может выводить декодированные картинки в их очередности вывода. Декодер 30 видео также может удалять картинки из буфера декодированных картинок, если картинка не требуется для вывода (т.е., была выведена или не предназначена для вывода) и не требуется для интер-предсказания (т.е., не требуется для использования в качестве опорной картинки при интер-предсказании).

В методах, описываемых в данном изобретении, декодер 30 видео может удалять декодированную картинку из DPB, если декодированная картинка была выведена или не предназначена для вывода, и если декодированная картинка не идентифицирована в полученном наборе опорных картинок, что эквивалентно тому, что она более не требуется для ссылки при интер-предсказании (т.е., более не требуется для того, чтобы использоваться в качестве опорной картинки для интер-предсказания). Вновь, как описано выше, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки, и которые могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. В соответствии с методами, описываемыми в данном изобретении, если декодированная картинка не идентифицирована в полученном наборе опорных картинок, тогда декодированная картинка может не требоваться в качестве опорной картинки для интер-предсказания (например, декодирования) текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Вследствие этого, такая декодированная картинка может быть удалена из DPB, если декодированная картинка не требуется для вывода, поскольку может отсутствовать необходимость в удержании такой декодированной картинки DPB, при условии, что декодированная картинка не будет использоваться для интер-предсказания.

Кроме того, в методах, описываемых в данном изобретении, декодер 30 видео может удалять декодированную картинку перед декодированием текущей картинки. Например, как описано выше, декодер 30 видео может получать набор опорных картинок, и строить список(и) опорных картинок перед декодированием текущей картинки. Поскольку декодер 30 видео может получать набор опорных картинок перед декодированием текущей картинки, декодер 30 видео может быть выполнен с возможностью определения того, должна ли декодированная картинка, которая не требуется для вывода, быть удалена перед декодированием текущей картинки. Например, после получения набора опорных картинок и перед декодированием текущей картинки, декодер 30 видео может определять, является ли выведенная декодированная картинка или декодированная картинка, не предназначенная для вывода, той, что не идентифицирована в наборе опорных картинок. Затем, перед декодированием текущей картинки, декодер 30 видео может удалять декодированную картинку, которая не требуется для вывода (т.е., уже выведенную или не предназначенную для вывода), если декодированная картинка не идентифицирована в наборе опорных картинок.

В некоторых примерах, декодер 30 видео может удалять декодированную картинку перед декодированием текущей картинки. Тем не менее, декодер 30 видео может удалять декодированную картинку после построения списка(ов) опорных картинок. Например, декодер 30 видео может получать набор опорных картинок, и может строить списки опорных картинок на основании набора опорных картинок. Затем, перед декодированием текущей картинки, декодер 30 видео может удалять декодированную картинку. В некоторых примерах, декодер 30 видео также может выводить декодированную картинку после построения списка(ов) опорных картинок.

Данное изобретение описывает методы удаления декодированных картинок в DPB, по меньшей мере, с двух точек зрения. С первой точки зрения, декодер 30 видео может удалять декодированные картинки на основании времени вывода, если картинки предназначены для вывода. Со второй точки зрения, декодер 30 видео может удалять декодированные картинки на основании значений POC, если картинки предназначены для вывода. С обеих точек зрения, декодер 30 видео может удалять декодированные картинки, которые не предназначены для вывода (т.е., уже выведены или не предназначены для вывода), когда декодированная картинка отсутствует в наборе опорных картинок, и перед декодированием текущей картинки.

DPB может включать в себя множество буферов, и каждый буфер может хранить декодированную картинку, которая должна быть использована в качестве опорной картинки или удерживается для дальнейшего вывода. Исходно, DPB пуст (т.е., наполненность DPB установлена равной нулю). В описываемых примерных методах, удаление декодированных картинок из DPB может происходить до декодирования текущей картинки, но после того, как декодер 30 видео анализирует заголовок слайса первого слайса текущей картинки.

С первой точки зрения, следующие методы могут происходить мгновенно в момент t_r(n) времени в следующей последовательности. В данном примере, момент t_r(n) времени является временем удаления CPB (т.е., временем декодирования) единицы n доступа, содержащей текущую картинку. Как описывается в данном изобретении, понятие методов, которые происходят мгновенно, может означать, что в модели HDR, предполагается, что декодирование картинки является мгновенным (т.е., неограниченно быстрым), при этом период времени для декодирования картинки равен нулю.

Если текущая картинка является картинкой IDR, и когда картинка IDR не является первой картинкой IDR и значение значения pic_width_in_luma_samples или pic_height_in_luma _samples или max_dec_frame_buffering, полученное из активного набора параметров последовательности отличается от значения pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering, полученного из набора параметров последовательности, который был активен для предшествующей картинки, соответственно, то декодер 30 видео может предположить, что элемент no_output_of_prior_pics_flag синтаксиса равен 1, независимо от фактического значения no_output_of_prior_pics_flag. Если текущая картинка является картинкой IDR, и когда no_output_of_prior_pics_flag равен 1 или предполагается равным 1, декодер 30 видео может очищать все буферы DPB, без вывода картинки из DPB, и может устанавливать наполненность DPB равной 0.

Как указано выше в Таблице 1, набор параметров последовательности может включать в себя элементы pic_width_in_luma_samples и pic_height_in_luma_samples синтаксиса. Набор параметров последовательности также может включать в себя элемент max_dec_frame_buffering синтаксиса. Как указывается выше в Таблице 4, синтаксис заголовка слайса может включать в себя элемент no_output_of_prior_pics_flag синтаксиса.

Когда текущая картинка не является картинкой IDR, декодер 30 видео может удалять все картинки (m) в DPB, для которых следующие условия являются истиной. Первое условие может заключаться в том, что картинка не включена в набор опорных картинок текущей картинки. Второе условие может заключаться в том, что картинка имеет OutputFlag равный 0 или ее время вывода DPB меньше либо равно времени удаления CPB текущей картинки. В данном примере, временем удаления CPB является t_r(n), что является этапом, на котором происходит процесс удаления (например, временем перед декодированием текущей картинки). Время вывода DPB декодированной картинки m может быть определено посредством переменной t_o,dpb(m). Вследствие этого, время вывода DPB, которое меньше либо равно времени удаления CPB, может быть представлено как t_o,dpb(m)≤t_r(n). Получение времени t_o,dpb(m) вывода DPB более подробно определяется ниже.

Таким образом, декодер 30 видео может удалять декодированные картинки из DPB, перед декодированием картинки, на основании времени вывода декодированной картинки и когда декодированная картинка не идентифицирована в наборе опорных картинок. Когда декодер 30 видео удаляет декодированную картинку из DPB, декодер 30 видео может уменьшать наполненность DPB на единицу.

Нижеследующее описывает способ, посредством которого декодер 30 видео может определять время, когда выводить декодированную картинку (например, время вывода DPB декодированной картинки), а также описывает то, когда декодер 30 видео может сохранять декодированную картинку в DPB. Как описано выше, время вывода DPB картинки может быть фактором при определении того, удаляется или нет эта картинка из DPB.

Когда декодер 30 видео декодирует картинку, декодер 30 видео сохраняет картинку в DPB, и увеличивает наполненность DPB на единицу. Когда картинка имеет OutputFlag равный 1, декодер 30 видео может получить время вывода DPB для картинки на основании следующего уравнения.

t_o,dpb(n) = t_r(n)+t_c*dpb_output_delay(n)

В уравнении, элемент dpb_output_delay(n) может быть указан в сообщении SEI синхронизации картинки, связанном с единицей доступа, которая включает в себя картинку. Сообщение SEI может быть определено в некоторых стандартах, таком как стандарт H.264/AVC.

Значение t_o,dpb(n) может определять то, когда должна выводиться картинка. Например, если OutputFlag равен 1 и t_o,dpb(n) равно t_r(n), декодер 30 видео может выводить картинку. В противном случае, если OutputFlag равен 0, декодер 30 видео может не выводить картинку. В случаях, где OutputFlag равен 1 и t_o,dpb(n) больше t_r(n), декодер 30 видео может выводить картинку позже по времени (например, в момент t_o,dpb(n) времени).

В некоторых примерах, когда декодер 30 видео выводит картинку, декодер 30 видео может обрезать картинку. Например, декодер 30 видео может использовать прямоугольник обрезки, указанный в активном наборе параметров последовательности для картинки. Методы для обрезки картинки в целом хорошо известны и описываются в стандартах, таких как стандарт H.264/AVC.

В некоторых примерах, декодер 30 видео может определять разность между временем вывода DPB для картинки и временем вывода DPB для картинки, следующей за картинкой в очередности вывода. Например, когда картинка (n) является картинкой, которую декодер 30 видео выводит, и не является последней картинкой битового потока, который выводится, то декодер 30 видео может определять значение Δt_o,dpb(n), которое определяется как:

Δt_o,dpb(n)=t_o,dpb(n_n)−t_o,dpb(n)

В вышеприведенном уравнении, n_n указывает картинку, которая следует за картинкой (n) в очередности вывода и имеет OutputFlag равный 1. Также, в вышеприведенном уравнении Δt_o,dpb(n) представляет собой разность времен вывода DPB между картинкой и следующей картинкой в очередности вывода.

Со второй точки зрения для удаления декодированных картинок, HDR может реализовывать методы мгновенно, когда единица доступа удаляется из CPB. Вновь, декодер 30 видео может реализовывать удаление декодированных картинок из DPB, и декодер 30 видео не обязательно может включать в себя CPB. В целом, в данном изобретении, удаление декодированных картинок выполняется декодером 30 видео, и может также выполняться кодером 20 видео. В этих примерах, для декодера 30 видео и кодера 20 видео может не требоваться наличие CPB. Наоборот, CPB описывается в рамках модели HDR только в целях иллюстрации.

Как описано выше, со второй точки зрения для удаления декодированных картинок, декодер 30 видео может удалять картинки из DPB перед декодированием текущей картинки, но после анализа заголовка слайса первого слайса текущей картинки. Также, подобно первой точки зрения для удаления декодированных картинок, во второй точке зрения, декодер 30 видео может выполнять функции подобные тем, что описываются выше в отношении первой точки зрения, когда текущая картинка является картинкой IDR.

В противном случае, если текущая картинка не является картинкой IDR, декодер 30 видео может очищать, без вывода, буферы DPB, которые хранят картинку, которая промаркирована как «не требуется для вывода» и которые хранят картинки, не включенные в набор опорных картинок текущей картинки. Декодер 30 видео также может уменьшать наполненность DPB на количество буферов, которое высвобождает декодер 30 видео. Когда отсутствует пустой буфер (т.е., наполненность DPB равна размеру DPB), декодер 30 видео может реализовывать описываемый ниже процесс «выталкивания». В некоторых примерах, когда отсутствует свободный буфер, декодер 30 видео может реализовывать процесс выталкивания неоднократно, до тех пор, пока не сформируется пустой буфер, в котором декодер 30 может сохранить текущую декодированную картинку.

Когда текущая картинка является картинкой IDR, для которой no_output_of_prior_pics_flag не равен 1, и не предполагается равным 1, декодер 30 видео может выполнять следующее. Декодер 30 видео может очищать, без вывода, буферы DPB, которые хранят картинку, которая промаркирована как «не требуется для вывода» и которая не включена в набор опорных картинок текущей картинки. Декодер 30 видео может очищать все не пустые буферы в DPB посредством неоднократного вызова процесса «выталкивания», и может устанавливать наполненность DPB равной 0.

Другими словами, когда текущей картинкой является картинка IDR, декодер 30 видео может реализовывать методы для очищения всех буферов в DPB. Когда текущая картинка не является картинкой IDR, декодер 30 видео может реализовывать методы для удаления декодированных картинок для освобождения буферов для сохранения текущей декодированной картинки.

Например, после того как декодер 30 видео декодирует текущую картинку, декодер 30 видео может сохранять текущую картинку в DPB, и увеличивать наполненность DPB на единицу. В некоторых примерах, если OutputFlag текущей картинки равен 1, декодер 30 видео может маркировать текущую картинку как «требуется для вывода». В противном случае, если OutputFlag текущей картинки равен 0, декодер 30 видео может маркировать текущую картинку как «не требуется для вывода».

Как описано выше, в некоторых примерах, декодер 30 видео может реализовывать процесс выталкивания. В целом, процесс выталкивания вызывает вывод декодированных картинок. Например, декодер 30 видео может реализовывать процесс выталкивания, когда текущей картинкой является картинка IDR и no_output_of_prior _pics_flag не равен 1, и не предполагается равным 1. Декодер 30 видео также может реализовывать процесс выталкивания, если в DPB отсутствует пустой буфер (т.е., наполненность DPB равна размеру DPB), и требуется пустой буфер для сохранения декодированной (не IDR) картинки.

В целом, декодер 30 видео может реализовывать следующие этапы для реализации процесса выталкивания. Декодер 30 видео может сначала определять картинку, которая должна быть выведена. Например, декодер 30 видео может выбирать картинку с наименьшим значением PicOrderCnt (POC) из всех картинок в DPB, которые промаркированы как «требуется для вывода». Декодер 30 видео может обрезать выбранную картинку, используя прямоугольник обрезки, указанный в активном наборе параметров последовательности для картинки. Декодер 30 видео может выводить обрезанную картинку, и может маркировать картинку как «не требуется для вывода». Декодер 30 видео может проверять буфер DPB, который хранит обрезанную и выведенную картинку. Если картинка не включена в набор опорных картинок, то декодер 30 видео может очищать данный буфер и может уменьшать наполненность DPB на единицу.

Несмотря на то, что вышеприведенные методы для управления DPB описываются в контексте декодера 30 видео, в некоторых примерах, кодер 20 видео может реализовывать подобные методы. Тем не менее, не требуется, чтобы кодер 20 видео реализовывал подобные методы в каждом примере. В некоторых примерах, декодер 30 видео может реализовывать эти методы, а кодер 20 может не реализовывать эти методы.

Таким образом, компонент кодирования видео (например, кодер 20 видео или декодер 20 видео) может кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. Вновь, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующей за текущей картинкой в очередности декодирования.

Компонент кодирования видео может получать набор опорных картинок любым способом, включая описанные выше примерные методы. Компонент кодирования видео может определять, является ли декодированная картинка, хранящаяся в буфере декодированных картинок, той, что не требуется для вывода и не идентифицирована в наборе опорных картинок. Когда декодированная картинка была выведена и не идентифицирована в наборе опорных картинок, компонент кодирования видео может удалять декодированную картинку из буфера декодированных картинок. Вслед за удалением декодированной картинки, компонент кодирования видео может кодировать текущую картинку. Например, компонент кодирования видео может строить список(и) опорных картинок, как описано выше, и кодировать текущую картинку на основании списка(ов) опорных картинок.

Предыдущие примеры описывают методы, которые кодер 20 видео и декодер 30 видео могут использовать для получения набора опорных картинок, построения списков опорных картинок из подмножеств опорных картинок, когда не требуется модифицирование и когда модифицирование требуется, как впрочем, и методы для управления буфером декодированных картинок (DPB). Тем не менее, аспекты данного изобретения этим не ограничиваются. В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к способу, посредством которого кодер 20 видео сигнализирует то, какие картинки принадлежат к набору опорных картинок и являются долгосрочными опорными картинками (или, другими словами, какие картинки принадлежат к набору долгосрочных опорных картинок), и способу, посредством которого декодер 30 видео определяет, какая картинка принадлежит к набору долгосрочных опорных картинок.

Например, Таблица 2 включает в себя элементы num_long_term_ref_pics_pps, и long_term_ref_pic_id_pps[i] синтаксиса в рамках набора параметров картинки. Тем не менее, аспекты данного изобретения этим не ограничиваются. В некоторых примерах, набор параметров последовательности (например, в Таблице 1) может включать в себя элементы num_long_term_ref_pics _pps и the long_term_ref_pic_id_pps[i] синтаксиса. В примерах, где набор параметров последовательности включает в себя эти элементы синтаксиса, данное изобретение может относиться к элементам синтаксиса, таким как num_long_term_ref_pics_sps и long_term_ref_pic_id_sps[i], чтобы избежать путаницы. В целях иллюстрации, методы описываются с помощью примеров, в которых набор параметров последовательности включает в себя эти элементы синтаксиса.

Подобно определению num_long_term_ref_pics_pps, элемент num_long_term_ref_pics_sps синтаксиса может указывать количество потенциальных долгосрочных опорных картинок, которые включаются в набор параметров последовательности. Значение num_long_term _ref_pics_sps может находиться в диапазоне от 0 до 32, включительно. Подобно определению элемента long_term_ref_pic_id _pps[i] синтаксиса, элемент long_term_ref_pic_id_sps[i] синтаксиса может указывать информацию идентификации i-ой долгосрочной опорной картинки, включенной в набор параметров последовательности.

В некоторых примерах, элемент long_term_ref_pic_id _sps[i] синтаксиса может указывать потенциальные долгосрочные опорные картинки, которые принадлежат к набору опорных картинок текущей картинки. Потенциальные долгосрочные опорные картинки являются одной или более потенциальными долгосрочными опорными картинками, которые могут быть долгосрочными опорными картинками, которые декодер 30 видео может использовать для интер-предсказания текущей картинки или одной или более картинок, следующих за текущей картинкой в очередности декодирования. Другими словами, потенциальные долгосрочные опорные картинки могут указывать картинки, которые являются долгосрочными опорными картинками и которые возможно могут быть использованы для интер-предсказания текущей картинки и использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. В некоторых примерах, элемент long_term_ref_pic _id_sps[i] синтаксиса может включать в себя значения POC, для потенциальных долгосрочных опорных картинок.

Тем не менее, не все потенциальные долгосрочные опорные картинки обязательно используются для интер-предсказания. Например, не все потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. Наоборот, ноль или больше потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок.

В методах, описываемых в данном изобретении, кодер 20 видео может сигнализировать элемент long_term_ref _pic_id синтаксиса в наборе параметров (например, элемент long_term_ref _pic_id_sps синтаксиса в наборе параметров последовательности, или элемент long_term_ref_pic_id_pps синтаксиса в наборе параметров картинки). Декодер 30 видео может принимать элемент long_term_ref_pic_id синтаксиса и идентифицировать потенциальные долгосрочные опорные картинки. В соответствии с методами, описываемыми в данном изобретении, декодер 30 видео может дополнительно определять, какая одна из потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок. Например, декодер 30 видео может быть выполнен с возможностью выполнения данного определения на основании дополнительных элементов синтаксиса, сигнализируемых кодером 20 видео в закодированном битовом потоке.

Как указывается в Таблице 4, кодер 20 видео может сигнализировать структуру long_term_ref_pic_set() синтаксиса в заголовке слайса текущей картинки. Таблица 5 описывает структур long_term_ref_pic_set() синтаксиса. Например, структура long_term_ref_pic_set() синтаксиса может включать в себя элементы num_long_term_pps_curr и num_long_term_pps_foll синтаксиса. Вновь, следует отметить, что несмотря на то, что элементы num_long_term_pps_curr и num_long_term_pps_foll синтаксиса определены в качестве количества долгосрочных опорных картинок, включенного в набор параметров картинки, в примерах, где потенциальные долгосрочные опорные картинки включаются в набор параметров последовательности, эти элементы синтаксиса могут определять количество потенциальных долгосрочных опорных картинок, включенных в набор параметров последовательности. Например, чтобы избежать путаницы, элемент num_long_term_pps _curr синтаксиса может именоваться элементом num_long_term_sps _curr синтаксиса, а элемент num_long_term_pps_foll синтаксиса может именоваться элементом num_long_term_sps_foll синтаксиса.

Подобно элементу num_long_term_pps_curr синтаксиса, элемент num_long_term_sps_curr синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации включена в упомянутый набор параметров последовательности, в качестве потенциальных долгосрочных опорных картинок, и которые могут быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подобно элементу num_long_term_pps_foll синтаксиса, элемент num_long_term_sps_foll синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации включена в набор параметров последовательности, в качестве потенциальных долгосрочных опорных картинок, которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Также, структура long_term_ref_pic_set() синтаксиса, сигнализируемая в заголовке слайса, может включать в себя элемент long_term_ref_pic_set_idx_pps[i] синтаксиса. Вновь, в примерах, где потенциальные долгосрочные опорные картинки сигнализируются в наборе параметров последовательности, элемент long_term_ref_pic_set_idx_pps[i] синтаксиса может рассматриваться в качестве элемента long_term_ref_pic_set_idx _sps[i] синтаксиса. Подобно элементу long_term_ref_pic_set_idx _pps[i] синтаксиса, элемент long_term_ref_pic_set_idx_sps[i] синтаксиса может определять индекс, в списке информации идентификации потенциальной долгосрочной опорной картинки, включенном в упомянутый набор параметров последовательности, i-ой долгосрочной опорной картинки, которая наследуется набором опорных картинок текущей картинки из набора параметров опорной картинки. Другими словами, элемент long_term_ref_pic_set_idx _sps[i] синтаксиса может идентифицировать индекс в списке потенциальных долгосрочных опорных картинок в наборе параметров последовательности. По индексу, декодер 30 видео может идентифицировать долгосрочную опорную картинку в потенциальных долгосрочных опорных картинках, и может определять то, что идентифицированная долгосрочная опорная картинка принадлежит к набору опорных картинок текущей картинки.

Например, декодер 30 видео может реализовывать следующий псевдокод, подобный тому, что приведен в Таблице 5, для определения того, какая из потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок текущей картинки.

for (i=0; i<num_long_term_sps_curr + num_long_term_sps_foll; i++)

long_term_ref_pic_set_idx_sps[i]

Таким образом, декодер 30 видео может декодировать элементы синтаксиса, указывающие потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров. Например, если набором параметров является набор параметров последовательности, то декодер 30 видео может декодировать элементы long_term_ref_pic_id_sps[i] синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров последовательности. Если набором параметров является набор параметров картинки, то декодер 30 видео может декодировать элементы long_term_ref_pic _id_pps[i] синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров картинки.

Декодер 30 видео также может декодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки. Например, если набором параметров является набор параметров последовательности, то декодер 30 видео может декодировать элементы num_long_term_sps_curr, num_long_term_ sps_foll, и long_term_ref_pic_set_idx_sps[i] синтаксиса, а если набором параметров является набор параметров картинки, то декодер 30 видео может декодировать элементы num_long_term_pps _curr, num_long_term_pps_foll, и long_term_ref_pic_set_idx _pps[i] синтаксиса. В любом примере, декодер 30 видео может декодировать эти элементы синтаксиса из заголовка слайса текущей картинки.

В соответствии с методами, описанными в данном изобретении, элементы long_term_ref_pic_id_sps[i] и long_term _ref_pic_id_pps[i] синтаксиса могут быть рассмотрены в качестве списка значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок, которые принадлежат к набору опорных картинок, и могут быть закодированы (закодированы или декодированы) в рамках набора параметров (например, набора параметров картинки и набора параметров последовательности). Элемент long_term_ref_pic _set_idx_sps[i] или long_term_ref_pic_set_idx_pps[i] синтаксиса может быть рассмотрен как предоставляющий значение индекса в списке значений POC для потенциальных долгосрочных опорных картинок (например, индекса в long_term_ref_pic_id_sps[i] или

long_term_ref_pic_id_pps[i]). В некоторых примерах, элемент long_term_ref_pic_set_idx_sps[i] или long_term_ref_pic_set_idx _pps[i] синтаксиса может быть закодирован в рамках заголовка слайса текущей картинки.

Выше описан способ, посредством которого кодер 20 видео и декодер 30 видео может кодировать или декодировать, соответственно, элементы синтаксиса для указания того, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки. По элементам синтаксиса, декодер 30 видео или кодер 20 видео может определять, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки. После того как декодер 30 видео и кодер 20 видео определяет, какие картинки принадлежат к набору долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут построить, по меньшей мере, одно подмножество опорных картинок из множества подмножеств опорных картинок, и получить набор опорных картинок описанным выше способом. Например, на основании определения того, какие картинки принадлежат к набору долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут построить подмножество RefPicSetLtCurr опорных картинок, которое кодер 20 видео и декодер 30 видео используют для получения набора опорных картинок.

В некоторых примерах, могут присутствовать картинки, которые принадлежат к набору опорных картинок, и которые не включены в потенциальные долгосрочные опорные картинки. Соответственно, могут существовать дополнительные способы, посредством которых кодер 20 видео и декодер 30 видео могут определять, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки.

Например, как указано в Таблице 5, структура long_term _ref_pic_set() синтаксиса заголовка слайса включает в себя элемент long_term_ref_pic_id_delta_add[i] синтаксиса. Данный элемент синтаксиса может указывать идентификацию долгосрочной опорной картинки, такую как значения POC, i-ой долгосрочной опорной картинки, которая не наследуется из набора параметров опорной картинки, но включена в набор опорных картинок текущей картинки. Вновь, в примерах, где потенциальные долгосрочные опорные картинки идентифицируются в наборе параметров последовательности, элемент long_term_ref_pic_id_delta_add[i] синтаксиса может указывать идентификацию долгосрочной опорной картинки i-ой долгосрочной опорной картинки, которая не наследуется из набора параметров последовательности, но включена в набор опорных картинок текущей картинки.

Другими словами, элемент long_term_ref_pic_id_pps[i] или long_term_ref_pic_id_sps[i] синтаксиса может идентифицировать потенциальные долгосрочные опорные картинки, но не обязательно идентифицирует все долгосрочные опорные картинки в наборе опорных картинок текущей картинки. Например, могут существовать долгосрочные опорные картинки, которые должны быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования, которые не включены в список потенциальных долгосрочных опорных картинок. Для таких долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут кодировать или декодировать, соответственно, информацию идентификации, которая идентифицирует долгосрочные опорные картинки, которые принадлежат к набору опорных картинок текущей картинки.

Например, как указано в Таблице 5, кодер 20 видео и декодер 30 видео могут кодировать или декодировать соответственно, элементы num_long_term_add_curr и num_long_term _add_foll синтаксиса. Элемент num_long_term_add_curr синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации не включена в упомянутый набор параметров картинки или набор параметров последовательности (если применимо), и которые могут быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Элемент num_long_term_add_foll синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации не включена в упомянутый набор параметров картинки или набор параметров последовательности (если применимо), которые не могут быть использованы для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Декодер 30 видео может реализовывать следующий псевдокод для определения того, какие долгосрочные опорные картинки принадлежат к набору опорных картинок. В данном примере, долгосрочные опорные картинки могут быть не включены в потенциальные долгосрочные опорные картинки.

for (i=0; i<num_long_term_add_curr + num_long_term_add_foll; i++)

long_term_ref_pic_id_delta_add[i]

Как описано выше, методы, описанные в данном изобретении, могут быть выполнены в соответствии со стандартом HEVC. Нижеследующее является кратким описанием стандарта HEVC для помощи в понимании. Кроме того, несмотря на то, что методы, описываются в контексте стандарта HEVC, методы могут быть расширены на другие стандарты, включая собственные стандарты.

Над разработкой стандарта HEVC работает JCT-VC. Работа по стандартизации HEVC основана на оценке модели компонента кодирования видео, именуемого Тестовая Модель HEVC (HM). HM предполагает ряд дополнительных способностей компонентов кодирования видео по отношению к существующим устройствам в соответствии с, например, стандартом ITU-T H.264/AVC. Например, тогда как стандарт H.264 предусматривает девять режимов интра- предсказания, HM может предоставлять вплоть до тридцати трех режимов интра-предсказания.

В целом, рабочая модель HM описывает то, что видео кадр или картинка может быть разделен на последовательность древовидных блоков или самых больших единиц кодирования (LCU), которые включают в себя выборки как яркости, так и цветности. Назначение древовидного блока аналогично назначению макроблока стандарта H.264. Слайс включает в себя некоторое количество последовательных древовидных блоков в очередности декодирования. Видео кадр или картинка может быть разбит на один или более слайсов. Каждый древовидный блок может быть раздроблен на единицы кодирования (CU) в соответствии с квадродеревом. Например, древовидный блок, как корневой узел квадродерева, может быть раздроблен на четыре дочерних узла, и каждый дочерний узел в свою очередь может быть родительским узлом, и может быть раздроблен на другие четыре дочерних узла. Итоговый, нераздробленный дочерний узел, как концевой узел квадродерева, содержит узел кодирования, т.е., закодированный видео блок. Данные синтаксиса, связанные с закодированным битовым потоком, могут определять максимальное количество раз, которое может быть раздроблен древовидный блок, и также может указывать минимальный размер узлов кодирования. Древовидные блоки могут именоваться LCU в некоторых примерах.

CU включает в себя узел кодирования и единицы предсказания (PU) и единицы преобразования (TU), связанные с узлом кодирования. Размер CU соответствует размеру узла кодирования и должен быть квадратным по форме. Размер CU может находиться в диапазоне от 8х8 пикселей вплоть до размера древовидного блока с максимуму 64х64 пикселями или более. Каждая CU может содержать одну или более PU и одну или более TU. Данные синтаксиса, связанные с CU, могут описывать, например, разбиение CU на одну или более PU. Режимы разбиения могут отличаться в зависимости от того, кодируется ли CU в режиме пропуска или в непосредственном режиме, кодируется ли CU в режиме интра-предсказания, или кодируется ли CU в режиме интер-предсказания. PU могут быть разбиты таким образом, что не имеют неквадратную форму. Данные синтаксиса, связанные с CU также могут описывать, например, разбиение CU на одну или более TU, в соответствии с квадродеревом. TU может иметь квадратную или неквадратную форму.

Стандарт HEVC предусматривает преобразования в соответствии с TU, которые могут быть разными для разных CU. Как правило, размер TU определяется на основании размера PU в рамках заданной CU, определенной для разбитой LCU, несмотря на то, что это не всегда может быть так. TU, как правило, имеют тот же размер или меньше, размера PU. В некоторых примерах, остаточные выборки, соответствующие CU, могут быть дополнительно разделены на более мелкие единицы, используя структуру квадродерева, известную как «остаточное квадродерево» (RQT). Концевые узлы RQT могут именоваться единицами преобразования (TU). Значения пиксельной разности связанные с TU могут быть преобразованы для создания коэффициентов преобразования, которые могут быть квантованы.

В целом, PU включает в себя данные, которые относятся к процессу предсказания. Например, когда PU является кодируемой во интра-режиме, то PU может включать в себя данные, описывающие режим интра-предсказания для PU. В качестве другого примера, когда PU является кодируемой в интер-режиме, PU может включать в себя данные, определяющие вектор движения для PU. Данные, определяющие вектор движения для PU, могут описывать, например, горизонтальную составляющую вектора движения, вертикальную составляющую вектора движения, разрешение для вектора движения (например, точность в одну четвертую пикселя или точность в одну восьмую пикселя), опорную картинку, на которую указывает вектор движения, и/или список опорных картинок (например, Список 0, Список 1, или Список C) для вектора движения.

В целом, TU используется для процессов преобразования и квантования. Заданная CU с одной или более PU также может включать в себя одну или более единиц преобразования (TU). После предсказания, кодер 20 видео может вычислять остаточные значения, соответствующие PU. Остаточные значения содержат значения пиксельной разности, которая может быть преобразована в коэффициенты преобразования, квантована, и просканирована, используя TU для создания преобразованных в последовательную форму коэффициентов преобразования для энтропийного кодирования. Данное изобретение, как правило, использует понятие «видео блок» для обозначения узла кодирования CU. В некоторых конкретных случаях, данное изобретение также может использовать понятие «видео блок» для обозначения древовидного блока, т.е., LCU, или CU, который включает в себя узел кодирования и PU и TU.

Видеопоследовательность, как правило, включает в себя ряд видео кадров или картинок. Группа картинок (GOP), как правило, содержит ряд из одной или более видео картинок. GOP может включать в себя данные синтаксиса в заголовке GOP, заголовке одной или более картинок, или где-либо еще, которые описывают количество картинок, включенных в GOP. Каждый слайс картинки может включать в себя данные синтаксиса слайса, которые описывают режим кодирования для соответствующего слайса. Как правило, кодер 20 видео выполняет обработку над видео блоками в рамках отдельных видео слайсов, для того чтобы закодировать видеоданные. Видео блок может соответствовать узлу кодирования в CU. Видео блоки могут иметь фиксированные или переменные размеры, и могут отличаться по размеру в соответствии с указанным стандартом кодирования.

В качестве примера, HM поддерживает предсказание различных размеров PU. Предполагая, что размер конкретной CU равен 2Nx2N, HM поддерживает интра- предсказание в размерах PU равных 2Nx2N или NxN, и интер- предсказание в симметричных размерах PU равных 2Nx2N, 2NxN, Nx2N, или NxN. HM также поддерживает ассиметричное разбиение для интер-предсказания в размерах PU равных 2NxnU, 2NxnD, nLx2N, и nRx2N. При ассиметричном разбиении, одно направление CU не разбивается, тогда как другое направление разбивается на 25% и 75%. Раздел CU соответствующий 25% разделу указывается посредством «n», за которым следует указание «Вверх», «Вниз», «Влево» или «Вправо». Таким образом, например, «2NxnU» относится к 2Nx2N CU, которая забита горизонтально на 2Nx0,5N PU сверху и 2Nx1,5N PU снизу.

В данном изобретении, «NxN» и «N на N» может быть использовано взаимозаменяемо для обозначения размеров в пикселях видео блока в единицах измерения по вертикали и горизонтали, например, 16x16 пикселей или 16 на 16 пикселей. В целом, блок 16x16 будет иметь 16 пикселей в вертикальном направлении (y=16) и 16 пикселей в горизонтальном направлении (x=16). Аналогичным образом, блок NxN, в целом, имеет N пикселей в вертикальном направлении и N пикселей в горизонтальном направлении, где N представляет собой не отрицательное целочисленное значение. Пиксели в блоке могут быть организованы в строках и столбцах. Боле того, блоки не обязательно имеют точно такое же количество пикселей в горизонтальном направлении, что и в вертикальном направлении. Например, блоки могут содержать NxM пикселей, где M не обязательно равно N.

После кодирования с интра-предсказанием или интер- предсказанием, используя PU CU, кодер 20 видео может вычислять остаточные данные для TU CU. PU могут содержать данные пикселя в пространственной области (также именуемой как пиксельная область), а TU могут содержать коэффициенты в области преобразования, после применения преобразования, например, дискретного косинусного преобразования (DCT), целочисленного преобразования, вейвлет преобразование, или концептуально подобного преобразования к остаточным видеоданным. Остаточные данные могут соответствовать пиксельным разностям между пикселями незакодированной картинки и предсказанными значениями, соответствующими PU. Кодер 20 видео может формировать TU, включающие в себя остаточные данные для CU, и затем преобразовывать TU для создания коэффициентов преобразования для CU.

После любых преобразований для создания коэффициентов преобразования, кодер 20 видео может выполнять квантование коэффициентов преобразования. Квантование, в целом, относится к процессу, посредством которого коэффициенты преобразования квантуются для того, чтобы по возможности сократить объем данных, используемый для представления коэффициентов, обеспечивая дополнительное сжатие. Процесс квантования может уменьшать битовую глубину, связанную с некоторыми или всеми коэффициентами. Например, n-битное значение может быть округлено в меньшую сторону до m-битного значения во время квантования, где n больше m.

В некоторых примерах, кодер 20 видео может использовать предварительно определенную очередность сканирования для сканирования квантованных коэффициентов преобразования для создания преобразованного в последовательную форму вектора, который может быть энтропийно закодирован. В других примерах, кодер 20 видео может выполнять адаптивное сканирование. После сканирования квантованных коэффициентов преобразования в форму одномерного вектора, кодер 20 может энтропийно кодировать одномерный вектор, например, в соответствии с контекстно-зависимым адаптивным кодированием с переменной длиной кодового слова (CAVLC), контекстно-зависимым адаптивным бинарным арифметическим кодирование (CABAC), основанным на синтаксисе контекстно-зависимым адаптивным бинарным арифметическим кодирование (SBAC), энтропийным кодированием с Разбиением Интервала Вероятности (PIPE) или другой методологией энтропийного кодирования. Кодер 20 видео также может энтропийно кодировать элементы синтаксиса, связанные с кодируемыми видеоданными для использования декодером 30 видео при декодировании видеоданных.

Для выполнения CABAC, кодер 20 видео может назначать контекст, в рамках модели контекста, символам, которые должны быть переданы. Контекст может относиться, например, к тому, являются или нет соседние значения символа ненулевыми. Для выполнения CAVLC, кодер 20 видео может выбирать код переменной длины для символа, который должен быть передан. Кодовые слова при VLC могут быть построены таким образом, что относительно короткие коды соответствуют более вероятным символам, тогда как более длинные коды соответствуют менее вероятным символам. Таким образом, при использовании VLC может достигаться экономия бит посредством, например, использования равномерных кодовых слов для каждого символа, который должен быть передан. Определение вероятности может быть основано на контексте, назначенном символу.

Фиг. 2 является концептуальной схемой, иллюстрирующей примерную видеопоследовательность 33, которая включает в себя множество картинок, которые кодируются и передаются. В некоторых случаях, видеопоследовательность 33 может именоваться как группа картинок (GOP). Видеопоследовательность 33, как иллюстрируется, включает в себя картинки 35A, 36A, 38A, 35B, 36B, 38B, и 35C, завершающую картинку 39, в очередности отображения. Картинка 34 является завершающей картинкой в очередности отображения для последовательности, происходящей перед последовательностью 33. Фиг. 2 в целом представляет собой примерную структуру предсказания для видеопоследовательности и предназначена только для иллюстрации ссылок на картинки, используемые для предсказания видео блоков разных типов слайса или картинки (например, P картинки или слайса, или B картинки или слайса). Фактическая видеопоследовательность может содержать больше или меньше видео картинок разных типов картинки и в другой очередности отображения. Видеопоследовательность 33 может включать в себя больше или меньше картинок, чем те, что иллюстрируются на Фиг. 2, и картинки, иллюстрируемые в видеопоследовательности 33, иллюстрируются в целях понимания и в качестве примеров.

Применительно к основанному на блоках кодированию видео, каждая из видео картинок, включенная в последовательность 33, может быть разбита на видео блоки, такие как единицы кодирования (CU) или единицы предсказания (PU). Например, каждая CU видео картинки может включать в себя одну или более PU. Видео блоки в картинке с интра-кодированием (I) предсказываются, используя пространственное предсказание по отношению к соседним блокам в той же самой картинке. Видео блоки в картинке с интер- кодированием (P или B) могут использовать пространственное предсказание по отношению к соседним блокам в той же самой картинке или временное предсказание по отношению к другим опорным картинкам.

Видео блоки в B картинке могут быть предсказаны, используя двунаправленное предсказание, для вычисления двух векторов движения по двум разным спискам опорных картинок (например, спискам 0 и 1 опорных картинок, именуемым Списком 0 и Списком 1). В некоторых случаях, видео блоки в B картинке могут быть предсказаны, используя однонаправленное предсказание по одному из двух разных списков опорных картинок (например, однонаправленные B-закодированные). Видео блоки в P картинке могут быть предсказаны, используя однонаправленное предсказание для вычисления одного вектора движения по одному списку опорных картинок. В соответствии с развивающимся стандартом HEVC, видео блоки могут быть закодированы, используя либо однонаправленное предсказание, для вычисления одного вектора движения по одному из двух списков опорных картинок, либо двунаправленное предсказание для вычисления двух векторов движения по двум спискам опорных картинок. Два списка опорных картинок могут содержать прошлые опорные картинки или будущие опорные картинки, или как прошлые опорные картинки, так и будущие опорные картинки в очередности отображения или вывода, и всегда прошлые опорные картинки в очередности декодирования, например.

В примере на Фиг. 2, завершающая картинка 39 предназначена для кодирования во интра-режиме в качестве I картинки. В других примерах, завершающая картинка 39 может быть закодирована с помощью кодирования в интер-режиме (например, как P картинка) со ссылкой на завершающую картинку 34 предшествующей последовательности, которая может быть I картинкой. Видео картинки 35A-35C (собирательно «видео картинки 35») предназначены для кодирования в качестве B картинок, используя двунаправленное предсказание со ссылкой на прошлую картинку и будущую картинку. В иллюстрируемом примере, картинка 35A кодируется в качестве B картинки со ссылкой на завершающую картинку 34 и картинку 36A, как указано стрелками от картинок 34 и 36A к видео картинке 35A. Картинки 35B и 35C кодируются аналогично.

Видео картинки 36A-36B (собирательно «видео картинки 36») могут быть предназначены для кодирования в качестве картинок, использующих однонаправленное предсказание со ссылкой на прошлую картинку. В иллюстрируемом примере, картинка 36A является кодируемой в качестве P картинки со ссылкой на завершающую картинку 34, как указано стрелкой от картинки 34 к видео картинке 36A. Картинка 36B кодируется аналогично.

Видео картинки 38A-38B (собирательно «видео картинки 38») могут быть предназначены для кодирования, используя двунаправленное предсказание со ссылкой на одну и ту же прошлую картинку. В других примерах, видео картинки 38 могут кодироваться, используя двунаправленное предсказание со ссылкой на по существу подобные прошлые картинки, включенные в списки опорных картинок. В иллюстрируемом примере, картинка 38A кодируется с двумя ссылками на картинку 36A, как указывается двумя стрелками из картинки 36A на видео картинку 38A. Картинка 38B кодируется аналогично.

В соответствии с методами, описываемыми в данном изобретении, кодер 20 видео может сигнализировать набор опорных картинок для каждой из картинок в последовательности 33. Например, для картинки 35A, данный набор опорных картинок может идентифицировать все опорные картинки, которые могут быть использованы для интер-предсказания картинки 35A, как впрочем, и все опорные картинки, которые могут потенциально быть использованы для интер-предсказания картинок, следующих за картинкой 35A в очередности декодирования. Например, набор опорных картинок для картинки 35A может включать в себя значение POC для картинки 34 и картинки 36A, как впрочем, и значения POC для дополнительных опорных картинок, таких как те, что могут быть потенциально использованы для интер-предсказания картинок, следующих за картинкой 35A в очередности декодирования. Картинки, следующие за картинкой 35A, могут быть теми картинками, которые следуют за картинкой 35A в очередности декодирования, в данном примере.

Декодер 30 видео затем может получить набор опорных картинок для картинки 35A описанным выше способом. Например, декодер 30 видео может определять значения POC для опорных картинок, которые принадлежат к набору опорных картинок, как описано выше. Декодер 30 видео может дополнительно строить, по меньшей мере, четыре или, по меньшей мере, пять подмножеств опорных картинок, и в некоторых примерах, вплоть до шести подмножеств опорных картинок, описанных выше. Декодер 30 видео может размещать шесть подмножеств опорных картинок в конкретной очередности для получения набора опорных картинок для картинки 35A.

Декодер 30 видео может дополнительно строить исходные списки опорных картинок описанным выше способом, при этом не требуется переупорядочения картинок, которые должны включаться в исходные списки опорных картинок. Когда отключено модифицирование списка опорных картинок, декодер 30 видео может устанавливать итоговые списки опорных картинок равными исходным спискам опорных картинок. Также, декодер 30 видео может строить списки опорных картинок таким образом, что отсутствуют незавершенные записи в списках опорных картинок. Например, декодер 30 видео может неоднократно регистрировать опорные картинки из подмножеств опорных картинок до тех пор, пока количество записей в списках опорных картинок не станет равно максимальному количеству разрешенных записей списков опорных картинок. В некоторых примерах, декодер 30 видео может модифицировать исходные списки опорных картинок описанным выше способом (например, на основании опорных картинок, по меньшей мере, в одном из построенных подмножеств опорных картинок). Кроме того, в некоторых примерах, декодер 30 видео может удалять декодированные картинки из DPB декодера 30 видео, используя примерные методы, описанные в данном изобретении, такие как удаление декодированных картинок, которые не идентифицированы в наборе опорных картинок текущей картинки, которая должна быть декодирована, и которые не требуются для вывода. Также, в некоторых примерах, декодер 30 видео может определять, какие долгосрочные опорные картинки принадлежат к набору опорных картинок описанным выше способом, при этом информация идентификации списка потенциальных долгосрочных опорных картинок может быть включена в набор параметров.

Фиг. 3 является структурной схемой, иллюстрирующей примерный кодер 20 видео, который может реализовывать методы, описанные в данном изобретении. Кодер 20 видео может выполнять интра- и интер-кодирование видео блоков в видео слайсах. Интра- кодирование основывается на пространственном предсказании для уменьшения или удаления пространственной избыточности в видео внутри заданного видео кадра или картинки. Интер-кодирование основывается на временном предсказании для сокращения или удаления временной избыточности в видео в соседних кадрах или картинках видеопоследовательности. Интра- режим (I режим) может относиться к любому из нескольких основанных на пространстве режимах сжатия. Интер-режимы, такие как однонаправленное предсказание (P режим) или двунаправленное предсказание (B режим), могут относиться к любому из нескольких основанных на времени режимов сжатия.

В примере на Фиг. 3, кодер 20 видео включает в себя компонент 35 разбиения, модуль 41 предсказания, буфер 64 декодированных картинок (DPB), компонент 50 суммирования, модуль 52 преобразования, компонент 54 квантования, и компонент 56 энтропийного кодирования. Модуль 41 предсказания включает в себя компонент 42 оценки движения, компонент 44 компенсации движения, и модуль 46 интра-предсказания. Для восстановления видео блока, кодер 20 видео также включает в себя компонент 58 обратного квантования, модуль 60 обратного преобразования и компонент 62 суммирования. Фильтр удаления блочности (не показан на Фиг. 3) также может быть включен для фильтрации границ блока с целью удаления артефактов блочности из восстановленного видео. Если требуется, фильтр удаления блочности будет, как правило, фильтровать вывод компонента 62 суммирования. Дополнительные циклические фильтры (в цикле или после цикла) могут также быть использованы в дополнение к фильтру удаления блочности.

Как показано на Фиг. 3, кодер 20 видео принимает видеоданные, а компонент 35 разбиения разбивает данные на видео блоки. Данное разбиение также может включать в себя разбиение на слайсы, плитки, или другие большие единицы, как впрочем, и разбиение видео блока, например, в соответствии со структурой квадродерева LCU и CU. Кодер 20 видео, в целом, иллюстрирует компоненты, которые кодируют видео блоки внутри видео слайса, который должен быть закодирован. Слайс может быть разделен на несколько видео блоков (и возможно на наборы видео блоков, именуемые плитками). Модуль 41 предсказания может выбирать один из множества возможных режимов кодирования, такой как один из множества режимов интра-кодирования или один из множества режимов интер-кодирования, для текущего видео блока на основании результатов ошибки (например, скорости кодирования и уровне искажения). Модуль 41 предсказания может предоставлять результирующий блок с интра- или интер-кодированием компоненту 50 суммирования для генерирования данных остаточного блока и компоненту 62 суммирования для восстановления закодированного блока для использования в качестве опорной картинки.

Модуль 46 интра-предсказания в модуле 41 предсказания может выполнять кодирование с интра-предсказанием текущего видео блока по отношению к одному или более соседним блокам в той же самой картинке или слайсе, что и текущий блок, который должен быть закодирован, для обеспечения пространственного сжатия. Компонент 42 оценки движения и компонент 44 компенсации движения в модуле 41 предсказания выполняют кодирование с интер-предсказанием текущего видео блока относительно одного или более предсказывающих блоков в одной или более опорных картинках, для обеспечения временного сжатия.

Компонент 42 оценки движения может быть выполнен с возможностью определения режима интер-предсказания для видео слайса на основании предварительно определенного шаблона для видеопоследовательности. Предварительно определенный шаблон может назначать видео слайсы в последовательности в качестве P слайсов или B слайсов. Компонент 42 оценки движения и компонент 44 компенсации движения могут быть высокоинтегрированными, однако иллюстрируются по отдельности в целях представления концепции. Оценка движения, выполняемая компонентом 42 оценки движения, является процессом формирования векторов движения, который оценивает движение для видео блоков. Вектор движения, например, может указывать смещение PU видео блока в текущей картинке относительно предсказывающего блока в опорной картинке.

Предсказывающий блок является блоком, который определен как наиболее близко совпадающий с PU видео блока, который должен быть закодирован, в единицах пиксельной разности, которая может быть определена посредством суммы абсолютных разностей (SAD), суммы квадратичных разностей (SSD), или других метрик разности. В некоторых примерах, кодер 20 видео может вычислять значения для суб-целочисленных позиций пикселя опорных картинок, хранящихся в буфере 64 декодированных картинок. Например, кодер 20 видео может интерполировать значения позиций одной четвертой пикселя, позиций одной восьмой пикселя или других позиций дробного пикселя опорной картинки. Вследствие этого, компонент оценки движения может выполнять поиск движения относительно позиций целого пикселя или позиций дробного пикселя и выводить вектор движения с точностью дробного пикселя.

Компонент 42 оценки движения вычисляет вектор движения для PU видео блока в интер-кодированном слайсе посредством сравнения позиции PU с позицией предсказывающего блока опорной картинки. Опорная картинка может быть выбрана из первого списка опорных картинок (Список 0) или второго списка опорных картинок (Список 1), каждый из которых идентифицирует одну или более опорных картинок, хранящиеся в буфере 64 декодированных картинок. Компонент 42 оценки движения отправляет вычисленный вектор движения компоненту 56 энтропийного кодирования и компоненту 44 компенсации движения.

Компенсация движения, выполняемая компонентом 44 компенсации движения, может вызывать извлечение или генерирование предсказывающего блока на основании вектора движения, определенного посредством оценки движения, возможно выполняя интерполяции с суб-пиксельной точностью. По приему вектора движения для PU текущего видео блока, компонент 44 компенсации движения может определить местоположение предсказывающего блока, на который указывает вектор движения в одном из списков опорных картинок. Кодер 20 видео формирует остаточный видео блок посредством вычитания значений пикселя предсказывающего блока из значений пикселя текущего кодируемого видео блока, формируя значения пиксельной разности. Значения пиксельной разности образуют остаточные данные для блока, и могут включать в себя как составляющие разности яркости, так и цветности. Компонент 50 суммирования представляет собой компонент или компоненты, которые выполняют данную операцию вычитания. Компонент 44 компенсации движения также может генерировать элементы синтаксиса, связанные с видео блоками и видео слайсом для использования декодером 30 видео при декодировании видео блоков видео слайса.

Модуль 46 интра-предсказания может выполнять интра- предсказание текущего блока, как альтернативу интер- предсказанию, выполняемому компонентом 42 оценки движения и компонентом 44 компенсации движения, как описывается выше. В частности, модуль 46 интра-предсказания может определять режим интра-предсказания для использования при кодировании текущего блока. В некоторых примерах, модуль 46 интра-предсказания может кодировать текущий блок, используя различные режимы интра- предсказания, например, во время отдельных проходов кодирования, и модуль 46 интра- предсказания (или компонент 40 выбора режима, в некоторых примерах) может выбирать соответствующий режим интра-предсказания для использования из протестированных режимов. Например, модуль 46 интра-предсказания может вычислять значения соотношения скорости к искажению, используя анализ соотношения скорости к искажению для различных тестируемых режимов интра- предсказания, и выбирает режим интра-предсказания с наилучшими характеристиками соотношения скорости к искажению среди протестированных режимов. Анализ соотношений скорости к искажению, как правило, определяет объем искажения (или ошибки) между закодированным блоком и исходным, не закодированным блоком, который был закодирован для создания закодированного блока, как впрочем, и скорость передачи бит (т.е., количество бит), используемую для создания закодированного блока. Модуль 46 интра-предсказания может вычислять соотношения из искажений и скоростей для различных закодированных блоков, для определения того, какой режим интра-предсказания показывает наилучшее значение соотношение скорости к искажению для блока.

После выбора режима интра-предсказания для блока, модуль 46 интра-предсказания может предоставлять информацию, указывающую выбранный режим интра-предсказания для блока, компоненту 56 энтропийного кодирования. Компонент 56 энтропийного кодирования может кодировать информацию, указывающую выбранный режим интра- предсказания в соответствии с методами данного изобретения. Кодер 20 видео может включать в передаваемый битовый поток данные конфигурирования, которые могут включать в себя множество таблиц индексов режимов интра-предсказания и множество модифицированных таблиц индексов режимов интра-предсказания (также именуемые как таблицы сопоставления кодового слова), определения контекстов кодирования для различных блоков, и указания наиболее вероятного режима интра-предсказания, таблицу индексов режимов интра-предсказания и модифицированную таблицу индексов режимов интра-предсказания для использования для каждого из контекстов.

После того как модуль 41 предсказания генерирует предсказывающий блок для текущего видео блока посредством либо интер-предсказания, либо интра-предсказания, кодер 20 видео формирует остаточный видео блок посредством вычитания предсказывающего блока из текущего видео блока. Остаточные видеоданные в остаточном блоке могут быть включены в одну или более TU и переданы модулю 52 преобразования. Модуль 52 преобразования преобразует остаточные видеоданные в остаточные коэффициенты преобразования, используя преобразование, такое как дискретное косинусное преобразование (DCT) или концептуально аналогичное преобразование. Модуль 52 преобразования может преобразовывать остаточные видеоданные из пиксельной области в область преобразования, такую как частотную область.

Модуль 52 преобразования может отправлять результирующие коэффициенты преобразования компоненту 54 квантования. Компонент 54 квантования квантует коэффициенты преобразования, чтобы дополнительно уменьшить скорость передачи битов. Процесс квантования может уменьшать битовую глубину, связанную с некоторыми или всеми коэффициентами. Степень квантования может быть модифицирована посредством регулирования параметра квантования. В некоторых примерах, компонент 54 квантования затем может выполнять сканирование матрицы, включающей в себя квантованные коэффициенты преобразования. В качестве альтернативы, компонент 56 энтропийного кодирования может выполнять сканирование.

После квантования, компонент 56 энтропийного кодирования энтропийно кодирует квантованные коэффициенты преобразования. Например, компонент 56 энтропийного кодирования может выполнять контекстно-зависимое адаптивное кодирование с переменной длиной кодового слова (CAVLC), контекстно-зависимое адаптивное бинарное арифметическое кодирование (CABAC), основанное на синтаксисе контекстно-зависимое адаптивное бинарное арифметическое кодирование (SBAC), энтропийное кодирование с Разбиением Интервала Вероятности (PIPE) или другую методологию энтропийного кодирования или метода. Вслед за энтропийным кодированием посредством компонента 56 энтропийного кодирования, закодированный битовый поток может быть передан декодеру 30 видео, или заархивирован для более поздней передачи или извлечения декодером 30 видео. Компонент 56 энтропийного кодирования также может энтропийно кодировать векторы движения и другие элементы синтаксиса для текущего кодируемого видео слайса.

Компонент 58 обратного квантования и модуль 60 обратного преобразования применяют обратное квантование и обратное преобразование, соответственно, к восстановленному остаточному блоку в пиксельной области для использования впоследствии в качестве опорного блока опорной картинки. Компонент 44 компенсации движения может вычислять опорный блок посредством сложения остаточного блока с предсказывающим блоком одной из опорных картинок в одном из списков опорных картинок. Компонент 44 компенсации движения также может применять один или более фильтров интерполяции к восстановленному остаточному блоку для вычисления значений суб-целочисленного пикселя для использования при оценке движения. Компонент 62 суммирования складывает восстановленный остаточный блок с предсказывающим блоком после компенсации движения, созданным компонентом 44 компенсации движения, для создания опорного блока для хранения в буфере 64 декодированных картинок. Опорный блок может быть использован для интер-предсказания блока в последующем видео кадре или картинке.

В соответствии с данным изобретением, модуль 41 предсказания представляет один примерный компонент для выполнения описанных выше примерных функций. Например, модуль 41 предсказания может определять, какие опорные картинки принадлежат к набору опорных картинок, и может предписывать кодеру 20 видео выполнение кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. Также, во время процесса восстановления (например, процесса, используемого для восстановления картинки для использования в качестве опорной картинки и сохранения в буфере 64 декодированных картинок), модуль 41 предсказания может строить множество подмножеств опорных картинок, так что каждое идентифицирует одну или более опорных картинок. Модуль 41 предсказания также может получать набор опорных картинок из построенного множества подмножеств опорных картинок. Также, модуль 41 предсказания может реализовывать любой один или более из наборов примерного псевдокода, описанного выше, для реализации одной или более примерных идей, описываемых в данном изобретении.

В некоторых примерах, модуль 41 предсказания может строить исходные списки опорных картинок описанным выше способом. В некоторых примерах, не требуется переупорядочения картинок, которые должны быть включены в исходные списки опорных картинок. Также, модуль 41 предсказания может строить списки опорных картинок таким образом, что отсутствуют незавершенные записи в списках опорных картинок. В некоторых примерах, модуль 41 также может модифицировать исходные списки опорных картинок описанным выше способом для построения модифицированного списка опорных картинок. Кроме того, в некоторых примерах, модуль 41 предсказания может реализовывать удаление декодированных картинок из DPB 64 описанным выше способом. Более того, в некоторых примерах, модуль 41 предсказания может быть выполнен с возможностью определения того, какие долгосрочные опорные картинки принадлежат к набору опорных картинок для текущей картинки описанным выше способом.

В других примерах, компонент отличный от модуля 41 предсказания может реализовывать описанные выше примеры. В некоторых других примерах, модуль 41 предсказания совместно с одним или более другими компонентами кодера 20 видео может реализовывать описанные выше примеры. В еще некоторых других примерах, процессор или компонент кодера 20 видео (не показан на Фиг. 3) может, один или совместно с другими компонентами кодера 20 видео, реализовывать описанные выше примеры.

Фиг. 4 является структурной схемой, иллюстрирующей примерный декодер 30 видео, который может реализовывать методы, описываемые в данном изобретении. В примере на Фиг. 4 декодер 30 видео включает в себя компонент 80 энтропийного декодирования, модуль 81 предсказания, компонент 86 обратного квантования, компонент 88 обратного преобразования, компонент 90 суммирования, и буфер 92 декодированных картинок (DPB). Модуль 81 предсказания включает в себя компонент 82 компенсации движения и модуль 84 интра-предсказания. Декодер 30 видео может в некоторых примерах выполнять проход декодирования, в целом, обратно проходу кодирования, описанному в отношении кодера 20 видео с Фиг. 3.

Во время процесса декодирования, декодер 30 видео принимает закодированный видео битовый поток, который представляет собой видео блоки закодированного видео слайса и связанные элементы синтаксиса, от кодера 20 видео. Компонент 80 энтропийного декодирования декодера 30 видео энтропийно декодирует битовый поток, для генерирования квантованных коэффициентов, векторов движения, и других элементов синтаксиса. Компонент 80 энтропийного декодирования переадресует векторы движения и другие элементы синтаксиса модулю 81 предсказания. Декодер 30 видео может принимать элементы синтаксиса на уровне видео слайса и/или уровне видео блока.

Когда видео слайс закодирован как интра-кодированный (I) слайс, модуль 84 интра-предсказания модуля 81 предсказания может генерировать данные предсказания для видео блока текущего видео слайса на основании просигнализированного режима интра- предсказания и данных из ранее декодированных блоков текущей картинки. Когда видео картинка закодирована как интер-кодированный слайс (т.е., B или P), компонент 82 компенсации движения модуля 81 предсказания создает предсказывающие блоки для видео блока текущего видео слайса на основании векторов движения и других элементов синтаксиса, принятых от компонента 80 энтропийного декодирования. Предсказывающие блоки могут быть созданы из одной из опорных картинок в одном из списков опорных картинок. Декодер 30 видео может строить списки опорных картинок, Список 0 и Список 1, используя методы построения по умолчанию, основанные на опорных картинках, хранящихся в буфере 92 декодированных картинок. В некоторых примерах, декодер 30 видео может строить Список 0 и Список 1 из опорных картинок, идентифицированных в полученном наборе опорных картинок.

Компонент 82 компенсации движения определяет информацию предсказания для видео блока текущего видео слайса посредством анализа векторов движения и других элементов синтаксиса, и использует информацию предсказания для создания предсказывающих блоков для текущего кодируемого видео блока. Например, компонент 82 компенсации движения использует некоторые из принятых элементов синтаксиса для определения: режима предсказания (например, интра- или интер-предсказания), использованного, чтобы закодировать видео блоки видео слайса; типа слайса с интер-предсказанием (например, B слайс или P слайс); информации построения для одного или более списков опорных картинок для слайса; векторов движения для каждого видео блока интер-кодированного слайса; статуса интер-предсказания для каждого видео блока интер-кодированного слайса и другой информации для декодирования видео блоков в текущем видео слайсе.

Компонент 82 компенсации движения также может выполнять интерполяцию на основании фильтров интерполяции. Компонент 82 компенсации движения может использовать фильтры интерполяции, как те, что используются кодером 20 видео во время кодирования видео блоков, для вычисления интерполированных значений суб-целочисленных пикселей опорных блоков. В данном случае, компонент 82 компенсации движения может определять фильтры интерполяции, используемые кодером 20 видео из принятых элементов синтаксиса и использовать фильтры интерполяции для создания предсказывающих блоков.

Компонент 86 обратного квантования обратно квантует, т.е. деквантует, квантованные коэффициенты преобразования, предоставляемые в битовом потоке и декодированные компонентом 80 энтропийного декодирования. Процесс обратного квантования может использовать параметр квантования, вычисленный кодером 20 видео для каждого видео блока в видео слайсе для определения степени квантования и, подобным образом, степени обратного квантования, которая должна быть применена. Модуль 88 обратного преобразования применяет обратное преобразование, например, обратное DCT, обратное целочисленное преобразование, или концептуально аналогичный процесс обратного преобразования, к коэффициентам преобразования, чтобы создать остаточные блоки в пиксельной области.

После того, как модуль 81 предсказания формирует предсказывающий блок для текущего видео блока на основании либо интер-, либо интра-предсказания, декодер 30 видео формирует декодированный видео блок посредством суммирования остаточных блоков от модуля 88 обратного преобразования с соответствующими предсказывающими блоками, сгенерированными модулем 81 предсказания. Компонент 90 суммирования представляет собой компонент или компоненты, которые выполняют данную операцию суммирования. Если требуется, фильтр удаления блочности также может быть применен для фильтрации декодированных блоков для удаления артефактов блочности. Другие циклические фильтры (либо в цикле кодирования, либо после цикла кодирования) также могут быть использованы для сглаживания пиксельных переходов, или другого улучшения качества видео. Декодированные видео блоки в заданной картинке затем сохраняются в буфере 92 декодированных картинок, который хранит опорные картинки, используемые для последующей компенсации движения. Буфер 92 декодированных картинок также хранит декодированное видео для более позднего представления на устройстве отображения, таком как устройство 32 отображения с Фиг. 1.

В соответствии с данным изобретением, модуль 81 предсказания представляет собой один примерный компонент для выполнения описанных выше примерных функций. Например, модуль 81 предсказания может определять, какие опорные картинки принадлежат к набору опорных картинок. Также, модуль 81 предсказания может строить множество подмножеств опорных картинок, так что каждое идентифицирует одну или более опорных картинок. Модуль 81 предсказания также может получать набор опорных картинок из построенного множества подмножеств опорных картинок. Также, модуль 81 предсказания может реализовывать любой один или более из наборов описанных выше примерных псевдокодов для реализации одного или более описываемых в данном изобретении примерных методов.

В некоторых примерах, модуль 81 предсказания может строить исходные списки опорных картинок описанным выше способом. В некоторых примерах, не требуется переупорядочение картинок, которые должны быть включены в исходные списки опорных картинок. Также, модуль 81 предсказания может строить списки опорных картинок таким образом, что отсутствуют незавершенные записи в списках опорных картинок. В некоторых примерах, модуль 81 предсказания также может модифицировать исходные списки опорных картинок описанным выше способом для построения модифицированного списка опорных картинок. Кроме того, в некоторых примерах, модуль 81 предсказания может реализовывать удаление декодированных картинок из DPB 94 описанным выше способом. Более того, в некоторых примерах, модуль 81 предсказания может быть выполнен с возможностью определения того, какие долгосрочные опорные картинки принадлежат к набору опорных картинок для текущей картинки описанным выше способом.

В других примерах, компонент отличный от модуля 81 предсказания может реализовывать описанные выше примеры. В некоторых других примерах, модуль 81 предсказания совместно с одним или более другими компонентами декодера 30 видео может реализовывать описанные выше примеры. В еще некоторых других примерах, процессор или компонент декодера 30 видео (не показан на Фиг. 4) может, один или совместно с другими компонентами декодера 30 видео, реализовывать описанные выше примеры.

Фиг. 5 является блок-схемой, иллюстрирующей примерную операцию получения набора опорных картинок. Лишь в целях иллюстрации, способ на Фиг. 5 может быть выполнен компонентом кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео. Например, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может кодировать (94) (например, кодировать или декодировать) информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. Набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Например, когда кодер 20 видео выполняет этап 94, кодер 20 видео может кодировать значения, которые указывают идентификаторы для опорных картинок, которые принадлежат к набору опорных картинок. Например, кодер 20 видео может сигнализировать в битовом потоке элемент pic_order_cnt_lsb синтаксиса, и элемент log2_max_pic_order_cnt_lsb_minus4 синтаксиса. Когда декодер 30 видео выполняет этап 94, то по элементу log2_max_pic_order_cnt_lsb_minus4 синтаксиса декодер 30 видео может определять значение MaxPicOrderCntLsb. Затем декодер 30 видео может определять идентификаторы (например, значения POC) для опорных картинок, которые принадлежат к набору опорных картинок.

Компонент кодирования видео может строить (96) множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок. Например, компонент кодирования видео может строить подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок. Тем не менее, аспекты данного изобретения этим не ограничиваются. В некоторых примерах, компонент кодирования видео может строить пять подмножеств опорных картинок, четыре из которых могут быть четырьмя подмножествами RefPicSetStCurr0,

RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок, а пятое может быть комбинацией двух из оставшихся от шести подмножеств опорных картинок (например, комбинацией подмножеств RefPicSetFoll0 и RefPicSetFoll1 опорных картинок).

В некоторых примерах, компонент кодирования видео может строить, по меньшей мере, два из следующих четырех подмножеств опорных картинок. В других примерах, компонент кодирования видео может строить, по меньшей мере, следующие четыре подмножества опорных картинок. Первое подмножество опорных картинок может идентифицировать краткосрочные опорные картинки, которые находятся перед текущей картинкой в очередности декодирования и перед текущей картинкой в очередности вывода и которые могут потенциально быть использованы для интер-предсказания текущей картинки и одной или более из одной или более картинок, следующих за текущей картинкой в очередности декодирования. Второе подмножество опорных картинок может идентифицировать краткосрочные опорные картинки, которые находятся перед текущей картинкой в очередности декодирования и являются последующими для текущей картинки в очередности вывода и которые могут потенциально быть использованы для интер-предсказания текущей картинки и одной или более из одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Третье подмножество опорных картинок может идентифицировать долгосрочные опорные картинки, которые находятся перед текущей картинкой в очередности декодирования и которые могут потенциально быть использованы для интер-предсказания текущей картинки и одной или более из одной или более картинок, следующих за текущей картинкой в очередности декодирования. Четвертое подмножество опорных картинок может идентифицировать долгосрочные опорные картинки, которые находятся перед текущей картинкой в очередности декодирования, и которые не могут быть использованы для интер-предсказания текущей картинки, и могут потенциально быть использованы для интер-предсказания одной или более из одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео может получать (98) набор опорных картинок из множества подмножеств опорных картинок. Например, компонент кодирования видео может упорядочивать, по меньшей мере, два из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок в конкретной очередности для получения набора опорных картинок.

В некоторых примерах, упорядочение, выполняемое кодером видео, может означать то, что картинки из каждого из подмножеств опорных картинок могут быть идентифицированы последовательно в наборе опорных картинок. В этих примерах, компонент кодирования видео может ссылаться на опорные картинки в наборе опорных картинок посредством значения индекса в наборе опорных картинок.

Компонент кодирования видео может кодировать (100) текущую картинку на основании полученного набора опорных картинок. Следует понимать, что поскольку компонент кодирования видео получает набор опорных картинок из подмножеств опорных картинок, то компонент кодирования видео может рассматриваться как кодирующий текущую картинку на основании множества подмножеств опорных картинок. Например, компонент кодирования видео может строить, по меньшей мере, первый список опорных картинок и второй список опорных картинок на основании множества подмножеств опорных картинок (например, из полученного набора опорных картинок, который получен из множества подмножеств опорных картинок). Затем компонент кодирования видео может кодировать текущую картинку на основании, по меньшей мере, одного из списков: первого списка опорных картинок и второго списка опорных картинок.

Фиг. 6 является блок-схемой, иллюстрирующей примерную операцию построения списка опорных картинок. Лишь в целях иллюстрации, способ на Фиг. 6 может быть выполнен компонентом кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео. Подобно Фиг. 5, компонент кодирования видео может кодировать (102) информацию, указывающую опорные картинки, и строить (104) множество подмножеств опорных картинок.

Затем компонент кодирования видео может добавлять (106) опорные картинки из подмножеств опорных картинок в исходных список опорных картинок для построения исходного списка опорных картинок. В некоторых примерах, как кодер 20 видео, так и декодер 30 видео могут строить исходный список опорных картинок. Например, кодер 20 видео может строить исходный список опорных картинок для создания восстановленных видео блоков для сохранения в DPB 64. Декодер 30 видео может строить исходный список опорных картинок в рамках его процесса декодирования, и может реализовывать методов у построения по умолчанию, при которой декодеру 30 видео не требуется прием информации от кодера 20 видео, которая относится к способу, посредством которого необходимо строить исходный список опорных картинок.

В некоторых примерах, для построения исходного списка опорных картинок, компонент кодирования видео может добавлять в исходный список опорных картинок опорные картинки из первого подмножества из множества подмножеств опорных картинок, после чего опорные картинки из второго подмножества в исходный список опорных картинок, и после чего опорные картинки из третьего подмножества в исходный список опорных картинок. Компонент кодирования видео может добавлять опорные картинки их этих подмножеств опорных картинок пока общее количество опорных картинок, зарегистрированных в исходном списке опорных картинок не больше максимального количества разрешенных записей в исходном списке опорных картинок. Например, если в любой момент во время добавления опорных картинок в список опорных картинок, количество записей в исходном списке опорных картинок становится равно максимальному количеству разрешенных записей исходного ссылочного списка, компонент кодирования видео может останавливать добавление любых дополнительных картинок в исходный список опорных картинок.

Компонент кодирования видео может подобным образом строить другой исходный список опорных картинок, как в примерах, где видео блок текущей картинки является блоком с двунаправленным предсказанием. В данном примере, для построения данного другого исходного списка опорных картинок, компонент кодирования видео может добавлять в другой исходный список опорных картинок опорные картинки из второго подмножества, после чего опорные картинки из первого подмножества в другой исходный список опорных картинок, и после чего опорные картинки из третьего подмножества в другой исходный список опорных картинок, пока общее количество записей в данном другом исходном списке опорных картинок не больше разрешенного количества записей. В данных примерах, первым подмножеством может быть подмножество RefPicSetStCurr0 опорных картинок, вторым подмножеством может быть подмножество RefPicSetStCurr1 опорных картинок, и третьим подмножеством может быть подмножество RefPicSetLtCurr опорных картинок.

В некоторых примерах, для добавления опорных картинок, идентифицированных в подмножествах RefPicSetStCurr0,

RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок, компонент кодирования видео может кодировать (например, кодировать или декодировать) элементы синтаксиса, по которым компонент кодирования видео может определять количество опорных картинок в каждом из этих подмножеств опорных картинок. Например, компонент кодирования видео может кодировать элемент num_short_term_curr0 синтаксиса и элемент num_short_term_curr1 синтаксиса. Элемент num_short_term _curr0 синтаксиса и элемент num_short_term_curr1 могут указывать количество опорных картинок, идентифицируемых в подмножестве RefPicSetStCurr0 опорных картинок и подмножестве RefPicSetStCurr1 опорных картинок, соответственно.

Компонент кодирования видео также может кодировать элемент num_long_term_pps_curr синтаксиса, и элемент num_long_term_add _curr синтаксиса. Элемент num_long_term_pps_curr синтаксиса может указывать количество долгосрочных опорных картинок, чья информация идентификации включена в набор параметров картинки (PPS), а элемент num_long_term_add_curr синтаксиса, может указывать количество долгосрочных опорных картинок, чья информация идентификация не включена в PPS. В данном примере, эти долгосрочные опорные картинки могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео может определять количество опорных картинок в подмножестве RefPicSetLtCurr опорных картинок на основании элемента num_long_term_pps_curr синтаксиса и элемента num_long_term_add_curr синтаксиса. Например, компонент кодирования видео может суммировать значения элемента num_long_term_pps_curr синтаксиса и элемента num_long_term_add_curr синтаксиса для определения количества опорных картинок в подмножестве RefPicSetLtCurr опорных картинок.

Компонент кодирования видео может кодировать (108) текущую картинку на основании списка или списков опорных картинок. Например, кодер видео может строить, по меньшей мере, один из списков: первый список опорных картинок и второй список опорных картинок, на основании полученного набора опорных картинок. Затем компонент кодирования видео может кодировать текущую картинку на основании, по меньшей мере, одного из списков: первого списка опорных картинок и второго списка опорных картинок.

Фиг. 7 является блок-схемой, иллюстрирующей другой пример операции построения списка опорных картинок. Лишь в целях иллюстрации, способ на Фиг. 7 может быть выполнен компонентом кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео. Подобно Фиг. 5, компонент кодирования видео может кодировать (110) информацию, указывающую опорные картинки, и строить (112) подмножества опорных картинок. Компонент кодирования видео может добавлять (114) опорные картинки в первый набор записей списка опорных картинок. Например, количество записей в списке опорных картинок может быть равно максимальному количеству разрешенных записей как определено элементами num_ref_idx_l0_active_minus1 или num_ref_idx_l1_active_minus1 синтаксиса.

В данном примере, компонент кодирования видео может регистрировать (например, добавлять) в первый набор записей опорные картинки, идентифицированные в подмножествах RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Например, для Списка 0, компонент кодирования видео может добавлять в первый набор записей Списка 0, в очередности, в которой опорные картинки идентифицированы в подмножествах RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Для Списка 1, компонент кодирования видео может добавлять в первый набор записей Списка 1, в очередности, в которой опорные картинки идентифицированы в подмножествах RefPicSetStCurr1, RefPicSetStCurr0, и RefPicSetLtCurr опорных картинок.

Затем компонент кодирования видео может определять (116), равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок. Если количество записей в списке опорных картинок не меньше максимального количества разрешенных записей («НЕТ» на этапе 116), компонент кодирования видео может кодировать (118) текущую картинку на основании списка опорных картинок.

В противном случае, если количество записей в списке опорных картинок меньше максимального количества разрешенных записей («ДА» на этапе 116), то компонент кодирования видео может повторно регистрировать (120) (например, повторно идентифицировать или повторно добавлять) одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записях в списке опорных картинок, которые являются следующими за первым набором записей. Например, компонент кодирования видео может добавлять одну или более опорных картинок, идентифицированные в подмножестве RefPicSetStCurr0 опорных картинок в Список 0 в записи, следующие за первым набором записей в Списке 0, или одну или более опорных картинок, идентифицированных в подмножестве RefPicSetStCurr1 опорных картинок в Список 1 в записи, следующие за первым набором записей в Списке 1. Таким образом, компонент кодирования видео может идентифицировать, по меньшей мере, одну опорную картинку первого подмножества опорных картинок в более чем одной записи в списке опорных картинок.

Затем компонент кодирования видео может определять (122), равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок. Если количество записей в списке опорных картинок не меньше максимального количества разрешенных записей («НЕТ» на этапе 122), то компонент кодирования видео может кодировать (124) текущую картинку на основании списка опорных картинок.

В противном случае, если количество записей в списке опорных картинок меньше максимального количества разрешенных записей («ДА» на этапе 122), то компонент кодирования видео может повторно регистрировать (120) (например, повторно идентифицировать или повторно добавлять) одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записях в списке опорных картинок, которые являются следующими за первым набором записей. Например, в данной ситуации, компонент кодирования видео может повторно добавлять дополнительные опорные картинки, идентифицированные в первом подмножестве опорных картинок. Если компонент кодирования видео уже повторно добавил все опорные картинки из первого подмножества опорных картинок, то компонент кодирования видео может повторно добавлять одну или более опорных картинок из второго подмножества опорных картинок (например, подмножества RefPicSetStCurr0 опорных картинок для Списка 0, или подмножества RefPicSetStCurr1 опорных картинок для Списка 1). Данный процесс может повторяться до тех пор, пока количество записей в списке опорных картинок меньше максимального количества разрешенных записей («НЕТ» на этапе 122).

Таким образом, когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, компонент кодирования видео может неоднократно регистрировать (например, повторно идентифицировать или повторно добавлять) одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записях в списке опорных картинок, которые являются следующими за первым набором записей, до тех пор, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок. Это может привести к тому, что компонент кодирования видео регистрирует опорные картинки в записях списка опорных картинок таким образом, что каждая запись списка опорных картинок идентифицирует одну из опорных картинок, и так что, по меньшей мере, две записи списка опорных картинок идентифицируют одинаковую опорную картинку из опорных картинок.

Фиг. 8 является блок-схемой, иллюстрирующей примерную операцию модифицирования исходного списка опорных картинок. Лишь в целях иллюстрации, способ на Фиг. 8 может быть выполнен компонентом кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео. Подобно Фиг. 6, компонент кодирования видео может кодировать (126) информацию, указывающую опорные картинки, и строить (128) множество подмножеств опорных картинок. Множество подмножеств опорных картинок может включать в себя подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Компонент кодирования видео может строить (130) исходный список опорных картинок описанным выше способом на основании подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок.

Компонент кодирования видео может определять (132), требуется ли модифицирование списка опорных картинок. Например, компонент кодирования видео может кодировать элементы синтаксиса, такие как ref_pic_list _modification_flag_l0 и ref_pic_list_modification _flag_l1, которые указывают на то, требуется ли модифицирование исходного Списка 0 или исходного Списка 1. Если модифицирование исходного списка опорных картинок не требуется («НЕТ» на этапе 132), то компонент кодирования видео может кодировать (134) текущую картинку на основании исходного списка опорных картинок.

Если требуется модифицирование («ДА» на этапе 132), то компонент кодирования видео может идентифицировать (136) опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок. Например, компонент кодирования видео может кодировать элемент modification_of_ref_pic_idc синтаксиса. Значение элемента modification_of_ref_pic_idc синтаксиса может указывать на то, какое подмножество опорных картинок должно использовать компонент кодирования видео для идентификации опорной картинки. Также компонент кодирования видео может кодировать элемент ref_pic_set_idx синтаксиса, который указывает индекс в подмножестве опорных картинок, который компонент кодирования видео должно использовать для идентификации опорной картинки.

Компонент кодирования видео может регистрировать (138) (например, добавлять или идентифицировать) идентифицированную опорную картинку в исходном списке опорных картинок в текущей записи для построения модифицированного списка опорных картинок. Текущей записью исходно может быть запись в списке опорных картинок, определенная индексом 0. Для каждого экземпляра элемента modification_of_ref_pic_idc индекса в закодированном битовом потоке, где значение элемента modification_of_ref_pic_idc синтаксиса не равно 3, компонент кодирования видео может увеличивать значение исходной записи на единицу (например, следующее значение записи будет определяться индексом 1). Компонент кодирования видео может кодировать (140) текущую картинку на основании модифицированного списка опорных картинок.

Фиг. 9 является блок-схемой, иллюстрирующей примерную операцию удаления декодированной картинки. Лишь в целях иллюстрации, способ на Фиг. 9 может быть выполнен компонентом кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео. Подобно Фиг. 5, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может кодировать (142) (например, кодировать или декодировать) информацию, указывающую опорные картинки набора опорных картинок, и может получать (144) набор опорных картинок из закодированной (например, закодированной или декодированной) информации.

Компонент кодирования видео может определять (146), является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), картинкой, которая не требуется для вывода (т.е., уже выведена или не предназначена для вывода) и которая не идентифицирована в наборе опорных картинок. Если декодированная картинка требуется для вывода или идентифицирована в наборе опорных картинок («НЕТ» на этапе 146), то компонент кодирования видео может не удалять (148) декодированную картинку из DPB, и может оставлять декодированную картинку, хранящуюся в DPB.

Когда декодированная картинка была выведена и не идентифицирована в наборе опорных картинок («ДА» на этапе 146), то компонент кодирования видео может удалять (152) декодированную картинку из DPB. Затем компонент кодирования видео может кодировать (152) текущую картинку, после удаления декодированной картинки.

Как описано выше, компонент кодирования видео может строить список опорных картинок на основании набора опорных картинок для кодирования текущей картинки. В некоторых примерах, компонент кодирования видео может удалять декодированную картинку из DPB после построения списка опорных картинок. Более того, применительно к выведенной декодированной картинке, компонент кодирования видео может определять время, когда необходимо вывести декодированную картинку, и может выводить декодированную картинку на основании определенного времени и перед кодированием текущей картинки.

В некоторых примерах, компонент кодирования видео может сохранять закодированную (например, декодированную) картинку в DPB. В некоторых примерах, компонент кодирования видео может определять, что DPB полон перед сохранением. В этих примерах, компонент кодирования видео может выбирать декодированную картинку, хранящуюся в настоящий момент в DPB, которая промаркирована как «требуется для вывода» и с наименьшим значением номера очередности картинки (POC) из всех декодированных картинок, хранящихся в DPB. Затем компонент кодирования видео может выводить выбранную картинку. Кроме того, компонент кодирования видео может определять, что выведенная картинка не включена в набор опорных картинок текущей картинки. В данном случае, компонент кодирования видео может очищать буфер в DPB, который хранил выведенную картинку, и может сохранять закодированную картинку в этом буфере в DPB.

Фиг. 10 является блок-схемой, иллюстрирующей примерную операцию определения того, какие долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. Лишь в целях иллюстрации, способ на Фиг. 10 может быть выполнен компонент кодирования видео, соответствующим либо кодеру 20 видео, либо декодеру 30 видео.

Компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может кодировать (154) элементы синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров. В некоторых примерах, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. В соответствии с методами, описываемыми в данном изобретении, набором параметров может быть набор параметров последовательности или набор параметров картинки. В некоторых примерах, для кодирования элементов синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, компонент кодирования видео может кодировать список значений POC для потенциальных долгосрочных опорных картинок в наборе параметров, и кодировать значение индекса для списка в заголовке слайса текущей картинки.

Компонент кодирования видео может кодировать (156) элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки. Например, компонент кодирования видео может кодировать в заголовке слайса текущей картинки элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок.

В некоторых примерах, не все долгосрочные опорные картинки, которые принадлежат к набору опорных картинок, включены в потенциальные долгосрочные опорные картинки. В этих примерах, компонент кодирования видео может дополнительно кодировать (158) элементы синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок. Затем компонент кодирования видео может строить (160), по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки.

В вышеприведенных примерах описываются различные примеры, наряду с возможными альтернативами примеров. Нижеследующее описывает некоторые дополнительные альтернативы примерам, которые могут быть рассмотрены в качестве альтернативных примеров для одного или более из описанных выше примеров. Кроме того, эти альтернативные примеры могут быть использованы совместно с описанными выше примерами, или отдельно от описанных выше примеров.

Например, уже описанными выше являются альтернативные примеры для концепции набора опорных картинок, альтернативные примеры для сигнализации набора опорных картинок в наборах параметров, альтернативные примеры подмножеств набора опорных картинок и альтернативные примеры для маркирования опорных картинок. Нижеследующее предоставляет дополнительные альтернативные примеры.

Например, применительно к заголовку единицы NAL, в вышеприведенных примерах, синтаксис заголовка единицы NAL может включать в себя элементы nal_ref_idc, temporal_id, и output_flag синтаксиса. В одном альтернативном примере, элемент nal_ref_idc (2 бита) замещается элементом nal_ref_flag (1 бит). В данном примере, nal_ref_flag равный 1 имеет семантику как nal_ref_idc больше 0, а nal_ref_flag равный 0 имеет ту же семантику, что и nal_ref_idc равный 0. В одном альтернативном примере, nal_ref_idc (2 бита) удаляется. Определение опорной картинки может быть изменено на: Картинка, которая содержит выборки, которые могут быть использованы для интер-предсказания в процессе декодирования последующих картинок в очередности декодирования. В одном альтернативном примере, элемент temporal_id отсутствует в синтаксисе заголовка единицы NAL, и значение получаются одинаковым для всех картинок. В одном альтернативном примере, элемент output_flag отсутствует в синтаксисе заголовка единицы NAL, и значение получается равным 1 для всех картинок.

Применительно к сигнализации и вычислению номера очередности картинки, вышеприведенные методы могут использовать один способ сигнализации и вычисления номера очередности картинки, который может быть аналогичен типу 0 номера очередности картинки в AVC. Могут быть применены два альтернативных способа для сигнализации и вычисления номера очередности картинки, подобные типам 1 и 2 номера очередности картинки в AVC, соответственно. Также может быть применена любая комбинация двух из трех способов, или комбинация всех трех способов.

Для идентификации картинки, вышеприведенные методы могут использовать значение номера очередности картинки (POC) для идентификации картинки. В одном альтернативном примере, в качестве идентификации картинки используется временной репер (TR). Один способ определения TR состоит в том, что он точно такой же как и POC, когда POC ограничен таким образом, что разность POC между любыми двумя картинками пропорциональна разности времени представления или времени выборки. В одном альтернативном примере, элемент frame_num, который указывает очередность декодирования (тогда как POC указывает очередность вывода или отображения), или переменная (например, именуемая UnWrappedFrameNum), которая может быть любым значением из 32-битных беззнаковых целочисленных значений, полученная из frame_num, может быть использована в качестве идентификации картинки. По существу, переменная UnWrappedFrameNum может быть развернутой версией frame_num. Например, если frame_num представлен 8 битами, то максимальное значение frame_num составляет 255. Следующим значением за 255 для frame_num является 0. Значение переменной UnWrappedFrameNum продолжает увеличиваться в позициях, при этом frame_num сворачивается в 0.

Для сигнализации долгосрочных опорных картинок в наборах параметров, в вышеприведенных примерах, кодер 20 видео может сигнализировать список абсолютной информации идентификации долгосрочной опорной картинки в наборе параметров картинки, может сигнализировать информацию по длине, в бите, абсолютной информации идентификации долгосрочной опорной картинки, и индекс списка может упоминаться в заголовке слайса, тем самым сокращая потери на сигнализацию. В альтернативном примере, список дифференциальной информации идентификации долгосрочной опорной картинки может сигнализироваться в наборе параметров последовательности, а индекс списка может упоминаться в заголовке слайса, тем самым сокращая потери на сигнализацию. В одном альтернативном примере, может сигнализироваться информация по длине, в битах, абсолютной информации идентификации долгосрочной опорной картинки, но длина может рассматривать в качестве константы, например 32. В различных примерах, применяется комбинация любых из вышеприведенных примеров.

Для сигнализации краткосрочных опорных картинок, в вышеприведенных примерах, применительно к краткосрочным опорным картинкам в наборе опорных картинок закодированной картинки, либо все сигнализируются в упомянутом наборе параметров картинки, либо все сигнализируются в заголовке слайса. В одном альтернативном примере, применительно к краткосрочным опорным картинкам в наборе опорных картинок закодированной картинки, некоторые сигнализируются в упомянутом наборе параметров картинки, а другие сигнализируются в заголовке слайса.

Применительно к инициализации списка опорных картинок, в одном альтернативном примере, в процессе инициализации списка опорных картинок, во-первых в список могут быть добавлены краткосрочные опорные картинки, и во вторых, опционально, в список могут быть добавлены долгосрочные опорные картинки. Затем, если количество записей в списке опорных картинок (либо RefPicList0, либо RefPicList1) все еще меньше значения num_ref_idx_lx_active_minus1+1 (при этом lx является l0 или l1), то оставшиеся записи могут быть промаркированы как «нет опорной картинки». В одном альтернативном примере, также существует возможность того, что если список опорных картинок все еще не закончен после добавления записей из RefPicSetStCurr0 и RefPicSetStCurr1 и возможно долгосрочных опорных картинок, могут быть добавлены картинки из RefPicSetStFoll0 и/или RefPicSetStFoll1. В одном альтернативном примере, процесс инициализации списка опорных картинок может добавлять только краткосрочные опорные картинки в список опорных картинок. В таком случае, долгосрочные опорные картинки могут быть добавлены в список опорных картинок только посредством использования команд модифицирования списка опорных картинок, как сигнализируется в таблице синтаксиса Модифицирование Списка Опорных Картинок (RPLM).

Применительно к модифицированию списка опорных картинок, в одном альтернативном примере, модифицирование списка опорных картинок также может сигнализировать ref_pic_set_idx дифференциальным образом, при этом предыдущий индекс используется в качестве предсказателя текущего индекса. В данном примере, разные значения modification_of_ref_pic_idc могут соответствовать разным категориям индексирования (RefPicSetStCurrx для RefPicListx, RefPicSetStCurrx для RefPicList(1-x), или RefPicSetLtCurr), каждая из которых сохраняет разный предсказатель. Предсказатель может обновляться, как только проанализирован элемент синтаксиса, принадлежащий к той же самой категории. В одном альтернативном примере, модифицирования списка опорных картинок могут быть основаны на разности номера картинки. В одном альтернативном примере, модифицирования списка опорных картинок могут быть основаны на разности значений POC.

Применительно к операциям буфера декодированных картинок (DPB), в вышеприведенном примере, после декодирования текущей картинки и перед анализом заголовка слайса следующей закодированной картинки в очередности декодирования, текущая декодированная картинка сохраняется в DPB. В одном альтернативном примере, после декодирования текущей картинки и перед анализом заголовка слайса следующей закодированной картинки в очередности декодирования, текущая декодированная картинка сохраняется во временной памяти (не в DPB). Она сохраняется в DPB после анализа заголовка слайса следующей закодированной картинки в очередности декодирования и построения набора опорных картинок этой картинки, если она все еще требуется для ссылки или для вывода. В данный момент, если она не требуется ни для ссылки, ни для вывода, декодированная картинка может просто сбрасывается (из временного буфера).

Также, в вышеприведенных примерах, удаление декодированной картинки из DPB происходит сразу после анализа заголовка слайса текущей картинки и перед декодированием любого слайса текущей картинки. В альтернативном примере, маркирование, если присутствует, и удаление декодированной картинки из DPB происходит после того, как текущая картинка полностью декодирована.

В вышеприведенных примерах, подмножества RefPicSetStCurr0 и RefPicSetStCurr1 набора опорных картинок для текущей картинки получают для всех декодированных картинок. Тем не менее, это может не требоваться для картинки с интра-предсказанием. Применительно к получению набора опорных картинок картинки с интра-предсказанием, в альтернативном примере, для картинки не-IDR, которая является кодируемой с интра-предсказанием (т.е., все слайсы закодированной картинки являются I слайсами), не получают подмножества RefPicSetStCurr0 и RefPicSetStCurr1, поскольку, даже если они не пусты после получения, они не требуются при декодировании закодированной картинки. Предоставление возможности получения не пустого подмножества RefPicSetStCurr0 или RefPicSetStCurr1 для картинки не-IDR с интра-предсказанием может обеспечить совместное использование экземпляра структуры short_term_ref_pic _set() синтаксиса одной или более картинок с интер-кодированием, для которых оба подмножества RefPicSetStCurr0 и RefPicSetStCurr1 могут быть не пустыми.

Применительно к обнаружению потери, возможно применение следующих разных способов для обнаружения потери опорной картинки или раннего обнаружения того, может ли текущая картинка быть корректно декодирована. В различных примерах, после получения набора опорных картинок, декодер 30 видео (например, сторона декодера) может проверять наличие опорных картинок включенных в RefPicSetStCurr0, RefPicSetStCurr1 и RefPicSetLtCurr. Если в DPB отсутствует любая из опорных картинок, включенных в RefPicSetStCurr0, RefPicSetStCurr1 и RefPicSetLtCurr, то сторона декодера может предположить, что опорная картинка была потеряна, и что текущая картинка вероятно не будет корректно декодирована, и может предпринять некоторое действие для улучшения ситуации, например, посредством уведомления стороны кодера (например, кодера 20 видео) о потере(ях) картинки, и кодер может повторно передать потерянную опорную картинку(и) или закодировать следующую картинку(и), используя только те опорные картинки, в отношении которых сторона декодера знает, что они корректные для ссылки при интер-предсказании.

В различных примерах, после получения набора опорных картинок, сторона декодера может проверять наличие опорных картинок, включенных в подмножества RefPicSetStFoll0, RefPicSetStFoll1 и RefPicSetLtFoll. Если любая из опорных картинок, включенных в подмножества RefPicSetStFoll0,

RefPicSetStFoll1 и RefPicSetLtFoll, отсутствует в DPB, сторона декодера может предположить, что опорная картинка была потеряна, и что некоторые из следующих картинок в очередности декодирования вероятно не будут корректно декодированы до тех пор, пока не будут предприняты некоторые действия, и может предпринимать некоторые действия для исправления ситуации, например, посредством уведомления стороны кодера о потере(ях) картинки, и кодер может повторно передать потерянную опорную картинку(и) или закодировать следующую картинку(и), используя только те опорные картинки, в отношении которых сторона декодера знает, что они корректные для ссылки при интер-предсказании.

Применительно к стороне кодера (например, кодеру 20 видео) построение набора опорных картинок, с помощью вышеприведенных примеров, возможны следующие другие способы для построения набора опорных картинок на стороне декодера. Например, в различных примерах, кодер строит структуры синтаксиса, которые относятся к набору опорных картинок, таким образом, что после получения набора опорных картинок на стороне декодера для текущей картинки: (1) RefPicSetStCurr0 включает в себя и включает в себя только информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода раньше, чем у текущей картинки, и которые используются для ссылки при интер-предсказании текущей картинки, (2) RefPicSetStCurr1 включает в себя и включает в себя только информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода позже, чем у текущей картинки, и которые используются для ссылки при интер-предсказании текущей картинки, и (3) RefPicSetLtCurr включает в себя и включает в себя только информацию идентификации всех долгосрочных опорных картинок, которые используются для ссылки при интер-предсказании текущей картинки.

В различных примерах, кодер (например, кодер 20 видео) может строить структуры синтаксиса, которые относятся к набору опорных картинок, таким образом, что после получения набора опорных картинок на стороне декодера для текущей картинки: (1) RefPicSetStCurr0 включает в себя и включает в себя только информацию идентификации 1) всех краткосрочных опорных картинок, у которых очередность вывода раньше, чем у текущей картинки, и которые используются для ссылки при интер-предсказании текущей картинки, как впрочем, и 2) одной или более краткосрочных опорных картинок, у которых очередность вывода раньше, чем у текущей картинки, и которые не используются для ссылки при интер-предсказании текущей картинки, (2) RefPicSetStCurr1 включает в себя и включает в себя только информацию идентификации 1) всех краткосрочных опорных картинок, у которых очередность вывода позже, чем у текущей картинки, и которые используются для ссылки при интер-предсказании текущей картинки, как прочем, и 2) одной или более краткосрочных опорных картинок, у которых очередность вывода позже, чем у текущей картинки, и которые не используются для ссылки при интер-предсказании текущее картинки, RefPicSetLtCurr включает в себя и включает в себя только информацию идентификации 1) всех долгосрочных опорных картинок, которые используются для ссылки при интер-предсказании текущей картинки, как впрочем, и 2) одной или более долгосрочных опорных картинок, которые не используются для ссылки при интер-предсказании текущей картинки.

Таким образом, вышеприведенные отдельные методы или их комбинации, включая любую комбинацию альтернативных примеров, могут предоставлять методы, связанные со следующим. Тем не менее, список ниже предоставлен для простоты понимания и не должен рассматриваться в качестве накладывающего ограничения. Одна или более из вышеприведенных методов могут быть реализованы совместно или по отдельности. Кроме того, вышеприведенные методы являются примерами, и не должны рассматриваться как ограниченные этими конкретными примерными методами.

Ограничения на temporal_id применительно к набору опорных картинок, такие, что способы управления DPB хорошо подходят для временной масштабируемости, потери на сигнализацию могут быть сокращены, и может быть обеспечен простой процесс извлечения битового потока для аккуратно извлеченных подмножеств битового потока.

Подмножества долгосрочных опорных картинок, сигнализируемые в наборе параметров картинки, и индекс могут быть включены в заголовок слайса. Это может обеспечивать эффективную сигнализацию долгосрочных картинок.

Разделение набора опорных картинок на различные подмножества, включая разделение на для текущей картинки и для следующих картинок в очередности декодирования, разделение на для тех, очередность вывода которых раньше или позже, чем у текущей картинки. Это может обеспечивать повышенную эффективность и меньшую сложность применительно к инициализации ссылочного списка и модифицированию списка опорных картинок.

Дважды дифференциальное кодирование при сигнализации идентификации краткосрочной картинки может обеспечивать повышенную эффективность. Расширенная и ограниченная идентификация долгосрочной картинки может обеспечивать повышенную эффективность и гибкость. Упрошенная инициализация списка опорных картинок может снимать потребность в маркировании типа «нет опорной картинки» для незавершенных записей в списке опорных картинок; тем не менее, это может не потребоваться во всех примерах.

Упрощенные процессы - для вывода декодированной картинки, вставки в и удаления из DPB. Номер очередности картинки (POC) может быть отрицательным. Это может обеспечить некоторые важные случаи использования, которые не могут быть обеспечены, в том случае, если POC не может быть отрицательным. Сигнализация того, является ли картинка опорной картинкой, которая не требуется в процессе декодирования, может не потребоваться, несмотря на то, что она все же может сигнализироваться. Маркирование опорных картинок как «не используется для ссылки» может больше не требоваться.

В одном или более примерах, описанные функции могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении, или любой их комбинации. При реализации в программном обеспечении, функции могут храниться на или передаваться через, в качестве одной или более инструкций или кода, машиночитаемом носителе информации и исполняться основанным на аппаратном обеспечении компонентом обработки. Машиночитаемый носитель информации может включать в себя машиночитаемые носители информации, которые соответствуют вещественному носителю информации, таким как носители информации для данных, или средства связи, включающие в себя любое средство, которое способствует переносу компьютерной программы из одного места в другое, например, в соответствии с протоколом связи. Таким образом, машиночитаемые носители информации, в целом, могут соответствовать (1) вещественным машиночитаемым носителям информации, которые являются постоянными или (2) средствам связи, таким как сигнал или несущая волна. Носители информации для данных могут быть любыми доступными носителями информации, доступ к которым может быть получен посредством одного или более компьютеров или одного или более процессоров для извлечения инструкций, кода и/или структур данных для реализации методов, описываемых в данном изобретении. Компьютерный программный продукт может включать в себя машиночитаемый носитель информации.

В качестве примера, а не ограничения, такие машиночитаемые запоминающие носители информации могут быть выполнены в виде RAM, ROM, EEPROM, CD-ROM или другого запоминающего устройства на оптическом диске, запоминающего устройства на магнитном диске, или других магнитных запоминающих устройств, флэш-памяти, или любого другого носителя информации, который может быть использован для хранения требуемого программного кода в виде инструкции или структур данных, и доступ к которым может быть получен посредством компьютера. Также, любое соединение надлежащим образом определяется как машиночитаемый носитель информации. Например, если инструкции передаются с web-сайта, сервера, или другого удаленного источника при помощи коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL), или посредством беспроводной технологии, такой как инфракрасная, радио, и микроволновая, тогда коаксиальный кабель, оптоволоконный кабель, витая пара, DSL, или беспроводные технологии, такие как инфракрасная, радио, и микроволновая включены в определение носителя информации. Тем не менее, следует понимать, что машиночитаемые запоминающие носители информации и запоминающие носители информации для данных не включают в себя соединения, несущие волны, сигналы, или другие непостоянные носители информации, а вместо этого направлены на постоянные, вещественные запоминающие носители информации. Используемый здесь магнитный диск и немагнитный диск, включает в себя компакт диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), гибкий диск и диск Blu-ray, при этом магнитные диски, как правило, воспроизводят данные магнитным образом, тогда как оптические диски воспроизводят данные оптически с помощью лазеров. Комбинации вышеприведенного также должны быть включены в объем машиночитаемых носителей информации.

Инструкции могут исполняться одним или более процессорами, такими как один или более цифровые сигнальные процессоры (DSP), микропроцессоры общего назначения, проблемно ориентированные интегральные схемы (ASIC), программируемые вентильные матрицы (FPGA), или другие эквивалентные интегрированные или дискретные логические схемы. Соответственно, используемое здесь понятие «процессор» может относиться к любой из вышеперечисленных структур или любой другой структуре, пригодной для реализации описываемых здесь методов. В дополнение, в некоторых аспектах, описываемая здесь функциональность может быть обеспечена в рамках выделенного аппаратного обеспечения и/или модулей программного обеспечения, выполненных с возможностью кодирования и декодирования, или встроена в объединенный кодек. Также, методы могут быть полностью реализованы в одной или более схемах или логических элементах.

Методы данного изобретения могут быть реализованы в широком многообразии устройств и аппаратных устройств, включая беспроводную телефонную трубку, интегральную схему (IC) или набор IC (например, набор микросхем). Различные составляющие, модули, и компоненты описываются в данном изобретении, чтобы подчеркнуть функциональные аспекты устройств, выполненных с возможностью выполнения раскрываемых методов, но не обязательно требуют реализации посредством разных компонентов аппаратного обеспечения. Наоборот, как описано выше, различные компоненты могут быть объединены в компонент программного обеспечения типа кодек или предоставлены посредством совокупности взаимодействующих компонентов аппаратного обеспечения, включая один или более процессоров, как описано выше, совместно с пригодным программным обеспечением и/или встроенным программным обеспечением.

Были описаны различные примеры. Эти и прочие примеры находятся в рамках объема нижеследующей формулы изобретения.

Изобретение относится к технологии кодирования видео. Техническим результатом является повышение эффективности кодирования изображений за счет обеспечения упрошенной инициализации списка опорных картинок. Предложен способ для кодирования видеоданных. Способ включает в себя этап, на котором кодируют элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки. Набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Далее, согласно способу, кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки. 4 н. и 33 з.п. ф-лы, 10 ил., 8 табл.

1. Способ для кодирования видеоданных, при этом способ содержит этапы, на которых:
кодируют элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки, и при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования;
кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
строят, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, при этом множество подмножеств опорных картинок образует набор опорных картинок; и
выполняют интер-предсказание текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

2. Способ по п. 1, в котором этап, на котором кодируют элементы синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит этап, на котором кодируют элементы синтаксиса в наборе параметров последовательности.

3. Способ по п. 1, в котором этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, содержит этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, в заголовке слайса текущей картинки.

4. Способ по п. 1, дополнительно содержащий этапы, на которых:
кодируют элементы синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок, при этом элементы синтаксиса, которые указывают долгосрочные опорные картинки, указывают долгосрочные опорные картинки, которые не включены в потенциальные долгосрочные опорные картинки,
при этом этап, на котором строят, по меньшей мере, одно из множества подмножеств опорных картинок, содержит этап, на котором строят, по меньшей мере, одно из множества подмножеств опорных картинок на основании элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок, и элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок.

5. Способ по п. 4, в котором этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, содержит этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, в заголовке слайса текущей картинки.

6. Способ по п. 1, в котором этап, на котором кодируют элементы синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит этапы, на которых:
кодируют список значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок, при этом способ дополнительно содержит этап, на котором:
кодируют значение индекса в списке.

7. Способ по п. 6, в котором этап, на котором кодируют список значений POC, содержит этап, на котором кодируют список значений POC в наборе параметров, и при этом этап, на котором кодируют значение индекса в списке, содержит этап, на котором кодируют значение индекса в списке в заголовке слайса текущей картинки.

8. Способ по п. 1, в котором этап, на котором кодируют элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит этап, на котором кодируют элементы синтаксиса в наборе параметров картинки.

9. Способ по п. 1,
в котором этап, на котором кодируют элементы синтаксиса набора параметров, содержит этап, на котором декодируют, с помощью декодера видео, элементы синтаксиса из набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, при этом одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования,
в котором этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки, содержит этап, на котором декодируют, при помощи декодера видео, элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки,
в котором этап, на котором строят, содержит этап, на котором строят, с помощью декодера видео, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, и
в котором этап, на котором выполняют интер-предсказание, содержит этап на котором выполняют интер-предсказание, с помощью декодера видео, текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

10. Способ по п. 1,
в котором, этап, на котором кодируют элементы синтаксиса набора параметров, содержит этап, на котором кодируют, с помощью кодера видео, элементы синтаксиса в наборе параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, при этом одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования,
в котором этап, на котором кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки, содержит этап, на котором кодируют, при помощи кодера видео, элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки,
в котором этап, на котором строят, содержит этап, на котором строят, с помощью декодера видео, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, и
в котором этап, на котором выполняют интер-предсказание, содержит этап, на котором выполняют интер-предсказание, с помощью кодера видео, текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

11. Устройство для кодирования видеоданных, при этом устройство содержит компонент кодирования видео, выполненный с возможностью:
кодирования элементов синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки, и при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования;
кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, при этом множество подмножеств опорных картинок образует набор опорных картинок; и
интер-предсказания текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

12. Устройство по п. 11, в котором для кодирования элементов синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, компонент кодирования видео выполнен с возможностью кодирования элементов синтаксиса в наборе параметров последовательности.

13. Устройство по п. 11, в котором для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, компонент кодирования видео выполнен с возможностью кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, в заголовке слайса текущей картинки.

14. Устройство по п. 11, в котором компонент кодирования видео выполнен с возможностью:
кодирования элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок, при этом элементы синтаксиса, которые указывают долгосрочные опорные картинки, указывают долгосрочные опорные картинки, которые не включены в потенциальные долгосрочные опорные картинки,
при этом для построения, по меньшей мере, одного из множества подмножеств опорных картинок компонент кодирования видео выполнен с возможностью построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок, и элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок.

15. Устройство по п. 14, в котором для кодирования элементов синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, компонент кодирования видео выполнен с возможностью кодирования элементов синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, в заголовке слайса текущей картинки.

16. Устройство по п. 11, в котором для кодирования элементов синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, компонент кодирования видео выполнен с возможностью:
кодирования списка значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок; и
кодирования значения индекса в списке.

17. Устройство по п. 16, в котором для кодирования списка значений POC компонент кодирования выполнен с возможностью кодирования списка значений POC в наборе параметров, и при этом для кодирования значения индекса в списке компонент кодирования видео выполнен с возможностью кодирования значения индекса в списке в заголовке слайса текущей картинки.

18. Устройство по п. 11, в котором для кодирования элементов синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, компонент кодирования видео выполнен с возможностью кодирования элементов синтаксиса в наборе параметров картинки.

19. Устройство по п. 11, в котором компонент кодирования видео содержит декодер видео, и при этом декодер видео выполнен с возможностью:
декодирования элементов синтаксиса из набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, при этом одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования,
декодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки; и
интер-предсказания текущей картинки на основании одной или более картинок из множества подмножеств опорных картинок.

20. Устройство по п. 11, в котором компонент кодирования видео содержит кодер видео, и при этом кодер видео выполнен с возможностью:
кодирования элементов синтаксиса в наборе параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, при этом одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования,
кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки; и
интер-предсказания текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

21. Устройство по п. 11, при этом устройство содержит одно из:
устройства беспроводной связи;
микропроцессора; и
интегральной схемы.

22. Машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении предписывают процессору устройства для кодирования видеоданных:
кодировать элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки, и при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования;
кодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
строить, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, при этом множество подмножеств опорных картинок образует набор опорных картинок; и
выполнять интер-предсказание текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

23. Машиночитаемый носитель информации по п. 22, в котором инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержат инструкции, которые предписывают процессору кодировать элементы синтаксиса в наборе параметров последовательности.

24. Машиночитаемый носитель информации по п. 22, в котором инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, содержат инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, в заголовке слайса текущей картинки.

25. Машиночитаемый носитель информации по п. 22, дополнительно содержащий инструкции, которые предписывают процессору:
кодировать элементы синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок, при этом элементы синтаксиса, которые указывают долгосрочные опорные картинки, указывают долгосрочные опорные картинки, которые не включены в потенциальные долгосрочные опорные картинки,
при этом инструкции, которые предписывают процессору строить, по меньшей мере, одно из множества подмножеств опорных картинок, содержат инструкции, которые предписывают, по меньшей мере, одному процессору строить, по меньшей мере, одно из множества подмножеств опорных картинок на основании элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок, и элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок.

26. Машиночитаемый носитель информации по п. 25, в котором инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, содержат инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, в заголовке слайса текущей картинки.

27. Машиночитаемый носитель информации по п. 22, в котором инструкции, которые предписывают процессору кодировать элементы синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержат инструкции, которые предписывают процессору:
кодировать список значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок, при этом машиночитаемый носитель информации дополнительно содержит инструкции, которые предписывают процессору:
кодировать значение индекса в списке.

28. Машиночитаемый носитель информации по п. 27, в котором инструкции, которые предписывают процессору кодировать список значений POC, содержат инструкции, которые предписывают процессору кодировать список значений POC в наборе параметров, и при этом инструкции, которые предписывают процессору кодировать значение индекса в списке, содержат инструкции, которые предписывают процессору кодировать значение индекса в списке в заголовке слайса текущей картинки.

29. Машиночитаемый носитель информации по п. 22, в котором инструкции, которые предписывают процессору кодировать элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, содержат инструкции, которые предписывают процессору кодировать элементы синтаксиса в наборе параметров картинки.

30. Устройство для кодирования видеоданных, при этом устройство содержит:
средство для кодирования элементов синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки, и при этом набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования;
средство для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки;
средство для построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, при этом множество подмножеств опорных картинок образует набор опорных картинок; и
средство для интер-предсказания текущей картинки на основании одной или более опорных картинок из множества подмножеств опорных картинок.

31. Устройство по п. 30, в котором средство для кодирования элементов синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит средство для кодирования элементов синтаксиса в наборе параметров последовательности.

32. Устройство по п. 30, в котором средство для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, содержит средство для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки, в заголовке слайса текущей картинки.

33. Устройство по п. 30, дополнительно содержащее:
средство для кодирования элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок, при этом элементы синтаксиса, которые указывают долгосрочные опорные картинки, указывают долгосрочные опорные картинки, которые не включены в потенциальные долгосрочные опорные картинки,
при этом средство для построения, по меньшей мере, одного из множества подмножеств опорных картинок, содержит средство для построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок, и элементов синтаксиса, которые указывают долгосрочные опорные картинки, которые принадлежат к набору опорных картинок.

34. Устройство по п. 33, в котором средство для кодирования элементов синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, содержит средство для кодирования элементов синтаксиса, которые указывают на то, какие долгосрочные опорные картинки принадлежат к набору опорных картинок, в заголовке слайса текущей картинки.

35. Устройство по п. 30, в котором средство для кодирования элементов синтаксиса, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит:
средство для кодирования списка значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок, при этом устройство дополнительно содержит:
средство для кодирования значения индекса в списке.

36. Устройство по п. 35, в котором средство для кодирования списка значений POC содержит средство для кодирования списка значений POC в наборе параметров, и при этом средство для кодирования значения индекса в списке содержит средство для кодирования значения индекса в списке в заголовке слайса текущей картинки.

37. Устройство по п. 30, в котором средство для кодирования элементов синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, содержит средство для кодирования элементов синтаксиса в наборе параметров картинки.