СПОСОБ КОДИРОВАНИЯ ПОСЛЕДОВАТЕЛЬНОСТЕЙ КАРТИНОК Российский патент 2008 года по МПК H04N7/26 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу кодирования последовательностей картинок в битовый поток, в котором параметры заданы в наборе параметров и каждая картинка содержит информацию об одном или нескольких секциях. Изобретение далее относится к способу декодирования последовательностей картинок из битового потока, в котором параметры заданы в наборе параметров, и каждая картинка содержит информацию об одной или нескольких секциях. Изобретение также относится к системе, передающему устройству, принимающему устройству, кодеру, декодеру, электронному устройству, программному обеспечению, запоминающему носителю и потоку битов.

Предшествующий уровень техники

Опубликованные стандарты видеокодирования включают в себя ITU-T H.261, ITU-T H.263, ISO/IEC MPEG-1, ISO/IEC MPEG-2 и ISO/IEC MPEG-4 Часть 2. Эти стандарты здесь называются как традиционные стандарты видеокодирования.

Усилия стандартизации идут от Объединенной Видео Команды (JVT) из ITU-T и ISO/IEC. Работа JVT основывается на более раннем проекте стандартизации в ITU-T, названном H.26L. Целью стандартизации JVT является выпуск того же самого текста стандарта как Рекомендации H.264 ITU-T и Международного Стандарта 14496-10 ISO/IEC (MPEG-4 часть 10). Черновой вариант стандарта в этой заявке называется как стандарт кодирования JVT, и кодек в соответствии с этим черновым вариантом стандарта называется как кодек JVT.

Системы видеосвязи

Системы видеосвязи могут быть разделены на разговорные и неразговорные системы. Разговорные системы включают в себя проведение видеоконференций и видеотелефонию. Примеры таких систем включают в себя ITU-T Рекомендации H.320, H.323 и H.324, которые определяют систему видеоконференции/телефонии, работающую в сетях ISDN (цифровая сеть с комплексными услугами), IP (межсетевого протокола) и PSTN (коммутируемая телефонная сеть общего пользования), соответственно. Разговорные системы характеризуются стремлением минимизировать сквозные задержки (от получения аудио-видеоданных до удаленного представления аудиовидеоданных) для улучшения пользовательского восприятия.

Неразговорные системы включают в себя воспроизведение сохраненного контента (информационно значимого содержимого), такого как Цифровые многофункциональные диски (DVD) или видеофайлы, сохраненные в массовой памяти воспроизводящего устройства, цифрового ТВ и в потоке.

Далее для ясности определяются некоторые термины, относящиеся к видеоинформации. Кадр содержит матрицу отсчетов яркости и две соответствующие матрицы отсчетов цветности. Кадр состоит из двух полей - верхнего поля и нижнего поля. Поле является совокупностью чередующихся строк кадра. Картинка является или кадром, или полем. Кодированная картинка является или кодированным полем, или кодированным кадром. В стандарте кодирования JVT кодированная картинка состоит из одной или нескольких секций. Секция состоит из целого числа макроблоков, и декодированный макроблок соответствует блоку 16×16 отсчетов яркости и двум соответствующим блокам отсчетов цветности. В стандарте кодирования JVT секция кодируется в соответствии с одним из следующих типов кодирования: В (I) (внутреннее), П (P) (с предсказанием), Д (B) (с двусторонним предсказанием), ВП (SI) (переключаемое внутреннее), КП (SP) (переключаемое с предсказанием). Кодированной картинке разрешается содержать секции различных типов. Все типы картинок могут использоваться в качестве опорных картинок для П, Д и КП секций. Картинка мгновенного обновления декодера (МОД, IDR) является конкретным типом кодированной картинки, включающей только секции с типами секций В или ВП. Никакая последующая картинка не может ссылаться на картинки, которые находятся раньше, чем картинка МОД в порядке декодирования. В некоторых стандартах видеокодирования кодированная видеопоследовательность является объектом, содержащим все картинки в битовом потоке перед концом метки последовательности. В стандарте кодирования JVT кодированная видеопоследовательность является объектом, содержащим все кодированные картинки от картинки МОД (включительно) до следующей картинки МОД (исключительно) в порядке декодирования. Другими словами, кодированная видеопоследовательность в соответствии со стандартом кодирования JVT соответствует закрытой группе картинок (ГК, GOP) в соответствии с видео MPEG-2.

В традиционных стандартах видеокодирования определена структура для элементарного битового потока, т.е. независимого битового потока, который декодеры могут разбирать синтаксически. Битовый поток составлен из нескольких слоев, обычно включающих в себя несколько из следующих: слой последовательности, слой группы картинок (ГК, GOP), слой картинки, слой секции, слой макроблока и слой блока. Битовый поток для каждого слоя обычно содержит заголовок и ассоциированные данные.

Сама по себе спецификация кодека концептуально различает слой видеокодирования (СВК, VCL) и слой сетевой абстракции (ССА, NAL). СВК содержит функциональные возможности кодека, относящиеся к обработке сигналов, такие вещи как преобразование, квантование, поиск/компенсация движения и контурный фильтр. Он следует общей концепции большинства сегодняшних видеокодеков - кодера на основе макроблоков, который использует межкартиночное предсказание с компенсацией движения и кодирование преобразования оставшегося сигнала. Выходом СВК являются секции: цепочка битов, которая содержит данные макроблоков целого числа макроблоков и информацию заголовка секции (содержащую пространственный адрес первого макроблока в секции, начальный параметр квантования и тому подобное). Макроблоки в секциях упорядочиваются в порядке сканирования, если не определено отличное размещение макроблоков с помощью так называемого синтаксиса гибкого упорядочивания макроблоков. Предсказание в картинке используется только в пределах секции.

ССА инкапсулирует выход СВК в виде секций в Блоки Слоев Сетевой Абстракции (БССА, NALU), которые пригодны для передачи через пакетные сети или использования в пакетно-ориентированных мультиплексных средах. Все блоки ССА, относящиеся к определенной картинке, формируют блок доступа. Приложение В JVT определяет процесс инкапсулирования для передачи таких БССА через сети, ориентированные на потоки байтов. Поток блоков ССА не формирует элементарного битового потока как такового потому, что нет начальных кодов в блоках ССА, но вместо этого блоки ССА подлежат кадрированию с начальными кодами в соответствии с Приложением В стандарта кодирования JVT для формирования элементарного битового потока.

Необязательный режим выбора опорных картинок H.263 и инструмент кодирования NEWPRED MPEG-4, Часть 2, обеспечивают возможность выбора опорного кадра для компенсации движения на каждый сегмент картинки, например, на каждую секцию в H.263. Кроме того, необязательный режим расширенного выбора эталонных картинок H.263 и стандарт кодирования JVT обеспечивают возможность отдельно выбирать опорные кадры для каждого макроблока.

Общее представление набора параметров

Стандарт JVT кодирования содержит заголовки в слое секции и ниже, но он не включает в себя заголовки картинок, ГК или последовательностей. Взамен общая концепция набора параметров, представленная в документации ITU-T VCEG-N55, заменяет такие заголовки. Экземпляр набора параметров включает в себя все данные уровня картинки, ГК и последовательности, такие как размер картинки, окно экрана, используемые необязательные режимы кодирования, карта распределения макроблоков и другие. Каждый экземпляр набора параметров включает в себя уникальный идентификатор. Каждый заголовок секции включает в себя ссылку на идентификатор набора параметров, и значения параметров указываемого ссылкой набора параметров используются, когда декодируется секция. Наборы параметров выделяют передачу и порядок декодирования редко изменяющейся картинки, ГК и данных уровня последовательности из последовательности, ГК и границ картинок. Наборы параметров могут передаваться внеполосно с помощью протокола надежной передачи, пока они декодируются перед обращением к ним. Если наборы параметров передаются внутриполосно, они могут повторяться множество раз для улучшения устойчивости к ошибкам по сравнению с традиционными схемами кодирования. Предпочтительно наборы параметров передаются во время установления сеанса. Однако в некоторых системах, в основном широковещательных, надежная внеполосная передача наборов параметров не выполнима, а наборы параметров передаются внутриполосно в блоках ССА наборов параметров.

Чтобы быть способным изменять параметры картинки (такие, как размер картинки) без необходимости передавать обновления набора параметров синхронно с потоком пакетов секций, кодер и декодер могут поддерживать список более чем одного набора параметров. Каждый заголовок секции содержит кодовое слово, которое указывает набор параметров, подлежащий использованию.

Этот механизм позволяет отделять передачу набора параметров от потока пакетов и передавать их внешними средствами, например, как побочный эффект обмена информацией о поддерживаемых возможностях или через (надежный или ненадежный) протокол управления. Может быть даже возможно, что они никогда не передаются, но фиксируются применяемой проектной спецификацией.

Имеют место некоторые неудобства с наборами заранее определенных параметров. Первое, если имеется необходимость в передаче множества экземпляров наборов параметров в начале сеанса, внеполосный способ может стать перегруженным, или запаздывание начала сеанса будет слишком длительным. Второе, в системах, нуждающихся в осуществимых механизмах для надежной внеполосной передачи наборов параметров, внутриполосная транспортировка блоков наборов параметров ССА не является надежной. Третье, для широковещательных вариантов применения, поскольку необходимо часто передавать информацию о наборах параметров для разрешения новым пользователям присоединяться во время процесса широковещания, избыточная передача всех активных экземпляров наборов параметров является дорогостоящей с точки зрения битовой скорости.

Передача потоков мультимедиа

Система поточной передачи мультимедиа состоит из сервера поточной передачи и нескольких игроков, которые осуществляют доступ к серверу по сети. Сеть является обычно пакетно-ориентированной и обеспечивает немного или не обеспечивает средств для гарантированного качества обслуживания. Игроки выбирают или заранее сохраненное или реальное мультимедиа-контент из сервера и воспроизводят его в реальном времени, пока контент загружается. Тип связи может быть или двухточечный или многоадресный. В двухточечной поточной передаче сервер обеспечивает отдельное соединение для каждого игрока. В многоадресной поточной передаче сервер передает один поток данных ряду игроков, и сетевые элементы дублируют поток, только если это необходимо.

Когда игрок установил соединение с сервером и запросил поток мультимедиа, сервер начинает передавать желаемый поток. Игрок не начинает немедленно воспроизведение потока, а обычно буферизирует входящие данные несколько секунд. В рассматриваемом случае эта буферизация называется начальной буферизацией. Начальная буферизация помогает поддерживать непрерывное воспроизведение, потому что в случае редких увеличенных задержек передачи или падения пропускной способности сети игрок может декодировать и воспроизводить буферизированные данные.

Сущность изобретения

Одной задачей настоящего изобретения является избежание проблем предшествующего уровня и обеспечение более эффективного способа передачи параметров, относящихся к информации о картинке. В соответствии с преимущественным вариантом осуществления настоящего изобретения, обеспечивается следующий способ передачи набора параметров.

Относительно большое число часто используемых экземпляров наборов параметров и их идентификаторы (ID) заранее определяются и сохраняются как в устройстве кодирования, так и в устройстве декодирования. Когда начинается связь, нет необходимости передавать эти заранее определенные наборы параметров. Только наборы параметров, не включенные в заранее определенные наборы, подлежат передаче предпочтительно в начале сеанса или передаче в блоках ССА наборов параметров позже, если необходимо. Система может включать в себя определение используемых по умолчанию наборов параметров для каждого профиля и уровня.

В соответствии с изобретением существует по меньшей мере два вида наборов параметров: один для последовательности (набор параметров последовательности) и один для картинок (набор параметров картинки).

Для вариантов применения без каналов обратной связи (цифровое ТВ) или с каналами обратной связи очень ограниченного использования (например, многоадресная поточная передача с огромным числом приемников) набор заранее определенных наборов параметров должен быть полным настолько, насколько это возможно с точки зрения возможных систем и применяемых сценариев. Кроме того, может быть возможно, что нет необходимости передавать наборы параметров. Когда необходимо передать блок ССА наборов параметров, он будет передаваться множество раз для того, чтобы убедиться в том, что он корректно принят.

Другая изобретательская концепция настоящего изобретения разделяет структуру набора параметров на множество структур наборов параметров в соответствии с постоянством и целью параметров. В частности, изобретение включает в себя концепции набора параметров последовательности и набора параметров картинки. Выбор правильного набора параметров для каждого параметра зависит от вероятной и разрешенной частоты изменения параметров. Параметры, чьи значения могут изменяться в каждой секции или чьи значения должны, вероятно, изменяться в каждой картинке, включаются в заголовок секции. Если есть вероятность того, что параметр остается неизменным во множестве картинок, но ему разрешается изменение в каждой картинке, такой параметр включается в набор параметров картинки. Такие параметры, которым не разрешено изменение в кодированной видеопоследовательности, включаются в набор параметров последовательности. Некоторыми неограничивающими примерами таких параметров являются счет картинки по порядку, номер кадра и идентификатор независимо декодируемой картинки.

В последующем раскрытии изобретения раскрывается система на основе кодера-декодера, но очевидно, что изобретение может также быть воплощено в системах, в которых видеосигналы сохраняются. Сохраненные видеосигналы могут быть либо некодированными сигналами, сохраненными перед кодированием, кодированными сигналами, сохраненными после кодирования, либо декодированными сигналами, сохраненными после процесса кодирования и декодирования. Например, кодер создает битовые потоки. Файловая система принимает аудио и/или видео битовые потоки, которые пакетируются, например, в порядке декодирования и сохраняются как файл.

Способ кодирования в соответствии с настоящим изобретением прежде всего характеризуется тем, что содержит:

- определение параметров в наборе параметров последовательности;

- определение параметров в наборе параметров картинки и

- определение по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизмененным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутое определение по меньшей мере одного параметра в заголовке секции содержит обеспечение ссылки на набор параметров картинки.

Способ декодирования в соответствии с настоящим изобретением прежде всего характеризуется тем, что содержит:

- распознавание набора параметров последовательности и формирование по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- распознавание набора параметров картинки и формирование по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- формирование по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, причем этот по меньшей мере один второй параметр картинки остается неизмененным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутый по меньшей мере один параметр картинки в заголовке секции содержит ссылку на набор параметров картинки;

- использование упомянутого по меньшей мере одного второго параметра картинки при декодировании.

Кодер в соответствии с настоящим изобретением прежде всего характеризуется тем, что содержит:

- средство для определения параметров в наборе параметров последовательности;

- средство для определения параметров в наборе параметров картинки и

- средство для определения по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки;

про этом упомянутое средство для определения по меньшей мере одного параметра картинки в заголовке секции выполнено с возможностью обеспечения ссылки на набор параметров картинки.

Декодер в соответствии с настоящим изобретением в основном характеризуется тем, что содержит:

- средство для распознавания набора параметров последовательности и формирования по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- средство для распознавания набора параметров картинки и формирования по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- средство для формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, при этом упомянутый по меньшей мере один второй параметр картинки остается неизмененным по меньшей мере во всех заголовках секций одной картинки, упомянутое средство для формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого по меньшей мере одного второго параметра картинки; и

- средство для использования упомянутого по меньшей мере одного второго параметра картинки при декодировании.

Система в соответствии с настоящим изобретением в основном характеризуется тем, что кодер содержит:

- средство для определения параметров в наборе параметров последовательности;

- средство для определения параметров в наборе параметров картинки и

- средство для определения по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутое средство для определения по меньшей мере одного параметра картинки в заголовке секции выполнено с возможностью обеспечения ссылки на набор параметров картинки;

и декодер содержит:

- средство для распознавания набора параметров последовательности и формирования по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- средство для распознавания набора параметров картинки и формирования по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- средство для формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, при этом упомянутый по меньшей мере один второй параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки, упомянутое средство формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого по меньшей мере одного второго параметра картинки; и

- средство для использования упомянутого по меньшей мере одного второго параметра картинки при декодировании.

Устройство передачи в соответствии с настоящим изобретением прежде всего характеризуется тем, что кодер содержит:

- средство для определения параметров в наборе параметров последовательности;

- средство для определения параметров в наборе параметров картинки и

- средство для определения по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутое средство для определения по меньшей мере одного параметра картинки в заголовке секции выполнено с возможностью обеспечения ссылки на набор параметров картинки.

Приемное устройство в соответствии с настоящим изобретением прежде всего характеризуется тем, что декодер содержит:

- средство для распознавания набора параметров последовательности и формирования по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- средство для распознавания набора параметров картинки и формирования по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- средство для формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, при этом упомянутый по меньшей мере один второй параметр картинки остается неизмененным по меньшей мере во всех заголовках секций одной картинки, упомянутое средство для формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого по меньшей мере одного второго параметра картинки; и

- средство для использования упомянутого по меньшей мере одного второго параметра картинки при декодировании.

Битовый поток в соответствии с настоящим изобретением прежде всего характеризуется тем, что он содержит:

- кодированные картинки;

- параметры последовательности в наборе параметров последовательности;

- параметры картинки в наборе параметров картинки;

- информацию секции, содержащую заголовок секции, и

- по меньшей мере один параметр картинки в заголовке секции, при этом данный параметр картинки остается неизменным по меньшей во всех заголовках секций одной кодированной картинки, упомянутый по меньшей мере один параметр картинки в заголовке секции содержит ссылку на набор параметров картинки.

Программное обеспечение для кодирования в соответствии с настоящим изобретением в основном характеризуется тем, что содержит:

- определение параметров в наборе параметров последовательности;

- определение параметров в наборе параметров картинки и

- определение по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутое определение по меньшей мере одного параметра картинки в заголовке секции содержит обеспечение ссылки на набор параметров картинки.

Программное обеспечение для декодирования в соответствии с настоящим изобретением прежде всего характеризуется тем, что содержит:

- распознавание набора параметров последовательности и формирование по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- распознавание набора параметров картинки и формирование по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- формирование по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, при этом упомянутый по меньшей мере один второй параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки, упомянутое формирование по меньшей мере одного второго параметра картинки с помощью информации заголовка секции содержит использование ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого по меньшей мере одного второго параметра картинки; и

- использование упомянутого по меньшей мере одного второго параметра набора картинки при декодировании.

Запоминающий носитель, включающий в себя программное обеспечение для кодирования в соответствии с настоящим изобретением, в основном характеризуется тем, что программное обеспечение содержит машиноисполняемые этапы для:

- определения параметров в наборе параметров последовательности;

- определения параметров в наборе параметров картинки и

- определения по меньшей мере одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки;

при этом упомянутое определение по меньшей мере одного параметра картинки в заголовке секции содержит обеспечение ссылки на набор параметров картинки.

Запоминающий носитель, включающий в себя программное обеспечение для декодирования в соответствии с настоящим изобретением, прежде всего характеризуется тем, что программное обеспечение содержит машиноисполняемые этапы для:

- распознавания набора параметров последовательности и формирования по меньшей мере одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

- распознавания набора параметров картинки и формирования по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

- формирования по меньшей мере одного второго параметра картинки с помощью информации заголовка секции, при этом упомянутый по меньшей мере один второй параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки, упомянутое формирование по меньшей мере одного второго параметра картинки с помощью информации заголовка секции содержит использование ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого по меньшей мере одного второго параметра картинки; и

- использование упомянутого по меньшей мере одного второго параметра набора картинки при декодировании.

Настоящее изобретение повышает эффективность сжатия. Это подобно тому, что число наборов параметров картинки больше, чем число наборов параметров последовательности, и частота изменений наборов параметров картинки выше, чем частота изменений наборов параметров последовательности. Таким образом, если имелась единственная структура набора параметров, многие параметры уровня последовательности, которые оставались неизменными в предыдущем наборе параметров картинки (в порядке декодирования), будут повторяться. Включение параметров уровней картинки и последовательности в различных структурах синтаксиса помогают избежать этих проблем.

Настоящее изобретение вносит ясность в правила постоянства значений параметров. Определенные значения параметров, такие как размер картинки, будут оставаться неизмененными в последовательности. Другие значения параметров могут изменяться от картинки к картинке. Если бы была единая структура набора параметров, должны были бы быть семантические ограничения в отношении того, что значения параметров не должны изменяться в последовательности, даже если указанный ссылкой набор параметров может изменяться в последовательности. Теперь, когда определена структура параметров последовательности, понятно, что все наборы параметров картинки, на которые ссылаются в последовательности, должны ссылаться на одинаковый набор параметров. Кроме того, понятно, что все секции картинки должны ссылаться на одинаковый набор параметров картинки.

Перечень фигур чертежей

Фиг. 1 - иллюстрация зависимостей между пакетами ССА и экземплярами наборов параметров,

фиг. 2 - преимущественный вариант осуществления системы в соответствии с настоящим изобретением,

фиг. 3 - преимущественный вариант осуществления кодера в соответствии с настоящим изобретением, и

фиг. 4 - преимущественный вариант осуществления декодера в соответствии с настоящим изобретением.

Подробное описание изобретения

В преимущественном варианте осуществления настоящего изобретения определены четыре структуры набора параметров: набор независимых параметров ГК или набор параметров последовательности, набор параметров картинки, набор параметров секции и, в необязательном порядке, набор параметров представления. Ниже приведены некоторые причины для определения различных наборов параметров.

Первое, определенные значения параметров должны оставаться неизменными везде в независимой ГК или в картинке. Например, некоторое количество «слотов» картинок в буфере множества картинок не должно изменяться в течение независимой ГК. С другой стороны, было бы непонятно, как выполняется процесс буферизации множества картинок. Реализация декодера должна гарантировать, что все секции конкретной картинки ссылаются на один и тот же набор параметров картинки. Подобно этому, все секции независимой ГК должны ссылаться на один и тот же независимый набор параметров ГК. В противном случае декодеры должны приводить к потере или порче данных. Получение одинаковых функциональных возможностей с помощью одного совместного набора параметров требует, чтобы декодер проверял, что индивидуальные значения параметров остаются одинаковыми в картинке или в независимой ГК.

Второе, компактный синтаксис для наборов параметров является преимущественным для сохранения битов в блоках ССА наборов параметров. Таким образом, имеет смысл отделять независимую ГК и наборы параметров картинки от более часто обновляемых наборов параметров секций.

Третье, значения параметров, относящихся к отображению на дисплее, не влияют на декодирование кодированного видеопотока.

Фиг. 1 представляет иллюстрацию зависимостей между пакетами ССА и экземплярами наборов параметров. Стрелка показывает ссылку, основанную на идентификаторе набора параметров. Начальная точка стрелки является объектом, который ссылается на экземпляр набора параметров, куда указывает стрелка. Конечная точка стрелки является владельцем идентификатора набора параметров. Секция 101 (или единственная секция, SSP), раздел данных секции и блоки 102 ССА ОМД (IDE RP) (или обновленные пакеты ССА независимого декодирования) всегда ссылаются на набор 103 параметров секции. Набор 103 параметров секции ссылается на набор 104 параметров картинки, а набор 104 параметров картинки ссылается на набор 105 параметров независимой ГК и набор 106 параметров представления или набор параметров последовательности. Все секции картинки будут ссылаться на одинаковый набор параметров картинки, и все секции последовательности будут ссылаться на одинаковый набор параметров последовательности.

Далее будут более подробно описаны различные наборы параметров в соответствии с преимущественным вариантом осуществления настоящего изобретения.

Набор параметров независимой ГК

Начало независимой ГК определяется мгновенным обновленным пакетом ССА декодера. Преимущественный синтаксис пакета представлен в таблице 1.

Таблица 1
Набор параметров независимой ГК Parameter_set_id (идентификатор_набора_параметров Профиль Уровень Версия log2_max_picture_number_minus_4 number_of_reference_picture_buffers_minus_1 required_ picture_number_update_behavior 

Теперь будет объяснено значение полей пакета. Поле профиля определяет используемый профиль кодирования; поле уровня определяет используемый уровень в профиле; поле версии определяет используемую версию в профиле и уровне. Следующее поле log2_max_picture_number_minus_4 определяет константу MAX_PN, используемую в относящейся к номеру картинки арифметике. MAX_PN вычисляется посредством возведения 2 в степень, равную значению этого поля (log2_max_picture_number_minus_4), и уменьшения вычисленного показателя степени 2 на 1. Поле number_of_reference_picture_buffers_minus_1 определяет совокупное число кратковременных и долговременных буферов картинок в буфере множества картинок. Если значение поля required_ picture_number_update_behavior равно 1, предписывается определенный режим декодера в случае отсутствия номеров картинок. Однако это лежит вне объема настоящего изобретения, поэтому это не описывается в этой заявке.

Профиль, уровень и версия, по всей вероятности, остаются неизмененными в независимой ГК. Поэтому они включены в набор параметров независимой ГК.

Изменение в элементах управления буферизацией опорных картинок, т.е. MAX_PN, числа буферов опорных картинок и режима обновления номера требуемой картинки приведет к неопределенному состоянию декодера. Изменение этих параметров в середине независимой ГК не принесет какой-либо выгоды. Следовательно, число буферов опорных картинок сообщается в наборе параметров независимой ГК. А диапазон от 0 до 15 считается практически минимальным для номера картинки и, следовательно, следует избегать наименьших значений.

Набор параметров картинки

Набор параметров картинки включает в себя поля, представленные в таблице 2.

Таблица 2
Набор параметров картинки Parameter_set_id набора параметров картинки Parameter_set_id набора параметров независимой ГК Parameter_set_id набора параметров представления picture_width_in_MBs_minus_1 picture_height_in_MBs_minus_1 

Первое поле parameter_set_id указывает интересующий набор параметров картинки (picture_parameter_set). Два других набора параметров указывают на набор параметров независимой ГК и набор параметров представления, который будет использоваться совместно с набором параметров картинки при кодировании и декодировании секций, ссылающихся на набор параметров картинки. Более чем один набор параметров картинки могут ссылаться на один и тот же набор параметров независимой ГК и/или на один и тот же набор параметров представления. Поле picture_width_in_MBs_minus_1 (ширина картинки в макроблоках минус 1) и поле picture_height_in_MBs_minus_1 (высота картинки в макроблоках минус 1) определяют размер картинки.

В некоторых вариантах осуществления поле picture_width_in_MBs_minus_1 и поле picture_height_in_MBs_minus_1 могут принадлежать также набору параметров независимой ГК.

Ссылка на набор параметров представления осуществляется на уровне картинки, что необходимо для обеспечения возможности изменений в параметрах представления на основе картинка за картинкой. Например, набор параметров представления сигнализирует о прямоугольнике отображения на дисплее восстанавливаемой картинки, что прямо относится к размеру кодированной картинки, сигнализируемому в наборе параметров картинки.

Набор параметров секции

Набор параметров секции включает в себя поля, представленные в таблице 3.

Таблица 3
Набор параметров секции Parameter_set_id набора параметров секции Parameter_set_id набора параметров картинки entropy_coding (статистическое_кодирование) motion_resolution (разрешение_движения) constrained_intra_prediction_flag (флаг ограниченного внутреннего с предсказанием) multiple_prediction_frames_flag (флаг множества кадров предсказания) 

Поле entropy_coding указывает тип кодирования с переменной длиной (VLC-кодирования) WD2. Если значение поля entropy_coding равно нулю, оно указывает, что используется неарифметическое VLC-кодирование WD2, тогда как значение, равное единице, указывает, что используется арифметическое VLC-кодирование WD2.

Поле motion_resolution дает информацию по разрешению движения. Если значение поля motion_resolution равно нулю, используется разрешение движения в 1/4 отсчета, а если его значение равно единице, используется разрешение движения в 1/8 отсчета.

Constrained_intra_prediction_flag используется для обеспечения информации о режиме предсказания. Если constrained_intra_prediction_flag равен нулю, используется обычное внутреннее предсказание, тогда как единица означает ограниченное внутреннее предсказание. В режиме ограниченного внутреннего предсказания не выполняется внутреннее предсказание между макроблоками.

Multiple_prediction_frames_flag дает информацию об использовании опорной картинки для компенсации движения. Значение поля multiple_prediction_frames_flag, равное нулю, сигнализирует о том, что используется только предыдущая кодированная картинка в порядке кодирования в качестве опорной картинки для компенсации движения в П- и КП-кадрах и наиболее недавние предыдущая декодированная и последующая декодированная картинки используются для компенсации движения в Д-кадрах. В противном случае опорная картинка(и) для предсказания должна(ы) быть просигнализирована(ы) для каждого макроблока.

Выбранные параметры для набора параметров секции были такими, что не было найдено причин для ограничения их значений как не подлежащих изменению во всей независимой ГК. Вместо этого можно преимущественно позволить изменять значения параметров даже в пределах картинки. Примеры возможных преимуществ включают в себя:

- использование множества опорных картинок. Может иметь смысл ограничивать число опорных картинок до одного для определенных частей картинки. Например, в проводном оборудовании видеоконференции кодер может обрабатывать центр картинки лучше, чем края;

- тип статистического кодирования. Может быть возможным смешивание множества видеопотоков в один без декодирования потоков. Это может быть выгодным в модуле многоточечного управления (MCU) системы видеоконференции. Один конечный пункт может использовать и способ статистического кодирования, отличный от других. Таким образом, «смешанный» поток будет содержать множество типов статистического кодирования в одной и той же «смешанной» кодированной картинке.

Набор параметров представления

Набор параметров представления включает в себя поля, представленные в таблице 4.

Таблица 4
Набор параметров представления Parameter_set_id набора параметров представления pixel_aspect_ratio_width pixel_aspect_ratio_height display_rectangle_offset_top (отступ сверху для прямоугольника отображения на дисплее) display_rectangle_offset_left (отступ слева для прямоугольника отображения на дисплее) display_rectangle_offset_bottom (отступ снизу для прямоугольника отображения на дисплее) display_rectangle_offset_right (отступ справа для прямоугольника отображения на дисплее) 

Соотношение геометрических размеров отображаемых пикселов будет pixel_aspect_ratio_width:pixel_aspect_ratio_height. Значения параметров должны быть относительно первичными. Значение 0 предпочтительно запрещается. Поле display_rectangle_offset_top, поле display_rectangle_offset_left, поле display_rectangle_offset_bottom и поле display_rectangle_offset_right определяют прямоугольник, подлежащий отображению из кодированной картинки. Используются блоки отсчетов.

Блоки ССА наборов параметров могут использоваться для изменения значения наборов параметров для видеопотока. Пакеты обновления параметров могут передаваться в качестве Пакетов слоя сетевой абстракции (ПССА, NALP). ПССА состоит из заголовка ПССА (ЗПССА, NALPH) и полезной нагрузки ПССА (НПССА, NALPP). ЗПССА является первым байтом ПССА. ЗПССА сам по себе служит для различения разных типов ПССА и включает в себя один бит (флаг EI), указывающий на присутствие ошибок в НПССА, следующей за ЗПССА. Флаг EI, установленный в ноль, означает, что нет известной ошибки в следующей нагрузке, тогда как 1 указывает поврежденную полезную нагрузку и/или искаженный тип ПССА.

Блок ССА наборов параметров становится действительным синхронно с процессом декодирования в соответствии с конкретным типом блока ССА наборов параметров следующим образом. Обновление набора параметров независимой ГК имеет место только перед декодированием первой секции следующей независимой ГК (т.е. следующий пакет ССА IDERP). Обновление картинки и наборов параметров представления имеет место перед декодированием первой секции следующей картинки. Обновление набора параметров секции имеет место практически немедленно, если изменяется по меньшей мере один из содержащихся параметров. Однако идентификатор набора параметров секции, используемый в картинке, может не быть повторно определен с другими значениями параметров в той же самой кодированной картинке.

Для определенных широковещательных вариантов применения, таких как цифровое ТВ и многоадресная поточная передача с огромным числом возможных приемников, новые наборы параметров независимой ГК, которые выпали из совокупности заранее определенных наборов параметров, по всей вероятности, подлежат обновлению перед каждым декодированием независимой ГК независимо от того, изменяются ли или нет некоторые содержащиеся параметры для разрешения декодирования в терминалах, которые только начали прием кодированных данных. Другие наборы параметров обновляются перед тем, как на них будет сделана ссылка в кодированных данных.

Преимущественный вариант осуществления системы, в которой может осуществляться настоящее изобретение, представлен на фиг. 2. Картинки, подлежащие кодированию, могут быть, например, картинками видеопотока из видеоисточника 3, например камеры, устройства видеозаписи и т.п. Картинки (кадры) видеопотока могут быть разделены на малые части, такие как секции. Секции могут далее быть разделены на макроблоки и блоки. Кодер 1 выбирает надлежащие наборы параметров для использования в процессе кодирования и отправляет выбранные наборы параметров декодеру 2. Декодер сохраняет наборы параметров в памяти 2.3 (фиг. 4). Если декодер уже имеет правильный набор параметров, нет необходимости передавать такой набор параметров на декодер 2, достаточно только отправить указание на правильный набор параметров.

В кодере 1 видеопоток кодируется для уменьшения объема информации, подлежащей передаче через канал 4 передачи, или в запоминающий носитель (не показано). Картинки видеопотока вводят в кодер 1. Кодер имеет буфер кодирования 1.1 (фиг. 3) для временного сохранения какой-нибудь из картинок, подлежащей кодированию. Кодер 1 также включает в себя память 1.3 и процессор 1.2, в которых могут применяться задачи кодирования в соответствии с изобретением. Память 1.3 и процессор 1.2 могут быть общими с устройством 6 передачи, либо устройство 6 передачи может иметь другой процессор и/или память (не показаны) для других функций устройства 6 передачи. Кодер 1 осуществляет оценку движения и/или некоторые другие задачи для сжатия видеопотока. При оценке движения ищутся сходства между картинкой, подлежащей кодированию (текущей картинкой), и предыдущей и/или последующей картинкой. Если сходства обнаружены, сравниваемая картинка или часть ее могут использоваться в качестве опорной картинки для картинки, подлежащей кодированию. В стандарте кодирования JVT порядок отображения и порядок декодирования картинок не обязательно одинаковые, при этом опорная картинка подлежит сохранению в буфере (например, в буфере 1.1 кодирования) в течение времени, пока она используется в качестве опорной картинки. Кодер 1 может также вставлять информацию о порядке отображения картинок в битовый поток.

Из процесса кодирования кодированные картинки перемещаются в буфер 5.2 кодированных картинок, если необходимо. Кодированные картинки передаются из кодера 1 в кодер 2 по каналу 4 передачи. В декодере 2 кодированные картинки декодируются для формирования несжатых картинок, соответствующих, насколько возможно, кодированным картинкам. Каждая декодированная картинка буферизируется в буфер декодированных картинок БДК 2.1 (DPB) декодера, если только она не отображается практически немедленно после декодирования и не используется в качестве опорной картинки. Предпочтительно буферизация опорной картинки и буферизация отображаемой картинки объединяются, и они используют один и тот же буфер 2.1 декодированных картинок. Это исключает необходимость сохранения одной и той же картинки в двух разных местах, тем самым снижая требования декодера 2 по памяти.

Декодер 2 также включает в себя память 2.3 и процессор 2.2, в которых могут применяться задачи декодирования в соответствии с изобретением. Память 2.3 и процессор 2.2 могут быть общими с приемным устройством 8, либо приемное устройство 8 может иметь другой процессор и/или память (не показаны) для других функций приемного устройства 8.

Очевидно, что настоящее изобретение не ограничивается только вышеописанными вариантами осуществления, но оно может изменяться в объеме приложенной формулы изобретения.

Изобретение относится к способу кодирования последовательностей картинок в битовый поток, в котором параметры заданы в наборе параметров и каждая картинка содержит информацию об одной или нескольких секциях. Способ содержит определение параметров в наборе параметров последовательности; определение параметров в наборе параметров картинки и определение по меньшей мере одного параметра картинки в заголовке секции. Параметр картинки остается неизменным по меньшей мере во всех заголовках секций одной картинки. Технический результат - повышение эффективности сжатия при передачи параметров, относящихся к информации о кодированной картинке. 10 н. и 9 з.п. ф-лы, 4 ил, 4 табл.

1. Способ кодирования последовательностей картинок в битовый поток, причем каждая картинка содержит информацию одной или более секций, при котором упомянутое кодирование последовательностей картинок содержит этапы, на которых:

определяют параметры в наборе параметров последовательности;

определяют параметры в наборе параметров картинки и

определяют, по меньшей мере, один параметр картинки в заголовке секции, причем этот параметр картинки остается неизмененным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутое определение, по меньшей мере, одного параметра картинки в заголовке секции содержит задание ссылки на набор параметров картинки.

распознают набор параметров последовательности и формируют, по меньшей мере, один параметр последовательности, относящийся к последовательности, с помощью упомянутого набора параметров;

распознают набор параметров картинки и формируют, по меньшей мере, один первый параметр картинки, относящийся к картинке, с помощью упомянутого набора параметров;

формируют, по меньшей мере, один второй параметр картинки с помощью информации заголовка секции, причем этот, по меньшей мере, один второй параметр картинки остается неизмененным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутый, по меньшей мере, один параметр картинки в заголовке секции содержит ссылку на набор параметров картинки;

декодируют последовательность картинок, используя упомянутый, по меньшей мере, второй параметр картинки.

средство для определения параметров в наборе параметров последовательности;

средство для определения параметров в наборе параметров картинки и

средство для определения, по меньшей мере, одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутое средство для определения, по меньшей мере, одного параметра картинки в заголовке секции выполнено с возможностью задания ссылки на набор параметров картинки.

средство для распознавания набора параметров последовательности и формирования, по меньшей мере, одного параметра последовательности, относящегося к последовательности, с помощью упомянутого набора параметров;

средство для распознавания набора параметров картинки и формирования, по меньшей мере, одного первого параметра картинки, относящегося к картинке, с помощью упомянутого набора параметров;

средство для формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции, причем этот, по меньшей мере, один второй параметр картинки остается неизмененным, по меньшей мере, во всех заголовках секций одной картинки, упомянутое средство для формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого, по меньшей мере, одного второго параметра картинки; и

средство для декодирования последовательностей картинок с использованием упомянутого, по меньшей мере, второго параметра картинки.

средство для определения параметров в наборе параметров последовательности;

средство для определения параметров в наборе параметров картинки и

средство для определения, по меньшей мере, одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутое средство для определения, по меньшей мере, одного параметра картинки в заголовке секции выполнено с возможностью задания ссылки на набор параметров картинки;

и декодер содержит

средство для распознавания набора параметров последовательности и формирования, по меньшей мере, одного параметра последовательности, относящегося к последовательности, с помощью упомянутого набора параметров;

средство для распознавания набора параметров картинки и формирования, по меньшей мере, одного первого параметра картинки, относящегося к картинке, с помощью упомянутого набора параметров;

средство для формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции, причем этот, по меньшей мере, один второй параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки, упомянутое средство формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого, по меньшей мере, одного второго параметра картинки; и

средство для декодирования последовательности картинок с использованием упомянутого, по меньшей мере, второго параметра картинки.

средство для определения параметров в наборе параметров последовательности;

средство для определения параметров в наборе параметров картинки и

средство для определения, по меньшей мере, одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутое средство для определения, по меньшей мере, одного параметра картинки в заголовке секции выполнено с возможностью задания ссылки на набор параметров картинки.

средство для распознавания набора параметров последовательности и формирования, по меньшей мере, одного параметра последовательности, относящегося к последовательности, с помощью набора параметров;

средство для распознавания набора параметров картинки и формирования, по меньшей мере, одного первого параметра картинки, относящегося к картинке, с помощью набора параметров;

средство для формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции, причем этот, по меньшей мере, один второй параметр картинки остается неизмененным, по меньшей мере, во всех заголовках секций одной картинки, упомянутое средство для формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции выполнено с возможностью использования ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого, по меньшей мере, одного второго параметра картинки; и

средство для декодирования последовательностей картинок с использованием упомянутого, по меньшей мере, одного второго параметра картинки.

кодированные картинки;

параметры последовательности в наборе параметров последовательности;

параметры картинки в наборе параметров картинки;

информацию секции, содержащую заголовок секции, и,

по меньшей мере, один параметр картинки в заголовке секции, причем этот параметр картинки остается неизменным по меньшей во всех заголовках секций одной кодированной картинки, упомянутый, по меньшей мере, один параметр картинки в заголовке секции содержит ссылку на набор параметров картинки.

определения параметров в наборе параметров последовательности;

определения параметров в наборе параметров картинки и

определения, по меньшей мере, одного параметра картинки в заголовке секции, причем этот параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки;

при этом упомянутое определение, по меньшей мере, одного параметра картинки в заголовке секции содержит задание ссылки на набор параметров картинки.

распознавания набора параметров последовательности и формирования, по меньшей мере, одного параметра последовательности, относящегося к последовательности, с помощью упомянутого набора параметров;

распознавания набора параметров картинки и формирования по меньшей мере одного первого параметра картинки, относящегося к картинке, с помощью упомянутого набора параметров;

формирования, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции, причем этот, по меньшей мере, один второй параметр картинки остается неизменным, по меньшей мере, во всех заголовках секций одной картинки, упомянутое формирование, по меньшей мере, одного второго параметра картинки с помощью информации заголовка секции содержит использование ссылки на набор параметров картинки, включенной в заголовок секции, для определения упомянутого, по меньшей мере, одного второго параметра картинки; и

декодирование последовательностей картинок с использованием упомянутого, по меньшей мере, одного второго параметра набора картинки.