Область техники, к которой относится изобретение
Данный патентный документ относится к кодированию и декодированию изображений и видео.
Уровень техники
На цифровое видео приходится наибольшая полоса пропускания, используемая в Интернете и других сетях цифровой связи. По мере увеличения количества подключенных пользовательских устройств, способных принимать и отображать видео, ожидается, что спрос на полосу пропускания для использования цифрового видео будет продолжать расти.
Сущность изобретения
В настоящем документе раскрыты технологии, которые могут использоваться видеокодерами и декодерами для выполнения кодирования или декодирования видео.
В одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток включает в себя один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), которое включает в себя информацию относительно гипотетического опорного декодера (HRD), применимо ко всем наборам слоев вывода, которые включают в себя те же видеослои, что и битовый поток.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), относящееся к гипотетическому опорному декодеру (HRD), исключено в ответ на условие, что не существует набора слоев вывода, который включает в себя тот же набор слоев, что и битовый поток.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает, что значение идентификатора слоя для единицы слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI), которая включает в себя немасштабируемое вложенное сообщение SEI, не ограничено.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает, что конкретное значение типа полезной нагрузки, соответствующее информации уровня подизображения, не включено в список, который включает в себя допустимые значения типа полезной нагрузки с дополнительной информацией улучшения (SEI) для сообщений с дополнительной информацией улучшения (SEI), относящихся к негипотетическому опорному декодеру (HRD).
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток включает в себя один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), которое включает в себя информацию, не имеющую отношения к гипотетическому опорному декодеру (HRD), применимо ко всем слоям в битовом потоке.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, содержащим один или более наборов слоев вывода в соответствии с правилом, причем правило устанавливает, что единица слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI), которая включает в себя масштабируемое вложенное сообщение SEI, переносящее информацию синхронизации изображения, не включена из-за использования одной и той же синхронизации изображения во всех наборах слоев вывода в битовом потоке.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает, что в ответ на единицу NAL SEI, включающую в себя немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено включать в себя другое сообщение SEI второго типа полезной нагрузки.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этапы, на которых выполняют преобразование между видео и битовым потоком видео в соответствии с правилом, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает, что в ответ на единицу NAL SEI, включающую в себя масштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено включать в себя другое сообщение SEI второго типа полезной нагрузки.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает, что в ответ на единицу NAL SEI, включающую в себя сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено включать в себя другое сообщение SEI, не равное первому типу полезной нагрузки или второму типу полезной нагрузки.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом, при этом правило устанавливает конкретный порядок декодирования между сообщением с дополнительной информацией расширения (SEI) информации уровня подизображения (SLI) и сообщением SEI периода буферизации (BP), которые применяются к конкретному набору слоев вывода в ответ на условие, что сообщение SEI SLI и сообщение SEI BP включены в единицу доступа.
В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео в соответствии с правилом, причем правило устанавливает, что первое синтаксическое поле, указывающее информацию представления подслоя, для которой присутствуют синтаксические элементы, связанные с начальной задержкой удаления буфера кодированного изображения (CPB), исключается в ответ на конкретное значение второго синтаксического поля, указывающего максимальное количество временных подслоев, для которых начальная задержка удаления CPB указана в сообщении с дополнительной информацией улучшения (SEI) периода буферизации.
В еще одном примерном аспекте раскрыто устройство видеокодера. Видеокодер содержит процессор, выполненный с возможностью реализации вышеописанных способов.
В еще одном примерном аспекте раскрыто устройство видеодекодера. Видеодекодер содержит процессор, выполненный с возможностью реализации вышеописанных способов.
В еще одном примерном аспекте раскрыт машиночитаемый носитель информации, на котором хранится код. Код воплощает один из способов, описанных в данном документе, в форме исполняемого процессором кода.
Эти и другие признаки описаны в настоящем документе.
Краткое описание чертежей
Фиг.1 - блок-схема, которая иллюстрирует систему кодирования видео в соответствии с некоторыми реализациями раскрытой технологии.
Фиг.2 - блок-схема примерной аппаратной платформы, используемой для обработки видео.
Фиг.3 - блок-схема последовательности операций обработки видео.
Фиг.4 - блок-схема, иллюстрирующая примерную систему кодирования видео.
Фиг.5 - блок-схема, иллюстрирующая кодер в соответствии с некоторыми реализациями раскрытой технологии.
Фиг.6 - блок-схема, которая иллюстрирует декодер в соответствии с некоторыми реализациями раскрытой технологии.
Фиг.7A-7E - блок-схемы последовательности операций, например, способов обработки видео, основанных на некоторых реализациях раскрытой технологии.
Фиг.8 - блок-схема последовательности операций обработки видео, основанной на некоторых реализациях раскрытой технологии.
Фиг.9A-9C - блок-схемы последовательности операций, например, способов обработки видео, основанных на некоторых реализациях раскрытой технологии.
Фиг.10А и 10В - блок-схемы последовательности операций примеров способов обработки видео, основанных на некоторых реализациях раскрытой технологии.
Осуществление изобретения
Заголовки разделов используются в настоящем документе для простоты понимания и не ограничивают применимость технологий и вариантов осуществления, раскрытых в каждом разделе, только этим разделом. Кроме того, терминология H.266 используется в некоторых описаниях только для простоты понимания, а не для ограничения объема раскрытых технологий. Таким образом, технологии, описанные в данном документе, также применимы к другим протоколам и исполнениям видеокодеков.
1. Введение
Данный документ относится к технологиям кодирования видео. В частности, речь идет об определении уровней и совместимости битового потока для видеокодека, который поддерживает как однослойное кодирование видео, так и многослойное кодирование видео. Он может применяться к любому стандарту кодирования видео или нестандартному видеокодеку, который поддерживает однослойное кодирование видео и многослойное кодирование видео, например, разрабатываемое в настоящее время универсальное кодирование видео (VVC).
2. Сокращения
APS - набор параметров адаптации
AU - единица доступа
AUD - разделитель единиц доступа
AVC - усовершенствованное кодирование видео
BP - период буферизации
CLVS - послойно кодированная видеопоследовательность
CPB - буфер кодированных изображений
CRA - чистый произвольный доступ
CTU - единица дерева кодирования
CVS - кодированная видеопоследовательность
DPB - буфер декодированного изображений
DPS - набор параметров декодирования
DUI - информация единицы декодирования
EOB - конец битового потока
EOS - конец последовательности
GCI - общая информация об ограничениях
GDR - постепенное обновление при декодировании
HEVC - высокоэффективное кодирование видео
HRD - гипотетический опорный декодер
IDR - мгновенное обновление декодирования
JEM - модель совместного исследования
MCTS - набор тайлов с ограничением по движению
NAL - слой сетевой абстракции
OLS - набор слоев вывода
PH - заголовок изображения
PPS - набор параметров изображения
PT - синхронизация изображений
PTL - профиль, ярус и уровень
PU - единица изображения
RRP - передискретизация опорного изображения
RBSP - полезная нагрузка последовательности необработанных байтов
SEI - дополнительная информация улучшения
SH - заголовок слайса
SLI - информация уровня изображения
SPS - набор параметров последовательности
SVC - масштабируемое кодирование видео
VCL - слой кодирования видео
VPS - набор параметров видео
VTM - тестовая модель VVC
VUI - информация удобства и простоты использования видео
VVC - универсальное кодирование видео
3. Предварительное обсуждение
Стандарты кодирования видео развивались в основном благодаря разработке хорошо известных стандартов ITU-T и ISO/IEC. ITU-T выпустил H.261 и H.263, ISO/IEC выпустил MPEG-1 и MPEG-4 Visual, и две организации совместно выпустили стандарты H.262/MPEG-2 Video и усовершенствованное кодирование видео (AVC) H.264/MPEG-4 Advanced. Начиная с H.262, стандарты кодирования видео основаны на структуре гибридного кодирования видео, в которой используются временное предсказание плюс кодирование с преобразованием. Для исследования будущих технологий кодирования видео, выходящих за рамки HEVC, в 2015 году VCEG и MPEG создали объединенную группу по исследованию видео (JVET). С тех пор JVET были одобрены многие новые способы и добавлены в справочное программное обеспечение под названием "модель совместного исследования (JEM)". Конференции JVET проводится на регулярной основе один раз в квартал, и новый стандарт кодирования нацелен на снижение скорости передачи данных на 50% по сравнению с HEVC. Новый стандарт кодирования видео был официально назван универсальным кодированием видео (VVC) на конференции JVET в апреле 2018 года, и тогда же была выпущена первая версия тестовой модели VVC (VTM). Так как предпринимаются постоянные усилия по стандартизации VVC, на каждой конференции JVET принимаются новые технологии кодирования для стандарта VVC. Затем после каждой конференции обновляются рабочий проект VVC и тестовая модель VTM. В настоящее время проект VVC нацелен на техническую доработку (FDIS) на конференции в июле 2020 года.
3.1. Наборы параметров
AVC, HEVC и VVC устанавливают наборы параметров. Типы наборов параметров включают в себя SPS, PPS, APS и VPS. SPS и PPS поддерживаются во всех форматах AVC, HEVC и VVC. VPS был представлен после HEVC и включен как в HEVC, так и в VVC. APS не был включен в AVC или HEVC, но включен в последний проект текста VVC.
SPS был разработан для переноса информации заголовка уровня последовательности, и PPS был разработан для переноса редко изменяющейся информации заголовка уровня изображения. При использовании SPS и PPS нет необходимости повторять редко изменяющуюся информацию для каждой последовательности или изображения, поэтому можно избежать избыточной передачи этой информации. Кроме того, использование SPS и PPS позволяет обеспечить внеполосную передачу важной информации заголовка, что не только устраняет необходимость в избыточных передачах, но и повышает устойчивость к ошибкам.
VPS была введена для переноса информации заголовка уровня последовательности, которая является общей для всех слоев в многослойных битовых потоках.
APS был введен для переноса такой информации уровня изображения или уровня слайса, для кодирования которой требуется довольно много битов, которая может совместно использоваться несколькими изображениями, и в последовательности может быть довольно много различных вариаций.
3.2. Изменение разрешения изображения в пределах последовательности
В AVC и HEVC пространственное разрешение изображений не может изменяться до тех пор, пока не начнется новая последовательность, использующая новый SPS, с изображением IRAP. VVC позволяет изменять разрешение изображения в пределах последовательности в позиции без кодирования изображения IRAP, которое всегда внутрикадрово кодируется. Эту функцию иногда называют передискретизацией опорного изображения (RPR), так как эта функция требует передискретизации опорного изображения, используемого для межкадрового предсказания, когда это опорное изображение имеет разрешение, отличное от разрешения текущего декодируемого изображения.
Коэффициент масштабирования ограничивается значением, большим или равным 1/2 (2-кратная понижающая дискретизация от опорного изображения до текущего изображения) и меньшим или равным 8 (8-кратная повышающая дискретизация). Три набора фильтров передискретизации с разными граничными частотами предназначены для обработки различных коэффициентов масштабирования между опорным изображением и текущим изображением. Три набора фильтров передискретизации применяются, соответственно, для коэффициента масштабирования в диапазоне от 1/2 до 1/1,75, от 1/1,75 до 1/1,25 и от 1/1,25 до 8. Каждый набор фильтров передискретизации имеет 16 фаз для яркости и 32 фазы для цветности, что аналогично случаю интерполяционных фильтров компенсации движения. Фактически нормальный процесс интерполяции MC является частным случаем процесса передискретизации с коэффициентом масштабирования от 1/1,25 до 8. Коэффициенты масштабирования по горизонтали и вертикали определяются на основе ширины и высоты изображения и смещений масштабирования влево, вправо, вверх и вниз, заданных для опорного изображения и текущего изображения.
Другие аспекты дизайна VVC для поддержки этой функции, которые отличаются от HEVC, включают в себя: 1) разрешение изображения и соответствующее окно соответствия сигнализируются в PPS, а не в SPS, тогда как в SPS сигнализируется максимальное разрешение изображения; 2) для однослойного битового потока каждое хранилище изображений (слот в DPB для хранения одного декодированного изображения) занимает размер буфера, необходимый для хранения декодированного изображения с максимальным разрешением изображения.
3.3. Масштабируемое кодирование видео (SVC) в общем и в VVC
Масштабируемое кодирование видео (SVC, иногда также называемое просто масштабируемостью при кодировании видео) относится к кодированию видео, в котором используются базовый слой (BL), иногда называемый опорным слоем (RL), и один или более масштабируемых улучшающих слоев (EL). В SVC базовый слой может передавать видеоданные с базовым уровнем качества. Один или более улучшающих слоев могут переносить дополнительные видеоданные для поддержки, например, более высоких пространственно-временных уровней и/или уровней отношений сигнал/шум (SNR). Улучшающие слои могут быть определены относительно ранее кодированного слоя. Например, нижний слой может служить в качестве BL, и верхний слой может служить в качестве EL. Средние слои могут служить в качестве либо EL, либо RL, либо обоих. Например, средний слой (например, слой, который не является ни нижним слоем, ни верхним слоем) может быть EL для слоев ниже среднего слоя, такого как базовый слой, или любых промежуточных улучшающих слоев, и в то же время может служить в качестве RL для одного или более улучшающих слоев выше среднего слоя. Аналогичным образом, в Multiview или 3D расширении стандарта HEVC может быть несколько видов, и информация одного вида может использоваться для кодирования (например, кодирования или декодирования) информации другого вида (например, для оценки движения, предсказания вектора движения и/или другой избыточности).
В SVC параметры, используемые кодером или декодером, группируются в наборы параметров на основе уровня кодирования (например, уровня видео, уровня последовательности, уровня изображения, уровня слайса и т.д.), в котором они могут использоваться. Например, параметры, которые могут использоваться одной или более кодированными видеопоследовательностями разных слоев в битовом потоке, могут быть включены в набор параметров видео (VPS), и параметры, которые используются одним или более изображениями в кодированной видеопоследовательности, могут быть включены в набор параметров в пределах последовательности (SPS). Точно так же параметры, которые используются одним или более слайсами в изображении, могут быть включены в набор параметров изображения (PPS), и другие параметры, характерные для одного слайса, могут быть включены в заголовок слайса. Аналогичным образом, указатель того, какой(ие) набор(ы) параметров используется(ются) в конкретном слое в данный момент времени, может предоставляться на различных уровнях кодирования.
Благодаря поддержке передискретизации опорного изображения (RPR) в VVC, поддержка битового потока, содержащего несколько слоев, например, два слоя с разрешениями SD и HD в VVC, может быть разработана без необходимости какого-либо дополнительного средства кодирования на уровне обработки сигнала, так как повышающая дискретизация, необходимая для поддержки пространственной масштабируемости, может просто использовать фильтр повышающей дискретизации RPR. Тем не менее, для поддержки масштабируемости необходимы изменения синтаксиса высокого уровня (по сравнению с отсутствием поддержки масштабируемости). Поддержка масштабируемости указана в VVC версии 1. В отличие от поддержки масштабируемости в любых более ранних стандартах кодирования видео, в том числе в расширениях AVC и HEVC, дизайн масштабируемости VVC максимально оптимизирован для однослойных декодеров. Возможности декодирования для многослойных битовых потоков определяются таким образом, как если бы в битовом потоке был только один слой. Например, возможность декодирования, такая как размер DPB, определяется таким образом, который не зависит от количества слоев в битовом потоке, подлежащем декодированию. По существу декодер, предназначенный для однослойных битовых потоков, не требует особых изменений, чтобы иметь возможность декодировать многослойные битовые потоки. По сравнению с дизайнами многослойных расширений AVC и HEVC аспекты HLS были значительно упрощены за счет потери некоторых гибких возможностей. Например, требуется, чтобы AU IRAP содержала изображение для каждого из слоев, присутствующих в CVS.
3.4. Сообщения SEI, общая семантика SEI и ограничения
В приложении D, относящемся к VVC, определены синтаксис и семантика для полезных нагрузок сообщений SEI для некоторых сообщений SEI, и определено использование сообщений SEI и параметров VUI, для которых синтаксис и семантика указаны в ITU-T H.SEI | ISO/IEC 23002-7.
Сообщения SEI помогают в процессах, связанных с декодированием, отображением или другими целями. Однако сообщения SEI не требуются для построения выборок яркости или цветности в процессе декодирования. Соответствующие декодеры не обязаны обрабатывать эту информацию для соответствия порядка вывода. Некоторые сообщения SEI требуются для проверки соответствия битового потока и соответствия декодера синхронизации вывода. Другие сообщения SEI не требуются для проверки соответствия битового потока.
В последнем проекте текста VVC используется общая SEI.
Синтаксис и семантика сообщения SEI с масштабируемой вложенностью в последнем проекте текста VVC представлены следующим образом.
D.2.1. Общий синтаксис сообщений SEI
D.2.2. Общая семантика полезной нагрузки SEI
Параметр disabled_payload_extension_data не должен присутствовать в битовых потоках, соответствующих этой версии данной спецификации. Однако декодеры, соответствующие этой версии данной спецификации, должны игнорировать наличие и значение параметра reserved_payload_extension_data. Если он присутствует, длина в битах параметра reserved_payload_extension_data равна 8 * payloadSize - nEarlierBits - nPayloadZeroBits - 1, где nEarlierBits - количество битов в синтаксической структуре sei_payload (), которая предшествуют синтаксическому элементу reserved_payload_extension_data, и nPayloadZeroBits - количество синтаксических элементов payload_bit_equal_to_zero в конце синтаксической структуры sei_payload ().
Значение payload_bit_equal_to_one должно быть равно 1.
Значение payload_bit_equal_to_zero должно быть равно 0.
Примечание 1. Сообщения SEI с одним и тем же значением payloadType концептуально являются одним и тем же сообщением SEI независимо от того, содержатся ли они в префиксных или суффиксных единицах NAL SEI.
Примечание 2. Для сообщений SEI с payloadType в диапазоне от 0 до 47 включительно, которые указаны в данной спецификации, значения payloadType согласованы с аналогичными сообщениями SEI, указанными в Rec. ITU-T H.264 | ISO/IEC 14496-10.
Семантика и область сохраняемости для каждого сообщения SEI указаны в спецификации семантики для каждого конкретного сообщения SEI.
Примечание 3. Информация сохраняемости для сообщений SEI информативно представлена в таблице D.1.
Таблица D.1. Область сохраняемости сообщений SEI (справочная)
Список VclAssociatedSeiList состоит из значений payloadType 3, 19, 45, 129, 132, 137, 144, 145, 147-150 включительно, от 153 до 156 включительно, 168, 203 и 204.
Список PicUnitRepConSeiList состоит из значений payloadType 0, 1, 19, 45, 129, 132, 133, 137, от 147 до 150 включительно, от 153 до 156 включительно, 168, 203 и 204.
Примечание 4. VclAssociatedSeiList состоит из значений payloadType сообщений SEI, которые при немасштабируемом вложении и содержании в единице NAL SEI выводят ограничения на заголовок единицы NAL единицы NAL SEI на основе заголовка единицы NAL ассоциированной единицы NAL VCL. PicUnitRepConSeiList состоит из значений payloadType сообщений SEI, на которые распространяется ограничение на 4 повторения для каждой PU.
Требованием соответствия битового потока являются следующие ограничения на содержание сообщений SEI в единицах NAL SEI:
- Когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI BP, немасштабируемое вложенное сообщение SEI PT или немасштабируемое вложенное сообщение SEI DUI, единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 0 (BP), 1 (PT) или 130 (DUI).
- Когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI BP, масштабируемое вложенное сообщение SEI PT или масштабируемое вложенное сообщение SEI DUI, единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 0 (BP), 1 (PT), 130 (DUI) или 133 (масштабируемое вложение).
Следующее применимо к применяемым OLS или слоям немасштабируемых вложенных сообщений SEI:
- Для немасштабируемого вложенного сообщения SEI, когда значение payloadType равно 0 (BP), 1 (PT) или 130 (DUI), немасштабируемое вложенное сообщение SEI применяется только к 0-му OLS.
- Для немасштабируемого вложенного сообщения SEI, когда значение payloadType равно любому значению из VclAssociatedSeiList, немасштабируемое вложенное сообщение SEI применяется только к слою, для которого единицы NAL VCL имеют значение nuh_layer_id, равное значению nuh_layer_id единицы NAL SEI, содержащей сообщение SEI.
Требование соответствия битового потока состоит в том, что следующие ограничения применяются к значению nuh_layer_id единиц NAL VCL:
- Когда немасштабируемое вложенное сообщение SEI имеет значение payloadType, равное 0 (BP), 1 (PT) или 130 (DUI), единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное значению vps_layer_id[ 0 ].
- Когда немасштабируемое вложенное сообщение SEI имеет значение payloadType, равное любому значению из списка VclAssociatedSeiList, единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное значению nuh_layer_id единицы NAL VCL, ассоциированной с единицей NAL SEI. - Единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное наименьшему значению nuh_layer_id из всех слоев, к которым применяются масштабируемые вложенные сообщения SEI (когда значение sn_ols_flag масштабируемого вложенного сообщения SEI равно 0), или наименьшему значению nuh_layer_id из всех слоев в OLS, к которым применяется немасштабируемое вложенное сообщение SEI (когда значение sn_ols_flag масштабируемого вложенного сообщения SEI равно 1).
Требованием соответствия битового потока являются следующие ограничения на повторение сообщений SEI:
- Для каждого из значений payloadType, включенных в PicUnitRepConSeiList, в PU должно быть 4 или меньше идентичных синтаксических структур sei_payload ().
- В DU должно быть 4 или меньше идентичных синтаксических структур sei_payload () со значением payloadType, равным 130.
Следующее относится к порядку сообщений BP, PT и SEI DU:
- Когда сообщение SEI BP и сообщение SEI PT, которые применяются к конкретному OP, присутствуют в AU, сообщения SEI BP должны предшествовать сообщению SEI PT в порядке декодирования.
- Когда сообщение SEI BP и сообщение SEI DU, которые применяются к конкретному OP, присутствуют в AU, сообщения SEI BP должны предшествовать сообщению SEI DU в порядке декодирования.
- Когда сообщение SEI PT и сообщение SEI DU, которые применяются к конкретному OP, присутствуют в AU, сообщения SEI PT должны предшествовать сообщению SEI DU в порядке декодирования.
4. Технические задачи, решаемые с помощью раскрытых технических решений
Существующая общая семантика полезной нагрузки SEI, включающая в себя общие ограничения SEI, имеет следующие проблемы:
1) Сообщения SEI, связанные с немасштабируемым вложенным HRD, должны быть указаны для применения к OLS, которые включают в себя тот же набор слоев, что и весь битовый поток (вместо применения только к 0-му OLS).
2) Весь битовый поток может включать в себя несколько слоев, если не указан OLS, включающий в себя весь слой. В этом случае не может быть никаких немасштабируемых вложенных сообщений SEI, связанных с HRD, так как они будут применяться к OLS, которые включают в себя тот же набор слоев, что и весь битовый поток.
3) В настоящее время установлено, что немасштабируемое вложенное сообщение SEI, не связанное с HRD, применяется только к слою с значением nuh_layer_id, равным значению nuh_layer_id единицы NAL SEI. Однако для согласования с немасштабируемыми вложенными сообщениями SEI, не связанными с HRD, следует установить, что немасштабируемые вложенные сообщения SEI, не связанные с HRD, применяются ко всем слоям во всем битовом потоке.
4) В настоящее время установлено, что значение nuh_layer_id для единицы NAL SEI, содержащей немасштабируемые вложенные сообщения SEI, связанные с HRD, должно быть равно значению vps_layer_id[ 0 ], и значение nuh_layer_id для единицы NAL SEI, содержащей немасштабируемые вложенные сообщения SEI, не связанные с HRD, должно быть равно значению nuh_layer_id единицы NAL VCL, ассоциированной с единицей NAL SEI. Однако, так как немасштабируемые вложенные сообщения SEI применяются ко всему битовому потоку, эти ограничения на значение nuh_layer_id должны быть сняты, так что значение nuh_layer_id для единиц NAL VCL, содержащих немасштабируемые вложенные сообщения SEI, не ограничено, как и для nuh_layer_id для единиц NAL DCI, VPS, AUD и EOS.
5) Переменная списка VclAssociatedSeiList в настоящее время состоит из значений payloadType SEI для сообщений SEI, не связанных с HRD. Однако значение 203 для сообщения SEI SLI также является сообщением SEI, связанным с HRD. Поэтому значение payloadType 203 (SLI) следует удалить из списка.
6) Отсутствует ограничение, согласно которому, если значение general_same_pic_timing_in_all_ols_flag равно 1, не должно быть единицы NAL SEI, содержащей масштабируемое вложенное сообщение SEI с типом полезной нагрузки, равным 1 (PT). Это связано с тем, что, когда значение general_same_pic_timing_in_all_ols_flag равно 1, нет необходимости содержать сообщения SEI PT в сообщениях SEI с масштабируемой вложенностью.
7) Отсутствует ограничение, согласно которому, если единица NAL SEI содержит немасштабируемое вложенное сообщение SEI с типом полезной нагрузки, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, отличным от 0, 1, 130 или 203. Только при выполнении этого условия удаление этих четырех сообщений SEI, связанных с HRD, из выходного битового потока во время процесса извлечения битового подпотока может быть выполнено путем простого удаления единиц NAL VCL, содержащих одно или более таких сообщений SEI.
8) Отсутствует ограничение, согласно которому, если единица NAL SEI содержит масштабируемое вложенное сообщение SEI со значением payloadType, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать никаких других сообщений SEI со значением payloadType, не равным 0, 1, 130, 203 или 133 (масштабируемая вложенность). Только при выполнении этого условия можно без проблем установить значение sn_ols_flag масштабируемых вложенных сообщений SEI для масштабируемых вложенных сообщений SEI, связанных и не связанных с HRD.
9) Отсутствует ограничение, согласно которому, если единица NAL SEI содержит сообщение SEI со значением payloadType, равным 3 (полезная нагрузка заполнителя), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 3. Только при выполнении этого условия удаление сообщений SEI полезной нагрузки заполнителя из выходного битового потока в процессе извлечения битового подпотока можно выполнить путем простого удаления единиц NAL VCL, содержащих одно или более сообщений SEI полезной нагрузки заполнителя.
10) Отсутствует ограничение, согласно которому, если сообщение SEI SLI и сообщение SEI BP, которые применяются к конкретному OLS, присутствуют в AU, сообщения SEI SLI должны предшествовать сообщению SEI BP в порядке декодирования. Это необходимо, так как сообщение SEI SLI предоставляет информацию уровня последовательности, такую как VPS и SPS, которые также предшествуют сообщениям SEI BP, если они присутствуют в той же AU, что и сообщения SEI BP.
11) В сообщении SEI BP bp_sublayer_initial_cpb_removal_delay_present_flag сигнализируется, даже в том случае, когда значение bp_max_sublayers_minus1 равно 0. Однако, когда значение bp_max_sublayers_minus1 равно 0, известно, что значение bp_sublayer_initial_cpb_removal_delay_present_flag равно 0.
5. Примеры решений и вариантов осуществления
Для решения вышеуказанных и других задач раскрыты способы, кратко изложенные ниже. Элементы решения следует рассматривать как примеры для объяснения общих концепций, и их не следует интерпретировать в узком смысле. Кроме того, эти элементы можно применять по отдельности или комбинировать любым образом.
1) Чтобы решить 1-ю задачу, следует установить, что немасштабируемые вложенные сообщения SEI, связанные с HRD, применяются к OLS, которые включают в себя тот же набор слоев, что и весь битовый поток (вместо применения только к 0-му OLS).
а. В одном примере сообщения SEI, связанные с HRD, относятся к сообщениям SEI с типом полезной нагрузки, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI).
2) Чтобы решить вторую задачу, следует добавить ограничение, согласно которому при отсутствии OLS, который включает в себя набор слоев такой же, как и весь битовый поток, не должно быть немасштабируемых вложенных сообщений SEI, связанных с HRD.
а. В одном примере сообщения SEI, связанные с HRD, относятся к сообщениям SEI с типом полезной нагрузки, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI).
3) Чтобы решить третью задачу, следует установить, что немасштабируемые вложенные сообщения SEI, не связанные с HRD, применимы ко всем слоям во всем битовом потоке, чтобы быть совместимыми с немасштабируемыми вложенными сообщениями SEI, связанными с HRD.
а. В одном примере сообщения SEI, не связанные с HRD, относятся к сообщениям SEI с типом полезной нагрузки, не равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI).
4) Чтобы решить 4-ю задачу, следует удалить ограничения на значение nuh_layer_id для единиц NAL SEI, содержащих немасштабируемые вложениые сообщения SEI, таким образом, чтобы значение nuh_layer_id для единиц NAL SEI, содержащих немасштабируемые вложенные сообщения SEI, не ограничивалось, как для nuh_layer_id для единиц NAL DCI, VPS, AUD и EOS.
5) Чтобы решить 5-ю задачу, следует переименовать VclAssociatedSeiList в NestingForLayersSeiList и удалить из списка значение payloadType 203 (SLI).
6) Чтобы решить 6-ю задачу, следует добавить такое ограничение, согласно которому, если значение general_same_pic_timing_in_all_ols_flag равно 1, не должно быть единицы NAL SEI, содержащей масштабируемое вложенное сообщение SEI со значением payloadType, равным 1 (PT).
а. В одном примере дополнительно указывается, что, когда значение general_same_pic_timing_in_all_ols_flag равно 1, немасштабируемые вложенные сообщения SEI PT применяются ко всем OLS, а также к последовательностям подизображений, которые могут быть извлечены из битовых потоков OLS.
b. В качестве альтернативы, в одном примере добавляется такое ограничение, согласно которому, если значение general_same_pic_timing_in_all_ols_flag равно 1, не должно быть единицы NAL SEI, содержащей масштабируемое вложенное сообщение SEI со значением payloadType, равным 1 (PT), для которого значение sn_subpic_flag равно 0.
7) Для решения 7-й задачи следует установить, что, когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI со значением payloadType, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, отличным от 0, 1, 130 или 203.
8) Для решения 8-й задачи следует установить, что, когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI со значением payloadType, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, отличным от 0, 1, 130, 203 или 133 (масштабируемая вложенность).
9) Чтобы решить девятую задачу, следует добавить ограничение, согласно которому, когда единица NAL SEI содержит сообщение SEI со значением payloadType, равным 3 (полезная нагрузка заполнителя), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 3.
а. В одном примере дополнительно следует установить, что сообщения SEI данныз-заполнителя не должны быть масштабируемо вложенными, то есть не должны содержаться в масштабируемом вложенном сообщении SEI.
b. В качестве альтернативы, в одном примере добавляется ограничение, согласно которому, когда единица NAL SEI содержит сообщение SEI со значением payloadType, равным 3 (полезная нагрузка заполнителя), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 3 или 133 (масштабируемое вложение).
10) Чтобы решить 10-ю задачу, следует добавить ограничение, согласно которому, когда сообщение SEI SLI и сообщение SEI BP, которые применяются к конкретному OLS, присутствуют в AU, сообщения SEI SLI должны предшествовать сообщению SEI BP в порядке декодирования.
11) Для решения 11-й задачи следует установить, что, когда значение bp_max_sublayers_minus1 равно 0, bp_sublayer_initial_cpb_removal_delay_present_flag пропускается (то есть не сигнализируется в сообщении SEI BP).
а. В одном примере дополнительно, когда значение bp_max_sublayers_minus1 равно 0, предполагается, что значение bp_sublayer_initial_cpb_removal_delay_present_flag равно 0.
6. Варианты осуществления
Ниже приведены некоторые примерные варианты осуществления некоторых аспектов изобретения, обобщенных выше в этом разделе, которые могут быть применены к спецификации VVC. Измененные тексты основаны на последнем тексте VVC в JVET-S0152-v5. Наиболее важные части, которые были добавлены или изменены, выделены полужирным шрифтом и курсивом, и некоторые из удаленных частей отмечены двойными скобками (например, [[a]] обозначает удаление символа «a»).
6.1. Вариант 1 осуществления
Этот вариант осуществления предназначен для пунктов 1-11 и некоторых их подпунктов.
D.2.2 Общая семантика полезной нагрузки SEI
…
Список [[VclAssociated]]NestingForLayersSeiList состоит из значений payloadType 3, 19, 45, 129, 132, 137, 144, 145, от 147 до 150 включительно, от 153 до 156 включительно, 168, [[203]] и 204.
Список PicUnitRepConSeiList состоит из значений payloadType 0, 1, 19, 45, 129, 132, 133, 137, от 147 до 150 включительно, от 153 до 156 включительно, 168, 203 и 204.
Примечание 4. [[VclAssociatedSeiList состоит из значений payloadType сообщений SEI, которые, когда они не являются масштабируемо вложенными и содержатся в единице NAL SEI, выводят ограничения на заголовок единицы NAL единицы NAL SEI на основе заголовка единицы NAL ассоциированной единицы NAL VCL]]. NestingForLayersSeiList состоит из значений payloadType сообщений SEI, не связанных с HRD, для которых при масштабируемом вложении значение sn_ols_flag содержащегося масштабируемого вложенного сообщения SEI должно быть равно 1. PicUnitRepConSeiList состоит из значений payloadType сообщений SEI, на которые распространяется ограничение на 4 повторения для каждой PU.
Требованием соответствия битового потока являются следующие ограничения на содержание сообщений SEI в единицах NAL SEI:
- Когда значение general_same_pic_timing_in_all_ols_flag равно 1, не должно быть единицы NAL SEI, содержащей масштабируемое вложенное сообщение SEI со значением payloadType, равным 1 (PT).
- Когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI со значением payloadType, равным 0 (BP), 1 (PT), [[или]] 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать никаких других сообщений SEI со значением payloadType, не равным 0, 1, [[или]] 130 или 203.
- Когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI со значением payloadType, равным 0 (BP), 1 (PT), [[или]] 130 (DUI) или 203 (SLI), единица NAL SEI не должна содержать какое-либо другое сообщение SEI со значением payloadType, не равным 0, 1, 130, 203 или 133 (масштабируемое вложение).
- Когда единица NAL SEI содержит сообщение SEI со значением payloadType, равным 3 (полезная нагрузка заполнителя), единица NAL SEI не должна содержать никакого другого сообщения SEI со значением payloadType, не равным 3.
Следующее применимо к применимым OLS или слоям немасштабируемых вложенных сообщений SEI:
- Для немасштабируемого вложениого сообщения SEI, когда значение payloadType равно 0 (BP), 1 (PT), [[или]] 130 (DUI) или 203 (SLI), немасштабируемое вложенное сообщение SEI применяется к OLS, если они присутствуют, которые включают в себя тот же набор слоев, что и во всем битовом потоке [[только к 0-му OLS]]. Когда отсутствует OLS, который включает в себя тот же набор слоев, что и весь битовый поток, не должно быть немасштабируемых вложенных сообщений SEI со значением payloadType, равным 0 (BP), 1 (PT), 130 (DUI) или 203 (SLI).
- Для немасштабируемого вложенного сообщения SEI, когда значение payloadType равно любому значению из [[VclAssociated]]NestingForLayersSeiList, немасштабируемое вложенное сообщение SEI применяется ко всем слоям во всем битовом потоке [[только к слою, для которого единицы NAL VCL имеют значение nuh_layer_id, равное значению nuh_layer_id единицы NAL SEI, содержащей сообщение SEI]].
Требование соответствия битового потока состоит в том, что следующие ограничения применяются к значению nuh_layer_id единиц NAL VCL:
- [[Когда немасштабируемое вложенное сообщение SEI имеет значение payloadType, равное 0 (BP), 1 (PT) или 130 (DUI), единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное значению vps_layer_id[ 0 ].
- Когда немасштабируемое вложенное сообщение SEI имеет значение payloadType, равное любому значению из VclAssociatedSeiList списка, единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное значению nuh_layer_id единицы NAL VCL, ассоциированной с единицей NAL SEI. - Единица NAL SEI, содержащая немасштабируемое вложенное сообщение SEI, должна иметь значение nuh_layer_id, равное наименьшему значению nuh_layer_id из всех уровней, к которым применяются масштабируемые вложенные сообщения SEI (когда значение sn_ols_flag масштабируемого вложенного сообщения SEI равно 0), или наименьшему значению nuh_layer_id из всех уровней в OLS, к которым применяется немасштабируемое вложенное сообщение SEI (когда значение sn_ols_flag масштабируемого вложенного сообщения SEI равно 1).
Примечание 4. Так же, как и для единиц NAL DCI, VPS, AUD и EOB, значение nuh_layer_id для единиц NAL VCL, не содержащих масштабируемые вложенные сообщения SEI, не ограничивается.
Требованием соответствия битового потока являются следующие ограничения на повторение сообщений SEI:
- Для каждого из значений payloadType, включенных в PicUnitRepConSeiList, должно быть 4 или меньше идентичных синтаксических структур sei_payload () в PU.
- В DU должно быть 4 или меньше идентичных синтаксических структур sei_payload () со значением payloadType, равным 130.
Следующее относится к порядку сообщений SLI, BP, PT и SEI DU:
- Когда сообщение SEI SLI и сообщение SEI BP, которые применяются к конкретному OLS, присутствуют в AU, сообщения SEI SLI должны предшествовать сообщению SEI BP в порядке декодирования.
- Когда сообщение SEI BP и сообщение SEI PT, которые применяются к конкретному [[OP]]OLS, присутствуют в AU, сообщения SEI BP должны предшествовать сообщению SEI PT в порядке декодирования.
- Когда сообщение SEI BP и сообщение SEI DU, которые применяются к конкретному [[OP]]OLS, присутствуют в AU, сообщения SEI BP должны предшествовать сообщению SEI DU в порядке декодирования.
- Когда сообщение SEI PT и сообщение SEI DU, которые применяются к конкретному [[OP]]OLS, присутствуют в AU, сообщения SEI PT должны предшествовать сообщению SEI DU в порядке декодирования.
D.3.1. Синтаксис сообщения SEI периода буферизации
D.3.2. Семантика сообщения SEI периода буферизации
…
Значение bp_sublayer_initial_cpb_removal_delay_present_flag, равное 1, указывает то, что синтаксические элементы, связанные с начальной задержкой удаления CPB, присутствуют для представления(й) подслоя в диапазоне от 0 до bp_max_sublayers_minus1 включительно. Значение bp_sublayer_initial_cpb_removal_delay_present_flag, равное 0, указывает то, что синтаксические элементы, связанные с начальной задержкой удаления CPB, присутствуют для представления bp_max_sublayers_minus1-го подслоя. Если он отсутствует, предполагается, что значение bp_sublayer_initial_cpb_removal_delay_present_flag равно 0.
…
На фиг.1 показана блок-схема, иллюстрирующая пример системы 1900 обработки видео, в которой могут быть реализованы различные технологии, раскрытые в данном документе. Различные реализации могут включать в себя некоторые или все компоненты системы 1900. Система 1900 может включать в себя вход 1902 для приема видеосодержания. Видеосодержание может приниматься в необработанном или несжатом формате, например, с 8- или 10-разрядными многокомпонентными пиксельными значениями, или может быть представлено в сжатом или кодированном формате. Вход 1902 может представлять сетевой интерфейс, интерфейс периферийной шины или интерфейс запоминающего устройства. Примеры сетевого интерфейса включают в себя проводные интерфейсы, такие как Ethernet, пассивная оптическая сеть (PON) и т.д., и беспроводные интерфейсы, такие как Wi-Fi или сотовые интерфейсы.
Система 1900 может включать в себя компонент 1904 кодирования, который может реализовывать различные способы кодирования или шифрования, описанные в настоящем документе. Компонент 1904 кодирования позволяет уменьшить среднюю скорость передачи битов видео от входа 1902 до выхода компонента 1904 кодирования, чтобы создать кодированное представление видео. Поэтому технологии кодирования иногда называют технологиями сжатия видео или транскодирования видео. Выходной сигнал компонента 1904 кодирования может быть либо сохранен, либо передан через подключенную связь, как представлено компонентом 1906. Сохраненное или переданное битовое (или кодированное) представление видео, полученного на входе 1902, может использоваться компонентом 1908 для выработки пиксельных значений или отображаемого видео, которое отправляется в интерфейс 1910 дисплея. Процесс выработки доступного для просмотра пользователем видео из представления битового потока иногда называется распаковкой видео. Кроме того, хотя определенные операции обработки видео упоминаются как операции или инструменты "кодирования", следует понимать, что инструменты или операции кодирования используются в кодере, и соответствующие инструменты или операции декодирования, которые обращают результаты кодирования, будут выполняться посредством декодера.
Примеры интерфейса периферийной шины или интерфейса дисплея могут включать в себя универсальную последовательную шину (USB), мультимедийный интерфейс высокой четкости (HDMI) или порт дисплея (Displayport) и т.д. Примеры интерфейсов запоминающих устройств включают в себя SATA (последовательное подключение с использованием передовых технологий), PCI, интерфейс IDE и т.п. Технологии, описанные в настоящем документе, могут быть воплощены в различных электронных устройствах, таких как мобильные телефоны, ноутбуки, смартфоны или другие устройства, которые способны выполнять обработку цифровых данных и/или отображение видео.
На фиг.2 показана блок-схема устройства 3600 обработки видео. Устройство 3600 может использоваться для реализации одного или более описанных в данном документе способов. Устройство 3600 может быть реализовано в виде смартфона, планшетного компьютера, компьютера, приемника Интернета вещей (IoT) и т.д. Устройство 3600 может включать в себя один или более процессоров 3602, одно или более запоминающих устройств 3604 и аппаратные средства 3606 для обработки видео. Процессор(ы) 3602 может(могут) быть выполнен(ы) с возможностью реализации одного или более способов, описанных в данном документе. Память (запоминающие устройства) 3604 может использоваться для хранения данных и кода, используемых для реализации описанных в данном документе способов и технологий. Аппаратные средства 3606 обработки видео могут использоваться для реализации в аппаратных схемах некоторых технологий, описанных в данном документе.
На фиг.4 показана блок-схема, которая иллюстрирует примерную систему 100 кодирования видео, в которой могут использоваться способы настоящего раскрытия.
Как показано на фиг.4, система 100 кодирования видео может включать в себя устройство-источник 110 и устройство-получатель 120. Устройство-источник 110, которое может называться устройством кодирования видео, вырабатывает кодированные видеоданные. Устройство-получатель 120, которое может называться устройством декодирования видео, может декодировать кодированные видеоданные, выработанные устройством-источником 110.
Устройство-источник 110 может включать в себя источник 112 видео, видеокодер 114 и интерфейс 116 ввода/вывода (I/O).
Источник 112 видео может включать в себя источник, такой как устройство захвата видео, интерфейс для приема видеоданных от поставщика содержания видео и/или систему компьютерной графики для выработки видеоданных или сочетание таких источников. Видеоданные могут содержать одно или несколько изображений. Видеокодер 114 кодирует видеоданные из источника 112 видео для выработки битового потока. Битовый поток может включать в себя последовательность битов, которые образуют кодированное представление видеоданных. Битовый поток может включать в себя кодированные изображения и ассоциированные данные. Кодированное изображение представляет собой кодированное представление изображения. Ассоциированные данные могут включать в себя наборы параметров последовательности, наборы параметров изображения и другие синтаксические структуры. Интерфейс 116 ввода/вывода может включать в себя модулятор/демодулятор (модем) и/или передатчик. Кодированные видеоданные могут быть переданы непосредственно в устройство-получатель 120 через интерфейс 116 ввода/вывода через сеть 130a. Кодированные видеоданные также могут быть сохранены на носителе информации/сервере 130b для доступа со стороны устройства-получателя 120.
Устройство-получатель 120 может включать в себя интерфейс 126 ввода/вывода, видеодекодер 124 и устройство 122 отображения.
Интерфейс 126 ввода/вывода может включать в себя приемник и/или модем. Интерфейс 126 ввода/вывода может получать кодированные видеоданные из устройства-источника 110 или носителя информации/сервера 130b. Видеодекодер 124 может декодировать кодированные видеоданные. Устройство 122 отображения может отображать декодированные видеоданные для пользователя. Устройство 122 отображения может быть интегрировано с целевым устройством 120 или может быть внешним по отношению к целевому устройству 120, которое конфигурируется для взаимодействия с внешним устройством отображения.
Видеокодер 114 и видеодекодер 124 могут работать в соответствии со стандартом сжатия видео, например, стандартом высокоэффективного кодирования видео (HEVC), стандартом универсального кодирования видео (VVC) и другими существующими и/или дополнительными стандартами.
На фиг.5 показана блок-схема, иллюстрирующая пример видеокодера 200, который может быть видеокодером 114 в системе 100, проиллюстрированной на фиг.4.
Видеокодер 200 может быть выполнен с возможностью выполнения любого или всех способов настоящего раскрытия. В примере, показанном на фиг.5, видеокодер 200 включает в себя множество функциональных компонентов. Способы, описанные в настоящем раскрытии, могут совместно использоваться различными компонентами видеокодера 200. В некоторых примерах процессор может быть выполнен с возможностью выполнения любого или всех способов, описанных в настоящем раскрытии.
Функциональные компоненты видеокодера 200 могут включать в себя блок 201 разделения, блок 202 предсказания, который может включать в себя блок 203 выбора режима, блок 204 оценки движения, блок 205 компенсации движения и блок 206 внутрикадрового предсказания, блок 207 выработки остатка, блок 208 преобразования, блок 209 квантования, блок 210 обратного квантования, блок 211 обратного преобразования, блок 212 восстановления, буфер 213 и блок 214 энтропийного кодирования.
В других примерах видеокодер 200 может включать в себя больше или меньше функциональных компонентов или различные функциональные компоненты. В примере блок 202 предсказания может включать в себя блок внутрикадрового блочного копирования (IBC). Блок IBC может выполнять предсказание в режиме IBC, в котором по меньшей мере одно опорное изображение является изображением, на котором расположен текущий видеоблок.
Кроме того, некоторые компоненты, такие как блок 204 оценки движения и блок 205 компенсации движения, могут быть выполнены с высокой степенью интеграции, но в примере, показанном на фиг.5, они представлены отдельно для упрощения объяснения.
Блок 201 разделения может разбивать изображение на один или несколько видеоблоков. Видеокодер 200 и видеодекодер 300 могут поддерживать различные размеры видеоблоков.
Блок 203 выбора режима может выбрать один из режимов кодирования, внутрикадровый или межкадровый, например, на основе результатов ошибок, и предоставить результирующий внутрикадровый или межкадровый кодированный блок в блок 207 выработки остатка для выработки данных блока остатка и в блок 212 восстановления для восстановления кодированного блока с целью использования в качестве опорного изображения. В некотором примере блок 203 выбора режима может выбрать комбинацию режима внутрикадрового и межкадрового предсказания (CIIP), в котором предсказание основано на сигнале межкадрового предсказания и сигнале внутрикадрового предсказания. Блок 203 выбора режима также может выбирать разрешение для вектора движения (например, с точностью подпикселей или целочисленных пикселей) для блока в случае межкадрового предсказания.
Чтобы выполнить межкадровое предсказание для текущего видеоблока, блок 204 оценки движения может выработать информацию движения для текущего видеоблока путем сравнения одного или нескольких опорных кадров из буфера 213 с текущим видеоблоком. Блок 205 компенсации движения может определять предсказанный видеоблок для текущего видеоблока на основе информации движения и декодированных выборок изображений из буфера 213, которые отличаются от изображения, ассоциированного с текущим видеоблоком.
Блок 204 оценки движения и блок 205 компенсации движения могут выполнять разные операции для текущего видеоблока, например, в зависимости от того, находится ли текущий видеоблок в I-слайсе, P-слайсе или B-слайсе.
В некоторых примерах блок 204 оценки движения может выполнять однонаправленное предсказание для текущего видеоблока, и блок 204 оценки движения может отыскивать опорные изображения из списка 0 или списка 1 для опорного видеоблока для текущего видеоблока. Затем блок 204 оценки движения может выработать опорный индекс, который указывает опорное изображение в списке 0 или списке 1, который содержит опорный видеоблок, и вектор движения, который указывает пространственное смещение между текущим видеоблоком и опорным видеоблоком. Блок 204 оценки движения может выводить опорный индекс, индикатор направления предсказания и вектор движения в качестве информации движения текущего видеоблока. Блок 205 компенсации движения может выработать предсказанный видеоблок текущего блока на основе опорного видеоблока, указанного в информации движения текущего видеоблока.
В других примерах блок 204 оценки движения может выполнять двунаправленное предсказание для текущего видеоблока, блок 204 оценки движения может отыскивать опорные изображения в списке 0 для опорного видеоблока для текущего видеоблока и может отыскивать опорные изображения в списке 1 для другого опорного видеоблока для текущего видеоблока. Затем блок 204 оценки движения может выработать опорные индексы, которые указывают опорные изображения в списке 0 и списке 1, содержащем опорные видеоблоки и векторы движения, которые указывают пространственные смещения между опорными видеоблоками и текущим видеоблоком. Блок 204 оценки движения может выводить опорные индексы и векторы движения текущего видеоблока в качестве информации движения текущего видеоблока. Блок 205 компенсации движения может выработать предсказанный видеоблок текущего видеоблока на основе опорных видеоблоков, указанных в информации движения текущего видеоблока.
В некоторых примерах блок 204 оценки движения может выводить полный набор информации движения для процесса декодирования декодера.
В некоторых примерах блок 204 оценки движения может не выводить полный набор информации движения для текущего видео. Скорее, блок 204 оценки движения может сигнализировать информацию движения текущего видеоблока со ссылкой на информацию движения другого видеоблока. Например, блок 204 оценки движения может определить, что информация движения текущего видеоблока достаточно похожа на информацию движения соседнего видеоблока.
В одном примере блок 204 оценки движения может указывать в структуре синтаксиса, ассоциированной с текущим видеоблоком, значение, которое указывает видеодекодеру 300, что текущий видеоблок имеет ту же информацию движения, что и другой видеоблок.
В другом примере блок 204 оценки движения может идентифицировать в структуре синтаксиса, ассоциированной с текущим видеоблоком, другой видеоблок и разность векторов движения (MVD). Разность векторов движения указывает разницу между вектором движения текущего видеоблока и вектором движения указанного видеоблока. Видеодекодер 300 может использовать вектор движения указанного видеоблока и разность векторов движения для определения вектора движения текущего видеоблока.
Как обсуждалось выше, видеокодер 200 может с предсказанием сигнализировать о векторе движения. Два примера способов сигнализации предсказания, которые могут быть реализованы видеокодером 200, включают в себя расширенное предсказание вектора движения (AMVP) и сигнализацию в режиме слияния.
Блок 206 внутрикадрового предсказания может выполнять внутрикадровое предсказание для текущего видеоблока. Когда внутрикадровый блок предсказания 206 выполняет внутрикадровое предсказание в текущем блоке видеосигнала, блок 206 внутрикадрового предсказания может выработать данные предсказания для текущего видеоблока на основе декодированных выборок других видеоблоков в одном том же кадре. Данные предсказания для текущего видеоблока могут включать в себя предсказанный видеоблок и различные синтаксические элементы.
Блок 207 выработки остатка может выработать данные остатка для текущего видеоблока путем вычитания (например, обозначенного знаком минус) предсказанного видеоблока(ов) текущего видеоблока из текущего видеоблока. Данные остатка текущего видеоблока могут включать в себя видеоблоки остатка, которые соответствуют различным компонентам выборок в текущем видеоблоке.
В других примерах могут отсутствовать данные остатка для текущего видеоблока для текущего видеоблока, например, в режиме пропуска, и блок 207 выработки остатка может не выполнять операцию вычитания.
Блок 208 обработки преобразования может выработать один или несколько видеоблоков коэффициентов преобразования для текущего видеоблока путем применения одного или нескольких преобразований к видеоблоку остатка, ассоциированному с текущим видеоблоком.
После того, как блок 208 обработки преобразования выработает видеоблок коэффициента преобразования, ассоциированный с текущим видеоблоком, блок 209 квантования может квантовать видеоблок коэффициента преобразования, ассоциированный с текущим видеоблоком, на основе одного или нескольких значений параметра квантования (QP), ассоциированных с текущим видеоблоком.
Блок 210 обратного квантования и блок 211 обратного преобразования могут применять обратное квантование и обратное преобразование к видеоблоку коэффициентов преобразования, соответственно, для восстановления видеоблока остатка из видеоблока коэффициентов преобразования. Блок 212 восстановления может добавить восстановленный видеоблок остатка к соответствующим выборкам из одного или нескольких предсказанных видеоблоков, выработанных блоком 202 предсказания, чтобы получить восстановленный видеоблок, ассоциированный с текущим блоком, для хранения в буфере 213.
После того, как блок 212 восстановления восстановит видеоблок, может выполняться операция контурной фильтрации для уменьшения артефактов видеоблока в видеоблоке.
Блок 214 энтропийного кодирования может принимать данные из других функциональных компонентов видеокодера 200. Когда блок 214 энтропийного кодирования принимает данные, блок 214 энтропийного кодирования может выполнять одну или несколько операций энтропийного кодирования для выработки энтропийно-кодированных данных и вывода битового потока, который включает в себя энтропийно-кодированные данные.
На фиг.6 показана блок-схема, иллюстрирующая пример видеодекодера 300, который может быть видеодекодером 114 в системе 100, проиллюстрированной на фиг.4.
Видеодекодер 300 может быть выполнен с возможностью выполнения любого или всех способов настоящего раскрытия. В примере, показанном на фиг.5, видеодекодер 300 включает в себя множество функциональных компонентов. Способы, описанные в настоящем раскрытии, могут совместно использоваться различными компонентами видеодекодера 300. В некоторых примерах процессор может быть выполнен с возможностью выполнения любых или всех способов, описанных в настоящем раскрытии.
В примере, показанном на фиг.6, видеодекодер 300 включает в себя блок 301 энтропийного декодирования, блок 302 компенсации движения, блок 303 внутрикадрового предсказания, блок 304 обратного квантования, блок 305 обратного преобразования, блок 306 восстановления и буфер 307. В некоторых примерах видеодекодер 300 может выполнять этап декодирования, в целом обратный этапу кодирования, описанному в отношении видеокодера 200 (фиг.5 ).
Блок 301 энтропийного декодирования может извлекать закодированный битовый поток. Кодированный битовый поток может включать в себя энтропийно-кодированные видеоданные (например, кодированные блоки видеоданных). Блок 301 энтропийного декодирования может декодировать энтропийно-кодированные видеоданные, и из энтропийно-декодированных видеоданных блок 302 компенсации движения может определять информацию движения, включая векторы движения, точность вектора движения, индексы списка опорных изображений и другую информацию движения. Блок 302 компенсации движения может, например, определять такую информацию, выполняя AMVP и режим слияния.
Блок 302 компенсации движения может создавать блоки с компенсацией движения, возможно, выполняя интерполяцию на основе фильтров интерполяции. Идентификаторы для фильтров интерполяции, которые должны использоваться с точностью до подпикселя, могут быть включены в синтаксические элементы.
Блок 302 компенсации движения может использовать фильтры интерполяции, которые используются видеокодером 20 во время кодирования видеоблока, для вычисления интерполированных значений для субцелочисленных пикселей опорного блока. Блок 302 компенсации движения может определять фильтры интерполяции, используемые видеокодером 200, в соответствии с принятой синтаксической информацией и использовать фильтры интерполяции для создания блоков предсказания.
Блок 302 компенсации движения может использовать некоторую информацию синтаксиса для определения размеров блоков, используемых для кодирования кадра(ов) и/или слайса(ов) кодированной видеопоследовательности, информации о разделах, которая описывает то, как каждый макроблок изображения закодированной видеопоследовательности разбивается на разделы, режимов, указывающих то, как кодируется каждый раздел, одного или более опорных кадров (и списков опорных кадров) для каждого межкадрового кодированного блока и другой информации для декодирования кодированной видеопоследовательности.
Внутрикадровый блок 303 предсказания может использовать режимы внутрикадрового предсказания, например, принятые в битовом потоке, для формирования блока предсказания из пространственно смежных блоков. Блок 303 обратного квантования выполняет обратное квантование, то есть выполняет операцию, обратную квантованию, квантованных коэффициентов видеоблока, предоставленных в битовом потоке и декодированных блоком 301 энтропийного декодирования. Блок 303 обратного преобразования применяет обратное преобразование.
Блок 306 восстановления может суммировать блоки остатка с соответствующими блоками предсказания, выработанными блоком 202 компенсации движения или блоком 303 внутрикадрового предсказания, чтобы сформировать декодированные блоки. При необходимости фильтр удаления блочности также может применяться для фильтрации декодированных блоков с целью удаления артефактов блочности. Затем декодированные видеоблоки сохраняются в буфере 307, который предоставляет опорные блоки для последующей компенсации движения/внутрикадрового предсказания, а также создает декодированное видео для представления на экране устройства отображения.
Перечень решений описывает некоторые варианты осуществления раскрытой технологии.
Первый набор решений представлен ниже. В следующих решениях показаны примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункты 1-3).
1. Способ обработки видео (например, способ 600, показанный на фиг.3), содержащий: выполнение (602) преобразования между видео, содержащим один или более видеослоев, и кодированным представлением видео, содержащим один или более наборов слоев вывода, в которых кодированное представление соответствует правилу формата, которое связано с тем, относится ли и каким образом один или более синтаксических элементов к дополнительной информации расширения (SEI), связанной с немасштабируемым вложенным гипотетическим опорным декодером (HRD).
2. Способ согласно решению 1, в котором правило формата устанавливает то, что сообщение, относящееся к немасштабируемой вложенной SEI, связанной с HRD, применяется к наборам слоев вывода, которые включают в себя тот же набор слоев, что и полное кодированное представление.
3. Способ согласно любому из решений 1-2, в котором правило формата устанавливает то, что один или более синтаксических элементов должны быть исключены в случае, если отсутствует набор слоев вывода, который имеет тот же набор слоев, что и все кодированное представление.
4. Способ согласно решению 1, в котором правило формата устанавливает то, что один или более синтаксических элементов применимы ко всем слоям в кодированном представлении.
Следующие решения показывают примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункты 4-10).
5. Способ обработки видео, содержащий: выполнение преобразования между видео, содержащим один или более видеослоев, и кодированным представлением видео, содержащим один или более наборов слоев вывода, причем кодированное представление соответствует правилу формата, которое относится к тому, включены ли и каким образом один или более синтаксических элементов в единицу слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI).
6. Способ согласно решению 5, в котором правило формата устанавливает то, что в случае, когда единица NAL SEI включает в себя немасштабируемое вложенное сообщение SEI, значение идентификатора слоя не ограничено.
7. Способ согласно любому из решений 5-6, в котором правило формата запрещает включение единицы NAL SEI, которая включает в себя масштабируемое вложенное сообщение SEI определенного типа полезной нагрузки из-за сигнализации использовании одной и той же синхронизации изображения во всех наборах слоев вывода в кодированном представлении.
8. Способ согласно любому из решений 5-7, в котором правило формата устанавливает то, что единица NAL SEI, которая включает в себя немасштабируемое вложенное сообщение SEI первого конкретного типа полезной нагрузки, не может включать в себя другое сообщение SEI второго конкретного типа.
9. Способ согласно решению 8, в котором первый конкретный тип полезной нагрузки равен 0, 1, 130 или 203.
10. Способ согласной решениям 8 или 9, в котором второй конкретный тип полезной нагрузки равен 0, 1, 130, 203 или 133.
11. Способ согласной решениям 8-10, в котором первый конкретный тип полезной нагрузки и второй конкретный тип полезной нагрузки равны 3.
12. Способ согласно любому из решений 1-11, в котором выполнение преобразования содержит кодирование видео для выработки кодированного представления.
13. Способ согласно любому из решений 1-11, в котором выполнение преобразования содержит синтаксический анализ и декодирование кодированного представления для выработки видео.
14. Устройство декодирования видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в одном или более решений 1-13.
15. Устройство кодирования видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в одном или более решений 1-13.
16. Компьютерный программный продукт, имеющий хранящийся в нем компьютерный код, причем код при исполнении процессором предписывает процессору реализовать способ, указанный в любом из решений 1-13.
17. Способ, устройство или система, описанные в данном документе.
Второй набор решений показывает примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункты 1-5).
1. Способ обработки видеоданных (например, способ 700, показанный на фиг.7A), содержащий: выполнение 702 преобразования между видео и битовым потоком видео, причем битовый поток включает в себя один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает то, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), которое включает в себя информацию, касающуюся гипотетического опорного декодера (HRD), применимо ко всем наборам слоев вывода, которые включают в себя те же видеослои, что и битовый поток.
2. Способ согласно решению 1, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
3. Способ согласно решению 1 или 2, в котором немасштабируемое вложенное сообщение SEI, которое включает в себя информацию, касающуюся HRD, представляет собой сообщение SEI периода буферизации (BP), сообщение SEI синхронизации изображения (PT), сообщение SEI информации единицы декодирования (DUI) или сообщение SEI информации уровня подизображения (SLI).
4. Способ согласно решению 1 или 2, в котором немасштабируемое вложенное сообщение SEI, которое включает в себя информацию HRD, имеет тип полезной нагрузки, равный 0, 1, 130 или 203.
5. Способ обработки видеоданных (например, способ 710, показанный на фиг.7B), содержащий: выполнение 712 преобразования между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает то, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), связанной с гипотетическим опорным декодером (HRD) исключается в ответ на условие, что не существует набор слоев вывода, который включает в себя тот же набор слоев, что и битовый поток.
6. Способ согласно решению 5, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
7. Способ согласно решению 5 или 6, в котором немасштабируемое вложенное сообщение SEI, относящееся к HRD, представляет собой сообщение SEI периода буферизации (BP), сообщение SEI синхронизации изображения (PT), сообщение SEI информации единицы декодирования (DUI) или сообщение SEI информации уровня подизображения (SLI).
8. Способ согласно решению 5 или 6, в котором немасштабируемое вложенное сообщение SEI, связанное с HRD, имеет тип полезной нагрузки, равный 0, 1, 130 или 203.
9. Способ обработки видеоданных (например, способ 720, показанный на фиг.7C), содержащий: выполнение 722 преобразования между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает то, что значение идентификатора слоя для единицы слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI), которая включает в себя немасштабируемое вложенное сообщение SEI, не ограничено.
10. Способ согласно решению 9, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
11. Способ согласно решению 9, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI периода буферизации (BP), сообщением SEI синхронизации изображения (PT), сообщением SEI информации единицы декодирования (DUI) или сообщением SEI информации уровня подизображения (SLI).
12. Способ согласно решению 9, в котором немасштабируемое вложенное сообщение SEI имеет тип полезной нагрузки, равный 0, 1, 130 или 203.
13. Способ обработки видеоданных (например, способ 730, показанный на фиг.7D), содержащий: выполнение 732 преобразования между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает то, что конкретное значение типа полезной нагрузки, соответствующее информации уровня подизображения, запрещено из списка, который включает в себя допустимые значения типа полезной нагрузки с дополнительной информацией улучшения (SEI) для сообщений с дополнительной информацией улучшения (SEI), связанной с негипотетическим опорным декодером (HRD).
14. Способ согласно решению 13, в котором конкретное значение типа полезной нагрузки равно 203.
15. Способ согласно решению 13, в котором допустимые значения типа полезной нагрузки SEI включают в себя полезную нагрузку заполнителя, характеристики зернистости пленки, компоновку упаковки кадров, указатель включения наборов параметров, цветовой объем мастерингового дисплея, информацию об уровне освещенности содержания, указатель зависимой точки произвольного доступа, альтернативные характеристики передачи, окружающую среду просмотра, цветовой объем содержания, равнопромежуточную проекцию, обобщенную кубическую проекционную карту, вращение сферы, упаковку областей, всенаправленное окно просмотра, информацию о поле кадра и информацию о коэффициенте пропорциональности выборки.
16. Способ согласно решению 13, в котором допустимые значения типа полезной нагрузки SEI включают в себя 3, 19, 45, 129, 137, 144, 145, 147-150, 153-156, 168 и 204.
17. Способ обработки видеоданных, содержащий: выполнение преобразования между видео и битовым потоком видео, причем битовый поток включает в себя один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом формата, при этом правило формата устанавливает то, что немасштабируемое вложенное сообщение с дополнительной информацией улучшения (SEI), которое включает в себя информацию, не относящуюся к гипотетическому опорному декодеру (HRD), применимо ко всем слоям в битовом потоке.
18. Способ согласно решению 17, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
19. Способ согласно решению 17 или 18, в котором немасштабируемое вложенное сообщение SEI, которое включает в себя информацию, не относящуюся к HRD, имеет тип полезной нагрузки, который не равен 0, 1, 130 или 203.
20. Способ согласно решению 17 или 18, в котором немасштабируемое вложенное сообщение SEI, которое включает в себя информацию, не относящуюся к HRD, не соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
21. Способ согласно любому из решений 1-20, в котором преобразование включает в себя кодирование видео в битовый поток.
22. Способ согласно любому из решений 1-20, в котором преобразование включает в себя декодирование видео из битового потока.
23. Способ согласно любому из решений 1-20, в котором преобразование включает в себя выработку битового потока из видео, и способ дополнительно содержит: хранение битового потока на энергонезависимом машиночитаемом носителе информации.
24. Устройство для обработки видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в любом одном или более решений 1-23.
25. Способ хранения битового потока видео, содержащий способ, указанный в любом из решений 1-23, и дополнительно включающий в себя хранение битового потока на энергонезависимом машиночитаемом носителе информации.
26. Машиночитаемый носитель информации, на котором хранится программный код, который при исполнении предписывает процессору реализовывать способ, указанный в любом одном или более решениях 1-23.
27. Машиночитаемый носитель информации, на котором хранится битовый поток, выработанный в соответствии с любым из вышеописанных способов.
28. Устройство для обработки видео, предназначенное для хранения битового потока, причем устройство для обработки видео выполнено с возможностью реализации способа, указанного в любом одном или более решений 1-23.
Третий набор решений показывает примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункт 6).
1. Способ обработки видеоданных (например, способ 800, показанный на фиг.8), содержащий: выполнение 802 преобразования между видео и битовым потоком видео, содержащим один или более наборов слоев вывода в соответствии с правилом, в котором правило устанавливает то, что единица слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI), которая включает в себя немасштабируемое вложенное сообщение SEI, переносящее информацию синхронизации изображения, не включена из-за использования одной и той же синхронизации изображения во всех наборах слоев вывода в битовом потоке.
2. Способ согласно решению 1, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое содержится в масштабируемом вложенном сообщении SEI.
3. Способ согласно решению 1 или 2, в котором немасштабируемое вложенное сообщение SEI, переносящее информацию синхронизации изображения, соответствует сообщению SEI синхронизации изображения (PT).
4. Способ согласно решению 1, в котором немасштабируемое вложенное сообщение SEI, переносящее информацию синхронизации изображения, имеет тип полезной нагрузки, равный 1.
5. Способ согласно любому из решений 1-4, в котором правило дополнительно указывает то, что немасштабируемые вложенные сообщения SEI, переносящие информацию синхронизации изображения, применяются ко всем наборам слоев вывода и последовательностям подизображений, которые разрешено извлекать из битового потока.
6. Способ согласно решению 5, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
7. Способ согласно любому из решений 1-4, в котором правило дополнительно указывает то, что единица NAL SEI, которая включает в себя немасштабируемое вложенное сообщение SEI, переносящее информацию синхронизации изображения, не включается в случае, если синтаксическое поле имеет значение, указывающее то, что немасштабируемое вложенное сообщение SEI, которое применяется к конкретным наборам слоев вывода или слоям, применяется ко всем подизображениям указанных наборов слоев вывода или слоев.
8. Способ согласно любому из решений 1-7, в котором преобразование включает в себя кодирование видео в битовый поток.
9. Способ согласно любому из решений 1-7, в котором преобразование включает в себя декодирование видео из битового потока.
10. Способ согласно любому из решений 1-7, в котором преобразование включает в себя выработку битового потока из видео, и способ дополнительно содержит: хранение битового потока на энергонезависимом машиночитаемом носителе информации.
11. Устройство для обработки видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в любом одном или более решений 1-10.
12. Способ хранения битового потока видео, содержащий способ, описанный в любом из решений 1-10, и дополнительно включающий в себя хранение битового потока на энергонезависимом машиночитаемом носителе информации.
13. Машиночитаемый носитель информации, на котором хранится программный код, который при исполнении предписывает процессору реализовать способ, указанный в любом одном или более решениях 1-10.
14. Машиночитаемый носитель информации, на котором хранится битовый поток, выработанный в соответствии с любым из вышеописанных способов.
15. Устройство для обработки видео, предназначенное для хранения битового потока, причем устройство для обработки видео выполнено с возможностью реализации способа, указанного в любом одном или более решений 1-10.
Четвертый набор решений показывает примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункты 7-9).
1. Способ обработки видеоданных (например, способ 900, показанный на фиг.9A), содержащий: выполнение 902 преобразования между видео и битовым потоком видео, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает то, что в ответ на единицу NAL SEI, включающую в себя немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единица NAL SEI не может включать в себя другое сообщение SEI второго типа полезной нагрузки.
2. Способ согласно решению 1, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое не содержится в масштабируемом вложенном сообщении SEI.
3. Способ согласно решению 1 или 2, в котором немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
4. Способ согласно решению 1 или 2, в котором первый тип полезной нагрузки равен 0, 1, 130 или 203.
5. Способ согласно любому из решений 1-4, в котором немасштабируемое вложенное сообщение SEI второго типа полезной нагрузки не соответствует ни одному из: сообщения SEI периода буферизации (BP), сообщения SEI синхронизации изображения (PT), сообщения SEI информации единицы декодирования (DUI) и сообщения SEI информации уровня подизображения (SLI).
6. Способ согласно любому из решений 1-4, в котором второй тип полезной нагрузки не равен ни одному из 0, 1, 130 и 203.
7. Способ обработки видеоданных (например, способ 910, показанный на фиг.9B), содержащий: выполнение 912 преобразования между видео и битовым потоком видео в соответствии с правилом, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает то, что в ответ на единицу NAL SEI, включающую масштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещается включать в себя другое сообщение SEI второго типа полезной нагрузки.
8. Способ согласно решению 7, в котором немасштабируемое вложенное сообщение SEI является сообщением SEI, которое содержится в масштабируемом вложенном сообщении SEI.
9. Способ согласно решению 7 или 8, в котором немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
10. Способ согласно решению 7 или 8, в котором первый тип полезной нагрузки равен 0, 1, 130 или 203.
11. Способ согласно любому из решений 7-10, в котором немасштабируемое вложенное сообщение SEI второго типа полезной нагрузки не соответствует ни одному из: сообщения SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщения SEI информации единицы декодирования (DUI), сообщения SEI информации уровня подизображения (SLI) и сообщения SEI информации масштабируемого вложения.
12. Способ согласно любому из решений 7-10, в котором второй тип полезной нагрузки не равен ни одному из 0, 1, 130, 203 и 133.
13. Способ обработки видеоданных (например, способ 920, показанный на фиг.9C), содержащий: выполнение 922 преобразования между видео и битовым потоком видео, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает то, что в ответ на единицу NAL SEI, включающую в себя сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещается включать в себя другое сообщение SEI, чей тип не равен первому типу полезной нагрузки или второму типу полезной нагрузки.
14. Способ согласно решению 13, в котором сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI полезной нагрузки заполнителя.
15. Способ согласно решению 13 или 14, в котором первый тип полезной нагрузки равен 3.
16. Способ согласно любому из решений 13-15, в котором правило дополнительно указывает то, что сообщение SEI первого типа полезной нагрузки не может содержаться в масштабируемом вложенном сообщении SEI.
17. Способ согласно любому из решений 13-16, в котором правило дополнительно указывает то, что сообщение SEI второго типа полезной нагрузки является немасштабируемым вложенным сообщением SEI.
18. Способ согласно любому из решений 13-16, в котором второй тип полезной нагрузки равен 133.
19. Способ согласно любому из решений 1-18, в котором преобразование включает в себя кодирование видео в битовый поток.
20. Способ согласно любому из решений 1-18, в котором преобразование включает в себя декодирование видео из битового потока.
21. Способ согласно любому из решений 1-18, в котором преобразование включает в себя выработку битового потока из видео, и способ дополнительно содержит: хранение битового потока на энергонезависимом машиночитаемом носителе информации.
22. Устройство для обработки видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в любом одном или более решений 1-21.
23. Способ хранения битового потока видео, содержащий способ, описанный в любом из решений 1-21, и дополнительно включающий в себя хранение битового потока на энергонезависимом машиночитаемом носителе информации.
24. Машиночитаемый носитель информации, на котором хранится программный код, который при исполнении предписывает процессору реализовывать способ, указанный в любом одном или более решениях 1-21.
25. Машиночитаемый носитель информации, на котором хранится битовый поток, выработанный в соответствии с любым из вышеописанных способов.
26. Устройство для обработки видео, предназначенное для хранения битового потока, причем устройство для обработки видео выполнено с возможностью реализации способа, указанного в любом одном или более решений 1-21.
Пятый набор решений показывает примерные варианты осуществления технологий, рассмотренных в предыдущем разделе (например, пункты 10 и 11).
1. Способ обработки видеоданных (например, способ 1000, показанный на фиг.10A), содержащий: выполнение 1002 преобразования между видео и битовым потоком видео, причем битовый поток содержит один или более наборов слоев вывода, содержащих один или более видеослоев в соответствии с правилом, при этом правило устанавливает конкретный порядок декодирования между сообщением информации уровня подизображения (SLI) с дополнительной информацией улучшения (SEI) и сообщением SEI периода буферизации (BP), которые применяются к конкретному набору слоев вывода в ответ на условие, что сообщение SEI SLI и сообщение SEI BP включены в единицу доступа.
2. Способ согласно решению 1, в котором конкретный порядок декодирования состоит в том, что сообщение SEI SLI предшествует сообщению SEI BP.
3. Способ обработки видеоданных (например, способ 1010, показанный на фиг.10B), содержащий: выполнение 1012 преобразования между видео и битовым потоком видео в соответствии с правилом, причем правило устанавливает то, что первое синтаксическое поле, указывающее информацию представления подслоя, для которой присутствуют синтаксические элементы, связанные с начальной задержкой удаления буфера кодированного изображения (CPB), исключается в зависимости от конкретного значения второго синтаксического поля, указывающего максимальное количество временных подслоев, для которых начальная задержка удаления CPB указывается в сообщении с дополнительной информацией улучшения (SEI) периода буферизации.
4. Способ согласно решению 3, в котором конкретное значение равно 0.
5. Способ согласно решению 3 или 4, в котором второй синтаксис с конкретным значением указывает то, что максимальное количество временных подслоев равно 1.
6. Способ согласно любому из решений 3-5, в котором первое синтаксическое поле, равное другому конкретному значению, указывает то, что синтаксические элементы, связанные с начальной задержкой удаления CPB, присутствуют для представления подслоя в диапазоне от 0 до второго синтаксического поля включительно.
7. Способ согласно решению 6, в котором другое конкретное значение равно 1.
8. Способ согласно любому из решений 3-7, в котором синтаксическое поле, равное другому конкретному значению, указывает то, что синтаксические элементы, связанные с начальной задержкой удаления CPB, присутствуют для представления подслоя, соответствующего конкретному значению второго синтаксического поля.
9. Способ согласно решению 8, в котором другое конкретное значение равно 0.
10. Способ согласно любому из решений 3-9, в котором правило дополнительно указывает то, что значение первого синтаксического поля должно быть равно 0, в зависимости от конкретного значения второго синтаксического поля.
11. Способ согласно любому из решений 1-10, в котором преобразование включает в себя кодирование видео в битовый поток.
12. Способ согласно любому из решений 1-10, в котором преобразование включает в себя декодирование видео из битового потока.
13. Способ согласно любому из решений 1-10, в котором преобразование включает в себя выработку битового потока из видео, и способ дополнительно содержит: хранение битового потока на энергонезависимом машиночитаемом носителе информации.
14. Устройство для обработки видео, содержащее процессор, выполненный с возможностью реализации способа, указанного в любом одном или более решений 1-13.
15. Способ хранения битового потока видео, содержащий способ, описанный в любом из решений 1-13, и дополнительно включающий в себя хранение битового потока на энергонезависимом машиночитаемом носителе информации.
16. Машиночитаемый носитель информации, на котором хранится программный код, который при исполнении предписывает процессору реализовывать способ, указанный в любом одном или более решениях 1-13.
17. Машиночитаемый носитель информации, на котором хранится битовый поток, выработанный в соответствии с любым из вышеописанных способов.
18. Устройство для обработки видео, предназначенное для хранения битового потока, причем устройство для обработки видео выполнено с возможностью реализации способа, указанного в любом одном или более решений 1-13.
Раскрытые и другие решения, примеры, варианты осуществления, модули и функциональные операции, описанные в данном документе, могут быть реализованы в виде цифровой электронной схемы или в виде компьютерного программного обеспечения, программно-аппаратных средств или аппаратных средств, включая структуры, раскрытые в данном документе, и их структурные эквиваленты, или в виде комбинаций одного или нескольких из них. Раскрытые и другие варианты осуществления могут быть реализованы в виде одного или нескольких программных продуктов, компьютерных, то есть одного или нескольких модулей инструкций компьютерной программы, закодированных на машиночитаемом носителе информации, для исполнения или для управления работой из устройства обработки данных. Машиночитаемый носитель информации может представлять собой машиночитаемое запоминающее устройство, машиночитаемый носитель информации, устройство памяти, состав вещества, обеспечивающий распространяемый сигнал, считываемый машиной, или комбинацию из одного или нескольких их. Термин "устройство обработки данных" включает в себя все аппаратные устройства, устройства и машины для обработки данных, включая в качестве примера программируемый процессор, компьютер, или несколько процессоров или компьютеров. Устройство может включать в себя, в дополнение к аппаратным средствам, код, который создает среду исполнения для рассматриваемой компьютерной программы, например, код, который составляет микропрограмму процессора, стек протоколов, систему управления базами данных, операционную систему или комбинацию одного или нескольких из них. Распространяющийся сигнал является искусственно вырабатываемым сигналом, например, вырабатываемым машиной электрическим, оптическим или электромагнитным сигналом, который вырабатывается для того, чтобы кодировать информацию для передачи на подходящее приемное устройство.
Компьютерная программа (также известная как программа, программное обеспечение, приложение, программа-скрипт или код) можно записать в любой форме языка программирования, включая скомпилированные или интерпретируемые языки, и она может быть развернута в любой форме, в том числе в виде автономной программы или модуля, компонента, подпрограммы или другого блока, пригодного для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу в файловой системе. Программа может храниться в части файла, который содержит другие программы или данные (например, один или несколько сценариев, хранящихся на языке разметки документов), в одном файле, выделенном рассматриваемой программе, или в нескольких согласованных файлах (например, в файлах, которые хранят один или несколько модулей, вложенных программ или части кода). Компьютерная программа может быть развернута для исполнения на одном компьютере или на нескольких компьютерах, которые расположены в одном месте или распределены по нескольким сайтам и соединены между собой сетью связи.
Процессы и логические потоки, описанные в настоящем документе, могут выполняться одним или несколькими программируемыми процессорами, выполняющими одну или несколько компьютерных программ для выполнения функций, оперируя входными данными и вырабатывая выходные данные. Кроме того, могут также выполняться процессы и логические потоки, и устройство может быть также реализовано в виде логической схемы специального назначения, например, FPGA (программируемая пользователем вентильная матрица) или ASIC (специализированная интегральная схема).
Процессоры, подходящие для исполнения компьютерной программы включают в себя, в качестве примера, микропроцессоры как общего, так и специального назначения, и любой один или более процессоров любого типа цифрового компьютера. Как правило, процессор принимает инструкции и данные только для считывания памяти или оперативной памяти или обоих. Основными элементами компьютера являются процессор для исполнения инструкций и одного или более устройств памяти для хранения инструкций и данных. В общем, компьютер будет также включать в себя или функционально соединен с возможностью приема данных из или передачи данных в или и то, и другое, одно или более запоминающих устройства большой емкости для хранения данных, например, магнитных дисков, магнитооптических или оптических дисков. Однако компьютер необязательно должен иметь такие устройства. Машиночитаемые носители информации, подходящие для хранения инструкций и данных компьютерных программ, включают в себя все виды энергонезависимой памяти, носителей информации и запоминающих устройств, включая, например, полупроводниковые запоминающие устройства, например, EPROM, EEPROM и устройства флэш-памяти; магнитные диски, например, внутренние жесткие диски или съемные диски; магнитооптические диски; и диски CD-ROM и DVD-ROM. Процессор и память могут быть дополнены специализированной логической схемой или включены в нее.
Хотя данный патентный документ содержит много специфичных подробностей, их не следует рассматривать как ограничение объема изобретения или любого из того, что может быть заявлено, а скорее их следует рассматривать как описание функций, которые могут быть специфичными для конкретных вариантов осуществления конкретных технологий. Некоторые признаки, описанные в настоящем патентном документе в контексте отдельных вариантов осуществления также могут быть реализованы в комбинации в одном варианте осуществления. И наоборот, различные признаки, которые описаны в контексте одного варианта осуществления также могут быть реализованы в нескольких вариантах по отдельности или в любой подходящей подкомбинации. Более того, хотя признаки были описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, один или несколько признаков из заявленной комбинации в некоторых случаях может быть исключен из комбинации, и заявленная комбинация может быть направлена на подкомбинацию или вариацию из подкомбинации.
Аналогичным образом, хотя операции изображены на чертежах в определенном порядке, это не следует понимать как требование того, чтобы такие операции выполнялись в конкретном указанном порядке или в последовательном порядке, или чтобы все проиллюстрированные операции выполнялись для достижения желаемых результатов. Более того, разделение различных компонентов системы в вариантах осуществления, описанных в данном патентном документе, не следует понимать как требующее такого разделения во всех вариантах осуществления.
Выше было описано только несколько реализаций и примеров, и другие реализации, улучшения и изменения могут быть сделаны на основе того, что описано и проиллюстрировано в данном патентном документе.
| название | год | авторы | номер документа |
|---|---|---|---|
| ОГРАНИЧЕНИЯ ВРЕМЕННОГО ИДЕНТИФИКАТОРА ДЛЯ СООБЩЕНИЙ SEI | 2020 |
|
RU2823614C1 |
| УПРАВЛЕНИЕ МАСШТАБИРУЕМЫМ ВКЛАДЫВАЕМЫМ SEI-СООБЩЕНИЕМ | 2020 |
|
RU2824781C1 |
| ПАРАМЕТРЫ HRD ДЛЯ СЛОЕВ | 2020 |
|
RU2827823C1 |
| ОГРАНИЧЕНИЯ НАБОРА ПАРАМЕТРОВ ЕДИНИЦ NAL НА ОСНОВЕ УРОВНЯ | 2020 |
|
RU2822533C1 |
| ПАРАМЕТРЫ HRD НА УРОВНЕ ПОСЛЕДОВАТЕЛЬНОСТИ | 2020 |
|
RU2825440C1 |
| ТЕСТЫ НА СООТВЕТСТВИЕ HRD ДЛЯ OLS | 2020 |
|
RU2820076C1 |
| ПАРАМЕТРЫ HRD ДЛЯ ТЕСТИРОВАНИЯ НА СООТВЕТСТВИЕ НА ОСНОВЕ СЛОЯ | 2020 |
|
RU2821048C1 |
| Предотвращение избыточной сигнализации в многослойных битовых видеопотоках | 2020 |
|
RU2829492C1 |
| ПРЕДОТВРАЩЕНИЕ ИЗБЫТОЧНОЙ СИГНАЛИЗАЦИИ В МНОГОСЛОЙНЫХ БИТОВЫХ ВИДЕОПОТОКАХ | 2020 |
|
RU2827899C1 |
| ПРЕДОТВРАЩЕНИЕ ИЗБЫТОЧНОЙ СИГНАЛИЗАЦИИ В МНОГОСЛОЙНЫХ БИТОВЫХ ВИДЕОПОТОКАХ | 2020 |
|
RU2821429C1 |
Изобретение относится к области кодирования и декодирования изображений и видео. Техническим результатом является повышение эффективности кодирования и декодирования изображения и видео. Предложен способ обработки видео, который включает в себя этап, на котором выполняют преобразование между видео и битовым потоком видео, причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом, при этом правило устанавливает, что в ответ на единицу NAL SEI, включающую в себя немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено включать в себя другое сообщение SEI второго типа полезной нагрузки. 4 н. и 12 з.п. ф-лы, 10 ил.
1. Способ обработки видеоданных, содержащий этап, на котором:
выполняют преобразование между видео и битовым потоком видео,
причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом,
при этом правило устанавливает, что, когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI второго типа полезной нагрузки,
правило дополнительно устанавливает, что, когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI третьего типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI четвертого типа полезной нагрузки, и
немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
2. Способ по п.1, в котором первый тип полезной нагрузки равен 0, 1, 130 или 203.
3. Способ по п.1 или 2, в котором сообщение SEI второго типа полезной нагрузки соответствует любому из: сообщения SEI периода буферизации (BP), сообщения SEI синхронизации изображения (PT), сообщения SEI информации единицы декодирования (DUI) и сообщения SEI информации уровня подизображения (SLI).
4. Способ по п.3, в котором второй тип полезной нагрузки не равен ни одному из 0, 1, 130 и 203.
5. Способ по любому из пп.1-4, в котором масштабируемое вложенное сообщение SEI третьего типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
6. Способ по п.5, в котором третий тип полезной нагрузки равен 0, 1, 130 или 203.
7. Способ по п.5 или 6, в котором масштабируемое вложенное сообщение SEI четвертого типа полезной нагрузки соответствует любому из: сообщения SEI периода буферизации (BP), сообщения SEI синхронизации изображения (PT), сообщения SEI информации единицы декодирования (DUI), сообщения SEI информации уровня подизображения (SLI) и масштабируемого вмещающего сообщения SEI.
8. Способ по п.7, в котором четвертый тип полезной нагрузки не равен ни одному из 0, 1, 130, 203 и 133.
9. Способ по любому из пп.1-8, в котором третий тип полезной нагрузки не совпадает с четвертым типом полезной нагрузки.
10. Способ по любому из пп.1-9, в котором правило дополнительно устанавливает, что, когда единица NAL SEI содержит сообщение SEI с типом полезной нагрузки, являющимся полезной нагрузкой заполнителя, единице NAL SEI запрещено содержать любое другое сообщение SEI с типом полезной нагрузки, не равным полезной нагрузке заполнителя.
11. Способ по п.10, в котором правило дополнительно устанавливает, что сообщению SEI, которое имеет тип полезной нагрузки, являющийся полезной нагрузкой заполнителя, запрещено содержаться в масштабируемом вмещающем сообщении SEI.
12. Способ по любому из пп.1-11, в котором на этапе преобразования кодируют видео в битовый поток.
13. Способ по любому из пп.1-11, в котором на этапе преобразования декодируют видео из битового потока.
14. Устройство обработки видеоданных, содержащее процессор и энергонезависимую память с инструкциями, причем инструкции, при их исполнении процессором, вызывают выполнение процессором:
преобразования между видео и битовым потоком видео,
причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом,
при этом правило устанавливает, что, когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI второго типа полезной нагрузки,
правило дополнительно устанавливает, что, когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI третьего типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI четвертого типа полезной нагрузки,
немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
15. Энергонезависимый машиночитаемый носитель данных, хранящий инструкции, которые вызывают выполнение процессором:
преобразования между видео и битовым потоком видео,
причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом,
при этом правило устанавливает, что, когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI второго типа полезной нагрузки,
правило дополнительно устанавливает, что, когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI третьего типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI четвертого типа полезной нагрузки,
немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
16. Способ сохранения битового потока видео, содержащий этапы, на которых:
вырабатывают битовый поток видео,
сохраняют битовый потом на энергонезависимом машиночитаемом носителе записи данных,
причем битовый поток содержит одну или более единиц слоя сетевой абстракции (NAL) с дополнительной информацией улучшения (SEI) в соответствии с правилом,
при этом правило устанавливает, что, когда единица NAL SEI содержит немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI второго типа полезной нагрузки,
правило дополнительно устанавливает, что, когда единица NAL SEI содержит масштабируемое вложенное сообщение SEI третьего типа полезной нагрузки, единице NAL SEI запрещено содержать другое сообщение SEI четвертого типа полезной нагрузки,
немасштабируемое вложенное сообщение SEI первого типа полезной нагрузки соответствует сообщению SEI периода буферизации (BP), сообщению SEI синхронизации изображения (PT), сообщению SEI информации единицы декодирования (DUI) или сообщению SEI информации уровня подизображения (SLI).
| WAN W | |||
| et al | |||
| Разборный с внутренней печью кипятильник | 1922 |
|
SU9A1 |
| BENJAMIN BROSS et al, | |||
