ПЕРЕДАЧА В СЛУЖЕБНЫХ СИГНАЛАХ ПОРЯДКА ПРИОРИТЕТНОЙ ОБРАБОТКИ ДЛЯ ОБМЕНА СООБЩЕНИЯМИ С МЕТАДАННЫМИ В КОДИРОВАНИИ ВИДЕО Российский патент 2024 года по МПК H04N19/70 H04N19/46 H04N19/117 

Перекрестные ссылки на родственные заявки

[0001] Данная заявка испрашивает приоритет предварительной заявки на патент США номер 63/216318, поданной 29 июня 2021 года, которая содержится по ссылке.

Область техники, к которой относится изобретение

[0002] Настоящий документ, в общем, относится к изображениям и видео. Более конкретно, вариант осуществления настоящего изобретения относится к передаче в служебных сигналах порядка приоритетной обработки для обмена сообщениями с метаданными (например, обмена сообщениями с дополнительной улучшающей информацией (SEI)) в изображениях и видеопоследовательностях.

Уровень техники

[0003] Как описано в приложении D AVC- и HEVC-стандартов либо в H.274 (также называемом "VSEI") (ссылочные документы [1-4]), сообщения с дополнительной улучшающей информацией (SEI) в кодированном битовом потоке видео помогают в процессах, связанных с декодированием, отображением или другими целями в конвейере видеообработки. Несмотря на их широкое использование по меньшей мере к настоящему моменту, декодеры с соответствием (например, AVC-, HEVC- или VVC-декодер) не требуются для того, чтобы обрабатывать любой обмен SEI-сообщениями, чтобы соответствовать любому из стандартов кодирования MPEG-видео (таких как AVC, HEVC и VVC).

[0004] В типичном битовом потоке видео, могут сосуществовать несколько SEI-сообщений; тем не менее, ни один из существующих стандартов кодирования видео не задает порядок обработки такого обмена сообщениями. Для некоторых SEI-сообщений, за рамками информации, встраиваемой в синтаксические элементы, нет конкретной обработки, заданной в стандартах. Примеры таких сообщений включают в себя обмен SEI-сообщениями, задающий цветовой объем выверочного эталонного дисплея или информацию светового уровня контента. Для некоторых других SEI-сообщений, таких как SEI-сообщения, которые описывают характеристики зерна пленки (FGC) или информацию повторного преобразования цветов, в дополнение к синтаксическим элементам, также может задаваться дополнительная постобработка. В последнем случае, конечный видеовывод может варьироваться в зависимости от порядка обработки этих SEI-сообщений. Авторы изобретения должны принимать во внимание, что улучшенные технологии для передачи в служебных сигналах приоритета обмена SEI-сообщениями описываются в данном документе.

[0005] Термин "метаданные" в данном документе относится к любой вспомогательной информации, передаваемой в качестве части кодированного потока битов, и помогает декодеру подготавливать посредством рендеринга декодированное изображение. Такие метаданные могут включать в себя, но не только, информацию цветового пространства или гаммы, параметры опорного дисплея и параметры моделирования зерна пленки, в качестве элементов, описанных в данном документе. Хотя примеры, представленные в данном документе, могут ссылаться на обмен SEI-сообщениями, поскольку он связан со стандартами кодирования MPEG-видео, специалисты в данной области техники должны принимать во внимание, что технологии, поясненные в данном документе, являются применимыми к любому такому обмену сообщениями с метаданными и к любому формату кодирования аудио или видео (например, AV1 и т.п.).

[0006] Подходы, описанные в этом разделе, представляют собой подходы, которые могут рассматриваться, но не обязательно представляют собой подходы, которые заранее задуманы или рассмотрены. Следовательно, если не указано иное, не следует предполагать, что какой-либо из описанных в этом разделе подходов относится к предшествующему уровню техники просто в силу своего включения в этот раздел. Аналогично, проблемы, идентифицированные относительно одного или более подходов, не должны предполагаться как выявленные в предшествующем уровне техники на основе этого раздела, если не указано иное.

Краткое описание чертежей

[0007] Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на прилагаемых чертежах, на которых аналогичные позиционные обозначения упоминаются как аналогичные элементы, и на которых:

[0008] Фиг. 1A и фиг. 1B иллюстрируют примеры конвейеров видеообработки, когда метаданные включают в себя несколько SEI-сообщений, и их порядок постобработки может затрагивать видеовывод; и

[0009] Фиг. 2 иллюстрирует примерный конвейер обработки в декодере, когда SEI-сообщение в рамках обмена сообщениями с порядком приоритетов (POM) доступно согласно варианту осуществления этого изобретения.

Подробное описание примерных вариантов осуществления

[00010] В данном документе описываются примерные варианты осуществления, которые относятся к приоритетной обработке метаданных. В нижеприведенном описании, для целей пояснения, многие конкретные подробности излагаются для того, чтобы обеспечивать полное понимание различных вариантов осуществления настоящего изобретения. Тем не менее, должно быть очевидным то, что различные варианты осуществления настоящего изобретения могут осуществляться на практике без этих конкретных подробностей. В других случаях, известные структуры и устройства не описываются исчерпывающе подробно, чтобы не допускать излишней неопределенности, затруднения понимания или усложнения вариантов осуществления настоящего изобретения.

Сущность изобретения

[00011] Примерные варианты осуществления, описанные в данном документе, относятся к передаче в служебных сигналах обработки метаданных в порядке приоритетов (к примеру, обмена SEI-сообщениями) при кодировании видео. В варианте осуществления, процессор принимает входной битовый поток видео и соответствующие входные сообщения с метаданными, задающие дополнительную обработку, которая должна применяться к декодированным видеокадрам входного битового потока видео;

- синтаксически анализирует входные сообщения с метаданными для того, чтобы идентифицировать сообщение в рамках обмена сообщениями с порядком обработки метаданных (POM), задающее предпочтительный порядок обработки выбранных входных сообщений с метаданными; и после обнаружения POM-сообщения:

- извлекает информацию определяющую общее число выбранных входных сообщений с метаданными с порядком приоритетной обработки;

- извлекает идентификационную информацию и информацию приоритета выбранных входных сообщений с метаданными с порядком приоритетной обработки; и

- для декодированного видеокадра входного битового потока видео, применяет два или более из выбранных входных сообщений с метаданными с их определенным порядком приоритетной обработки.

[00012] В другом варианте осуществления, процессор:

- формирует битовый поток видео и соответствующие сообщения с метаданными, задающие дополнительную обработку, которая должна применяться к декодированным видеокадрам битового потока видео;

- формирует сообщение с порядком обработки метаданных (POM), задающее предпочтительный порядок обработки выбранных сообщений с метаданными, при этом POM-сообщение содержит:

- информацию, определяющую общее число выбранных входных сообщений с метаданными с порядком приоритетной обработки;

- идентификационную информацию и информацию приоритета выбранных входных сообщений с метаданными с порядком приоритетной обработки; и

- формирует выходной поток, который включает в себя битовый поток видео, сообщения с метаданными и сообщение с порядком обработки метаданных.

[00013] В другом варианте осуществления, материальные компьютерные носители включают в себя поток битов, содержащий:

- кодированные видеокадры;

- входные сообщения с метаданными, задающие дополнительную обработку, которая должна применяться к декодированным видеокадрам входного потока битов; и

- сообщение в рамках обмена сообщениями с порядком обработки метаданных (POM), задающее предпочтительный порядок обработки выбранных входных сообщений с метаданными, при этом POM-сообщение содержит:

- информацию, определяющую общее число выбранных входных сообщений с метаданными с порядком приоритетной обработки;

- идентификационную информацию и информацию приоритета выбранных входных сообщений с метаданными с порядком приоритетной обработки.

Примеры обработки последовательности SEI-сообщений

[00014] В отношении существующих стандартов кодирования видео, как указано в AVC, HEVC и VVC (ссылочные документы [1-4]) (совместно называются "MPEG-стандартами" или "MPEG-видеостандартами"), фиг. 1A и фиг. 1B иллюстрируют примерные конвейеры обработки, когда обмен SEI-сообщениями включает в себя обмен сообщениями, связанный как с характеристиками зерна пленки (FGC), так и с информацией повторного преобразования цветов (CRI) или с информацией преобразования цветов (CTI).

[00015] Как проиллюстрировано на фиг. 1A и фиг. 1B, с учетом входного видео 102, кодер может формировать два набора SEI-сообщений: a) CTI/CRI SEI-метаданные (112), связанные с предпочтительными параметрами отображения (например, сформированными посредством блока 110), и b) характеристики (117) зерна пленки, которые должны добавляться в декодер, с тем чтобы эмулировать зерно пленки, которое удалено посредством кодера (например, посредством блока 105), чтобы повышать эффективность кодирования, и моделироваться посредством блока (115) моделирования зерна пленки. Таким образом, видеокодер (120) сжимает вывод модуля (107) удаления зерна пленки для того, чтобы формировать сжатый поток 122 битов. Сжатый поток 122 битов и метаданные (112 и 117) передаются в декодер.

[00016] Как проиллюстрировано на фиг. 1A, после декодирования (125), декодированный вывод (127) передается в модуль 130 вставки зерна пленки, который формирует и добавляет шум зерна пленки с использованием информации, встраиваемой в FGC-метаданные (117). Вывод модуля (130) вставки зерна пленки затем передается в модуль 135 преобразования отображения, который лучше всего преобразует динамический диапазон и цветовую гамму входного потока в целевое отображение посредством использования информации, встраиваемой в CRI/CTI-метаданные (112). Вывод представляет собой сигнал 137.

[00017] Как проиллюстрировано на фиг. 1B, после декодирования (125), по сравнению с фиг. 1A, порядок обработки двух наборов метаданных изменяется на противоположное. Теперь, декодированный вывод (127) обрабатывается сначала посредством модуля 135 преобразования отображения, который преобразует динамический диапазон и цветовую гамму декодированного потока в целевое отображение посредством использования информации, встраиваемой в CRI/CTI-метаданные (112). Затем, вывод модуля преобразования отображения передается в модуль 130 вставки зерна пленки, который формирует и добавляет шум зерна пленки с использованием информации, встраиваемой в FGC-метаданные (117), и формирует выходное видео 132.

[00018] Вследствие различного упорядочения преобразования отображения и добавления зерна пленки, предполагается, что видеовыводы 132 и 137 должны отличаться, в частности, если целевое отображение значительно отличается от намеченного отображения, в силу чего считается важным указывать в потоке битов надлежащий порядок обработки метаданных таким образом, что вывод декодера максимально близко совпадает с творческим намерением создателей контента.

Примеры для передачи в служебных сигналах порядка приоритетов в обмене SEI-сообщениями

[00019] Примерные варианты осуществления, представленные в данном документе, относятся к указанию порядка обработки из нескольких наборов метаданных, когда несколько SEI-сообщений сосуществуют в стандартах кодирования видео, к примеру, в AVC, HEVC и VVC. В частности, высокоуровневый синтаксис (HLS) предлагается для того, чтобы указывать такой порядок. Такой высокоуровневый синтаксис может вставляться на множестве уровней кодированного потока битов, скажем, без ограничения, в наборе параметров видео (VPS), наборе параметров кадра (PPS), наборе параметров последовательности (SPS), наборе вспомогательных параметров (APS), заголовке кадра (PH), в качестве отдельного обмена SEI-сообщениями и т.п.

[00020] В варианте осуществления, такой высокоуровневый синтаксис должен включать в себя следующую информацию: 1) то, какие SEI-сообщения могут существовать в кодированном видеопотоке (CVS); 2) то, является или нет порядок обработки релевантным для конкретного SEI-сообщения; и, 3) при необходимости, то, каким является порядок обработки конкретных SEI-сообщений.

[00021] Порядок обработки (или приоритетов) SEI-сообщения может указываться множеством способов, таких как: 1) абсолютный порядок; например, в одном варианте осуществления, сообщение с меньшим порядком обработки/приоритетов должно обрабатываться раньше сообщения с большим порядком приоритетов, 2) относительный порядок: в одном варианте осуществления, порядок обработки может указываться в качестве зависимости от порядка обработки другого SEI-сообщения. Когда стандарт кодирования задает обработку определенных метаданных как обязательную в процессе декодирования, порядок обработки такого SEI-сообщения должен всегда указываться. Если точка соответствия определенного SEI-сообщения задается, то порядок обработки такого SEI-сообщения должен также указываться.

[00022] Таблица 1 иллюстрирует пример для того, чтобы указывать порядок обработки между SEI-сообщениями. В этом примере, SEI-сообщение с "порядком обработки SEI-сообщений", предложенное новое SEI-сообщение, может указывать то, какие SEI-сообщения представляют собой часть CVS, в которой порядок обработки имеет значение, а также их порядок приоритетов обработки. Интересующие SEI-сообщения идентифицируются через их уникальный тип рабочих данных (см. ссылочные документы [1-4]).

Табл. 1. SEI-сообщение с порядком SEI-обработки

sei_processing_order(payloadSize){ Дескриптор po_num_sei_msg_types u(16) for(i=0; i < num_sei_msg_types; i++) { po_sei_payload_type[i] u(16) po_sei_order[i] u(8) } }

- po_num_sei_msg_types указывает число типов SEI-сообщений, для которых информация предоставляется в SEI-сообщении с порядком SEI-обработки.

- po_sei_payload_type[i] указывает значение типа рабочих данных i-ого типа SEI-сообщения, для которого информация предоставляется в SEI-сообщении с порядком SEI-обработки. Значения po_sei_payload_type[m] и po_sei_payload_type[n] не должны быть идентичными, когда m не равно n.

- po_sei_order[i] предоставляет абсолютный порядок SEI-сообщений с типом рабочих данных, равным po_sei_payload_type[i]. Значения po_sei_order[m] и po_sei_order[n] не должны быть идентичными, когда m не равно n. Если значения po_sei_order[m] меньше значений po_sei_order[n], SEI-сообщение с po_sei_payload_type[m] обрабатывается перед SEI-сообщением с po_sei_payload_type[n].

[00023] В таблице 1, вместо параметра absolute_po_sei_order[i], в варианте осуществления можно также описывать относительный порядок, аналогично po_sei_rel_order[i][j], при этом порядок SEI-сообщения i задается относительно порядка SEI-сообщения j. Например, po_sei_rel_order[3][1]=2 может задавать то, что приоритет SEI-сообщения "3" представляет собой порядок приоритетов SEI-сообщения "1" плюс (или, альтернативно, минус) 2. В таком сценарии, можно предполагать, что все SEI-сообщения с приоритетной обработкой начинаются при значении по умолчанию (скажем, 1), и затем они регулируются соответствующим образом.

[00024] В варианте осуществления, таблица 1 также может упрощаться посредством удаления параметра po_sei_order[i]. В таком сценарии, кодер уже перечисляет значения po_sei_payload_type[i] в подразумеваемом и предварительно определенном приоритете (например, от наименьшего к наибольшему либо от наибольшего к наименьшему). Такой подход принудительно активирует приоритет, даже если нет такого требования (например, SEI-сообщения "2" и "4" могут иметь идентичный приоритет, но должны перечисляться один за другим), за счет этого ограничивая возможную параллелизацию связанных с обменом SEI-сообщениями задач. Неявный порядок должен задаваться, когда начинается новая CVS, в которой перечисляются все SEI-сообщения, которые присутствуют.

[00025] SEI-сообщение с SEI-манифестом в HEVC и VVC передает информацию относительно SEI-сообщений, которые указываются как предположительно (т.е. вероятно) присутствующие или не присутствующие в потоке битов; тем не менее, приоритет между этими SEI-сообщениями не указывается. Таблица 2 показывает другой пример, чтобы расширять SEI с SEI-манифестом и включать информацию приоритета. Дополнительный синтаксис, по сравнению с существующим сообщением с SEI-манифестом, показывается курсивом.

Табл. 2. Пример 1 расширения SEI-сообщения с SEI-манифестом

sei_manifest(payloadSize){ Дескриптор manifest_num_sei_msg_types u(16) for(i=0; i<manifest_num_sei_msg_types; i++){ manifest_sei_payload_type[i] u(16) manifest_sei_description[i] u(8) if(manifiest_sei_description[i]==1){ manifest_sei_po_flag[i] u(1) if(manifest_sei_po_flag[i]) manifest_sei_order[i] u(8) } } }

- manifest_sei_po_flag[i], равное 1, указывает то, что SEI-сообщение с payloadType, равным manifest_sei_payload_type[i], требует информации порядка обработки; manifest_sei_po_flag[i], равное 0, указывает то, что SEI-сообщение с payloadType, равным manifest_sei_payload_type[i], не требует информации порядка обработки.

- manifest_sei_order[i] предоставляет абсолютный порядок для SEI-сообщений с payloadType, равным manifest_sei_payload_type[i]. Значения manifest_sei_order[m] и manifest_sei_order[n] не должны быть идентичными, когда m не равно n. Если значения manifest_sei_order[m] меньше значений manifest_sei_order[n], SEI-сообщение с manifest_sei_payload_type[m] обрабатывается перед SEI-сообщением с manifest_sei_payload_type[n].

Примечание: как описано выше, если порядок обработки задается неявно (например, посредством порядка, в котором SEI-сообщения, перечисляются в manifest_sei_po_flag[i]), то синтаксический элемент manifest_sei_order[i] не требуется и может удаляться.

[00026] Таблица 3 иллюстрирует альтернативный подход для того, чтобы расширять SEI с SEI-манифестом с поддержкой обратной совместимости с унаследованными декодерами, уже поддерживающими устаревшие версии сообщения с SEI-манифестом.

Табл. 3. Пример 2 расширения SEI-сообщения с SEI-манифестом

sei_manifest(payloadSize){ Дескриптор manifest_num_sei_msg_types u(16) for(i=0; i<manifest_num_sei_msg_types; i++){ manifest_sei_payload_type[i] u(16) manifest_sei_description[i] u(8) } if(more_data_in_payload()){ if(payload_extension_present()){ for(i=0; i<manifest_num_sei_msg_types; i++){ if(manifiest_sei_description[i]==1){ manifest_sei_po_flag[i] u(1) if(manifest_sei_po_flag[i]) manifest_sei_order[i] u(8) } } } } }

[00027] Из HEVC, more_data_in_payload() указывается следующим образом:

- Если byte_aligned является равным "истина", и текущая позиция в синтаксической структуре sei_payload() составляет 8*payloadSize битов с начала синтаксической структуры sei_payload(), возвращаемое значение more_data_in_payload() является равным "ложь".

- В противном случае, возвращаемое значение more_data_in_payload() является равным "истина".

[00028] Из HEVC, payload_extension_present() указывается следующим образом:

- Если текущая позиция в синтаксической структуре sei_payload() не представляет собой позицию последнего (младшего, самого правого) бита, который равен 1, что меньше 8*payloadSize битов с начала синтаксической структуры (т.е. позицию синтаксического элемента payload_bit_equal_to_one), возвращаемое значение payload_extension_present() является равным "истина".

- В противном случае, возвращаемое значение payload_extension_present() является равным "ложь".

[00029] Таблица 3 обеспечивает возможность существующим декодерам, которые реализуют обмен сообщениями с SEI-манифестом, продолжать его реализацию аналогично прошлому в силу игнорирования синтаксиса порядка SEI-обработки. С другой стороны, декодеры, реализованные после приспособления нового синтаксиса, могут использовать преимущество обновленного синтаксиса и связанной информации упорядочивания обработки.

[00030] Как пояснено относительно таблицы 1, порядок обработки SEI-сообщений в таблицах 2 и 3 также может подразумеваться или может задаваться относительно порядка обработки других SEI-сообщений.

[00031] В варианте осуществления, таблица 1 и ее семантика могут модифицироваться так, как проиллюстрировано для описания таблицы 4. В этом варианте осуществления, семантика зависит от синтаксического элемента MaxNumPayloadTypes, чтобы разрешать такую проблему, что число возможных типов рабочих данных варьируется между стандартами кодирования (например, для этого решения, предусмотрено 77 SEI-сообщений для AVC, 67 для HEVC и 39 для VVC), плюс фактическое число также может увеличиваться в будущих версиях стандарта и препятствовать передаче в служебных сигналах большего числа payloadTypes, чем может возможно существовать.

[00032] Альтернативно (или дополнительно), фактический допустимый payloadTypes для каждого стандарта может указываться также в конкретном списке (скажем, в списке SeiAssociatedSeiList). Например, можно добавлять этот параграф в VVC- или VSEI-стандарты (ссылочные документы [3-4]):

Использование синтаксиса SEI-сообщений с порядком обработки SEI-сообщений

Для целей интерпретации SEI-сообщения с порядком обработки SEI-сообщений, список SeiAssociatedSeiList задается таким образом, что он состоит из значений payloadType в 0, 1, 3, 4, 5, 19, 45, 47, 129, 130, 132, 133, 137, 142, 144, 145, 147-150, включительно, 153-156, включительно, 165, 168, 177, 179, 180, 200-208, включительно".

В другом варианте осуществления, этот список может представлять собой часть SEI-сообщения с порядком SEI-обработки или другой информации заголовка, модифицированной посредством кодера по мере необходимости.

Табл. 4. SEI-сообщение с порядком SEI-обработки

sei_processing_order(payloadSize){ Дескриптор po_num_sei_payload_types u(16) for(i=0; i<num_sei_payload_types; i++){ po_sei_payload_type[i] u(16) po_sei_processing_order[i] u(8) } }

- po_num_sei_payload_types указывает максимальное число значений payloadType, для которых присутствуют синтаксические элементы po_sei_payload_type[i] и po_sei_processing_order[i]. Значение po_num_sei_payload_types должно быть меньше или равно MaxNumPayloadTypes, который задает максимальное число значений payloadType.

Примечание: если синтаксический элемент SeiAssociateSeiList добавляется, то вышеуказанное определение может заменяться следующим образом:

- po_num_sei_payload_types указывает максимальное число значений payloadType, для которых синтаксические элементы po_sei_payload_type[i] и po_sei_processing_order[i] присутствуют, как указано посредством кодера (например, через список SeiAssociateSeiList).

- po_sei_payload_type[i] указывает значение payloadType для i-ого SEI-сообщения. Значение po_sei_payload_type[m] не должно быть равным значению po_sei_payload_type[n], когда m не равно n.

Примечание: если синтаксический элемент SeiAssociateSeiList добавляется, то добавляется: Значение po_sei_payload_type[i] должно быть равным значению payloadType в SeiAssociateSeiList.

- po_sei_order[i] указывает предпочтительный порядок обработки SEI-сообщения с payloadType, равным po_sei_payload_type[i]. Значение po_sei_order[m] не должно быть равным значению po_sei_order[n], когда m не равно n; po_sei_order[m], большее 0 и меньшее po_sei_order[n], указывает то, что любое SEI-сообщение с payloadType, равным po_sei_payload_type[m], должно обрабатываться перед любым SEI-сообщением с payloadType, равным po_sei_payload_type[n]; po_sei_order[i], равное 0, указывает то, что предпочтительный порядок обработки SEI-сообщения с payloadType, равным po_sei_payload_type[i], определяется посредством внешнего средства, не указываемого в этой спецификации.

[00033] Фиг. 2 иллюстрирует примерный конвейер обработки согласно варианту осуществления, когда SEI-сообщение в рамках обмена сообщениями с порядком обработки (POM) доступно. Начиная с этапа 210, декодер может выполнять поиск SEI payloadTypes входящих SEI-сообщений, чтобы обнаруживать то, присутствует или нет SEI POM-сообщение. Если нет такого сообщения, обработка (215) обмена SEI-сообщениями продолжается без учета их порядка. Если SEI POM-сообщение присутствует, то на этапе 220, декодер считывает число выбранных SEI-сообщений, для которых задается приоритет обработки. Затем, на этапе 225, для каждого такого сообщения, декодер считывает его идентификационные данные (скажем, его payloadType), и его приоритет, типично целочисленное значение с предварительно определенной значимостью упорядочения (например, то, меньшие числа или большие числа имеют более высокий приоритет). В варианте осуществления, приоритет также может подразумеваться в силу порядка того, как перечисляются избранные SEI-сообщения. В завершение, на этапе 230, декодер обрабатывает эти избранные SEI-сообщения с их надлежащим приоритетом.

Библиографический список

Каждый из ссылочных материалов, перечисленных в данном документе, полностью содержится по ссылке.

[1] Advanced Video Coding, Rec. ITU-T H.264, май 2019 года, ITU.

[2] High Efficiency Video Coding, Rec. ITU-T H.265, ноябрь 2019 года, ITU.

[3] Versatile Video Coding, Rec. ITU-T H.266, август 2020 года, ITU.

[4] Versatile supplemental enhancement information messages for coded video bitstreams, Rec. ITU-T H.274, август 2020 года, ITU.

Примерная реализация компьютерной системы

[00034] Варианты осуществления настоящего изобретения могут реализовываться с помощью компьютерной системы, систем, сконфигурированных в электронных схемах и компонентах, устройства на интегральных схемах (IC), такого как микроконтроллер, программируемая пользователем вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), дискретный временной процессор или процессор цифровых сигналов (DSP), специализированная IC (ASIC), и/или оборудования, которое включает в себя одну или более таких систем, устройств или компонентов. Компьютер и/или IC могут выполнять, управлять или исполнять инструкции, связанные с передачей в служебных сигналах упорядочения приоритетной обработки для обмена сообщениями с метаданными при кодировании видео, такие как инструкции, описанные в данном документе. Компьютер и/или IC могут вычислять любые из множества параметров или значений, которые относятся к передаче в служебных сигналах упорядочения приоритетной обработки для обмена сообщениями с метаданными при кодировании видео, описанном в данном документе. Связанные с изображениями и видео варианты осуществления могут реализовываться в аппаратных средствах, программном обеспечении, микропрограммном обеспечении и различных комбинациях вышеозначенного.

[00035] Определенные реализации изобретения содержат компьютерные процессоры, которые выполняют программные инструкции, которые инструктируют процессорам осуществлять способ изобретения. Например, один или более процессоров в дисплее, кодере, абонентской приставке, транскодере и т.п. могут реализовывать способы, относящиеся к передаче в служебных сигналах упорядочения приоритетной обработки для обмена сообщениями с метаданными при кодировании видео, как описано выше, посредством выполнения программных инструкций в запоминающем устройстве программ, доступном для процессоров. Варианты осуществления изобретения также могут предоставляться в форме программного продукта. Программный продукт может содержать любой энергонезависимый и материальный носитель, который переносит набор компьютерно-читаемых сигналов, содержащих инструкции, которые, при выполнении посредством процессора данных, инструктируют процессору данных осуществлять способ изобретения. Программные продукты согласно изобретению могут иметь любые из широкого спектра энергонезависимых и материальных форм. Программный продукт может содержать, например, физические носители, такие как магнитные носители хранения данных, включающие в себя гибкие дискеты, жесткие диски, оптические носители хранения данных, включающие в себя CD-ROM, DVD, электронные носители хранения данных, включающие в себя ROM, флэш-RAM, и т.п. Компьютерно-читаемые сигналы на программном продукте необязательно могут сжиматься или шифроваться. Когда компонент (например, программный модуль, процессор, узел, устройство, схема и т.д.) упоминается выше, если не указано иное, ссылка на этот компонент (включающая в себя ссылку на "средство") должна интерпретироваться как включающая в качестве эквивалентов этого компонента любой компонент, который выполняет функцию описанного компонента (например, который является функционально эквивалентным), включающий в себя компоненты, которые не являются структурно эквивалентными раскрытой структуре, которая выполняет функцию в проиллюстрированных примерных вариантах осуществления изобретения.

Эквиваленты, дополнения, альтернативы, а также разное

[00036] В силу этого описываются примерные варианты осуществления, которые относятся к передаче в служебных сигналах упорядочения приоритетной обработки для обмена сообщениями с метаданными при кодировании видео. В вышеприведенном подробном описании, варианты осуществления настоящего изобретения описаны со ссылкой на множество конкретных подробностей, которые могут варьироваться в зависимости от реализации. Таким образом, единственный и исключительный показатель того, что представляет собой изобретение, и того, что подразумевается заявителями под изобретением, представляет собой набор пунктов формулы изобретения, которые вытекают из данной заявки, в конкретной форме, в которой такие пункты формулы изобретения вытекают, в том числе все последующие корректировки. Все определения, явно изложенные в данном документе для терминов, содержащихся в данной формуле изобретения, должны диктовать смысл этих терминов при использовании в формуле изобретения. Следовательно, ограничения, элементы, свойства, признаки, преимущества или атрибуты, которые не изложены явно в формуле изобретения, не должны ограничивать объем данной формулы изобретения каким-либо образом. Следовательно, подробное описание и чертежи должны рассматриваться в иллюстративном, а не в ограничительном смысле.

Изобретение относится к области кодирования и декодирования, в частности к передаче в служебных сигналах порядка приоритетной обработки для обмена сообщениями с метаданными (например, обмена сообщениями с дополнительной улучшающей информацией (SEI)) в изображениях и видеопоследовательностях. Технический результат заключается в повышении эффективности кодирования. Предложены способы, системы и синтаксис потока битов для определения обмена сообщениями с порядком обработки метаданных, к примеру, обмена сообщениями SEI при кодировании MPEG-видео, где синтаксически анализируют входные сообщения с метаданными для того, чтобы идентифицировать сообщение в рамках обмена сообщениями с порядком обработки метаданных (POM), задающее предпочтительный порядок обработки выбранных входных сообщений с метаданными 6 н. и 4 з.п. ф-лы, 3 ил., 4 табл.

1. Способ определения приоритетной обработки между несколькими сообщениями с метаданными, при этом способ содержит этапы, на которых:

- принимают входной битовый поток видео и соответствующие входные сообщения с метаданными, задающие дополнительную обработку, которая должна применяться к декодированным видеокадрам входного битового потока видео;

- синтаксически анализируют входные сообщения с метаданными для того, чтобы идентифицировать сообщение в рамках обмена сообщениями с порядком обработки метаданных (РОМ), задающее предпочтительный порядок обработки выбранных входных сообщений с метаданными; и после обнаружения РОМ-сообщения:

- извлекают информацию, определяющую общее число выбранных входных сообщений с метаданными с порядком приоритетной обработки;

- извлекают идентификационную информацию и соответствующую информацию приоритета для каждого из выбранных входных сообщений с метаданными, задающих предпочтительный порядок обработки, при этом информация приоритета содержит целочисленное значение с меньшими или с большими числами, вызывающими предыдущую обработку в предпочтительном порядке обработки, и при этом целочисленное значение выражает приоритет выбранного входного сообщения либо в абсолютном порядке приоритетной обработки между выбранными входными сообщениями с метаданными, либо в порядке обработки относительно второго выбранного входного сообщения с метаданными между выбранными входными сообщениями с метаданными; и

- для декодированного видеокадра входного битового потока видео применяют два или более из выбранных входных сообщений с метаданными с их определенным порядком приоритетной обработки.

2. Способ по п. 1, в котором РОМ-сообщение представляет собой часть по меньшей мере одного из заголовка среза, заголовка кадра, набора параметров последовательности, набора параметров кадра, заголовка единицы слоя абстрагирования от сети и сообщения с дополнительной улучшающей информацией (SEI).

3. Способ по п. 2, в котором РОМ-сообщение представляет собой часть сообщения с SEI-манифестом.

4. Способ по п. 1, в котором извлечение идентификационной информации и информации приоритета выбранных входных сообщений с метаданными с порядком приоритетной обработки содержит этап, на котором считывают список из общего числа выбранных входных сообщений с метаданными с подразумеваемым снижающимся порядком приоритетной обработки или подразумеваемым увеличивающимся порядком приоритетной обработки.

5. Способ по п. 1, в котором идентификационная информация обмена сообщениями содержит информацию payloadType в обмене SEI-сообщениями.

6. Способ указания приоритетной обработки между несколькими сообщениями с метаданными, при этом способ содержит этапы, на которых:

- формируют битовый поток видео и соответствующие сообщения с метаданными, задающие дополнительную обработку, которая должна применяться к декодированным видеокадрам битового потока видео;

- формируют сообщение с порядком обработки метаданных (РОМ), задающее предпочтительный порядок обработки выбранных сообщений с метаданными, при этом РОМ-сообщение содержит:

- информацию, определяющую общее число выбранных входных сообщений с метаданными с порядком приоритетной обработки;

- идентификационную информацию и соответствующую информацию приоритета для каждого из выбранных входных сообщений с метаданными, задающих порядок приоритетной обработки, при этом информация приоритета содержит целочисленное значение с меньшими или с большими числами, вызывающими предыдущую обработку в предпочтительном порядке обработки, и при этом целочисленное значение выражает приоритет выбранного входного сообщения либо в абсолютном порядке приоритетной обработки между выбранными входными сообщениями с метаданными, либо в порядке обработки относительно второго выбранного входного сообщения с метаданными между выбранными входными сообщениями с метаданными; и

- формируют выходной поток, который включает в себя битовый поток видео, сообщения с метаданными и сообщение с порядком обработки метаданных.

7. Энергонезависимый компьютерно-читаемый носитель хранения данных, имеющий сохраненными компьютерно-исполняемые инструкции для осуществления, с помощью одного или более процессоров, способа по любому из пп. 1-5.

8. Энергонезависимый компьютерно-читаемый носитель хранения данных, имеющий сохраненными компьютерно-исполняемые инструкции для осуществления, с помощью одного или более процессоров, способа по п. 6.

9. Оборудование для обработки сообщений с метаданными, содержащее процессор и выполненное с возможностью осуществлять любой из способов по пп. 1-5.

10. Оборудование для обработки сообщений с метаданными, содержащее процессор и выполненное с возможностью осуществлять способ по п. 6.