АРХИТЕКТУРА КОДЕКА ДЛЯ МНОГОСЛОЙНОГО КОДИРОВАНИЯ ВИДЕО Российский патент 2017 года по МПК H04N19/105 H04N19/187 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] По данной заявке испрашивается приоритет Предварительной Патентной Заявки США № 61/699356, поданной 09 июля 2012 г. и 61/734264, поданной 06 декабря 2012 г., содержимое которых включено в настоящее описание посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

[0002] В последние годы произошел значительный рост и коммерческий успех мультимедийных технологий и мобильной связи. Технологии беспроводной связи значительно увеличили беспроводную полосу пропускания и повысили качество услуги для мобильных пользователей. Например, стандарт Долгосрочного Развития (LTE) Проекта Партнерства 3-его Поколения обладает повышенным качеством услуги в сравнении со 2-ым Поколением (2G) и/или 3-им Поколением (3G).

[0003] При наличии высоких полос пропускания в беспроводных сетях, видео и мультимедийный контент, который доступен в проводной сети, может повлечь за собой желание пользователей иметь эквивалентный доступ по запросу к такому контенту с широкого многообразия мобильных устройств с разными возможностями в плане размера, качества, и/или возможности соединения.

[0004] Для обеспечения доступности видео контента различных типов по сетям, может быть использован один или более механизмы кодирования и сжатия видео. Системы кодирования видео могут быть использованы для сжатия цифровых видеосигналов, например, для сокращения потребностей в отношении хранения и/или полосы пропускания передачи таких сигналов. Могут быть использованы различные типы технологий сжатия видео, основанные на одном или более стандартах кодирования видео. Стандарты могут включать в себя, например, H.261, MPEG-1, MPEG-2, H.263, MPEG-4 часть 2 и H.264/MPEG-4 часть 10 AVC, Высокоэффективное Кодирование Видео (HEVC), и т.д. Могут быть использованы расширения стандартов кодирования видео, например, H.264 (масштабируемое кодирование видео (SVC)), и/или масштабируемое HEVC. Механизмы масштабируемого кодирования могут обладать недостатками и могут быть не отвечающими требованиям.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Предоставляются системы, способы, и средства для реализации системы кодирования видео (VCS). VCS, включающая в себя, например, кодер базового слоя, кодер слоя улучшения (EL), компонент управления и обработки межслойного предсказания (ILP), и т.д., может быть выполнена с возможностью приема видеосигнала. Видеосигнал может содержать один или более слоев (например, базовый слой (BL) и/или один или более слоев улучшения (EL)). VCS может обрабатывать картинку BL в межслойную опорную (ILR) картинку, например, используя процесс межслойного предсказания на уровне картинки. Обработанная ILR картинка может быть не совместно расположенной ILR картинкой.

[0006] Обработка картинки BL в ILR картинку может включать в себя форматирование картинки BL в формат, который может быть пригоден для предсказания текущей картинки EL. Формат может зависеть от типа масштабируемости между кодеком BL и кодеком EL. Тип масштабируемости между кодеком BL и кодеком EL может включать в себя один или более из типов: пространственную масштабируемость, масштабируемость формата цветности, масштабируемость качества, пространственную масштабируемость, масштабируемость вида, или масштабируемость битовой глубины. Форматирование может включать в себя одно или более из следующего: повышающую дискретизацию, устранение шумов, восстановление, или перенастройку (переориентацию), компенсацию несоответствия, или обратное отображение оттенков.

[0007] VCS может выбирать одну или обе из картинок: обработанную ILR картинку или опорную картинку слоя улучшения (EL). Выбранная опорная картинка(и) может содержать одну из опорной картинки EL, или ILR картинки. Множество выбранных опорных картинок может соответствовать общему моменту времени.

[0008] VCS может предсказывать текущую картинку EL, используя одну или более из выбранной ILR картинки или опорной картинки EL. VCS может сохранять обработанную ILR картинку в буфере декодированных картинок EL (DPB). VCS может извлекать информацию BL из BL. Информация BL может включать в себя одну или более из следующей информации: информацию о режиме BL или информацию о движении BL. VCS может обрабатывать картинку BL на основании информации, содержащей извлеченную информацию BL. VCS может конвертировать информацию BL из первого формата во второй формат и может использовать конвертированную информацию BL при кодировании EL. Первый формат может относиться к кодеку BL, а второй формат может относиться к кодеку EL, и первый формат может отличаться от второго формата.

[0009] VCS может пакетировать информацию ILP и отправлять информацию ILP, например, через единицы сетевого уровня абстракции (NAL). Информация ILP может включать в себя, например, информацию фильтра повышающей дискретизации, один или более коэффициенты для повышающей дискретизации, один или более коэффициенты для устранения шумов, один или более параметры компенсации несоответствия, один или более параметры обратного отображения оттенков, и т.д.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0010] Более глубокое понимание может быть получено из нижеследующего описания, приведенного в качестве примера совместно с сопроводительными чертежами.

[0011] Фиг. 1 является схемой, иллюстрирующей пример масштабируемой системы кодирования видео.

[0012] Фиг. 2 является схемой, иллюстрирующей пример структуры предсказания, использующей многовидовое кодирование видео (MVC) для кодирования стереоскопического видео, например, с левым видом и правым видом.

[0013] Фиг. 3 является схемой, иллюстрирующей пример архитектуры 2-слойного масштабируемого кодера видео.

[0014] Фиг. 4 является схемой, иллюстрирующей пример архитектуры 2-слойного масштабируемого декодера видео.

[0015] Фиг. 5 является схемой, иллюстрирующей пример основанного на блоках однослойного кодера видео.

[0016] Фиг. 6 является схемой, иллюстрирующей пример основанного на блоках однослойного декодера видео.

[0017] Фиг. 7 является схемой, иллюстрирующей пример двухслойной масштабируемой системы кодирования с поддержкой межслойного предсказания (ILP) на уровне картинки.

[0018] Фиг. 8 является схемой, иллюстрирующей пример двухслойной масштабируемой системы декодирования с поддержкой ILP на уровне картинки.

[0019] Фиг. 9 является схемой, иллюстрирующей пример двухслойной системы с временным предсказанием и межслойным предсказанием, которые разрешены для кодирования слоя улучшения.

[0020] Фиг. 10 является схемой, иллюстрирующей пример компонента управления и обработки ILP.

[0021] Фиг. 11 иллюстрирует примерную структуру предсказания, используя межслойное предсказание вектора движения.

[0022] Фиг. 12 является схемой, иллюстрирующей пример масштабируемой системы кодирования, которая может использовать улучшенный компонент управления и обработки ILP.

[0023] Фиг. 13A является системной схемой примерной системы связи, в которой может быть реализован один или более раскрываемые варианты осуществления.

[0024] Фиг. 13B является системной схемой примерного компонента беспроводной передачи/приема (WTRU), который может быть использован в системе связи, иллюстрируемой на Фиг. 13A.

[0025] Фиг. 13C является системной схемой примерной сети радиодоступа и примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 13A.

[0026] Фиг. 13D является системной схемой другой примерной сети радиодоступа и другой примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 13A.

[0027] Фиг. 13E является системной схемой другой примерной сети радиодоступа и другой примерной базовой сети, которые могут быть использованы в системе связи, иллюстрируемой на Фиг. 13A.

ПОДРОБНОЕ ОПИСАНИЕ

[0028] Теперь со ссылкой на различные фигуры будет описано подробное описание иллюстративных вариантов осуществления. Несмотря на то, что данное описание предоставляет подробный пример возможных реализаций, следует отметить, что подробности предназначены быть примерными и никоим образом не ограничивают объем заявки. В дополнение, фигуры могут иллюстрировать блок-схемы, которые подразумеваются как примерные. Могут быть использованы другие варианты осуществления. Очередность сообщений может быть изменена где это уместно. Сообщения могут быть опущены, если не требуются, и, могут быть добавлены дополнительные потоки.

[0029] Масштабируемое кодирование видео может повысить качество восприятия применительно к видео приложениям, выполняемым на устройствах с разными возможностями по неоднородным сетям. Масштабируемое кодирование видео может один раз кодировать сигнал с наивысшим представлением (например, временным разрешением, пространственным разрешением, качеством, и т.д.), но обеспечивать декодирование из подмножеств видео потоков в зависимости от конкретной скорости и представления, которые требуются конкретным приложениям, выполняемым на клиентском устройстве. Масштабируемое кодирование видео может экономить полосу пропускания и/или хранилище, в сравнении с не масштабируемыми решениями. Международные стандарты видео, например, MPEG-2 Видео, H.263, MPEG4 Визуальный, H.264, и т.д., могут обладать инструментами и/или профилями, которые поддерживают режимы масштабируемости.

[0030] Фиг. 1 является схемой, иллюстрирующей пример основанной на блоках гибридной масштабируемой системы кодирования видео. Пространственное/временное разрешение сигнала, которое может быть представлено слоем 1 (например, базовым слоем), может быть сгенерировано посредством понижающей дискретизации входного видеосигнала. Подходящая установка квантователя (например, Q1) может приводить к определенному уровню качества базовой информации. Реконструкция Y1 базового слоя, которая может быть аппроксимацией одного или более (например, всех) уровней разрешения более высокого слоя, может быть использована при кодировании/декодировании последующих слоев, например, для более эффективного кодирования последующих более высоких слоев. Компонент 1010 и/или 1012 повышающей дискретизации может выполнять повышающую дискретизацию сигнала реконструкции базового слоя до разрешения слоя-2. Понижающая дискретизация и повышающая дискретизация могут быть выполнены на протяжении каждого из слоев (например, 1, 2… N). Коэффициенты понижающей дискретизации и повышающей дискретизации могут быть разными в зависимости от размера масштабируемости между двумя заданными слоями.

[0031] Как иллюстрируется на Фиг. 1, для любого заданного более высокого слоя n (2≤n≤N), разностный сигнал может быть сгенерирован посредством вычитания сигнала более низкого слоя после повышающей дискретизации (например, сигнала слоя n-1) из сигнала текущего слоя n. Полученный сигнал разности может быть закодирован. Если видеосигналы, представленные двумя слоями (например, n1 и n2), имеют одинаковое пространственное разрешение, может быть выполнен обход соответствующих операций понижающей дискретизации и повышающей дискретизации. Любой заданный слой n (1≤n≤N) или множество слоев могут быть декодированы без использования какой-либо декодированной информации из более высоких слоев. Базирование на кодировании остаточного сигнала (например, сигнала разности между двумя слоями) применительно к слоям за исключением базового слоя, например, как может быть использовано системой с Фиг. 1, может вызывать визуальные артефакты. Визуальные артефакты могут присутствовать из-за желания квантовать и нормализовать остаточный сигнал для ограничения его динамического диапазона, и/или дополнительного квантования, выполняемого во время кодирования остатка. Один или более из кодеров более высокого слоя может использовать предсказание с оценкой движения и/или компенсацией движения в качестве режима кодирования. Оценка движения и/или компенсация движения в остаточном сигнале могут отличаться от обычной оценки движения и, например, могут быть более склонны к появлению визуальных артефактов. Может быть использовано более сложное квантование остатка, как, впрочем, и совмещенное квантование между желанием квантовать и нормализовать остаточный сигнал для ограничения его динамического диапазона и дополнительным квантованием, выполняемым во время кодирования остатка, и оно может увеличить сложность системы, например, для минимизации таких визуальных артефактов. Система с Фиг. 1 может не рассматривать прочие режимы межслойного предсказания, что может ограничивать уровень эффективности сжатия, который она может достичь.

[0032] Масштабируемое Кодирование Видео (SVC) является расширением стандарта H.264, которое может разрешать передачу и декодирование частичных битовых потоков, например, для обеспечения видео услуг с более низкими временными или пространственными разрешениями, или сниженной точностью воспроизведения, при этом сохраняя качество реконструкции (например, более высокое качество реконструкции), учитывая скорости частичных битовых потоков. SVC может включать в себя Декодирование с Одной Петлей, которое может предусматривать то, что декодер SVC устанавливает одну петлю компенсации движения в декодируемом слое, и не может устанавливать петлю(и) компенсации движения на другом более низком слое(ях). Например, если битовый поток включает в себя 2 слоя, слой 1 (например, базовый слой) и слой 2 (например, слой улучшения). Декодер может реконструировать видео слоя 2 посредством установки буфера декодированных картинок и предсказания с компенсацией движения (например, для слоя 2, но не для слоя 1; слой 2 может зависеть от слоя 1). SVC может не требоваться полная реконструкция опорной картинки(ок) из более низких слоев, что может сократить сложность вычислений и память, используемую на декодере. Декодирование с одной петлей может быть достигнуто посредством ограниченного межслойного предсказания текстуры. Для блока (например, текущего блока) в заданном слое, пространственное предсказание текстуры из более низкого слоя может быть использовано, если соответствующий блок низкого слоя кодирован в интра-режиме (например, ограниченное интра-предсказание). Когда блок более низкого уровня кодирован в интра-режиме, он может быть реконструирован без операций компенсации движения и буфера декодированных картинок. SVC может использовать дополнительные методики межслойного предсказания, например, предсказание вектора движения, предсказание остатка, предсказание режима, и т.д. Свойство SVC декодирования с одной петлей может сокращать сложность вычислений и/или память, используемую на декодере. Декодирование с одной петлей может увеличивать сложность реализации, например, из-за базирования в большей степени на реализациях межслойного предсказания на уровне блока для достижения удовлетворительной производительности. Исполнение кодера и сложность вычислений могут быть увеличены с тем, чтобы могла быть достигнута требуемая производительность, например, для компенсации снижения производительности, вызванного наложением ограничения в виде декодирования с одной петлей. С достаточной производительностью SVC не может обеспечивать масштабируемое кодирование контента с чересстрочной разверткой, что может повлиять на его использование индустрией вещания.

[0033] Многовидовое Кодирование Видео (MVC) является примером расширения стандарта H.264, которое может обеспечивать масштабируемость вида. Масштабируемость вида может означать, что битовый поток базового слоя может быть декодирован для реконструкции обычного 2D видео, а дополнительные слои улучшения могут быть декодированы для реконструкции других представлений вида этого же видеосигнала. Когда один или более виды (например, все виды) объединяются вместе и демонстрируются посредством надлежащего 3D дисплея, пользователь может воспринимать 3D видео с правильным ощущением глубины. Фиг. 2 является схемой, иллюстрирующей примерную структуру предсказания, используя MVC для кодирования стереоскопического видео с левым видом (например, слоем 1) и правым видом (например, слоем 2). Как иллюстрируется примером на Фиг. 2, видео левого вида может быть кодировано со структурой предсказания IBBP. Видео правого вида может быть кодировано со структурой предсказания PBBB. Например, на правом виде, первая совместно расположенная картинка с первой I картинкой 2002 в левом виде, может быть кодирована как P картинка 2004. Каждая из других картинок в правом виде могут быть кодированы как B картинки, например, с первым предсказанием, исходящим от временных опорных данных в правом виде, и вторым предсказанием, исходящим из межслойных опорных данных в левом виде. MVC может не поддерживать декодирование с одной петлей. Например, как показано на Фиг. 2, декодированию видео правого вида (например, слоя 2) может требоваться доступность полных картинок в левом виде (например, слое 1), что может поддерживать петли компенсации движения в обоих видах/слоях.

[0034] MVC может включать в себя (например, только включать в себя) изменения высокоуровневого синтаксиса, и может не включать в себя изменения на уровне блока по отношению к H.264/AVC. Например, поскольку лежащая в основе логика кодера/декодера MVC может оставаться одной и той же и может быть продублирована, опорные картинки (например, только опорные картинки) на уровне слайса/картинки могут быть корректно сконфигурированы для обеспечения MVC. MVC может поддерживать кодирование более двух видов посредством расширения примера на Фиг. 2 для выполнения межслойного предсказания между несколькими видами.

[0035] В качестве методики кодирования может быть использовано кодирование с кадровой совместимостью (MFC) Экспертной Группы По Кинематографии (MPEG). 3D контент может быть стереоскопическим 3D видео, которое может включать в себя один или более виды, например, левый вид и правый вид. Доставка стереоскопического 3D контента может быть достигнута посредством упаковки/мультиплексирования двух видов в одном кадре, содержащем и передающем запакованное видео с помощью кодека (например, H.264/AVC). На стороне приемника, после декодирования, кадры могут быть распакованы и продемонстрированы в качестве двух видов. Виды могут быть мультиплексированы во временной области и/или пространственной области. Когда виды мультиплексируются в пространственной области, два вида могут быть подвергнуты пространственной понижающей дискретизации на коэффициент (например, коэффициент два) и упакованы посредством различных компоновок, например, для сохранения точно такого же размера картинки. Например, картинка может быть скомпонована с помощью левого вида после понижающей дискретизации в левой половине картинки, и правого вида после понижающей дискретизации в правой половине картинки. Прочие компоновки могут включать в себя сверху-и-снизу, строка-за-строкой, в шахматном порядке, и т.д. Конкретная компоновка, используемая для получения 3D видео с кадровой совместимостью, может быть перенесена посредством сообщений SEI компоновки упаковки кадра. Пространственная понижающая дискретизация может вызывать ступенчатость в видах и ухудшать визуальное качество и восприятие пользователя 3D видео. Внимание может быть сконцентрировано на обеспечении масштабируемого расширения применительно к кадровой совместимости (например, два вида упаковываются в один и тот же кадр) видео базового слоя, и/или обеспечении одного или более слоев улучшения для восстановления видов с полным разрешением для повышенного 3D восприятия. Несмотря на то, что это может быть направлено на предложение доставки 3D видео, лежащая в основе технология, которая может обеспечить MFC с полным разрешением, может быть отнесена к технологиям пространственной масштабируемости.

[0036] Может быть предоставлено масштабируемое улучшение HEVC. Масштабируемость стандартов может относится к типу масштабируемости, когда базовый слой кодируется с помощью одного стандарта, например, H.264/AVC или MPEG, тогда как один или более слоев улучшения могут быть закодированы, используя другой стандарт, например, стандарт HEVC. Масштабируемость стандартов может обеспечивать обратную совместимость с унаследованным контентом, закодированным, используя предыдущие стандарты, и может улучшить качество унаследованного контента с помощью одного или более слоев улучшения.

[0037] Может быть предоставлено кодирование 3D видео (3DV). 3DV может обеспечивать одну или более разные масштабируемости вида, которые могут быть нацелены на автосереоскопические приложения. Автостереоскопические дисплеи и приложения могут обеспечивать людям 3D восприятие без громоздких очков. Для достижения хорошего 3D восприятия без очков, может быть использовано больше чем два вида. Кодирование боле чем двух видов (например, 9 видов или 10 видов) может быть дорогостоящим. 3DV может использовать гибридный подход в виде кодирования вместе меньшего числа видов (например, 2 или 3 видов) с относительно большим несоответствием, и/или с одной или более картами глубины, которые могут предоставлять информацию о глубине видов. Это может именоваться как Многовидовое плюс Глубина (MVD). На стороне дисплея, кодированные виды и карты глубины могут быть декодированы. Оставшиеся виды могут быть сгенерированы, используя декодированные виды и их карты глубины, используя технологии синтеза вида. 3DV может использовать различные реализации для кодирования видов и карт глубины, например, кодирования их, используя сочетание разных стандартов, как например, но не ограничиваясь, H.264/AVC, MVC, HEVC и т.д. 3DV может кодировать базовый слой с помощью одного стандарта (например, H.264/AVC) и кодировать один или более слоев улучшения с помощью другого стандарта (например, HEVC).

[0038] Таблица 1 предоставляет пример разных типов масштабируемости вместе с соответствующими стандартами, которые могут их поддерживать. Масштабируемость битовой глубины и масштабируемость формата цветности могут быть привязаны к видео форматам (например, выше чем 8-битное видео, и форматы дискретизации цветности выше YUV4:2:0), главным образом, используемым профессиональными видео приложениями. Может быть предоставлена масштабируемость соотношения сторон.

Таблица 1 Масштабируемость Пример Стандарты Масштабируемость вида 2D→3D (2 или более вида) MVC, MFC, 3DV Пространственная масштабируемость 720p→1080p SVC, масштабируемое HEVC Масштабируемость качества (SNR) 35дБ→38дБ SVC, масштабируемое HEVC Временная масштабируемость 30кадр/с→60кадр/с H.264/AVC, SVC, масштабируемое HEVC Масштабируемость стандартов H.264/AVC→HEVC 3DV, масштабируемое HEVC Масштабируемость битовой глубины 8-битовое видео→10-битовое видео Масштабируемое HEVC Масштабируемость формата цветности YUV4:2:0→YUV4:2:2, YUV4:4:4 Масштабируемое HEVC Масштабируемость соотношения сторон 4:3→16:9 Масштабируемое HEVC

[0039] Масштабируемое кодирование видео может обеспечивать первый уровень качества видео, связанный с первым набором параметров видео, используя битовый поток базового слоя. Масштабируемое кодирование видео может обеспечивать один или более уровни более высокого качества, связанные с одним или более наборами улучшенных параметров, используя один или более битовые потоки слоя улучшения. Набор параметров видео может включать в себя одно или более из следующего: пространственное разрешение, частота кадров, качество реконструированного видео (например, в форме SNR, PSNR, VQM, визуального качества, и т.д.), 3D возможность (например, с помощью двух или более видов), битовая глубина яркости и цветности, формат цветности, и лежащий в основе однослойный стандарт кодирования. Как иллюстрируется в Таблице 1, разные случаи использования могут требовать разных типов масштабируемости. Как здесь рассматривается, масштабируемая архитектура кодирования может предлагать общую структуру, которая может быть выполнена с возможностью обеспечения одной или более масштабируемостей (например, масштабируемости, перечисленные в Таблице 1). Масштабируемая архитектура кодирования может быть гибкой для обеспечения разных масштабируемостей с помощью минимальных конфигурационных усилий. Масштабируемая архитектура кодирования может включать в себя, по меньшей мере, один предпочтительный режим работы, который может не требовать изменения в операциях на уровне блока, так что логика кодирования (например, логика кодирования и/или декодирования) может быть максимально повторно использована в рамках масштабируемой системы кодирования. Например, может быть предоставлена масштабируемая архитектура кодирования, основанная на компоненте управления и обработки межслойного предсказания на уровне картинки, при этом межслойное предсказание может быть выполнено на уровне картинки.

[0040] Фиг. 3 является схемой примерной архитектуры двухслойного масштабируемого кодера видео. Например, входные видеоданные слоя улучшения и входные видеоданные базового слоя могут соответствовать друг другу посредством процесса понижающей дискретизации, что может обеспечивать пространственную масштабируемость. Как иллюстрируется на Фиг. 3, видео слоя улучшения может быть подвергнуто понижающей дискретизации, используя средство 3002 понижающей дискретизации. Кодер 3006 базового слоя (например, HEVC кодер в данном примере) может кодировать блок за блоком входные видеоданные базового слоя и генерировать битовый поток базового слоя. Фиг. 5 является схемой, которая иллюстрирует примерный основанный на блоке однослойный кодер видео, который может быть использован в качестве кодера базового слоя на Фиг. 3. Как иллюстрируется на Фиг. 5, однослойный кодер может использовать методики, как например, пространственное предсказание 5020 (например, именуемое интра-предсказанием) и/или временное предсказание 5022 (например, именуемое интер-предсказание и/или предсказание с компенсацией движения) для достижения эффективного сжатия, и/или предсказания входного видеосигнала. Кодер может иметь логику 5002 решений по режиму, которая может выбирать наиболее подходящую форму предсказания. Логика решений кодера может быть основана на сочетании соображений скорости и искажения. Кодер может преобразовывать и квантовать остаток предсказания (например, сигнал разности между входным сигналом и сигналом предсказания), используя компонент 5004 преобразования и компонент 5006 квантования соответственно. Квантованный остаток, совместно с информацией о режиме (например, интра- или интер-предсказание) и информацией предсказания (например, векторами движения, индексами опорной картинки, режимами интра-предсказания и т.д.), может быть дополнительно сжат в энтропийным кодере 5008 и упакован в выходной битовый поток видео. Кодер также может генерировать реконструированный видеосигнал посредством применения обратного квантования (например, используя компонент 5010 обратного квантования) и обратное преобразование (например, используя компонент 5012 обратного преобразования) к квантованному остатку, чтобы получить реконструированный остаток. Кодер может складывать реконструированный видеосигнала обратно с сигналом 5014 предсказания. Реконструированный видеосигнал может проходить через процесс 5016 петлевого фильтра (например, используя фильтр устранения блочности, Адаптивные Смещения Выборки, и/или Адаптивные Петлевые Фильтры), и может быть сохранен в хранилище 5018 опорных картинок, для использования при предсказании будущих видеосигналов.

[0041] Понятие хранилище опорных картинок может быть здесь использовано взаимозаменяемо с понятием буфер декодированных картинок или DPB. Фиг. 6 является структурной схемой примерного основанного на блоках однослойного декодера, который может принимать битовый поток видео, созданный кодером с Фиг. 5 и может реконструировать видеосигнал, который должен быть продемонстрирован. В декодере видео, битовый поток может быть проанализирован энтропийным декодером 6002. Остаточные коэффициенты могут быть обратно квантованы (например, используя компонент 6004 де-квантования) и обратно преобразованы (например, используя компонент 6006 обратного преобразования) для получения реконструированного остатка. Режим кодирования и информация предсказания могут быть использованы для получения сигнала предсказания. Это может осуществляться, используя пространственное предсказание 6010 и/или временное предсказание 6008. Сигнал предсказания и реконструированный остаток могут быть сложены вместе для получения реконструированного видео. Реконструированное видео может дополнительно проходить через петлевую фильтрацию (например, используя петлевой фильтр 6014). Затем реконструированное видео может быть сохранено в хранилище 6012 опорных картинок, чтобы быть продемонстрированным и/или использованным для декодирования будущих видеосигналов.

[0042] Как иллюстрируется в примерном масштабируемом кодере на Фиг. 3, в слое улучшения, кодер 3004 слоя улучшения (EL) может принимать входной видеосигнал EL более высокого пространственного разрешения (и/или с более высокими значениями других параметров видео). Кодер 3004 EL может создавать битовый поток EL по существу образом аналогичным тому, что использует кодер 3006 видео базового слоя, например, используя пространственные и/или временные предсказания для достижения сжатия. Дополнительная форма предсказания, именуемая здесь межслойным предсказанием (ILP) (например, как указывается затененными стрелками на Фиг. 3), может быть доступна в кодере улучшения для повышения его производительности кодирования. В отличие от пространственного и временного предсказаний, которые получают сигнал предсказания, основанный на кодированных видеосигналах в текущем слое улучшения, межслойное предсказание может получать сигнал предсказания, основанный на кодированных видеосигналах из базового слоя (и/или других более низких слоев, когда присутствует более двух слоев в масштабируемой системе). В масштабируемой системе может существовать, по меньшей мере, две формы межслойного предсказания, ILP на уровне картинки и ILP на уровне блока. Здесь рассматриваются ILP на уровне картинки и ILP на уровне блока. Мультиплексор битового потока (например, MUX 3014 на Фиг. 3) может объединять битовые потоки базового слоя и слоя улучшения вместе для создания одного масштабируемого битового потока.

[0043] Фиг. 4 является структурной схемой примерной архитектуры 2-слойного масштабируемого декодера видео. Архитектура 2-слойного масштабируемого декодера видео с Фиг. 4 может соответствовать масштабируемому кодеру с Фиг. 3. Например, демультиплексор (например, DEMUX 4002) может разделять масштабируемый битовый поток на битовые потоки базового слоя и слоя улучшения. Декодер 4006 базового слоя может декодировать битовый поток базового слоя и может реконструировать видео базового слоя. Декодер 4004 слоя улучшения может декодировать битовый поток слоя улучшения. Декодер слоя улучшения может делать это, используя информацию из текущего слоя и/или информацию из одного или более зависимых слоев (например, базового слоя). Например, такая информация из одного или более зависимых слоев может проходить через межслойную обработку, которая может быть выполнена, когда используется ILP на уровне картинки и/или ILP на уровне блока. Несмотря на то, что не показано на Фиг. 3 и 4, дополнительная информация ILP может быть мультиплексирована вместе с битовыми потоками базового слоя и слоя улучшения в MUX 3014. Информация ILP может быть демультиплексирована посредством DEMUX 4002.

[0044] Фиг. 7 является примерной двухслойной масштабируемой системой кодирования с поддержкой ILP на уровне картинки. Кодер 7006 BL (например, кодер HEVC) на Фиг. 7 может кодировать входные видеоданные BL, используя сочетание пространственного и/или временного предсказания, как например, но не ограничиваясь, рассмотренное со ссылкой на Фиг. 5. Кодер BL может создавать DPB 7010 базового слоя, для хранения реконструированных картинок с целью выполнения предсказания входного видеосигнала, например, посредством временного предсказания с компенсацией движения. В слое улучшения, кодер 7004 EL может работать образом по существу аналогичным тому, который использует кодер 7006 BL. DPB 7008 слоя улучшения, который может предоставлять опорные картинки для предсказания входного видео EL посредством кодера EL, может включать в себя опорные картинки из текущего слоя улучшения и/или опорные картинки из DPB одного или более зависимых слоев (например, DPB 7010 BL, как иллюстрируется на Фиг. 7). Опорные картинки из DPB BL могут быть обработаны посредством компонента 7012 управления и обработки межслойного предсказания перед тем, как быть использованы для предсказания видео EL. Компонент 7012 управления и обработки межслойного предсказания может обрабатывать картинки из DPB 7010 BL перед использованием их для предсказания видео EL. Компонент 7012 управления и обработки ILP может обрабатывать одну или более картинки, хранящиеся в DPB 7010 BL, в формат, который пригоден для предсказания видео слоя улучшения. Компонент 7012 управления и обработки ILP может управлять обработанными опорными картинками и адаптивно принимать решение в отношении того, какая из обработанных картинок может быть использована в качестве предсказания для видео EL посредством кодера 7004 EL.

[0045] Компонент управления и обработки ILP может обрабатывать опорные картинки, хранящиеся в DPB BL, в формат, который может быть пригоден для предсказания видео слоя улучшения. Природа обработки может быть основана на типе масштабируемости между BL и EL. Например, если видео BL и видео EL соответствуют разным пространственным разрешениям, обработка может включать в себя повышающую дискретизацию для выравнивания пространственных разрешений BL и EL. Обработка может переносить параметры, использованные в процессе повышающей дискретизации. Например, компонент 7012 управления и обработки ILP может создавать предварительно определенный набор фильтров повышающей дискретизации. Компонент 7012 управления и обработки ILP может выбирать один или более из предварительно определенных фильтров повышающей дискретизации для выполнения повышающей дискретизации картинок в DPB BL и может отправлять один или более соответствующие индексы фильтра в битовом потоке. Например, декодер может выполнять точно такой же процесс повышающей дискретизации. Компонент управления и обработки ILP может получать (например, адаптивно получать) один или более фильтры повышающей дискретизации, которые являются преимущественными для использования (например, в том смысле, что опорные данные после повышающей дискретизации могут быть использованы для предсказания видео EL более эффективно и создавать более предпочтительные характеристики отношения скорости к искажению). При использовании адаптивных фильтров повышающей дискретизации коэффициенты фильтра и размеры отвода фильтра могут быть включены в битовый поток.

[0046] В другом примере масштабируемости SNR или качества, видео BL и видео EL могут иметь одинаковое разрешение. Видео BL может быть кодированным с помощью более грубого квантования (например, более низкой скоростью передачи бит с более низким качеством), тогда как видео EL может быть кодировано с помощью более тонкого квантования (например, более высокой скоростью передачи бит с более высоким качеством). Компонент 7012 управления и обработки ILP может выполнять операции типа устранения шумов и/или восстановления изображения над опорными картинками в DPB 7010 BL. Такие операции устранения шумов или восстановления могут включать в себя, но не ограничиваются, адаптивные фильтры (например, основанные на методиках Наименьших Квадратов или LS), адаптивные смещения выборок (SAO) (например, как поддерживаемые HEVC), и/или другие типы фильтров устранения шумов нацеленных, например, на сокращение шумов квантования. Соответствующие параметры, которые могут быть использованы в операциях устранения шумов или восстановления могут быть просигнализированы декодеру. Такие методики устранения шумов или восстановления могут быть объединены с процессом повышающей дискретизации для повышения эффективности предсказания применительно к случаю пространственной масштабируемости. Как иллюстрируется на Фиг. 7, кодированный битовый поток EL, кодированный битовый поток BL, и информация ILP могут быть мультиплексированы (например, MUX 7014) в масштабируемый битовый поток HEVC.

[0046.1] В другом примере пространственной масштабируемости или масштабируемости соотношения сторон, может быть выполнена перенастройка ("retargeting") видео BL. Перенастройка может быть использована для установления пространственного соответствия между двумя слоями. Например, перенастройка может соотнести пространственную область, связанную с картинкой (но не обязательно всей картинкой) видео BL, с пространственной областью, связанной с картинкой (но не обязательно всей картинкой) видео EL. Например, когда видео EL имеет более высокое разрешение, с которым должно быть осуществлено отображение на большом экране телевизора, а видео BL имеет меньшее разрешение, с которым должно быть осуществлено отображение на мобильном устройстве с ограниченным разрешением экрана, видео BL может представлять собой часть видео EL (например, представляющую интерес область картинки EL). Изменение объема горизонтального и/или вертикального масштабирования может быть применено к пространственной области в BL, например, в зависимости от того, где в области BL расположен отсчет BL. Перенастройка может быть использована для масштабирования соотношения сторон. Например, когда BL имеет соотношение сторон 4:3, a EL имеет соотношение сторон 16:9. Главный объект в области BL (например, диктор новостей) может быть сохранен с соотношением сторон 4:3 посредством применения равномерного (например, равного) масштабирования в горизонтальном и вертикальном направлениях, тогда как окружающие зоны могут быть растянуты по горизонтали для соответствия соотношению сторон 16:9 в EL.

[0047] В качестве примера масштабируемости вида, видео BL и видео EL могут представлять собой два вида стереоскопического 3D видео. Видео BL может представлять собой один вид, а видео EL может представлять собой другой дополнительный вид. Компонент управления и обработки ILP может применять компенсацию несоответствия к опорным картинкам в DPB BL так, что они становятся эффективным сигналом предсказания для видео EL. Для того, чтобы декодер выполнял точно такую же обработку компенсации несоответствия, в битовом потоке могут быть просигнализированы параметры, использованные во время компенсации несоответствия (например, параметры аффинного преобразования если используется аффинное преобразование, и/или параметры деформирования, если используется деформирование).

[0048] Таблица 2 иллюстрирует список примера функций, которые может выполнять компонент управления и обработки ILP и соответствующие типы масштабируемости, для которых могут быть использованы конкретные функции.

Таблица 2 Примеры обработки ILP Применимые типы масштабируемости Повышающая дискретизация Пространственная масштабируемость, масштабируемость формата цветности Устранение шумов, восстановление, перенастройка Масштабируемость SNR или качества, пространственная масштабируемость, масштабируемость вида, масштабируемость стандарта, масштабируемость соотношения сторон и т.д. Компенсация несоответствия Масштабируемость вида Обратное отображение оттенков Масштабируемость битовой глубины

[0049] Компонент управления и обработки ILP может управлять обработанными опорными картинками и может принимать решение (например, адаптивно принимать решение) в отношении того, какая из опорных картинок может быть использована в качестве предсказания кодером EL. Компонент управления и обработки ILP может определять сколько и каких обработанных ILP картинок может быть использовано для предсказания текущей картинки слоя улучшения. Фиг. 9 является схемой, иллюстрирующей пример двухслойной системы с временным предсказанием и межслойным предсказанием, разрешенным для кодирования слоя улучшения. Применительно к временному предсказанию, структура предсказания на Фиг. 9 может именоваться иерархическим B предсказанием. Применительно к картинке EL, ее опорные картинки могут быть сочетанием опорных картинок во временной области, ее совместно расположенной картинки в BL, и/или временных опорных картинок совместно расположенной картинки BL. Например, картинка EL2 9006 может быть предсказана из временных опорных данных (например, EL0 9004 и/или EL4 9008) и/или межслойных опорных данных (BL2 9010, BL0 9002, BL4 9012). Совокупность межслойных опорных данных (BL2, BL0, BL4) может быть обработана компонентом управления и обработки ILP перед использованием для предсказания картинки EL2 9006. Как здесь описано, обработка ILP может обрабатывать опорные картинки BL в формат, который может быть пригоден для EL (например, пригодное пространственное разрешение, битовая глубина, и т.д.), и/или повышать качество предсказания опорных данных ILP, например, посредством применения устранения шумов и/или восстановления к картинкам базового слоя.

[0050] Обработанные ILP опорные картинки могут обеспечивать эффективные сигналы предсказания. Выбор из множества опорных данных в слое улучшения может вызывать проблемы. Например, на уровне блока, могут возрасти потери на сигнализацию для указания того, какая опорная картинка(и) может быть выбрана для получения сигнала(ов) предсказания. Сложность кодирования также может возрасти так как может быть выполнена оценка движения по расширенному набору опорных картинок. Управление и выбор опорной картинки может обеспечивать эффективное масштабируемое кодирование без увеличения сложности.

[0051] Фиг. 10 является схемой примерного компонента управления и обработки ILP. В момент «t» времени, совместно расположенная картинка BLt 1054 базового слоя с ее опорными картинками BLt-1, BLt-2 и BLt+1 из DPB 1056 BL, могут быть обработаны, чтобы стать ILPt, ILPt-1, ILPt-2, ILPt+1. Эти опорные данные ILP с временными опорными данными ELt-1, ELt-2, и ELt+1, могут быть проанализированы компонентом 1064 управления ILP. Может быть выбрано подмножество. В примере Фиг. 10, выбранные опорные картинки могут включать в себя не совместно расположенные межслойные опорные картинки (например, ILPt+1 1070). В качестве дополнительного примера, выбранные опорные картинки могут включать в себя более одной опорной картинки, которые могут соответствовать тому же самому моменту времени (например, ILPt+1 1070 и ELt+1 1068).

[0052] Например, компонент 1064 управления ILP может выполнять оценку движения (например, оценку движения по целочисленному пикселю) между текущей картинкой EL, ELt, и одними или более опорными данными в объединенном наборе временных и межслойных опорных данных (ELt-1, ELt-2, ELt+1, ILPt, ILPt-1, ILPt-2, ILPt+1). Компонент 1064 управления ILP может собирать искажение оценки движения (например, Сумму Квадратов Ошибки, Среднеквадратичную Ошибку, и/или Сумму Абсолютных Искажений Преобразования) между текущей картинкой и одной или более проанализированными опорными картинками. Компонент 1064 управления ILP может выбирать подмножество опорных картинок, которые приводят к искажению оценки движения, которая ниже предварительно определенной пороговой величины. Компонент 1064 управления и обработки ILP может выбирать подмножество опорных картинок в очередности увеличения искажения до тех пор, пока не будет выбрано предварительно определенное количество опорных данных. Многопроходное кодирование может быть использовано для выполнения операции управления ILP. Например, первый проход кодирования может быть использован для получения статистики кодирования видео, пригодной для выбора подмножества опорных картинок, и один или более последующие проходы кодирования могут быть использованы для кодирования текущей картинки EL, до тех пор, пока не будет считаться удовлетворительной производительность кодирования (например, с точки зрения ее характеристик отношения скорости к искажению). Как иллюстрируется на Фиг. 10, компонент 1064 управления ILP может брать видео слоя улучшения в качестве одних из своих входных данных, при определении того, какую опорную картинку использовать.

[0053] Выполнение ILP на уровне картинки может позволить лежащей в основе низкоуровневой логике кодирования и декодирования остаться по существу той же самой, как та, что используется в однослойной не масштабируемой системе. Например, как иллюстрируется на Фиг. 7, кодер слоя улучшения (например, кодер HEVC) может работать по существу таким же образом, как кодер базового слоя (например, кодер HEVC) возможно за исключением минимальной реконфигурации на уровне картинки или слайса (например, чтобы включать в себя межслойные опорные картинки). Компонент управления и обработки ILP может обеспечивать масштабируемое кодирование. Компонент управления и обработки ILP может работать в качестве дополнительных компонентов в системе. Такие характеристики могут быть чрезвычайно желательными для многих приложений, поскольку исполнение однослойного кодер и декодера может быть максимально повторно использовано, тем самым значительно сокращая сложность реализации.

[0054] Кодер 7004 EL на Фиг. 7 может сигнализировать различные параметры, использованные во время обработки ILP и управления ILP декодеру 8004 EL на Фиг. 8, чтобы он имел возможность конструирования и использования точно таких же межслойных опорных данных. Такая информация, именуемая здесь информацией ILP, может быть отправлена как часть масштабируемого битового потока. Как иллюстрируется на Фиг. 7, компонент 7012 управления и обработки ILP может пакетировать информацию ILP отдельно от пакетов, содержащих кодированные видеоданные видео BL и EL. Информация ILP может быть отправлена отдельно от видео пакетов для реализации компонента управления и обработки ILP как автономного и для сокращения сложности реализации. Например, в HEVC и H.264, единицы Сетевого Уровня Абстракции (NAL) могут быть использованы в качестве единиц пакетирования. Применительно к масштабируемым системам, использующим HEVC и H.264 в качестве лежащих в основе однослойных кодеков, компонент управления и обработки ILP может отправлять информацию ILP в отдельных единицах NAL. На Фиг. 7, например, MUX 7014 может мультиплексировать единицы NAL, несущие информацию ILP, с битовым потоком EL и битовым потоком BL. Например, как показано на Фиг. 8, компонент 8002 DEMUX может принимать масштабируемый битовый поток, содержащий единицы NAL, соответствующие кодированным слайсам/картинкам BL, кодированным слайсам/картинкам EL, и информации ILP. Компонент DEMUX может демультиплексировать битовый поток и отправлять: единицы NAL, соответствующие кодированным слайсам/картинкам BL, декодеру BL; единицы NAL, соответствующие кодированным слайсам/картинкам EL, декодеру EL; и единицы NAL, соответствующие информации ILP, компоненту управления и обработки ILP.

[0055] Системы масштабируемого кодирования видео могут использовать Набор Параметров Адаптации (APS) в HEVC для переноса информации ILP, требуемой компоненту управления и обработки ILP. Пакеты APS могут быть отдельными единицами NAL, например, с конкретным nal_unit_type. Единицы NAL APS могут включать в себя параметры кодирования, используемые в однослойном кодировании, например, параметры Адаптивной Петлевой Фильтрации (ALF) и/или параметры фильтра устранения блочности. Каждой единице NAL APS может быть присвоен aps_id, который может быть использован кодированным слайсом для идентификации, из какого APS получать эти параметры кодирования. Синтаксис APS в HEVC может содержать однобитный флаг aps_extension_flag. Например, когда aps_extension_flag установлен в 1, могут следовать дополнительные данные APS. Раскрываемая здесь масштабируемая система может нести информацию ILP как часть расширения APS. Информация ILP может включать в себя параметры обработки ILP (например, фильтры повышающей дискретизации, если разрешена пространственная масштабируемость; параметры компенсации несоответствия, если разрешена масштабируемость вида; параметры обратного отображения оттенков, если разрешена масштабируемость битовой глубины, и т.д.). Информация ILP может включать в себя параметры управления ILP. Параметры управления ILP могут указывать подмножество временных опорных данных и/или межслойных опорных данных для предсказания текущей картинки EL, могут быть объединены с другой сигнализацией опорной картинки. Параметры управления ILP могут не быть частью расширения APS, и могут быть просигнализированы как часть заголовка сегмента слайса.

[0056] Межслойная обработка может находить реконструированную текстуру в DPB базового слоя и применять усовершенствованные методики фильтрации, и может полагаться на определенный режим и информацию о движении из битового потока базового слоя во время межслойной обработки, например, для того, чтобы повышать эффективность кодирования в слое улучшения. ILP может использовать информацию базового слоя сверх реконструированных данных текстуры из DPD BL. Может быть предусмотрен Зависимый от Интра-режима Направленный Фильтр (IMDDF). Например, режимы интра-предсказания интра-кодированных блоков базового слоя могут быть использованы для выбора соответствующего направленного фильтра, который должен быть применен к реконструированным картинкам базового слоя перед использованием их для межслойного предсказания во время кодирования слоя улучшения. Может быть предусмотрено Отображение Поля Движения (MFM). Информация о движении блока (например, которая может включать в себя индексы опорной картинки и векторы движения) из битового потока базового слоя, может быть отображена, чтобы формировать «виртуальные» поля движения для ILR картинок. Отображенные виртуальные поля движения могут быть использованы для предсказания движения слоя улучшения, например, посредством временного предсказания вектора движения (TMVP), поддерживаемого HEVC.

[0057] Информация о режиме и движении из битовых потоков базового слоя может быть или может не быть доступна в зависимости от конкретной реализации декодера BL. Например, если масштабируемая система декодирования на Фиг. 8 использует ASIC реализацию HEVC в качестве ее декодера BL, то декодер BL может не предоставлять информацию о режиме и движении компоненту управления и обработки ILP через открытые интерфейсы прикладного программирования (API). Усовершенствованная обработка ILP может быть отключена, когда дополнительная информация о режиме и движении (например, как иллюстрируется на Фиг. 8 посредством штрихпунктирной линии) от базового слоя недоступна.

[0058] Масштабируемость стандарта может позволять кодеку BL и кодеку EL, например, кодекам с Фиг. 7 и Фиг. 8, быть разными кодеками. Например, кодек BL может использовать стандарт H.264/AVC, а кодек EL может использовать стандарт HEVC. Когда кодаки BL и EL разные, некоторая информация, которая может быть полезна для кодека EL может автоматически не присутствовать в кодеке BL. Например, стандарт HEVC может использовать Наборы Опорных Картинок (RPS) для достижения управления DPB. В стандарте H.264/AVC, функциональные возможности аналогичные RPS, могут быть предоставлены посредством объединения управления DPB с окном переменной длительности и Опциями Команды Управления Памятью (MMCO). Если кодек EL выполняет межслойное RPS предсказание, например, в соответствии с одним или более описанными здесь реализациями, и если кодек BL не создает информации RPS, потому что он может быть основан на H.264/AVC, межслойное RPS предсказание не может быть непосредственно применено. В некоторых случаях, один или более типы информации, полезные для кодека EL, могут быть недоступны, например, если кодек BL использует стандарт отличный от того, что использует кодек EL.

[0059] Например, информация битового потока видео базового слоя (BL) может быть недоступна из-за ограничений реализации и/или может существовать в формате, неподходящем для использования для эффективного кодирования видео EL. Описываемые здесь реализации могут включать в себя улучшенный компонент управления и обработки ILP. Улучшенный компонент ILP может выполнять дополнительные функции для повышения эффективности кодирования и/или обеспечения максимальной гибкости исполнения для масштабируемой системы кодирования.

[0060] Может быть предоставлен улучшенный компонент ILP. Улучшенный компонент ILP может быть использован для преодоления ограничений (например, ограничений реализации) без снижения эффективности масштабируемого кодирования. Улучшенный компонент ILP может обрабатывать опорные картинки, хранящиеся в DPB BL, в формат, который может быть пригоден для предсказания видео слоя улучшения. Улучшенный компонент ILP может управлять обработанными опорными картинками и/или принимать решение (например, адаптивно принимать решение) в отношении того, какие из обработанных картинок должны быть использованы в качестве предсказания для видео EL кодером EL. Улучшенный компонент ILP может извлекать информацию о режиме и движении из битового потока базового слоя, которая может быть использована для межслойного предсказания. Например, улучшенный компонент ILP может использовать извлеченную информацию о режиме и движении для обработки опорных картинок, хранящихся в DPB BL, в формат, который может быть пригоден для предсказания видео слоя улучшения. Улучшенный компонент ILP может интерпретировать информацию из битового потока базового слоя, например, в пригодный формат, чтобы быть использованной при кодировании слоя улучшения. Например, улучшенный компонент ILP может интерпретировать управление DPB с окном переменной длительности и MMCO, используемые в кодеке BL стандарта H.264/AVC, в RPS, чтобы он использовался кодеком HEVC в EL.

[0061] Фиг. 12 является схемой, иллюстрирующей пример масштабируемой системы декодирования, которая может использовать улучшенный компонент 1202 ILP. Как иллюстрируется на Фиг. 12, улучшенный компонент 1202 ILP может выполнять одну или более функции, включая, например, обработку, управление, извлечение или интерпретацию информации. Улучшенный компонент 1202 ILP может использовать реконструированную картинку BL и применять методики межслойной обработки в соответствии с информацией ILP, предоставленной демультиплексором (DEMUX) битового потока, для создания обработанной реконструированной картинки BL. Если декодер 1212 BL не может предоставить информацию, используемую для межслойной обработки (например, декодер 1212 BL предоставляет реконструированные картинки BL, но не информацию о режиме и движении битового потока BL), улучшенный компонент 1202 ILP может получать информацию (например, посредством функции извлечения улучшенного компонента ILP, например, как здесь описывается). Одна или более обработанные реконструированные картинки BL могут быть вставлены в DPB 1214 EL для кодирования слоя улучшения.

[0062] Улучшенный компонент 1202 ILP может использовать информацию ILP, предоставленную DEMUX 1216, и может определять, какая из одной или более обработанных реконструированных картинок BL может быть вставлена в DPB 1214 EL. Улучшенный компонент ILP может определять очередность обработанных реконструированных картинок BL. Информация BL может присутствовать не в соответствующем формате для улучшенного компонента ILP (например, применительно к функции управления улучшенного компонента ILP). Например, информация BL может присутствовать не в соответствующем формате, если битовый поток BL кодирован при помощи стандарта, отличного от того, что используется кодеком EL. Если информация BL присутствует не в соответствующем формате для улучшенного компонента 1202 ILP, улучшенный компонент 1202 ILP может переформатировать и/или интерпретировать информацию BL в соответствующий формат (например, посредством функции интерпретирования улучшенного компонента 1202 ILP, например, как здесь описывается). Как иллюстрируется примером на Фиг. 5, улучшенный компонент 1202 ILP может использовать интерпретированную информацию BL для выполнения соответствующего управления буфером опорных картинок.

[0063] Улучшенный компонент 1202 ILP может извлекать информацию BL. Например, если информация видео BL может быть использована улучшенным компонентом ILP (например, для функции обработки улучшенного компонента ILP), но недоступна от декодера BL, тогда улучшенный компонент ILP может анализировать битовый поток BL и извлекать информацию (например, такую как, но не ограничивающуюся, информацию о режиме и движении BL). Проанализированная и извлеченная информация может быть использована улучшенным компонентом ILP (например, функцией обработки улучшенного компонента ILP). Например, информация о режиме BL может включать в себя, но не ограничивается, являются ли блоки базового слоя интер- или интра-кодированными, направленные режимы интра-предсказания для интра-кодированных блоков базового слоя, и т.д. Информация о движении BL может включать в себя, но не ограничивается, элементы разбиения блока базового слоя, информацию о направлении предсказания блока базового слоя (например, однонаправленное предсказание или двунаправленное предсказание), векторы движения блока базового слоя, индексы опорной картинки блока базового слоя и т.д.

[0064] Улучшенный компонент ILP может интерпретировать информацию BL. Например, если информация видео BL присутствует в формате не пригодном для использования при кодировании слоя улучшения, тогда улучшенный компонент ILP может переформатировать и интерпретировать информацию видео BL в формат, пригодный для использования для кодирования слоя улучшения. Например, улучшенный компонент ILP может переформатировать и интерпретировать информацию BL, когда масштабируемая система (например, те, что приведены в качестве примера на Фиг. 7 и Фиг. 8), использует разные кодеки BL и EL. Когда гибридные кодеки используются в масштабируемой системе, улучшенный компонент ILP может интерпретировать и подготавливать информацию от кодека BL в пригодный формат для использования кодеком EL. Например, информация управления DPB, основанная на окне с переменной длительностью, и команды MMCO от кодека базового слоя стандарта H.264/AVC могут быть интерпретированы в RPS для кодирования EL, когда кодек слоя улучшения использует HEVC. Улучшенный компонент ILP может переформатировать и интерпретировать информацию BL от любого кодека BL в информацию, используемую любым кодеком слоя улучшения. Как иллюстрируется на Фиг. 12, выходные данные улучшенного компонента ILP могут включать в себя, например, обработанные картинки BL, которые могут быть вставлены в Буфер 1214 Декодированных Картинок EL для эффективного межслойного предсказания. Улучшенный компонент ILP может выводить информацию о режиме и движении BL, интерпретированную информацию RPS и т.д.

[0065] Улучшенный компонент 1202 ILP может предоставлять информацию, которая может быть использована для достижения эффективного масштабируемого кодирования видео, например, когда такая дополнительная информация не является легко доступной от кодека базового слоя. Улучшенный компонент 1202 ILP может быть выполнен с возможностью минимизации использования реализаций однослойного кодека. Улучшенный компонент 1202 ILP может обеспечивать цельный и эффективный интерфейс между кодеком BL и кодеком EL, например, взяв на себя функции, которые не может выполнять реализация однослойного кодека. Например, улучшенный компонент 1202 ILP может обеспечивать эффективное масштабируемое кодирование, не затрагивая функции более низкого уровня кодеков базового слоя и слоя улучшения (например, интра-предсказание, интер-предсказание, преобразование, квантование, обратное преобразование, обратное квантование, петлевую фильтрацию, реконструкцию блока, и т.д.). Улучшенный компонент 1202 ILP может быть использован в масштабируемой системе, которая обладает высокой эффективностью кодирования и может поддерживать гибридную архитектуру кодека (например, кодер и/или декодер базового слоя и кодер и/или декодер слоя улучшения могут использовать разные кодеки). Улучшенный компонент ILP может сокращать стоимость реализации и сохранять эффективность масштабируемого кодирования.

[0066] Обращаясь к Фиг. 3 и Фиг. 4, ILP на уровне блока может быть использовано для дальнейшего повышения производительности масштабируемого кодирования. Несмотря на то, что ILP на уровне блока может потребовать, чтобы кодер и декодер слоя улучшения обладали лежащей в основе логиками отличными от тех, что используются кодером и декодером базового слоя (например, в форме дополнительных режимов кодирования, дополнительных контекстов для арифметического кодирования, и т.д.), ILP на уровне блока может предоставлять кодеру возможность выбора из расширенного набора режимов работы на основании рассмотрений отношения скорости к искажению. Дополнительные варианты выбора могут проявляться в форме более высокой производительности масштабируемого кодирования. Например, стандартами кодирования видео могут быть гибридные основанные на блоке системы кодирования видео с структурными схемами, показанными на Фиг. 5 и Фиг. 6.

[0067] В случае HEVC, видео блоки могут называться единицей предсказания (PU), когда используются для предсказания, кодированным древовидным блоком (CTB), когда используются в качестве единиц кодирования, и единицей преобразования (TU), когда используются для преобразования и обратного преобразования. HEVC может использовать разбиение, основанное на квадрадереве (QT). Поскольку видеосигналы базового слоя и слоя улучшения могут коррелировать, соответствующие режимы кодирования и размеры блока (включая, но не ограничиваясь, PU, TU и CTB) могут коррелировать. Такая корреляция может быть использована кодером и декодером слоя улучшения для совершенствования кодирования в виде дробления QT, режимов и/или размеров PU, TU и CTB в слое улучшения. Это может сократить потери на сигнализацию. Когда разрешена пространственная масштабируемость между двумя слоями, сначала может быть применена регулировка размера блока. Например, если видео EL и видео BL соответствуют пространственному соотношению 2:1 (например, видео EL в два раза больше в каждом измерении), тогда размеры PU, TU и CTB базового слоя могут быть умножены на множитель два в каждом измерении перед использование для предсказания размеров блока слоя улучшения. Режимы и/или размеры блока базового слоя могут быть использованы в качестве дополнительных контекстов бинарных арифметических кодеров для кодирования режимов и/или размеров блока слоя улучшения. Системы кодирования видео могут присваивать полученную информацию (например, режимы и/или размеры) блоков (например, PU, TU, или CTB) межслойной опорной картинке на уровне картинки. Устройство кодирования видео может использовать эту полученную информацию блоков для предсказания блока в слое, например, слое EL.

[0068] Когда предсказание с компенсацией движения разрешено для картинки и/или слайса базового слоя и слоя улучшения в один и тот же момент t времени, векторы движения из базового слоя могут быть использованы для предсказания векторов движения в слое улучшения. Например, когда разрешена пространственная масштабируемость, векторы движения из базового слоя могут быть соответствующим образом отмасштабированы. Например, как иллюстрируется примером на Фиг. 11, в момент t времени в BL 1102, горизонтально заштрихованный блок 1104 может быть предсказан из опорных данных BL в момент (t-1) времени с помощью вектора движения MVa 1106. Отмасштабированный горизонтально заштрихованный блок в EL, если предсказывается из опорных данных EL в момент (t-1) 1108 времени, может иметь вектор движения, чьи значения близки к R*MVa, где R может быть пространственным масштабным коэффициентом. Применительно к вертикально заштрихованному блоку 1110 в EL, соответствующий вертикально заштрихованный блок 1112 базового слоя может быть предсказан из момента (t-2) 1114 времени с помощью вектора MVb движения. Отмасштабированный вертикально заштрихованный блок в EL, если предсказывается из опорных данных EL в момент (t-2) 1116 времени, может иметь вектор движения, чьи значения по существу близки к R*MVb. Когда разрешена масштабируемость вида, векторы движения из базового слоя, представляющего собой первый вид, могут быть деформированы и/или подвергнуты аффинному преобразованию для компенсации несоответствия вида таким образом, что они могут максимально коррелировать с векторами движения в слое улучшения, представляющем собой второй вид. Чтобы воспользоваться преимуществом таких строгих корреляций между межслойными векторами движения, отмасштабированные векторы движения базового слоя (или деформированные/преобразованные векторы движения в случае масштабируемости вида) могут быть использованы в качестве предсказателей вектора движения для сокращения бит кодирования вектора движения слоя улучшения.

[0069] Межслойное предсказание на уровне блока может включать в себя предсказание остаточного сигнала в слое улучшения из остатка базового слоя. Например, может быть выполнено предсказание остатка, при котором остаток блока из базового слоя (например, после повышающей дискретизации для соответствия измерениям при необходимости) может быть вычтен из остатка слоя улучшения для дальнейшего сокращения остаточной энергии слоя улучшения и количества бит, требуемого для его кодирования. Методики межслойного предсказания на уровне блока могут быть использованы для кодирования текстуры EL (например, значений пикселя) образом аналогичным тому, что используется в SVC. В рассматриваемой выше масштабируемой системе, предсказание текстуры может быть предусмотрено в форме ILP на уровне картинки.

[0070] Масштабируемая архитектура (например, гибкая масштабируемая архитектура) применительно к многослойному кодированию видео может быть переконфигурирована для поддержки любого из разных типов масштабиреумостей, перечисленных в Таблице 1. Например, один режим работы может концентрироваться на ILP на уровне картинки. Например, компонент управления и обработки ILP может обрабатывать опорные картинки базового слоя таким образом, что могут быть представлены в пригодном формате наборы опорных картинок базового слоя, и может предоставлять точный и эффективный сигнал предсказания для кодирования видео слоя улучшения. Например, компонент управления и обработки ILP может выбирать подмножество из сочетания временных опорных данных и обработанных межслойных опорных данных для достижения любых предпочтительных компромиссов между скоростью, искажением и/или сложностью вычислений. Например, компонент управления и обработки ILP может пакетировать информацию ILP в отдельные единицы NAL так что операции межслойного предсказания могут быть выполнены с минимальным вмешательством в операции кодера и декодера базового слоя и слоя улучшения. Включение в состав ILP на уровне картинки может сократить сложность реализации, позволяя масштабируемой системе максимально повторно использовать логику однослойного кодера и декодера на базовом слое и слое улучшения.

[0071] Фиг. 13A является схемой примерной системы 100 связи, в которой может быть реализован один или более раскрываемые варианты осуществления. Система 100 связи может быть системой с множественным доступом, которая предоставляет контент, такой как голос, данные, видео, обмен сообщениями, вещание, и т.д., нескольким беспроводным пользователям. Система 100 связи может разрешать нескольким беспроводным пользователям получать доступ к такому контенту посредством совместного использования ресурсов системы, включая беспроводную полосу пропускания. Например, системы 100 связи могут использовать один или более способы доступа к каналу, как например, множественный доступ с кодовым разделением (CDMA), множественный доступ с временным разделением (TDMA), множественный доступ с частотным разделением (FDMA), ортогональный FDMA (OFDMA), FDMA с одной несущей (SC-FDMA), и подобное.

[0072] Как показано на Фиг. 13A, система 100 связи может включать в себя компонент 102a, 102b, 102c, и/или 102d беспроводной передачи/приема (WTRU) (которые в целом или собирательно могут именоваться как WTRU 102), сеть 103/104/105 радиодоступа (RAN), базовую сеть 106/107/109, телефонную коммутируемую сеть 108 общего пользования (PSTN), Интернет 110, и другие сети 112, несмотря на то, что следует иметь в виду, что раскрываемые варианты осуществления предполагают любое количество WTRU, базовых станций, сетей, и/или сетевых элементов. Каждый из WTRU 102a, 102b, 102c, 102d может быть любым типом устройства, выполненного с возможностью работы и/или осуществления связи в беспроводной среде. В качестве примера, WTRU 102a, 102b, 102c, 102d может быть выполнен с возможностью передачи и/или приема беспроводных сигналов и может включать в себя компонент беспроводной передачи/приема (WTRU), мобильную станцию, фиксированный или мобильный абонентский компонент, пейджер, сотовый телефон, персональный цифровой помощник (PDA), интеллектуальный телефон, компьютер класса лэптоп, компьютер класса ноутбук, персональный компьютер, беспроводной датчик, потребительскую электронику, и подобное.

[0073] Системы 100 связи также могут включать в себя базовую станцию 114a и базовую станцию 114b. Каждая из базовых станций 114a, 114b может быть любым типом устройства, выполненным с возможностью беспроводного взаимодействия, по меньшей мере, с одним из WTRU 102a, 102b, 102c, 102d, чтобы способствовать обеспечению доступа к одной или более сетям связи, таким как базовая сеть 106/107/109, Интернет 110, и/или сети 112. В качестве примера, базовые станции 114a, 114b могут быть базовой станцией приемопередатчика (BTS), Узлом-B, eNode B, Домашним Узлом-B, Домашним eNode B, контроллером сайта, точкой доступа (AP), беспроводным маршрутизатором, и подобным. Несмотря на то, что каждая из базовых станций 114a, 114b изображены как один элемент, следует иметь в виду, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или сетевых элементов.

[0074] Базовая станция 114a может быть частью RAN 103/104/105, которая также может включать в себя прочите базовые станции и/или сетевые элементы (не показано), как например, контроллер базовой станции (BSC), контроллер сети с радиодоступом (RNC), узлы ретрансляции, и т.д. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема беспроводных сигналов в пределах конкретной географической области, которая может именоваться сотой (не показано). Сота дополнительно может быть разделена на сектора соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления, базовая станция 114a может включать в себя три приемопередатчика, т.е. один для каждого сектора соты. В варианте осуществления, базовая станция 114a может использовать технологию множества входов и множества выходов (MIMO) и, вследствие этого, может использовать несколько приемопередатчиков для каждого сектора соты.

[0075] Базовые станции 114a, 114b могут осуществлять связь с одним или более из WTRU 102a, 102b, 102c, 102d через радиоинтерфейс 115/116/117, который может быть любой пригодной линией связи (например, радиочастотной (RF), микроволновой, инфракрасной (IR), ультрафиолетовой (UV), в области видимого света, и т.д.). Радиоинтерфейс 115/116/117 может быть создан при помощи пригодной технологии радиодоступа (RAT).

[0076] В частности, как отмечается выше, система 100 связи может быть системой множественного доступа и может использовать одну или более схемы доступа к каналу, такие как CDMA, TDMA, FDMA, OFDMA, SC-FDMA, и подобные. Например, базовая станция 114a в RAN 103/104/105 и WTRU 102a, 102b, 102c могут реализовывать технологию радиосвязи, такую как Наземный Радиодоступ (UTRA) Универсальной Системы Мобильной Связи (UMTS), которая может создавать радиоинтерфейс 115/116/117 при помощи широкополосного CDMA (WCDMA). WCDMA может включать в себя протоколы связи, как например, Высокоскоростной Пакетный Доступ (HSPA) и/или Развитый HSPA (HSPA+). HSPA может включать в себя Высокоскоростной Пакетный Доступ Нисходящей Линии Связи (HSDPA) и/или Высокоскоростной Пакетный Доступ Восходящей Линии Связи (HSUPA).

[0077] В варианте осуществления, базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологию радиосвязи, такую как Развитого Наземного Радиодоступа UMTS (E-UTRA), которая может создавать радиоинтерфейс 115/116/117 при помощи технологии Долгосрочного Развития (LTE) и/или Усовершенствованного LTE (LTE-A).

[0078] В варианте осуществления, базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологии радиосвязи, такие как IEEE 802.16 (т.е., Общемировая Совместимость для Микроволнового Доступа (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, Временный Стандарт (IS-2000), Временный Стандарт 95 (IS-95), Временный Стандарт 856 (IS-856), Глобальная Система Связи с Подвижными Объектами (GSM), Улучшенные Скорости Передачи Данных для Развития GSM (EDGE), GSM EDGE (GERAN) и подобные.

[0079] Базовая станция 114b на Фиг. 13A может быть беспроводным маршрутизатором, Домашним Узлом-B, Домашним eNodeB, или точкой доступа, например, и может использовать любую пригодную RAT, чтобы способствовать возможности беспроводного соединения в локализованной зоне, такой как местонахождение коммерческого предприятие, дом, транспортное средство, кампус, и подобной. В одном варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.11 для создания беспроводной локальной сети (WLAN). В варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.15 для создания беспроводной персональной локальной сети (WPAN). В еще одном варианте осуществления, базовая станция 114b и WTRU 102c, 102d могут использовать основанную на сотах RAT (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, и т.д.) для создания пико соты или фемто соты. Как показано на Фиг. 13A, базовая станция 114b может иметь прямое соединение с Интернет 110. Таким образом, базовой станции 114b может не требоваться доступ к Интернет 110 через базовую сеть 106/107/109.

[0080] RAN 103/104/105 может осуществлять связь с базовой сетью 106/107/109, которая может быть сетью любого типа, выполненной с возможностью предоставления услуг: голосовых, передачи данных, приложений, и/или передачи голоса по интернет протоколу (VoIP), одному или более из WTRU 102a, 102b, 102c, 102d. Например, базовая сеть 106/107/109 может обеспечивать управление вызовом, услуги учета и тарификации, услуги основанные на мобильном местоположении, осуществление предоплаченных вызовов, соединение с Интернет, распространение видео, и т.д., и/или выполнять высокоуровневые функции безопасности, как например, аутентификацию пользователя. Несмотря на то, что не показано на Фиг. 13A, следует иметь в виду, что RAN 103/104/105 и/или базовая сеть 106/107/109 могут осуществлять прямую или не прямую связь с другими RAN, которые используют точно такую же RAT, что и RAN 103/104/105, или отличную RAT. Например, в дополнение к соединению с RAN 103/104/105, которая может использовать технологию радиосвязи E-UTRA, базовая сеть 106/107/109 также может осуществлять связь с RAN (не показана), использующей технологию радиосвязи GSM.

[0081] Базовая сеть 106/107/109 также может служить в качестве шлюза для WTRU 102a, 102b, 102c, 102d, для доступа к PSTN 108, Интернет 110, и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые обеспечивают простую старую телефонную услугу (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которая использует общие протоколы связи, такие как протокол передачи управления (TCP), протокол пользовательских дейтаграмм (UDP) и интернет протокол (IP) в комплекте интернет протоколов TCP/IP. Сети 112 могут включать в себя сети проводной или беспроводной связи, которые принадлежат и/или обслуживаются другими поставщиками услуг. Например, сети 112 могут включать в себя базовую сеть, соединенную с одной или более RAN, которая использует ту же самую RAT, как и RAN 103/104/105 или отличную RAT.

[0082] Некоторые или все WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности, т.е., WTRU 102a, 102b, 102c, 102d могут включать в себя несколько приемопередатчиков для осуществления связи с разными беспроводными сетями по разным беспроводным линиям связи. Например, WTRU 102c, показанный на Фиг. 13A, может быть выполнен с возможностью осуществления связи с базовой станцией 114a, которая может использовать основанную на сотах технологию радиосвязи, и с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

[0083] Фиг. 13B является системной схемой примерного WTRU 102. Как показано на Фиг. 13B, WTRU 102 может включать в себя процессор 118, приемопередатчик 120, элемент 122 передачи/приема, громкоговоритель/микрофон 124, клавишную панель 126, дисплей/воспринимающую касание (сенсорную) панель 128, несъемную память 130, съемную память 132, источник 134 питания, набор 136 микросхем системы глобального позиционирования (GPS), и прочие периферийные элементы 138. Следует иметь в виду, что WTRU 102 может включать в себя любое суб-сочетание вышеприведенных элементов, при этом оставаясь в соответствии с вариантом осуществления. Также, варианты осуществления предполагают, что базовые станции 114a и 114b, и/или узлы, которые могут представлять базовые станции 114a и 114b, как например, но не ограничиваясь, станцию приемопередатчика (BTS), Узел-B, контроллер сайта, точку доступа (AP), домашний узел-B, развитый домашний узел-B (eNodeB), домашний развитый узел-B (HeNB), шлюз домашнего развитого узла-B, и прокси-узлы, среди прочего, могут включать в себя некоторые или каждый из элементов, изображенных на Фиг. 13B и здесь описываемых.

[0084] Процессор 118 может быть процессором общего назначения, специализированным процессором, обычным процессором, цифровым сигнальным процессором (DSP), множеством микропроцессоров, одним или более микропроцессорами вместе с ядром DSP, контроллером, микроконтроллером, Проблемно-ориентированными Интегральными Микросхемами (ASIC), Программируемыми Вентильными Матрицами (FPGA), любым другим типом интегральной микросхемы (IC), конечным автоматом, и подобным. Процессор 118 может выполнять кодирование сигнала, обработку данных, управление питанием, обработку ввода/вывода, и/или любые другие функциональные возможности, которые позволяют WTRU 102 функционировать в беспроводной среде. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть соединен с элементом 122 передачи/приема. Тогда как Фиг. 13B изображает процессор 118 и приемопередатчик 120 как отдельные компоненты, следует иметь в виду, что процессор 118 и приемопередатчик 120 могут быть объединены друг с другом в электронный пакет или чип.

[0085] Элемент 122 передачи/приема может быть выполнен с возможностью передачи сигналов к, или приема сигналов от, базовой станции (например, базовой станции 114a) по радиоинтерфейсу 115/116/117. Например, в одном варианте осуществления, элемент 122 приема/передачи может быть антенной, выполненной с возможностью передачи и/или приема RF сигналов. В варианте осуществления, элемент 122 передачи/приема может быть излучателем/детектором, выполненным с возможностью передачи и/или приема IR, UV, или в области видимого света сигналов, например. В еще одном варианте осуществления, элемент 122 передачи/приема может быть выполнен с возможностью передачи и приема как RF, так и световых сигналов. Следует иметь в виду, что элемент 122 передачи/приема может быть выполнен с возможностью передачи и/или приема любого сочетания беспроводных сигналов.

[0086] В дополнение, несмотря на то, что элемент 122 передачи/приема изображен на Фиг. 13B как один элемент, WTRU 102 может включать в себя любое количество элементов 122 передачи/приема. Более того, WTRU 102 может использовать технологию MIMO. Таким образом, в одном варианте осуществления, WTRU 102 может включать в себя два или более элемента 122 передачи/приема (например, несколько антенн) для передачи и приема беспроводных сигналов по радиоинтерфейсу 115/116/117.

[0087] Приемопередатчик 120 может быть выполнен с возможностью модулирования сигналов, которые должны быть переданы посредством элемента 122 передачи приема и демодулирования сигналов, которые принимаются посредством элемента 122 передачи/приема. Как отмечается выше, WTRU 102 может обладать многорежимными возможностями. Таким образом, приемопередатчик 120 может включать в себя несколько приемопередатчиков для обеспечения WTRU 102 возможностью осуществления связи через несколько RAT, как например UTRA и IEEE 802.11, например.

[0088] Процессор 118 WTRU 102 может быть соединен с, и может принимать входные данные пользователя от, громкоговорителя/микрофона 124, клавишной панели 126, и/или дисплея/воспринимающей касание панели 128 (например, дисплейного компонента жидкокристаллического дисплея (LCD) или дисплейного компонента на органических светоизлучающих диодах (OLED)). Процессор 118 также может выводить данные пользователя на громкоговоритель/микрофон 124, клавишную панель 126, и/или дисплей/воспринимающую касание панель 128. В дополнение, процессор 118 может получать доступ к информации из, и сохранять данные на, любой тип пригодной памяти, такой как несъемная память 130 и/или съемная память 132. Несъемная память 130 может включать в себя запоминающее устройство с произвольной выборкой (RAM), постоянное запоминающее устройство (ROM), жесткий диск, или любой другой тип запоминающего устройства. Съемная память 132 может включать в себя карту модуля идентификационных данных абонента (SIM), модуль памяти, карту памяти стандарта Secure Digital (SD), и подобное. В варианте осуществления, процессор 118 может получать доступ к информации на, сохранять данные на, память, которая физически не расположена в WTRU 102, такой как на сервере или в домашнем компьютере (не показано).

[0089] Процессор 118 может принимать питание от источника 134 питания, и может быть выполнен с возможностью распределения и/или управления питанием для других компонентов в WTRU 102. Источник 134 питания может быть любым пригодным устройство для питания WTRU 102. Например, источник 134 питания может включать в себя одну или более галетные сухие батареи (например, никель-кадмиевые (NiCd), никель-цинковые (NiZn), никелевые металлогидридные (NiMH), ионно литиевые (Li-ion), и т.д., солнечные элементы, топливные элементы, и подобное.

[0090] Процессор 118 также может быть соединен с набором 136 микросхем GPS, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготу и широту), касающуюся текущего местоположения WTRU 102. В дополнение к, или вместо, информации от набора 136 микросхем GPS, WTRU 102 может принимать информацию о местоположении через радиоинтерфейс 115/116/117 от базовой станции (например, базовых станций 114a, 114b) и/или определять свое местоположение на основании хронометража сигналов, принятых от двух или более близлежащих базовых станций. Следует иметь в виду, что WTRU 102 может получать информацию о местоположении посредством любого пригодного способа определения местоположения при этом оставаясь в соответствии с вариантом осуществления.

[0091] Процессор 118 может быть дополнительно соединен с другими периферийными элементами 138, которые могут включать в себя один или более модули программного обеспечения и/или аппаратного обеспечения, которые предоставляют дополнительные признаки, функциональные возможности и/или возможности проводного или беспроводного соединения. Например, периферийные элементы 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фотографий или видео), порт универсальной последовательной шины (USB), устройство вибрации, телевизионный приемопередатчик, гарнитуру «свободные руки», модуль Bluetooth®, частотно модулированное (FM) радио, цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль проигрывателя видеоигр, Интернет браузер, и подобное.

[0092] Фиг. 13C является системной схемой RAN 103 и базовой сети 106 в соответствии с примерным вариантом осуществления. Как отмечается выше, RAN 103 может использовать технологию радиосвязи UTRA для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 115. RAN 103 также может осуществлять связь с базовой сетью 106. Как показано на Фиг. 13C, RAN 103 может включать в себя Узлы-B 140a, 140b, 140c, каждый из которых может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 115. Узлы-B 140a, 140b, 140c каждый может быть связан с конкретной сотой (не показано) внутри RAN 103. RAN 103 также может включать в себя RNC 142a, 142b. Следует иметь в виду, что RAN 103 может включать в себя любое количество Узлов-B и RNC, при этом оставаясь в соответствии с вариантом осуществления.

[0093] Как показано на Фиг. 13C, Узлы-B 140a, 140b могут осуществлять связь с RNC 142a. Дополнительно, Узел-B 140c может осуществлять связь с RNC 142b. Узлы-B 140a, 140b, 140c могут осуществлять связь с соответствующими RNC 142a, 142b через интерфейс Iub. RNC 142a, 142b могут осуществлять связь друг с другом через интерфейс Iur. Каждый из RNC 142a, 142b может быть выполнен с возможностью управления соответствующими Узлами-B 140a, 140b, 140c, с которыми они соединены. В дополнение, каждый из RNC 142a, 142b может быть выполнен с возможностью выполнения или поддержки другой функциональной возможности, такой как управление мощностью в внутреннем контуре, управление нагрузкой, управление допуском, планирование пакетов, управление передачей обслуживания, макро разнесение, функции безопасности, шифрование данных, и подобное.

[0094] Базовая сеть 106, показанная на Фиг. 13C, может включать в себя медиа-шлюз 144 (MGW), центр 146 коммутации подвижной связи (MSC), обслуживающий узел 148 поддержки GPRS (SGSN), и/или шлюзовой узел 150 поддержки GPRS (GGSN). Несмотря на то, что каждый из вышеприведенных элементов изображен как часть базовой сети 106, следует иметь в виду, что любой из этих элементов может принадлежать и/или обслуживаться объектом отличным от оператора базовой сети.

[0095] RNC 142a в RAN 103 может быть соединен с MSC 146 в базовой сети 106 через интерфейс IuCS. MSC 146 может быть соединен с MGW 144. MSC 146 и MGW 144 могут предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108 чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и традиционными устройствами наземной связи.

[0096] RNC 142a в RAN 103 также может быть соединен с SGSN 148 в базовой сети 106 через интерфейс IuPS. SGSN 148 может быть соединен с GGSN 150. SGSN 148 и GGSN 150 могут предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и устройствами с разрешенным IP.

[0097] Как отмечается выше, базовая сеть 106 также может быть соединена с сетями 112, которые могут включать в себя другие проводные или беспроводные сети, которые принадлежат и/или обслуживаются другими поставщиками услуги.

[0098] Фиг. 13D является системной схемой RAN 104 и базовой сети 107 в соответствии с вариантом осуществления. Как отмечается выше, RAN 104 может использовать технологию радио связи E-UTRA для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 116. RAN 104 также может осуществлять связь с базовой сетью 107.

[0099] RAN 104 может включать в себя eNode-B 160a, 160b, 160c, несмотря на то, что следует иметь в виду, что RAN 104 может включать в себя любое количество eNode-B, при этом оставаясь в соответствии с вариантом осуществления. eNode-B 160a, 160b, 160c каждый может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 116. В одном варианте осуществления, eNode-B 160a, 160b, 160c могут реализовывать технологию MIMO. Таким образом, eNode-B 160a, например, может использовать несколько антенн для передачи беспроводных сигналов к, и приема беспроводных сигналов от, WTRU 102a.

[0100] Каждый из eNode-B 160a, 160b, 160c может быть связан с конкретной сотой (не показано) и может быть выполнен с возможностью обработки решений управления радио ресурсами, решений передачи обслуживания, планирования пользователей по восходящей линии связи и/или нисходящей линии связи, и подобного. Как показано на Фиг. 8D, eNode-B 160a, 160b, 160c могут осуществлять связь друг с другом через интерфейс X2.

[0101] Базовая сеть 107, показанная на Фиг. 8D, может включать в себя шлюз 162 управления мобильностью (MME), обслуживающий шлюз 164, и шлюз 166 сети пакетной передачи данных (PDN). Несмотря на то, что каждый из вышеприведенных элементов изображен как часть базовой сети 107, следует иметь в виду, что любой из этих элементов может принадлежать и/или обслуживаться объектом отличным от оператора базовой сети.

[0102] MME 162 может быть соединен с каждым из eNode-B 160a, 160b, 160c в RAN 104 через интерфейс S1 и может служить в качестве узла управления. Например, MME 162 может быть ответственным за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию несущего канала, выбор конкретного обслуживающего шлюза во время начального прикрепления WTRU 102a, 102b, 102c, и подобное. MME 162 также может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показано), которые используют другие технологии радио связи, как например GSM или WCDMA.

[0103] Обслуживающий шлюз 164 может быть соединен с каждым из eNode-B 160a, 160b, 160c в RAN 104 через интерфейс S1. Обслуживающий шлюз 164 может в целом маршрутизировать и переадресовывать пакеты данных пользователя к/от WTRU 102a, 102b, 102c. Обслуживающий шлюз 164 также может выполнять другие функции, как например закрепление плоскостей пользователя во время меж eNode-B передач обслуживания, инициирование поискового вызова, когда данные нисходящей линии связи доступны для WTRU 102a, 102b, 102c, управление и хранение контекстов WTRU 102a, 102b, 102c и прочее.

[0104] Обслуживающий шлюз 164 также может быть соединен с шлюзом 166 PDN, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и устройствами с разрешенным IP.

[0105] Базовая сеть 107 может способствовать осуществлению связи с другими сетями. Например, базовая сеть 107 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и традиционными устройствами наземной связи. Например, базовая сеть 107 может включать в себя, или может осуществлять связь с, шлюзом IP (например, сервером мультимедийной подсистемы на базе протокола IP (IMS)), который служит в качестве интерфейса между базовой сетью 107 и PSTN 108. В дополнение, базовая сеть 107 может предоставлять WTRU 102a, 102b, 102c доступ к сетям 112, которые могут включать в себя другие проводные или беспроводные сети, которые принадлежат и/или обслуживаются другими поставщиками услуги.

[0106] Фиг. 13E является системной схемой RAN 105 и базовой сети 109 в соответствии с вариантом осуществления. RAN 105 может быть сетью доступа к услуге (ASN), которая использует технологию радио связи IEEE 802.16 для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 117. Как будет более подробно рассмотрено ниже, линии связи между разными функциональными объектами из WTRU 102a, 102b, 102c, RAN 105 и базовой сети 109, могут быть определенны в качестве опорных точек.

[0107] Как показано на Фиг. 13E, RAN 105 может включать в себя базовые станции 180a, 180b, 180c, и шлюз 182 ASN, несмотря на то, что следует иметь в виду, что RAN 105 может включать в себя любое количество базовых станций и шлюзов ASN, при этом оставаясь в соответствии с вариантом осуществления. Базовые станции 180a, 180b, 180c каждая может быть связана с конкретной сотой (не показано) в RAN 105 и каждая может включать в себя один или более приемопередатчики для осуществления связи с WTRU 102a, 102b, 102c через радиоинтерфейс 117. В одном варианте осуществления, базовые станции 180a, 180b, 180c могут реализовывать технологию MIMO. Таким образом, базовая станция 180a, например, может использовать несколько антенн для передачи беспроводных сигналов к, и приема беспроводных сигналов от, WTRU 102a. Базовые станции 180a, 180b, 180c также могут предоставлять функции управления мобильностью, как например инициирование передачи обслуживания, создание тоннеля, управление радио ресурсами, классификация трафика, исполнение политики качества услуги (QoS), и подобное. Шлюз 182 ASN может служить в качестве точки агрегации трафика и может быть ответственным за поисковый вызов, кэширование профилей абонента, маршрутизацию базовой сети 109 и подобное.

[0108] Радиоинтерфейс 117 между WTRU 102a, 102b, 102c и RAN 105 может быть определен в качестве опорной точки R1, которая реализует технические условия IEEE 802.16. В дополнение, каждый из WTRU 102a, 102b, 102c может создавать логический интерфейс (не показано) с базовой сетью 109. Логический интерфейс между WTRU 102a, 102b, 102c и базовой сетью 109 может быть определен как опорная точка R2, которая может быть использована для аутентификации, авторизации, управления конфигурацией хоста IP, и/или управления мобильностью.

[0109] Линия связи между каждой из базовых станций 180a, 180b, 180c может быть определена в качестве опорной точки R8, которая включает в себя протоколы, содействующие передачам обслуживания WTRU и пересылке данных между базовыми станциями. Линия связи между базовыми станциями 180a, 180b, 180c и шлюзом 182 ASN может быть определена в качестве опорной точки R6. Опорная точка R6 может включать в себя протоколы, содействующие управлению мобильностью на основании событий мобильности, связанных с каждым из WTRU 102a, 102b, 102c.

[0110] Как показано на Фиг. 13E, RAN 105 может быть соединена с базовой сетью 109. Линия связи между RAN 105 и базовой сетью 109 может быть определена в качестве опорной точки R3, которая включает в себя протоколы, содействующие возможностям по переносу данных и управлению мобильностью, например. Базовая сеть 109 может включать в себя домашний агент 184 мобильного IP (MIP-HA), сервер 186 аутентификации, авторизации, учета (AAA), и шлюз 188. Несмотря на то, что каждый из вышеприведенных элементов изображен как часть базовой сети 109, следует иметь в виду, что любой из этих элементов может принадлежать и/или обслуживаться объектом отличным от оператора базовой сети.

[0111] MIP-HA может быть ответственным за управления IP-адресами, и может обеспечивать роуминг WTRU 102a, 102b, 102c между разными ASN и/или разными базовыми сетями. MIP-HA 184 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как Интернет 110, чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и устройствами с разрешенным IP. Сервер 186 AAA может быть ответственным за аутентификацию пользователя и за поддержку услуг пользователя. Шлюз 188 может способствовать взаимодействию с другими сетями. Например, шлюз 188 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, чтобы способствовать осуществлению связи между WTRU 102a, 102b, 102c и традиционными устройствами наземной связи. В дополнение, шлюз 188 может предоставлять WTRU 102a, 102b, 102c доступ к сетям 112, которые могут включать в себя другие проводные или беспроводные сети, которые принадлежат и/или обслуживаются другими поставщиками услуги.

[0112] Несмотря на то что не показано на Фиг. 13E, следует иметь в виду, что RAN 105 может быть соединена с другими ASN, а базовая сеть 109 может быть соединена с другими базовыми сетями. Линия связи между RAN 105 и другими ASN может быть определена в качестве опорной точки R4, которая может включать в себя протоколы для координации мобильности WTRU 102a, 102b, 102c между RAN 105 и другими ASN. Линия связи между базовой сетью 109 и другими базовыми сетями может быть определена в качестве ссылки R5, которая может включать в себя протоколы, содействующие взаимодействию между домашними базовыми сетями и посещаемыми базовыми сетями.

[0113] Специалисту в соответствующей области следует иметь в виду, что каждый признак или элемент может быть использован отдельно или в любом сочетании с другими признаками и элементами. В дополнение, описываемые здесь способы могут быть реализованы в компьютерной программе, программном обеспечении, или встроенном программном обеспечении, включенном в считываемый компьютером носитель информации для исполнения компьютером или процессором. Примеры считываемых компьютером носителей информации включают в себя электронные сигналы (передаваемые через проводные или беспроводные соединения) и считываемые компьютером запоминающие носители информации. Примеры считываемых компьютером запоминающих носителей информации включают в себя, но не ограничиваются, постоянное запоминающее устройство (ROM), запоминающее устройство с произвольной выборкой (RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители информации, такие как внутренние жесткие диски и съемные диски, магнитооптические носители информации, и оптические носители информации, такие как диски CD-ROM, и цифровые универсальные диски (DVD). Процессор вместе с программным обеспечением может быть использован для реализации радиочастотного приемопередатчика для использования в WTRU, WTRU, терминале, базовой станции, RNC, и любом хост-компьютере.

[0114] Несмотря на то что описывается при помощи 2-слойной масштабируемой системы, специалист в соответствующей области может расширить архитектуру, рассматриваемую здесь, на многослойные масштабируемые системы кодирования видео. Дополнительно, несмотря на то, что часто в качестве примерного однослойного кодека использовался HEVC, система может обладать небольшой зависимостью от самого лежащего в основе однослойного кодека видео, и может быть объединена с любыми другими однослойными кодеками. Специалисту в соответствующей области следует иметь в виду, что каждый признак или элемент может быть использован отдельно или в любом сочетании с другими признаками и элементами.

[0115] Описываемые здесь способы могут быть реализованы в компьютерной программе, программном обеспечении, или встроенном программном обеспечении, включенном в считываемый компьютером носитель информации для исполнения компьютером или процессором. Примеры считываемых компьютером носителей информации включают в себя электронные сигналы (передаваемые через проводные или беспроводные соединения) и считываемые компьютером запоминающие носители информации. Примеры считываемых компьютером запоминающих носителей информации включают в себя, но не ограничиваются, постоянное запоминающее устройство (ROM), запоминающее устройство с произвольной выборкой (RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители информации, такие как внутренние жесткие диски и съемные диски, магнитооптические носители информации, и оптические носители информации, такие как диски CD-ROM, и цифровые универсальные диски (DVD). Процессор вместе с программным обеспечением может быть использован для реализации радиочастотного приемопередатчика для использования в WTRU, WTRU, терминале, базовой станции, RNC и любом хост-компьютере.

Изобретение относится к системам, способам реализации кодирования видео. Технический результат заключается в расширении арсенала технических средств кодирования видео. Указанный технический результат достигается за счет выполнения этапов, на которых: принимают видеосигнал, содержащий базовый слой (BL), слой улучшения (EL) и указание типа масштабируемости, который соотносит BL с EL; определяют на основе типа масштабируемости межслойный процесс для слоя картинки для обработки картинки BL в межслойную опорную (ILR) картинку; выполняют определенный межслойный процесс для слоя картинки в отношении картинки BL для формирования ILR картинки; и в ответ на определение, что ILR картинка включена в набор опорных картинок, связанный с текущей картинкой EL, предсказывают текущую картинку EL с использованием ILR картинки. 2 н. и 34 з.п. ф-лы, 17 ил., 2 табл.

1. Способ кодирования видео, содержащий этапы, на которых:

принимают видеосигнал, содержащий базовый слой (BL), слой улучшения (EL) и указание типа масштабируемости, который соотносит BL с EL;

определяют на основе типа масштабируемости межслойный процесс для слоя картинки для обработки картинки BL в межслойную опорную (ILR) картинку;

выполняют определенный межслойный процесс для слоя картинки в отношении картинки BL для формирования ILR картинки; и

в ответ на определение, что ILR картинка включена в набор опорных картинок, связанный с текущей картинкой EL, предсказывают текущую картинку EL с использованием ILR картинки.

2. Способ по п. 1, дополнительно содержащий этап, на котором сохраняют ILR картинку в буфере декодированных картинок (DPB) EL.

3. Способ по п. 1, в котором ILR картинка не является совместно расположенной ILR картинкой.

4. Способ по п. 1, в котором набор опорных картинок дополнительно содержит опорную картинку EL и предсказание текущей картинки EL содержит использование ILR картинки и опорной картинки EL.

5. Способ по п. 1, в котором предсказание текущей картинки EL дополнительно содержит этапы, на которых:

предсказывают первую часть текущей картинки EL с использованием ILR картинки; и

предсказывают вторую часть текущей картинки EL с использованием опорной картинки EL.

6. Способ по п. 1, в котором видеосигнал дополнительно содержит указание второго типа масштабируемости, который соотносит EL с BL, и способ дополнительно содержит этап, на котором:

определяют на основе второго типа масштабируемости межслойный процесс для второго слоя картинки для обработки картинки BL в ILR картинку, при этом выполнение определенного межслойного процесса для слоя картинки в отношении картинки BL для формирования ILR картинки дополнительно содержит этап, на котором выполняют межслойный процесс для второго слоя картинки в отношении картинки BL для формирования ILR картинки.

7. Способ по п. 1, в котором видеосигнал дополнительно содержит указание второго типа масштабируемости, который соотносит EL с BL, и способ дополнительно содержит этап, на котором:

определяют на основе упомянутого типа масштабируемости и второго типа масштабируемости межслойный процесс для объединенных слоев картинки для обработки картинки BL в ILR картинку, при этом выполнение определенного межслойного процесса для слоя картинки в отношении картинки BL для формирования ILR картинки дополнительно содержит этап, на котором выполняют межслойный процесс для объединенных слоев картинки в отношении картинки BL для формирования ILR картинки.

8. Способ по п. 1, в котором в ответ на определение, что типом масштабируемости является по меньшей мере один из пространственной масштабируемости или масштабируемости формата цветности, межслойный процесс для слоя картинки определяют с включением в него повышающей дискретизации.

9. Способ по п. 1, в котором в ответ на определение, что типом масштабируемости является по меньшей мере один из масштабируемости качества, пространственной масштабируемости, масштабируемости вида, масштабируемости стандарта или масштабируемости соотношения сторон, межслойный процесс для слоя картинки определяют с включением в него шумоподавления.

10. Способ по п. 1, в котором в ответ на определение, что типом масштабируемости является масштабируемость вида, межслойный процесс для слоя картинки определяют с включением в него компенсации несоответствия.

11. Способ по п. 1, в котором в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины, межслойный процесс для слоя картинки определяют с включением в него обратного тонального отображения.

12. Способ по п. 1, в котором в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины и пространственная масштабируемость, межслойный процесс для слоя картинки определяют с включением в него повышающей дискретизации и обратного тонального отображения.

13. Способ по п. 1, причем способ содержит этап, на котором:

принимают пакетированную информацию межслойного предсказания (ILP), при этом определенный межслойный процесс для слоя картинки выполняют на основе этой пакетированной информации ILP.

14. Способ по п. 13, в котором пакетированная информация ILP содержит по меньшей мере одну из информации фильтра повышающей дискретизации, информации шумоподавления, один или более параметров компенсации несоответствия или один или более параметров обратного тонального отображения.

15. Способ по п. 13, в котором пакетированную информацию ILP принимают через отдельную единицу уровня абстракции сети (NAL) из NAL, несущего информацию BL или информацию EL.

16. Способ по п. 14, дополнительно содержащий этап, на котором:

в ответ на определение, что типом масштабируемости является по меньшей мере одна из пространственной масштабируемости или масштабируемости формата цветности, извлекают информацию фильтра повышающей дискретизации из пакетированной информации ILP, при этом определенный межслойный процесс для слоя картинки выполняют с использованием извлеченной информации фильтра повышающей дискретизации.

17. Способ по п. 14, причем способ дополнительно содержит этап, на котором в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины, извлекают упомянутые один или более параметров обратного тонального отображения из пакетированной информации ILP, при этом определенный межслойный процесс для слоя картинки выполняют с использованием извлеченных одного или более параметров обратного тонального отображения.

18. Способ по п. 15, в котором NAL, несущий информацию BL или информацию EL, содержит параметры обратного тонального отображения.

19. Система кодирования видео, содержащая:

процессор, запрограммированный с возможностью:

приема видеосигнала, содержащего базовый слой (BL), слой улучшения (EL) и указание типа масштабируемости, который соотносит BL с EL;

определения на основе типа масштабируемости межслойного процесса для слоя картинки для обработки картинки BL в межслойную опорную (ILR) картинку;

выполнения определенного межслойного процесса для слоя картинки в отношении картинки BL для формирования ILR картинки; и

в ответ на определение, что ILR картинка включена в набор опорных картинок, связанный с текущей картинкой EL, предсказания текущей картинки EL с использованием ILR картинки.

20. Система по п. 19, в которой процессор дополнительно запрограммирован с возможностью сохранения ILR картинки в буфере декодированных картинок (DPB) EL.

21. Система по п. 19, в которой ILR картинка содержит не совместно расположенную ILR картинку.

22. Система по п. 19, в которой набор опорных картинок дополнительно содержит опорную картинку EL и предсказание текущей картинки EL содержит использование ILR картинки и опорной картинки EL.

23. Система по п. 19, в которой предсказание текущей картинки EL дополнительно содержит:

предсказание первой части текущей картинки EL с использованием ILR картинки; и

предсказание второй части текущей картинки EL с использованием опорной картинки EL.

24. Система по п. 19, в которой видеосигнал дополнительно содержит указание второго типа масштабируемости, который соотносит EL с BL, и процессор дополнительно сконфигурирован с возможностью:

определения на основе второго типа масштабируемости межслойного процесса для второго слоя картинки для обработки картинки BL в ILR картинку, при этом выполнение определенного межслойного процесса для слоя картинки в отношении картинки BL для формирования ILR картинки дополнительно содержит выполнение межслойного процесса для второго слоя картинки в отношении картинки BL для формирования ILR картинки.

25. Система по п. 19, в которой видеосигнал дополнительно содержит указание второго типа масштабируемости, который соотносит EL с BL, и процессор дополнительно сконфигурирован с возможностью: определения на основе упомянутого типа масштабируемости и второго типа масштабируемости межслойного процесса для объединенных слоев картинки для обработки картинки BL в ILR картинку, при этом выполнение определенного межслойного процесса для слоя картинки в отношении картинки BL для формирования ILR картинки дополнительно содержит выполнение межслойного процесса для объединенных слоев картинки в отношении картинки BL для формирования ILR картинки.

26. Система по п. 19, в которой в ответ на определение, что типом масштабируемости является по меньшей мере один из пространственной масштабируемости или масштабируемости формата цветности, межслойный процесс для слоя картинки определяется с включением в него повышающей дискретизации.

27. Система по п. 19, в которой в ответ на определение, что типом масштабируемости является по меньшей мере один из масштабируемости качества, пространственной масштабируемости, масштабируемости вида, масштабируемости стандарта или масштабируемости соотношения сторон, межслойный процесс для слоя картинки определяется с включением в него шумоподавления.

28. Система по п. 19, в которой в ответ на определение, что типом масштабируемости является масштабируемость вида, межслойный процесс для слоя картинки определяется с включением в него компенсации несоответствия.

29. Система по п. 19, в которой в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины, межслойный процесс для слоя картинки определяется с включением в него обратного тонального отображения.

30. Система по п. 19, в которой в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины и пространственная масштабируемость, межслойный процесс для слоя картинки определяется с включением в него повышающей дискретизации и обратного тонального отображения.

31. Система по п. 19, причем процессор дополнительно сконфигурирован с возможностью:

приема пакетированной информации межслойного предсказания (ILP), при этом определенный межслойный процесс для слоя картинки выполняется на основе этой пакетированной информации ILP.

32. Система по п. 31, в которой пакетированная информация ILP содержит по меньшей мере одну из информации фильтра повышающей дискретизации, информации шумоподавления, один или более параметров компенсации несоответствия, или один или более параметров обратного тонального отображения.

33. Система по п. 31, в которой процессор дополнительно запрограммирован с возможностью приема пакетированной информации ILP через отдельную единицу уровня абстракции сети (NAL) из NAL, несущего информацию BL или информацию EL.

34. Система по п. 32, в которой процессор дополнительно сконфигурирован с возможностью, в ответ на определение, что типом масштабируемости является по меньшей мере одна из пространственной масштабируемости или масштабируемости формата цветности, извлечения информации фильтра повышающей дискретизации из видеосигнала, при этом определенный межслойный процесс для слоя картинки выполняется с использованием извлеченной информации фильтра повышающей дискретизации.

35. Система по п. 32, в которой процессор дополнительно сконфигурирован с возможностью, в ответ на определение, что типом масштабируемости является масштабируемость битовой глубины, извлекают упомянутые один или более параметров обратного тонального отображения из видеосигнала, при этом определенный межслойный процесс для слоя картинки выполняется с использованием извлеченных одного или более параметров обратного тонального отображения.

36. Система по п. 33, в которой NAL, несущий информацию BL или информацию EL, содержит параметры обратного тонального отображения.