СПОСОБ МЕЖСЛОЙНОГО ПРЕДСКАЗАНИЯ ДЛЯ ВИДЕОСИГНАЛА Российский патент 2010 года по МПК H04N7/32 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу межслойного предсказания при кодировании/декодировании видеосигнала.

Предшествующий уровень техники

Масштабируемый видеокодек (SVC) кодирует видео в последовательность изображений с максимально высоким визуальным качеством и при этом обеспечивает возможность декодирования части последовательности кодированных изображений (в частности, частичной последовательности кадров, выбранных с перерывами из полной последовательности кадров) и использования для представления видео с низким визуальным качеством.

Несмотря на то что существует возможность представления видео с низким визуальным качеством посредством приема и обработки части последовательности изображений, кодированных по масштабируемой схеме, остается проблема, связанная с тем, что визуальное качество существенно ухудшается, если снижается расход битов (битрейт). Одно решение упомянутой проблемы заключается в обеспечении вспомогательной последовательности изображений для низких битрейтов, например, последовательности изображений, имеющих небольшой экранный размер и/или низкую частоту кадров, в виде, по меньшей мере, одного слоя в иерархической структуре.

Когда предполагается, что обеспечены две последовательности, вспомогательную (младшую) последовательность изображений называют базовым слоем, и главную (старшую) последовательность изображений называют улучшенным слоем или слоем улучшенного качества. Видеосигналы базового и улучшенного слоев обладают избыточностью, поскольку один и тот же источник видеосигнала кодируется в двух слоях. Для повышения эффективности кодирования улучшенного слоя, видеосигнал улучшенного слоя кодируется с использованием кодированной информации (информации о движении или информации о текстуре) базового слоя.

Хотя единственный видеоисточник 1 можно кодировать во множество слоев с разными скоростями переноса, как показано на фиг.1a, множество видеоисточников 2b в разных режимах сканирования, которые содержат одинаковый контент 2a, можно кодировать в соответствующие слои, как показано на фиг.1b. И в этом случае кодер, который кодирует старший слой, может повысить эффективность кодирования путем выполнения межслойного предсказания с использованием кодированной информации младшего слоя, поскольку оба источника 2b обеспечивают одинаковый контент 2a.

Таким образом, необходимо обеспечить способ для межслойного предсказания с учетом режимов сканирования видеосигналов, при кодировании разных источников в соответствующие слои. Когда кодируется чересстрочное видео, его можно кодировать в четные и нечетные поля и можно также кодировать в пары нечетных и четных макроблоков в одном кадре. Соответственно, типы изображений для кодирования чересстрочного видеосигнала также следует учитывать при межслойном предсказании.

В общем, улучшенный слой обеспечивает изображения с разрешением выше, чем в изображениях базового слоя. Соответственно, если изображения слоев имеют разные разрешения, когда разные источники кодируются в соответствующие слои, то необходимо также выполнять интерполяцию для повышения разрешения изображения (т.е. размера изображения). Поскольку чем ближе находятся видеообъекты в изображениях базового слоя для использования в межслойном предсказании к видеообъектам в изображениях улучшенного слоя для кодирования с предсказанием, тем выше является скорость кодирования, то необходимо создать способ интерполяции, учитывающий режимы сканирования видеосигналов слоев.

Сущность изобретения

Целью настоящего изобретения является создание способа выполнения межслойного предсказания при условии, что, по меньшей мере, один из двух слоев содержит чересстрочные составляющие видеосигнала.

Другой целью настоящего изобретения является создание способа выполнения межслойного предсказания движения в слоях, содержащих изображения с разными пространственными разрешениями (масштабируемостями) в зависимости от типов изображений.

Еще одной целью настоящего изобретения является создание способа выполнения межслойного предсказания текстуры в слоях, содержащих изображения с разными пространственными и/или временными разрешениями (масштабируемостями).

Один способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что устанавливают связанную с движением информацию макроблока intra-режима (с внутрикадровым кодированием) по связанной с движением информации макроблока inter-режима (с межкадровым кодированием), при этом макроблоки intra-режима и inter-режима являются двумя вертикально смежными макроблоками базового слоя; и затем получают информацию о движении пары вертикально смежных макроблоков для использования в межслойном предсказании движения на основе этих двух вертикально смежных макроблоков.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что устанавливают макроблок intra-режима, который является одним из двух вертикально смежных макроблоков intra-режима и inter-режима базового слоя, по блоку inter-режима, содержащему нулевую, связанную с движением информацию; и затем получают информацию о движении пары вертикально смежных макроблоков для использования в межслойном предсказании движения на основе этих двух вертикально смежных макроблоков.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что выводят информацию о движении одного макроблока из информации о движении пары вертикально смежных макроблоков кадра базового слоя; и используют выведенную информацию о движении в качестве информации предсказания в информации о движении макроблока поля в текущем слое или соответствующей информации о движении пары макроблоков полей в текущем слое.

Другой способ межслойного предсказания движения в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что выводят соответствующую информацию о движении двух макроблоков из информации о движении одного макроблока поля базового слоя или информации о движении одного макроблока поля, выбранного из пары вертикально смежных макроблоков полей базового слоя; и используют выведенную соответствующую информацию о движении в качестве информации предсказания в соответствующей информации о движении пары макроблоков кадра текущего слоя.

Один способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что преобразуют изображение младшего слоя в кадровое изображение с таким же разрешением посредством селективного применения предсказательных способов для преобразования в макроблоки кадров в соответствии с типами изображений и типами макроблоков в изображениях; выполняют повышающую дискретизацию (сверхдискретизируют) в отношении кадрового изображения, чтобы получить такое же разрешение, как разрешение старшего слоя; и затем применяют способ межслойного предсказания, подходящий для типов макроблоков кадра в сверхдискретизированном кадровом изображении и типов макроблоков в изображении старшего слоя.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев и/или типы макроблоков, содержащихся в изображениях; применяют способ предсказания пары макроблоков кадра по одному макроблоку поля к изображению младшего слоя в соответствии с результатами опознания, чтобы построить виртуальное изображение, имеющее такое же соотношение размеров, как соотношение размеров изображения старшего слоя; сверхдискретизируют виртуальное изображение; и затем применяют межслойное предсказание движения к старшему слою с использованием сверхдискретизированного виртуального изображения.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев и/или типы макроблоков, содержащихся в изображениях; применяют способ предсказания пары макроблоков кадра по одному макроблоку поля к изображению младшего слоя в соответствии с результатами опознания, чтобы построить виртуальное изображение, имеющее такое же соотношение размеров, как соотношение размеров изображения старшего слоя; и применяют межслойное предсказание движения к изображению старшего слоя с использованием построенного виртуального изображения.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев; копируют информацию о движении блока в изображении младшего слоя, чтобы построить виртуальное изображение, если тип изображения младшего слоя является чересстрочным, и тип изображения старшего слоя является прогрессивным; сверхдискретизируют виртуальное изображение; и применяют способ предсказания движения между макроблоками кадров сверхдискретизированного виртуального изображения и изображения старшего слоя.

Другой способ межслойного предсказания движения для слоев с изображениями с разными разрешениями в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что опознают типы изображений младшего и старшего слоев; копируют информацию о движении блока младшего слоя, чтобы построить виртуальное изображение, если тип изображения младшего слоя является чересстрочным и тип изображения старшего слоя является прогрессивным; и используют виртуальное изображение для применения межслойного предсказания движения к изображению старшего слоя.

В варианте осуществления настоящего изобретения, при межслойном предсказании движения последовательно предсказываются режимы разбиения, опорные индексы и векторы движения.

В другом варианте осуществления настоящего изобретения последовательно предсказываются опорные индексы, векторы движения и режимы разбиения.

В другом варианте осуществления настоящего изобретения информация о движении пары макроблоков полей виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков кадра базового слоя.

В другом варианте осуществления настоящего изобретения информация о движении макроблока поля в четном или нечетном полевом изображении виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков кадра базового слоя.

В другом варианте осуществления настоящего изобретения макроблок выбирается из пары макроблоков полей базового слоя, и информация о движении пары макроблоков полей виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении выбранного макроблока.

В другом варианте осуществления настоящего изобретения информация о движении пары макроблоков кадра виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении макроблока поля в четном или нечетном полевом изображении базового слоя.

В другом варианте осуществления настоящего изобретения информация макроблока поля в четном или нечетном полевом изображении базового слоя копируется, чтобы дополнительно построить виртуальный макроблок поля, и информация о движении пары макроблоков кадра виртуального базового слоя, подлежащая использованию для межслойного предсказания движения, выводится из информации о движении пары макробоков полей, построенных упомянутым образом.

Один способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят пару макроблоков полей из пары вертикально смежных макроблоков кадра базового слоя; и используют соответствующую информацию о текстуре построенной пары макроблоков полей в качестве соответствующей информации предсказания текстуры пары макроблоков полей текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят один макроблок поля из пары вертикально смежных макроблоков кадра базового слоя; и используют информацию о текстуре построенного одного макроблока поля в качестве информации предсказания текстуры макроблока поля текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят пару макроблоков кадра из одного макроблока поля или пары вертикально смежных макроблоков полей базового слоя; и используют соответствующую информацию о текстуре построенной пары макроблоков кадра в качестве соответствующей информации предсказания текстуры пары макроблоков кадра текущего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что строят N пар макроблоков кадров из пары вертикально смежных макроблоков полей базового слоя, причем N является целым числом больше, чем 1; и используют соответствующую информацию о текстуре построенных N пар макроблоков кадров в качестве соответствующей информации предсказания текстуры N пар макроблоков кадров, находящихся в разных временных позициях в текущем слое.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют каждый кадр младшего слоя на множество полевых изображений, чтобы младший слой мог иметь такое же временное разрешение, как временное разрешение старшего слоя; сверхдискретизируют каждое из полученных разделением полевых изображений в вертикальном направлении для растяжения каждого из разделенных полевых изображений в вертикальном направлении; и затем используют каждое из сверхдискретизированных полевых изображений в межслойном предсказании текстуры каждого кадра старшего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что сверхдискретизируют каждое полевое изображение младшего слоя в вертикальном направлении для растяжения каждого полевого изображения в вертикальном направлении; и используют каждое из сверхдискретизированных полевых изображений в межслойном предсказании текстуры каждого кадра старшего слоя.

Другой способ межслойного предсказания текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют каждый кадр старшего слоя на множество полевых изображений; выполняют понижающую дискретизацию (субдискретизируют) в отношении изображений младшего слоя для уменьшения изображений младшего слоя в вертикальном направлении; и затем используют субдискретизированные изображения в межслойном предсказании текстуры полученных разделением полевых изображений старшего слоя.

Способ кодирования видеосигнала с использованием межслойного предсказания в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что определяют, использовать ли, в межслойном предсказании текстуры, соответствующую информацию о текстуре 2N блоков, построенных поочередным выбором строк 2N блоков в произвольном изображении базового слоя, и затем размещением выбранных строк в порядке выбора, или соответствующую информацию о текстуре 2N блоков, построенных интерполированием одного блока, выбранного из 2N блоков базового слоя; и включают информацию, показывающую результат определения, в кодированную информацию.

Способ декодирования видеосигнала с использованием межслойного предсказания в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что проверяют, содержится ли или нет специальная указательная информация в принятом сигнале; и определяют, на основе результата проверки, использовать ли в межслойном предсказании текстуры соответствующую информацию о текстуре 2N блоков, построенных поочередным выбором строк 2N блоков в произвольном изображении базового слоя, и затем размещением выбранных строк в порядке выбора, или соответствующую информацию о текстуре 2N блоков, построенных интерполированием одного блока, выбранного из 2N блоков базового слоя.

В варианте осуществления настоящего изобретения каждый кадр старшего или младшего слоя разделяется на два полевых изображения.

В варианте осуществления настоящего изобретения, если специальная указательная информация не содержится в принятом сигнале, то случай рассматривается как аналогичный случаю, в котором принят сигнал, содержащий указательную информацию, установленную в нуль, и определяются блоки, чья соответствующая информация о текстуре подлежит использованию в межслойном предсказании.

Один способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют чересстрочный видеосигнал базового слоя на компоненты четного и нечетного полей; увеличивают каждый из компонентов четного и нечетного полей в вертикальном и/или горизонтальном направлении; и затем объединяют и используют увеличенные компоненты четного и нечетного полей в межслойном предсказании текстуры.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что разделяют прогрессивный видеосигнал базового слоя на группу четных строк и группу нечетных строк; увеличивают каждую из групп четных и нечетных строк в вертикальном и/или горизонтальном направлении; и объединяют и используют объединенные увеличенные группы четных и нечетных строк в межслойном предсказании текстуры.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что увеличивают чересстрочный видеосигнал базового слоя в вертикальном и/или горизонтальном направлении, чтобы обеспечить такое же разрешение, как разрешение прогрессивного видеосигнала старшего слоя; и выполняют межслойное предсказание текстуры видеосигнала старшего слоя на основе увеличенного видеосигнала.

Другой способ использования видеосигнала базового слоя в межслойном предсказании текстуры в соответствии с настоящим изобретением содержит этапы, заключающиеся в том, что увеличивают прогрессивный видеосигнал базового слоя в вертикальном и/или горизонтальном направлении, чтобы обеспечить такое же разрешение, как разрешение чересстрочного видеосигнала старшего слоя; и выполняют межслойное предсказание текстуры видеосигнала старшего слоя на основе увеличенного видеосигнала.

В варианте осуществления настоящего изобретения разделение и увеличение видеосигнала выполняется на уровне макроблоков (или на основе макроблоков).

В другом варианте осуществления настоящего изобретения, разделение и увеличение видеосигнала выполняется на уровне изображений.

В другом варианте осуществления настоящего изобретения, разделение и увеличение видеосигнала выполняется, если различаются форматы изображений двух слоев, к которым следует применять межслойное предсказание текстуры, т.е. если один слой содержит прогрессивные изображения и другой слой содержит чересстрочные изображения.

В другом варианте осуществления настоящего изобретения разделение и увеличение видеосигнала выполняется, если оба изображения двух слоев, к которым следует применять межслойное предсказание текстуры, являются чересстрочными.

Перечень чертежей

Фиг.1a и 1b - наглядное представление способов кодирования одного видеоисточника во множество слоев;

Фиг.2a и 2b - сокращенное представление конфигурации устройства кодирования видеосигнала, к которому применен способ межслойного предсказания в соответствии с настоящим изобретением;

Фиг.2c и 2d - типы последовательностей изображений для кодирования чересстрочного видеосигнала;

Фиг.3a и 3b - схематичное представление процедуры, по которой строится изображение базового слоя и выполняется деблокинговая фильтрация для межслойного предсказания текстуры в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4a-4f - схематичное представление процедуры, по которой информацию о движении в макроблоке поля виртуального базового слоя, подлежащего использованию для межслойного предсказания движения в макроблоке поля в MBAFF-кадре (кадре с адаптивным к макроблокам кодированием полей), получают с использованием информации о движении в макроблоке кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4g - схематичное представление процедуры, по которой информацию о текстуре в паре макроблоков используют для предсказания текстуры в паре макроблоков поля в MBAFF-кадре в соответствии с вариантом осуществления настоящего изобретения;

Фиг.4h - наглядное представление способа преобразования пары макроблоков кадра в пару макроблоков поля в соответствии с вариантом осуществления настоящего изобретения;

Фиг.5a и 5b - представление процедуры вывода опорного индекса и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.6a-6c - схематичное представление процедур, по которым информацию о движении в макроблоке поля виртуального базового слоя получают с использованием информации о движении в макроблоке кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.6d - схематичное представление процедуры, по которой информацию о текстуре в паре макроблоков кадров используют для предсказания текстуры в макроблоке поля в полевом изображении в соответствии с вариантом осуществления настоящего изобретения;

Фиг.7a и 7b - представление процедуры вывода опорного индекса и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.8a-8c - схематичное представление процедур, по которым информацию о движении в макроблоке кадра из макроблока поля виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в MBAFF-кадре в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8d - схематичное представление процедуры, по которой информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в предсказании текстуры пары макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8e - схема способа преобразования пары макроблоков полей в пару макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8f-8g - схематичное представление процедур, по которым информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в межслойном предсказании пары макроблоков кадра, когда только один из пары макроблоков полей является макроблоком inter-режима в соответствии с вариантом осуществления настоящего изобретения;

Фиг.8h - схематичное представление процедуры, по которой информацию о текстуре пары макроблоков полей в MBAFF-кадре используют в предсказании текстуры множества пар макроблоков кадров в соответствии с вариантом осуществления настоящего изобретения;

Фиг.9a-9b - схема процедур вывода опорных индексов и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.10a-10c - схематичное представление процедур, по которым информацию о движении макроблока кадра виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в полевом изображении в соответствии с вариантом осуществления настоящего изобретения;

Фиг.10d - схематичное представление процедуры, по которой информацию о текстуре макроблока поля в полевом изображении используют в предсказании текстуры пары макроблоков кадра в соответствии с вариантом осуществления настоящего изобретения;

Фиг.11 - схема процедуры вывода опорных индексов и информации о движении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.12a и 12b - схематичное представление процедур, по которым информацию о движении макроблока кадра виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в полевом изображении в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг.13a-13d - схематичное представление, раздельно по типам изображений, процедур, по которым информацию о движении макроблока поля виртуального базового слоя, подлежащую использованию для межслойного предсказания движения, выводят с использованием информации о движении макроблока поля в соответствии с вариантом осуществления настоящего изобретения;

Фиг.14a-14k - схематичное представление, раздельно по типам изображений, способов выполнения межслойного предсказания движения, когда пространственные разрешения слоев различаются, в соответствии с множеством различных вариантов осуществления настоящего изобретения;

Фиг.15a и 15b - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании текстуры, когда улучшенный слой является прогрессивным и базовый слой является чересстрочным, в соответствии с вариантом осуществления настоящего изобретения;

Фиг.16a и 16b - схематичное представление процедур, по которым, чтобы использовать изображение базового слоя в межслойном предсказании текстуры, пара макроблоков в изображении разделяется на макроблоки, и полученные разделением макроблоки увеличиваются в соответствии с вариантом осуществления настоящего изобретения;

Фиг.17a и 17b - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании текстуры, когда улучшенный слой является чересстрочным, и базовый слой является прогрессивным в соответствии с вариантом осуществления настоящего изобретения;

Фиг.18 - схематичное представление процедур, по которым изображение базового слоя с отличающимся пространственным разрешением используется в межслойном предсказании, когда как улучшенный, так и базовый слои являются чересстрочными в соответствии с вариантом осуществления настоящего изобретения;

Фиг.19a - схематичное представление процедуры, по которой межслойное предсказание применяется, когда улучшенный слой представляет собой последовательность прогрессивных кадров, и различаются типы изображений и временные разрешения двух слоев в соответствии с вариантом осуществления настоящего изобретения;

Фиг.19b - схематичное представление процедуры, по которой межслойное предсказание применяется, когда улучшенный слой представляет собой последовательность прогрессивных кадров, и два слоя содержат изображения разных типов и имеют одинаковое разрешение в соответствии с вариантом осуществления настоящего изобретения;

Фиг.20 - схематичное представление процедуры, по которой межслойное предсказание применяется, когда базовый слой представляет собой последовательность прогрессивных кадров, и различаются типы изображений и временные разрешения двух слоев в соответствии с вариантом осуществления настоящего изобретения; и

Фиг.21 - схематичное представление процедуры, по которой межслойное предсказание применяется, когда базовый слой представляет собой последовательность прогрессивных кадров, и два слоя содержат изображения разных типов и имеют одинаковое разрешение в соответствии с вариантом осуществления настоящего изобретения.

Варианты осуществления изобретения

Ниже приведено подробное описание вариантов осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

На фиг.2a схематично представлены компоновочные блоки устройства кодирования видеосигнала, к которому применен способ межслойного предсказания в соответствии с настоящим изобретением. Хотя устройство, показанное на фиг.2a, выполнено для кодирования входного видеосигнала в двух слоях, нижеописанные принципы настоящего изобретения применимы также к процессам межслойной обработки, даже когда видеосигнал кодируется в три или больше слоев.

Способ межслойного предсказания в соответствии с настоящим изобретением в кодере 20 улучшенного слоя (EL-кодере) в устройстве, показанном на фиг.2a. Кодированная информация (информация о движении и информация о текстуре) принимается в кодере 21 базового слоя (BL-кодере). Межслойное предсказание текстуры или предсказание движения выполняется на основании принятой информации. При необходимости, принятая информация декодируется, и предсказание выполняется на основании декодированной информации. Безусловно, в настоящем изобретении входной видеосигнал может быть кодирован с использованием видеоисточника 3 базового слоя, который уже кодирован, как показано на фиг.2b. В данном случае применяется такой же способ межслойного предсказания, как описанный ниже.

В случае, показанном на фиг.2a, возможны два способа, которыми BL-кодер 21 кодирует чересстрочный видеосигнал или которыми кодирован кодированный видеоисточник 3, показанный на фиг.2b. В частности, по одному из двух способов чересстрочный видеосигнал просто, поле за полем, кодируется в последовательность полей, как показано на фиг.3a, и по другому способу кадры кодируются в последовательность кадров посредством построения каждого кадра последовательности парами макроблоков из двух (четного и нечетного) полей, как показано на фиг.3b. Верхний макроблок из пары макроблоков в кадре, кодированном таким образом, называется «верхним макроблоком», и нижний макроблок называется «нижним макроблоком». Если верхний макроблок состоит из видеокомпонента четного (или нечетного) поля, то нижний макроблок состоит из видеокомпонента нечетного (или четного) поля. Построение кадра упомянутым способом называется кадром с адаптивным к макроблокам кодированием полей (MBAFF). MBAFF-кадр может содержать не только пары макроблоков, содержащих, каждая, макроблоки нечетного и четного полей, но также пары макроблоков, содержащих, каждая, два макроблока кадра.

Соответственно, когда макроблок в изображении содержит чересстрочный видеокомпонент, он может быть макроблоком в поле и может быть также макроблоком в кадре. Каждый макроблок, содержащий чересстрочный видеокомпонент, называется макроблоком поля, тогда как каждый макроблок, содержащий прогрессивный (с прогрессивной разверткой) видеокомпонент, называется макроблоком кадра.

Таким образом, способ межслойного предсказания необходимо определить путем определения того, является ли каждый из типов макроблока, подлежащего кодированию в EL-кодере 20, и макроблок базового слоя, подлежащего использованию в межслойном предсказании макроблока, типом макроблока кадра или типом макроблока поля. Если макроблок является макроблоком поля, то способ межслойного предсказания необходимо определить путем определения, является ли упомянутый макроблок макроблоком поля в поле или в MBAFF-кадре.

Способ будет описан отдельно для каждого случая. Перед описанием сделано допущение, что разрешение текущего слоя равно разрешению базового слоя. То есть принято, что тип пространственной масштабируемости (SpatialScalabilityType()) является нулевым. Описание случая, когда разрешение текущего слоя выше, чем разрешение базового слоя, будет дано позже. В нижеследующих описании и чертежах, термины «верхний» и «четный» (или нечетный) используются взаимозаменяемо, и термины «нижний» и «нечетный» (или четный) используются взаимозаменяемо.

Чтобы выполнить межслойное предсказание для кодирования или декодирования улучшенного слоя с использованием базового слоя, сначала необходимо декодировать базовый слой. Поэтому далее сначала приведено описание декодирования базового слоя.

Когда декодируется базовый слой, декодируется не только информация о движении в базовом слое, например режимы разбиения, опорные индексы и векторы движения, но также текстура базового слоя.

Когда декодируется текстура базового слоя для межслойного предсказания текстуры, декодируются не все данные отсчетов видеообъектов базового слоя, чтобы уменьшить загрузку декодера. В макроблоках, обработанных в так называемом intra-режиме (режиме внутрикадрового кодирования, далее по тексту иногда intra-макроблоках), декодируются данные отсчетов видеообъектов, а в макроблоках, обработанных в так называемом inter-режиме (режиме межкадрового кодирования, далее по тексту иногда inter-макроблоках), декодируются без компенсации движения по отношению к соседним изображениям лишь остаточные данные, которые являются данными ошибок между данными отсчетов видеообъектов.

Кроме того, декодирование текстуры базового слоя для межслойного предсказания текстуры выполняется по изображениям, а не по макроблокам, чтобы строить изображения базового слоя, которые по времени совпадают с изображениями улучшенного слоя. Изображение базового слоя строится по данным отсчетов видеообъектов, реконструированным из intra-макроблоков, и остаточным данным, декодированным из inter-макроблоков, как описано выше.

Компенсация и преобразование движения в режиме intra или режиме inter, например, DCT (дискретное косинусное преобразование) и квантование выполняются по блокам видеообъектов, например, по 16×16 макроблокам или 4×4 субблокам. Это вызывает искажение изображений артефактами блочности на границах блоков. Для подавления упомянутых артефактов блочности применяют деблокинговую фильтрацию. Деблокинговый фильтр сглаживает контуры блоков видеообъектов для повышения качества видеокадров.

Следует ли или нет применять деблокинговую фильтрацию для подавления искажений блочности, зависит от яркости блоков видеообъектов на границах и градиентов пикселей около границ. Мощность или степень деблокингового фильтра определяется по параметру квантования, intra-режиму, inter-режиму, режиму разбиения на блоки, указывающему размер блоков или чего-то подобного, вектору движения, значению пикселя перед деблокинговой фильтрацией и т.п.

Деблокинговый фильтр при межслойном предсказании применяется к intra-макроблоку в изображении базового слоя, которое является основой для предсказания текстуры в макроблоке улучшенного слоя, обработанном в базовом intra-режиме (режиме внутрикадрового кодирования базового слоя (intraBL-режиме) или режиме внутрикадрового кодирования с межслойным предсказанием).

Когда каждый из двух слоев, подлежащих кодированию в соответствии со способом межслойного предсказания, кодируется в последовательность изображений полей, как показано на фиг.2c, каждый из двух слоев считается имеющим кадровый формат, так что, исходя из процессов кодирования для кадрового формата, можно легко вывести процессы кодирования/декодирования, включая деблокинговую фильтрацию.

Способ для выполнения деблокинговой фильтрации в соответствии с вариантом осуществления описан ниже для случая, когда формат изображения базового слоя отличается от формата изображения улучшенного слоя, т.е. для случая, когда улучшенный слой имеет кадровый (или прогрессивный) формат и базовый слой имеет полевой (или чересстрочный формат) формат, для случая, когда улучшенный слой имеет полевой формат и базовый слой имеет кадровый формат, или для случая, когда какой-то один из улучшенного и базового слоев кодирован в последовательность изображений полей и другой кодирован в виде MBAFF-кадра, хотя как улучшенный, так и базовый слои имеют полевой формат, как показано на фиг.2c и 2d.

На фиг.3a и 3b схематично представлены процедуры, по которым строится изображение базового слоя, чтобы выполнять деблокинговую фильтрацию для межслойного предсказания текстуры в соответствии с вариантами осуществления настоящего изобретения.

На фиг.3a представлен вариант осуществления, в котором улучшенный слой имеет кадровый формат и базовый слой имеет полевой формат, и на фиг.3b представлен вариант осуществления, в котором улучшенный слой имеет полевой формат и базовый слой имеет кадровый формат.

В данных вариантах осуществления, для межслойного предсказания текстуры, текстура inter-макроблока и intra-макроблока базового слоя декодируется для построения изображения базового слоя, содержащего данные отсчетов видеообъектов и остаточные данные, и построенное изображение подвергается сверхдискретизации в соответствии с отношением между разрешением (или размером экрана) базового слоя и разрешением (или размером экрана) улучшенного слоя после того, как построенное изображение обработано деблокинговым фильтром для подавления артефактов блочности.

Первый способ (способ 1), показанный на фиг.3a и 3b, представляет собой способ, по которому базовый слой разделяется на два полевых изображения для выполнения деблокинговой фильтрации. По этому способу, когда улучшенный слой создается с использованием базового слоя, кодированного в отличающемся формате изображения, изображение базового слоя разбивается на изображение четного поля и изображение нечетного поля, и два полевых изображения подвергаются деблокингу (т.е. деблокинговой фильтрации) и сверхдискретизации. Затем два изображения объединяются в одно изображение, и межслойное предсказание текстуры выполняется по одному изображению.

Первый способ содержит следующие три этапа.

На этапе разделения (этапе 1) изображение базового слоя разделяется на изображение верхнего поля (или четного поля), содержащее четные строки, и изображение нижнего поля (или нечетного поля), содержащее нечетные строки. Изображение базового слоя представляет собой видеоизображение, содержащее остаточные данные (данные inter-режима) и данные отсчетов видеообъектов (данные intra-режима), которое восстанавливается из потока данных базового слоя посредством компенсации движения.

На этапе деблокинга (этапе 2) изображения полей, разбитые на этапе разделения, деблокируются деблокинговым фильтром. В данном случае, обычный деблокинговый фильтр применим в качестве деблокингового фильтра.

Когда разрешение улучшенного слоя отличается от разрешения базового слоя, деблокированные изображения полей подвергаются сверхдискретизации в соответствии с отношением между разрешением улучшенного слоя и разрешением базового слоя.

На этапе объединения (этап 3) сверхдискретизованное изображение верхнего поля и сверхдискретизованное изображение нижнего поля чересстрочно перемежаются для объединения в одно изображение. Затем выполняется предсказание текстуры улучшенного слоя на основе одного изображения.

Согласно второму способу (способ 2), представленному на фиг.3a и 3b, по которому улучшенный слой создается с использованием базового слоя, кодированного в отличающемся формате изображения, изображение базового слоя деблокируется непосредственно и подвергается сверхдискретизации без разбиения на два изображения полей, и межслойное предсказание текстуры выполняется на основе полученного изображения.

Согласно второму способу изображение базового слоя, которое соответствует изображению улучшенного слоя, подлежащему кодированию при посредстве межслойного предсказания текстуры, деблокируется напрямую, без его разбиения на изображения верхнего и нижнего полей, и затем подвергается сверхдискретизации. Затем, выполняется предсказание текстуры улучшенного слоя по сверхдискретизованному изображению.

Деблокинговый фильтр для обработки изображения базового слоя, построенный для межслойного предсказания движения, применяется только к области, содержащей данные отсчетов видеообъектов, декодированные из intra-макроблоков, без применения к области, содержащей остаточные данные.

В случае когда базовый слой кодирован в полевом формате, показанном на фиг.3a, т.е. когда базовый слой кодирован в последовательность изображений полей, как показано на фиг.2c, или в MBAFF-кадр, как показано на фиг.2d, для применения второго способа необходимо выполнить процесс чересстрочного перемежения строк изображений верхнего и нижнего полей, чтобы объединить их в одно изображение (в случае, показанном на фиг.2c), или чересстрочного перемежения строк верхнего и нижнего макроблоков из пар макроблоков полей, чтобы объединить их в одно изображение (в случае, показанном на фиг.2d). Вышеописанный процесс далее подробно описан со ссылкой на фиг.8d и 8e. Изображения верхнего и нижнего полей или верхний и нижний макроблоки, подлежащие чересстрочному перемежению, являются изображениями или макроблоками полей, содержащими остаточные данные (данные inter-режима) и данные отсчетов видеообъектов (данные intra-режима), восстановленные с компенсацией движения.

Кроме того, в случае когда верхний и нижний макроблоки из пары макроблоков полей (базового слоя) в MBAFF-кадре, показанные на фиг.2d, различаются режимами, и из упомянутых макроблоков выбираются блоки intra-режима, подлежащие использованию для межслойного предсказания текстуры пар макроблоков улучшенного слоя (в нижеописанном случае, показанном на фиг.8g), в случае когда любой кадр (изображение) в базовом слое, кодированном в пары макроблоков полей в MBAFF-кадре, как показано на фиг.2d, не совпадает по времени с изображением улучшенного слоя (в нижеописанном случае, показанном на фиг.8h), или в случае когда текстура улучшенного слоя в парах макроблоков предсказывается из базового слоя макроблоков полей в изображениях полей, как показано на фиг.2c (в нижеописанном случае, показанном на фиг.10d), выбранный макроблок из макроблоков полей подвергается сверхдискретизации в промежуточную пару макроблоков («841» на фиг.8g и «851» и «852» на фиг.8h) или два промежуточных макроблока («1021» на фиг.10d), и деблокинговый фильтр обрабатывает intra-макроблоки из упомянутых макроблоков.

Межслойное предсказание текстуры, поясняемое в контексте множества нижеследующих вариантов осуществления, выполняется на основе деблокированных изображений базового слоя, описанных в связи с вариантом осуществления, показанном на фиг.3a и 3b.

Ниже приведено описание межслойного способа предсказания по отдельности для каждого случая, классифицируемого в зависимости от типа макроблоков в текущем слое, подлежащем кодированию, и типа макроблоков в базовом слое, подлежащем использованию для межслойного предсказания макроблоков текущего слоя. В описании предполагается, что пространственное разрешение текущего слоя равно пространственному разрешению базового слоя, как изложено выше.

I. Случай: MB (макроблок) кадра -> MB поля в MBAFF-кадре

В этом случае макроблоки в текущем слое (EL) кодированы в макроблоки полей в MBAFF-кадре, и макроблоки в базовом слое, подлежащие использованию для межслойного предсказания макроблоков текущего слоя, кодированы в макроблоки кадров. Составляющие видеосигнала, содержащиеся как в верхнем, так и нижнем макроблоках в базовом слое, являются такими же, как составляющие видеосигнала, содержащиеся в паре совмещенных макроблоков в текущем слое. Вышерасположенный и нижерасположенный (верхний и нижний) макроблоки именуются в дальнейшем парой макроблоков, и термин «пара» служит в дальнейшем описании для обозначения пары вертикально смежных блоков. Далее сначала приведено описание межслойного предсказания движения.

В качестве режимов разбиения текущего макроблока EL-кодер 20 применяет режимы разбиения макроблока, получаемые при объединении пары макроблоков 410 базового слоя в один макроблок (путем сжатия до половины размера в вертикальном направлении). На фиг.4a изображен подробный пример упомянутого процесса. Как показано, во-первых, соответствующая пара макроблоков 410 базового слоя объединяется в один макроблок (S41), и режимы разбиения макроблока, получаемые при объединении, воспроизводятся в другом для построения пары макроблоков 411 (S42). Затем, соответствующие режимы разбиения пары макроблоков 411 применяются к паре макроблоков 412 виртуального базового слоя (S43).

Однако, когда соответствующая пара макроблоков 410 объединяется в один макроблок, возможно создание области разбиения, которая является запрещенной в режиме разбиения. Для предотвращения такой возможности, EL-кодер 20 определяет режим разбиения по следующим правилам.

1) Два, верхний и нижний, блока 8×8 («B8_0» и «B8_2» на фиг.4a) в паре макроблоков базового слоя объединяются в один блок 8×8. Однако, если какой-либо из соответствующих блоков 8×8 не подразбит, то они объединяются в два блока 8×4, и, если какой-либо из соответствующих блоков 8×8 подразбит, то они объединяются в четыре блока 4×4 («401» на фиг.4a).

2) Блок 8×16 базового слоя сжимается до блока 8×8, блок 16×8 преобразуется в два смежных блока 8×4, и блок 16×16 преобразуется в блок 16×8.

Если, по меньшей мере, один из пары соответствующих макроблоков кодирован в intra-режиме, то EL-кодер 20 сначала выполняет нижеследующие процессы обработки перед процессом объединения.

Если только один из двух макроблоков кодирован в intra-режиме, то информация о движении inter-макроблока, например режимы разбиения макроблока, опорные индексы и векторы движения, копируется в intra-макроблок, как показано на фиг.4b, или intra-макроблок считается inter-макроблоком 16×16 с нулевыми векторами движения и нулевыми опорными индексами, как показано на фиг.4c. В альтернативном варианте, как показано на фиг.4d, опорные индексы intra-макроблока присваиваются копированием опорных индексов inter-макроблока в intra-макроблок, и intra-макроблоку назначаются нулевые векторы движения. Затем выполняется вышеупомянутый процесс объединения, и затем выполняется процедура вывода опорных индексов и векторов движения в нижеописанном порядке.

EL-кодер 20 выполняет следующий процесс для вывода опорных индексов текущей пары макроблоков 412 из опорных индексов соответствующей пары макроблоков 410.

Если каждый из пары блоков 8×8 базового слоя, соответствующих текущему блоку 8×8, подразделен на одинаковое число частей, то опорный индекс одного (верхнего или нижнего блока) пары блоков 8×8 определяется равным опорному индексу текущего блока 8×8. В ином случае, опорный индекс одного из пары блоков 8×8, который подразделен на меньшее число частей, определяется равным опорному индексу текущего блока 8×8.

В другом варианте осуществления настоящего изобретения, меньший из опорных индексов, присвоенных паре блоков 8×8 базового слоя, соответствующих текущему блоку 8×8, определяется равным опорному индексу текущего блока 8×8. Такой способ определения, показанный в примере на фиг.4e, можно выразить следующим образом:

опорный индекс текущего B8_0 = min(опорный индекс из B8_0 верхнего MB кадра базового слоя, опорный индекс из B8_2 верхнего MB кадра базового слоя),

опорный индекс текущего B8_1 = min(опорный индекс из B8_1 верхнего MB кадра базового слоя, опорный индекс из B8_3 верхнего MB кадра базового слоя),

опорный индекс текущего B8_2 = min(опорный индекс из B8_0 нижнего MB кадра базового слоя, опорный индекс из B8_2 нижнего MB кадра базового слоя), и

опорный индекс текущего B8_3 = min(опорный индекс из B8_1 нижнего MB кадра базового слоя, опорный индекс из B8_3 нижнего MB кадра базового слоя).

Вышеописанная процедура вывода опорных индексов применима как к верхним, так и нижним макроблокам полей. Опорный индекс каждого блока 8×8, найденного таким образом, умножается на 2, и умноженный опорный индекс определяется равным его окончательному опорному индексу. Основанием для такого умножения является то, что, при декодировании, число изображений является удвоенным числом изображений в последовательности кадров, поскольку макроблоки полей принадлежат изображениям, разбитым на четные и нечетные поля. В зависимости от алгоритма декодирования, окончательный опорный индекс нижнего макроблока поля может определяться умножением его опорного индекса на 2 и затем прибавлением 1 к умноженному опорному индексу.

Ниже описана процедура, по которой EL-кодер 20 получает векторы движения пары макроблоков виртуального базового слоя.

Векторы движения определяются по блокам 4×4, и следовательно, соответствующий блок 4×8 базового слоя определяется так, как показано на фиг.4f. Если соответствующий блок 4×8 подразделен, то вектор движения его верхнего или нижнего блока 4×4 определяется равным вектору движения текущего блока 4×4. В ином случае, вектор движения соответствующего блока 4×8 определяется равным вектору движения текущего блока 4×4. Найденный вектор движения, вертикальная компонента которого разделена на 2, применяется в качестве окончательного векторы движения текущего блока 4×4. Основанием для такого деления является то, что видеокомпонента, содержащаяся в двух макроблоках кадра, соответствует видеокомпоненте одного макроблока поля, так что размер полевого видеообъекта уменьшается вдвое в вертикальном направлении.

После того, как информация о движении в паре макроблоков 412 поля виртуального базового слоя определена вышеописанным образом, информация о движении используется для межслойного предсказания движения искомой пары макроблоков 413 полей улучшенного слоя. Кроме того, в нижеследующем описании, после того, как информация о движении в макроблоке или паре макроблоков виртуального базового слоя определена, информация о движении используется для межслойного предсказания движения в соответствующем макроблоке или соответствующей паре макроблоков текущего слоя. В нижеследующем описании предполагается, что такой процесс применяется даже без напоминания, что информация о движении в макроблоке или паре макроблоков виртуального базового слоя используется для межслойного предсказания движения в соответствующем макроблоке или соответствующей паре макроблоков текущего слоя.

На фиг.5a схематично показано, как информация о движении в паре макроблоков 500 полей виртуального базового слоя, подлежащая использованию для межслойного предсказания, выводится из информации о движении в паре макроблоков 500 кадра базового слоя, соответствующих текущей паре макроблоков, в соответствии с другим вариантом осуществления настоящего изобретения. В этом варианте осуществления, как показано, опорный индекс верхнего или нижнего блока 8×8 верхнего макроблока из пары макроблоков кадра базового слоя применяется как опорный индекс верхнего блока 8×8 каждого из пары макроблоков 500 полей виртуального базового слоя, и опорный индекс верхнего или нижнего блока 8×8 нижнего макроблока базового слоя применяется как опорный индекс нижнего блока 8×8 каждого макроблока в паре макроблоков 500 полей. С другой стороны, как показано, вектор движения самого верхнего блока 4×4 верхнего макроблока из пары макроблоков кадра базового слоя обычно применяется для самого верхнего блока 4×4 каждого макроблока в паре макроблоков 500 полей виртуального базового слоя, вектор движения третьего блока 4×4 верхнего макроблока из пары макроблоков кадра базового слоя обычно применяется для второго блока 4×4 каждого макроблока в паре макроблоков 500 полей, вектор движения самого верхнего блока 4×4 нижнего макроблока из пары макроблоков кадра базового слоя обычно применяется для третьего блока 4×4 каждого макроблока в паре макроблоков 500 полей, и вектор движения третьего блока 4×4 нижнего макроблока из пары макроблоков кадра базового слоя обычно применяется для четвертого 4x4 блока 4×4 каждого макроблока в паре макроблоков 500 полей.

Как показано на фиг.5a, верхний блок 4×4 501 и нижний блок 4×4 502 в блоке 8×8 в паре макроблоков 500 полей, построенных для использования в межслойном предсказании, используют векторы движения блоков 4×4 в разных блоках 8×8 511 и 512 базового слоя. Упомянутые векторы движения могут быть векторами движения, которые используют разные опорные изображения. То есть разные блоки 8×8 511 и 512 могут иметь разные опорные индексы. Соответственно, в таком случае, чтобы построить пару макроблоков 500 виртуального базового слоя, EL-кодер 20 обычно использует вектор движения соответствующего блока 4×4 503, выбранный для верхнего блока 4×4 501, в качестве векторы движения второго блока 4×4 502 виртуального базового слоя, как показано на фиг.5b (521).

В варианте осуществления, описанном со ссылкой на фиг.4a-4f, чтобы создать информацию о движении виртуального базового слоя для предсказания информации о движении в текущей паре макроблоков, EL-кодер 20 последовательно получает режимы разбиения, опорные индексы и векторы движения на основе информации о движении соответствующей пары макроблоков базового слоя. Однако, в варианте осуществления, описанном со ссылкой на фиг.5a и 5b, EL-кодер 20 сначала получает опорные индексы и векторы движения пары макроблоков виртуального базового слоя на основе информации о движении соответствующей пары макроблоков базового слоя и, наконец, затем определяет режимы разбиения пары макроблоков виртуального базового слоя на основе полученных значений. Когда определяются режимы разбиения, сегменты блоков 4×4 с одинаковыми полученными векторами движения и опорными индексами объединяются, и если режим объединенного блока является допустимым режимом разбиения, режимы разбиения устанавливаются в объединенный режим, а в ином случае режимы разбиения устанавливаются в режимы до объединения.

В вышеописанном варианте осуществления, если оба макроблока соответствующей пары макроблоков 410 базового слоя являются макроблоками intra-режима, то на текущей паре макроблоков 413 выполняется одно лишь внутрикадровое предсказание по базовому слою. В этом случае, предсказание движения не выполняется. Разумеется, пара макроблоков виртуального базового слоя не строится в случае предсказания текстуры. Если только один из соответствующей пары макроблоков 410 базового слоя является макроблоком intra-режима, то информация о движении inter-макроблока копируется в intra-макроблок, как показано на фиг.4b, векторы движения и опорные индексы intra-макроблока устанавливаются равными нулю, как показано на фиг.4c, или опорные индексы intra-макроблока устанавливаются посредством копирования опорных индексов inter-макроблока в intra-макроблок, и векторы движения intra-макроблока устанавливаются равными нулю, как показано на фиг.4d. Затем, информацию о движении пары макроблоков виртуального базового слоя получают так, как описано выше.

После построения пары макроблоков виртуального базового слоя для межслойного предсказания движения, как описано выше, EL-кодер 20 предсказывает и кодирует информацию о движении в текущей паре макроблоков 413 полей с использованием информации о движении в построенной паре макроблоков.

Далее приведено описание межслойного предсказания текстуры. На фиг.4g показан пример способа межслойного предсказания текстуры в случае «MB кадра -> MB поля в MBAFF-кадре». EL-кодер 20 определяет режимы блоков соответствующей пары макроблоков 410 кадра базового слоя. Если оба макроблока соответствующей пары макроблоков 410 кадра являются макроблоками либо intra-, либо inter-режима, то EL-кодер 20 видоизменяет (или преобразует) соответствующую пару макроблоков 410 базового слоя в промежуточную пару макроблоков 421 полей, чтобы выполнить внутрикадровое предсказание по базовому слою текущей пары макроблоков 413 полей (когда оба макроблока 410 кадра являются макроблоками intra-режима), или чтобы выполнить предсказание по остаточным данным нижеописанным образом (когда оба макроблока 410 кадра являются макроблоками inter-режима). Когда оба макроблока из соответствующей пары макроблоков 410 являются макроблоками intra-режима, промежуточная пара макроблоков 421 полей содержит данные, деблокированные (т.е. подвергнутые деблокинговой фильтрации) после того, как завершено декодирование в случае intra-режима, как изложено ранее. То же самое справедливо в отношении промежуточной пары макроблоков, полученных из макроблоков базового слоя для применения в процессе предсказания текстуры, излагаемом в нижеследующем описании множества различных вариантов осуществления.

Однако, межслойное предсказание текстуры не выполняется, когда только один из двух макроблоков является макроблоком inter-режима. Пара макроблоков 410 базового слоя для использования в межслойном предсказании текстуры содержит исходные видеоданные, которые не кодированы (или декодированные видеоданные), если макроблоки являются макроблоками intra-режима, и содержат кодированные остаточные данные (декодированные остаточные данные), если макроблоки являются макроблоками inter-режима. То же самое справедливо в отношении пары макроблоков базового слоя в последующем описании предсказания текстуры.

На фиг.4h показан способ преобразования пары макроблоков кадра в пару макроблоков полей, подлежащих использованию для межслойного предсказания текстуры. Как показано, четные строки пары макроблоков A и B кадра последовательно выбираются для построения верхнего макроблока A' поля, и нечетные строки пары макроблоков A и B кадра последовательно выбираются для построения нижнего макроблока A' поля. Когда один макроблок поля заполняется строками, то сначала он заполняется четными (или нечетными) строками верхнего блока A (A_even или A_odd) и затем заполняется нечетными (или четными строками) нижнего блока B (B_even или B_odd).

II. Случай: MB кадра -> MB поля в полевом изображении

В этом случае макроблоки в текущем слое кодированы в макроблоки полей в полевом изображении, и макроблоки в базовом слое, подлежащие использованию для межслойного предсказания макроблоков текущего слоя, кодированы в макроблоки кадров. Составляющие видеосигнала, содержащиеся в паре макроблоков в базовом слое, являются такими же, как составляющие видеосигнала, содержащиеся в совмещенном макроблоке в четном или нечетном поле в текущем слое. Далее сначала приведено описание межслойного предсказания движения.

В качестве режимов разбиения четного или нечетного макроблока виртуального базового слоя, EL-кодер 20 применяет режимы разбиения макроблока, получаемые при объединении пары макроблоков базового слоя в один макроблок (путем сжатия до половины размера в вертикальном направлении). На фиг.6a изображен подробный пример упомянутого процесса. Как показано, во-первых, соответствующая пара макроблоков 610 базового слоя объединяется в один макроблок 611 (S61), и режимы разбиения макроблока, получаемые при таком объединении, применяются к макроблоку виртуального базового слоя, подлежащему использованию для межслойного предсказания движения текущего макроблока 613 (S62). Правила объединения являются аналогичными правилам в предыдущем случае I. Способ обработки, когда, по меньшей мере, один из соответствующей пары макроблоков 610 кодирован в intra-режиме, аналогичен способу в предыдущем случае I.

Процедура вывода опорных индексов и векторов движения также выполняется таким же образом, как описано выше в предыдущем случае I. В случае I такая же процедура вывода применяется к верхнему и нижнему макроблокам, так как в одном кадре содержатся пары из четного и нечетного макроблоков. Однако настоящий случай II отличается от случая I тем, что процедура вывода применяется только к одному макроблоку поля, как показано на фиг.6b и 6c, так как только один макроблок, соответствующий паре макроблоков 610 базового слоя, присутствует в текущем полевом изображении, подлежащем кодированию.

В вышеописанном варианте осуществления для предсказания информации о движении в макроблоке виртуального базового слоя EL-кодер 20 последовательно получает режимы разбиения, опорные индексы и векторы движения макроблока на основе информации о движении соответствующей пары макроблоков базового слоя.

В другом варианте осуществления настоящего изобретения EL-кодер 20 сначала получает опорные индексы и векторы движения макроблока виртуального базового слоя на основе информации о движении соответствующей пары макроблоков базового слоя и, наконец, затем определяет режимы блоков макроблока виртуального базового слоя на основе полученных значений. На фиг.7a и 7b схематично показано получение опорных индексов и векторов движения макроблока поля виртуального базового слоя. Операции получения в настоящем случае аналогичны операциям в случае I, описанным со ссылкой на фиг.5a и 5b, за тем исключением, что информация о движении верхнего или нижнего макроблока выводится с использованием информации о движении в паре макроблоков базового слоя.

Когда окончательно определяются режимы разбиения, сегменты блоков 4×4 с одинаковыми полученными векторами движения и опорными индексами объединяются, и если режим объединенного блока является допустимым режимом разбиения, режимы разбиения устанавливаются в объединенный режим, а, в ином случае, режимы разбиения устанавливаются в режимы до объединения.

В вышеописанных вариантах осуществления, если оба макроблока соответствующей пары макроблоков базового слоя являются макроблоками intra-режима, то предсказание движения не выполняется, и информация о движении в паре макроблоков виртуального базового слоя также не создается, и если только один из двух макроблоков является макроблоком intra-режима, то предсказание движения выполняется, как описано выше в настоящем случае.

Далее приведено описание межслойного предсказания текстуры. На фиг.6d показан пример способа межслойного предсказания текстуры в случае «MB кадра -> MB поля в полевом изображении». EL-кодер 20 определяет режимы блоков соответствующей пары макроблоков 610 базового слоя. Если оба макроблока соответствующей пары макроблоков являются макроблоками либо intra-, либо inter-режима, то EL-кодер 20 строит промежуточный макроблок 621 поля из одной пары макроблоков 610 кадра. Если текущий макроблок 613 принадлежит изображению четного поля, то EL-кодер 20 строит промежуточный макроблок 621 поля из четных строк соответствующей пары макроблоков 610. Если текущий макроблок 613 принадлежит изображению нечетного поля, то EL-кодер 20 строит промежуточный макроблок 621 поля из нечетных строк соответствующей пары макроблоков 610. Способ построения аналогичен способу построения одного макроблока A' или B' поля на фиг.4h.

После того как построен промежуточный макроблок 621 поля, EL-кодер 20 выполняет внутрикадровое основное предсказание текущего макроблока 613 поля (когда оба макроблока соответствующей пары макроблоков 610 являются макроблоками intra-режима) на основе информации о текстуре в макроблоке 621 поля или выполняет его предсказание по остаточным данным (когда оба макроблока соответствующей пары макроблоков 610 являются макроблоками inter-режима).

EL-кодер 20 не выполняет межслойное предсказание текстуры, только если один из соответствующей пары макроблоков 610 является макроблоком inter-режима.

III. Случай: MB в MBAFF-кадре -> MB кадра

В этом случае макроблоки в текущем слое кодированы в макроблоки кадров, и макроблоки в базовом слое, подлежащие использованию для межслойного предсказания макроблоков кадров текущего слоя, кодированы в макроблоки полей в MBAFF-кадре. Составляющие видеосигнала, содержащиеся в макроблоке поля в базовом слое, являются такими же, как составляющие видеосигнала, содержащиеся в паре совмещенных макроблоков в текущем слое. Далее сначала приведено описание межслойного предсказания движения.

В качестве режимов разбиения пары макроблоков в виртуальном базовом слое EL-кодер 20 применяет режимы разбиения макроблока, получаемые при растягивании (в два раза, в вертикальном направлении) верхнего или нижнего макроблока из пары макроблоков базового слоя. На фиг.8a изображен подробный пример упомянутого процесса. Хотя в последующем описании и на чертежах выбран верхний макроблок поля, все, что описано ниже, применимо, когда выбирается нижний макроблок поля.

Как показано на фиг.8a, верхний макроблок поля в соответствующей паре макроблоков 810 базового слоя растягивается в два раза для построения двух макроблоков 811 (S81), и режимы разбиения, получаемые при растяжении, применяются к паре макроблоков 812 виртуального базового слоя (S82).

Однако, когда соответствующий макроблок поля растягивается в два раза в вертикальном направлении, возможно создание режима (или схемы) разбиения, который(ая) запрещен(а) в режимах разбиения макроблоков. Для предотвращения такой возможности EL-кодер 20 определяет режимы разбиения в зависимости от режимов разбиения при растяжении в соответствии со следующими правилами.

1. Блоки 4×4, 8×4 и 16×8 базового слоя после растяжения становятся, по определению, блоками 4×8, 8×8 и 16×16, получаемыми их увеличением в два раза в вертикальном направлении.

2. Каждый из блоков 4×8, 8×8 и 16×16 базового слоя после растяжения составлен, по определению, двумя, верхним и нижним, блоками одинакового размера. Как показано на фиг.8a, блок 8×8 B8_0 становится, по определению, двумя блоками 8×8 (801). Причина, по которой блок 8×8 B8_0 после растяжения не задается в виде блока 8×16, состоит в том, что смежный с ним растянутый блок с левой или правой стороны может не быть блоком с разбиением 8×16, и, в этом случае, не поддерживается никакой режим разбиения макроблока.

Если один из соответствующей пары макроблоков 810 кодирован в intra-режиме, то EL-кодер 20 выбирает макроблок верхнего или нижнего поля, кодированный в inter-режиме, вместо intra-режима, и выполняет на нем вышеописанный процесс растяжения для определения режимов разбиения пары макроблоков 812 в виртуальном базовом слое.

Если оба макроблока соответствующей пары макроблоков 810 являются макроблоками intra-режима, то EL-кодер 20 выполняет только межслойное предсказание текстуры, без выполнения определения режимов разбиения, в ходе вышеописанного процесса растяжения и нижеописанного процесса получения опорных индексов и векторов движения.

Для получения опорных индексов пары макроблоков виртуального базового слоя из опорных индексов соответствующего макроблока поля EL-кодер 20 определяет опорный индекс соответствующего блока 8×8 B8_0 базового слоя равным опорному индексу каждого из двух, верхнего и нижнего, блоков 8×8, как показано на фиг.8b, и делит найденный опорный индекс каждого блока 8×8 на 2 для получения его окончательного опорного индекса. Основанием для такого деления является то, что, для применения к кадровой последовательности, число изображений необходимо уменьшать вдвое, так как количества опорных изображений макроблоков полей устанавливаются на основе изображений, разбиваемых на четные и нечетные поля.

При получении векторов движения пары макроблоков 812 кадров виртуального базового слоя EL-кодер 20 определяет вектор движения соответствующего блока 4×4 базового слоя равным вектору движения блока 4×8 в паре макроблоков 812 виртуального базового слоя, как показано на фиг.8c, и использует, в качестве окончательного векторы движения, найденный вектор движения, вертикальная компонента которого умножена на 2. Основанием для такого умножения является то, что видеокомпонента, содержащаяся в одном макроблоке поля, соответствует видеокомпоненте двух макроблоков кадра, так что размер кадрового видеообъекта умножается в два раза в вертикальном направлении.

В вышеописанном варианте осуществления, для предсказания информации о движении пары макроблоков виртуального базового слоя, EL-кодер 20 последовательно получает режимы разбиения, опорные индексы и векторы движения макроблока на основе информации о движении соответствующего макроблока поля базового слоя.

В другом варианте осуществления настоящего изобретения при получении информации о движении пары макроблоков виртуального базового слоя, подлежащей использованию для межслойного предсказания текущей пары макроблоков, EL-кодер 20 сначала получает опорные индексы и векторы движения пары макроблоков виртуального базового слоя на основе информации о движении соответствующего макроблока поля базового слоя и, наконец, затем определяет режим блоков в каждом из пары макроблоков виртуального базового слоя на основе полученных значений, как показано на фиг.9a. Когда режимы разбиения окончательно определены, сегменты блоков 4×4 с одинаковыми полученными векторами движения и опорными индексами объединяются, и если режим объединенного блока является допустимым режимом разбиения, то режимы разбиения устанавливаются в объединенный режим, а, в ином случае, режимы разбиения устанавливаются в режимы до объединения.

Ниже приведено более подробное описание варианта осуществления, показанного на фиг.9a. Как показано, выбирается макроблок поля inter-режима базового слоя, и векторы движения и опорные индексы выбранного макроблока служат для получения опорных индексов и векторов движения пары макроблоков кадра виртуального базового слоя, подлежащих использованию для предсказания движения текущей пары макроблоков. Если оба макроблока являются макроблоками inter-режима, то выбирается произвольный макроблок из верхнего и нижнего макроблоков (901 или 902), и используется информация о векторах движения и опорных индексах выбранного макроблока. Как показано, для получения опорных индексов, соответствующее значение верхнего блока 8×8 выбранного макроблока копируется в опорные индексы верхнего и нижнего блоков 8×8 верхнего макроблока виртуального базового слоя, и соответствующее значение нижнего блока 8×8 выбранного макроблока копируется в опорные индексы верхнего и нижнего блоков 8×8 нижнего макроблока виртуального базового слоя. Как показано, для вывода векторов движения, соответствующее значение каждого блока 4×4 выбранного макроблока обычно используют как векторы движения соответствующей пары вертикально смежных блоков 4×4 в паре макроблоков виртуального базового слоя. В другом варианте осуществления настоящего изобретения информация о движении соответствующей пары макроблоков базового слоя может смешиваться и применяться для получения векторов движения и опорных индексов пары макроблоков кадра виртуального базового слоя, что отличается от варианта осуществления, показанного на фиг.9a. На фиг.9b изображена процедура получения векторов движения и опорных индексов в соответствии с таким вариантом осуществления. Подробное описание объединения скопированных опорных индексов и векторов движения субблоков (блоков 8×8 и блоков 4×4) в паре макроблоков виртуального базового слоя в настоящей заявке опускается, поскольку его можно интуитивно понять из вышеприведенного описания процедуры получения информации о движении и чертежа на фиг.9b.

Однако, поскольку в варианте осуществления, представленном на фиг.9b, используется информация о движении обоих макроблоков из пары макроблоков полей базового слоя, то, если один из пары макроблоков полей базового слоя кодирован в intra-режиме, тогда информация о движении intra-макроблока выводится с использованием информации о движении другого макроблока, который является макроблоком inter-режима. В частности, информация о векторах движения и опорных индексах пары макроблоков виртуального базового слоя может быть получена, как показано на фиг.9b, после того, как векторы движения и опорные индексы intra-макроблока построены копированием соответствующей информации inter-макроблока в intra-макроблок, как показано на фиг.4b, или после того, как intra-макроблок принят как inter-макроблок с нулевыми векторами движения и нулевыми опорными индексами, как показано на фиг.4c, или после того, как опорные индексы intra-макроблока установлены путем копирования опорных индексов inter-макроблока в intra-макроблок, и его векторы движения установлены равными нулю, как показано на фиг.4d. После того, как получена информация о векторах движения и опорных индексах в паре макроблоков виртуального базового слоя, режимы блоков в паре макроблоков определяются на основе полученной информации, как изложено выше.

С другой стороны, если оба макроблока из соответствующей пары макроблоков полей базового слоя являются макроблоками intra-режима, то предсказание движения не выполняется.

Далее приведено описание межслойного предсказания текстуры. На фиг.8d показан пример способа межслойного предсказания текстуры в случае «MB поля в MBAFF-кадре -> MB кадра». EL-кодер 20 определяет режимы блоков соответствующей пары макроблоков 810 полей базового слоя. Если оба макроблока соответствующей пары макроблоков 810 полей являются макроблоками либо intra-, либо inter-режима, то EL-кодер 20 преобразует соответствующую пару макроблоков 810 полей базового слоя в промежуточную пару макроблоков 821 кадра, чтобы выполнить внутрикадровое предсказание по базовому слою текущей пары макроблоков 813 кадра (когда оба макроблока 810 кадра являются макроблоками intra-режима) или чтобы выполнить его предсказание по остаточным данным нижеописанным образом (когда оба макроблока 810 кадра являются макроблоками inter-режима). Когда оба макроблока из соответствующей пары макроблоков 810 являются макроблоками intra-режима, пара макроблоков 810 содержит данные, которые были декодированы, и деблокинговый фильтр применяется к паре макроблоков 821, как изложено выше.

На фиг.8e представлен способ для преобразования пары макроблоков полей в пару макроблоков кадра. Как показано, строки пары макроблоков A и B полей выбираются с чередованием (A->B->A->B->A->, …) последовательно от верха каждого из макроблоков и затем последовательно размещаются в порядке выбора сверху для построения пары макроблоков A' и B' кадра. Поскольку строки пары макроблоков полей перегруппируются в упомянутом порядке, то верхний макроблок A' кадра строится из строк верхней половины пары макроблоков A и B полей, и нижний макроблок B' кадра строится из строк нижней половины.

С другой стороны, если только один из соответствующей пары макроблоков 810 полей базового слоя является макроблоком inter-режима, то один блок выбирается из пары макроблоков 810 базового слоя в соответствии с режимами блоков текущей пары макроблоков 813 кадра, и выбранный блок используется для межслойного предсказания текстуры. В альтернативном варианте, перед определением режимов блоков текущей пары макроблоков 813 кадра, для выполнения межслойного предсказания применим каждый нижеописанный способ, и тогда можно определить режимы блоков в паре макроблоков 813.

На фиг.8f и 8g представлен пример, в котором для выполнения межслойного предсказания выбирается один блок. В случае, когда текущая пара макроблоков 813 кадра кодирована в inter-режиме (или когда выполняется ее межкадровое предсказание), как показано на фиг.8f, из пары макроблоков 810 полей базового слоя выбирается блок 810a inter-режима, и выбранный блок сверхдискретизируется в вертикальном направлении для создания двух соответствующих макроблоков 831. Затем два макроблока 831 используются для предсказания по остаточным данным текущей пары макроблоков 813 кадра. В случае, когда текущая пара макроблоков 813 кадра не кодирована в inter-режиме (или когда выполняется ее внутрикадровое предсказание), как показано на фиг.8g, из пары макроблоков 810 полей базового слоя выбирается блок 810b intra-режима, и выбранный блок сверхдискретизируется в вертикальном направлении для создания двух соответствующих макроблоков 841. После того, как деблокинговый фильтр применен к двум макроблокам 841, два макроблока 841 используются для внутрикадрового предсказания по базовому слою текущей пары макроблоков 813 кадра.

Способ, показанный на фиг.8f и 8g, по которому один блок выбирается и сверхдискретизируется для создания пары макроблоков, подлежащей использованию для межслойного предсказания текстуры, применим также, когда слои имеют разные частоты кадров. Когда частота кадров улучшенного слоя выше, чем частота кадров базового слоя, некоторые изображения в последовательности изображений улучшенного слоя могут не иметь соответствующего по времени изображения в базовом слое. Межслойное предсказание текстуры пары макроблоков кадра, содержащихся в изображении улучшенного слоя, которое не имеет соответствующего по времени изображения в базовом слое, может быть выполнено с использованием одного из пары пространственно совмещенных макроблоков полей в предыдущем по времени изображении в базовом слое.

На фиг.8h представлен пример упомянутого способа в случае, когда частота кадров улучшенного слоя в два раза выше, чем частота кадров базового слоя.

Как показано, частота кадров улучшенного слоя в два раза выше, чем частота кадров базового слоя. Поэтому, одно из каждых двух изображений улучшенного слоя, например, изображение с порядковым номером изображения (POC) «n2» не имеет изображения с таким же порядковым номером изображения (POC) в базовом слое. В рассматриваемом случае, одинаковый POC указывает совпадение по времени.

Когда в базовом слое отсутствует совпадающее по времени изображение (например, когда текущий POC равен n2), макроблок 802 нижнего поля, содержащийся в паре пространственно совмещенных макроблоков полей в предшествующем изображении (т.е. в изображении с POC, меньшим, чем текущий POC на 1), сверхдискретизируется по вертикали для создания промежуточной пары макроблоков 852 (S82), и затем промежуточная пара макроблоков 852 используется для выполнения межслойного предсказания текстуры текущей пары макроблоков 815. Когда в базовом слое имеется совпадающее по времени изображение (например, когда текущий POC равен n1), макроблок 801 верхнего блока, содержащийся в паре пространственно совмещенных макроблоков полей в совпадающем по времени изображении, сверхдискретизируется по вертикали для создания промежуточной пары макроблоков 851 (S82), и затем промежуточная пара макроблоков 851 используется для выполнения межслойного предсказания текстуры текущей пары макроблоков 814. Когда в промежуточной паре макроблоков 851 или 852, созданных сверхдискретизацией, содержится пара макроблоков, декодированных из intra-макроблока, пара макроблоков используется для межслойного предсказания текстуры после того, как деблокинговый фильтр обрабатывает пару макроблоков.

В другом варианте осуществления настоящего изобретения, когда в базовом слое присутствует совпадающее по времени изображение (когда текущий POC равен n1 в примере на фиг.8h), пара макроблоков кадра может быть создана из пары макроблоков полей в соответствии с вариантом осуществления, показанным на фиг.8d, вместо применения способа, показанного на фиг.8h, и затем может быть использована для межслойного предсказания текстуры. Кроме того, когда текущее изображение не содержит совпадающего по времени изображения в базовом слое (когда текущий POC равен n2 в примере на фиг.8h), межслойное предсказание текстуры может выполняться, как на фиг.8h, или, наоборот, межслойное предсказание текстуры может не выполняться на макроблоках в текущем изображении.

Соответственно, в варианте осуществления настоящего изобретения присваивается флаг «field_base_flag», чтобы указать, выполнено ли межслойное предсказание текстуры в соответствии со способом, показанным на фиг.8d, или в соответствии со способом, показанным на фиг.8h, флаг включается в информацию о кодировании. Например, упомянутый флаг устанавливается в «0», когда предсказание текстуры выполнено в соответствии со способом, показанным на фиг.8d, и устанавливается в «1», когда предсказание текстуры выполнено в соответствии со способом, показанным на фиг.8h. Упомянутый флаг задается в наборе параметров последовательности в улучшенном слое, параметре последовательности в масштабируемом расширении, наборе параметров изображения, наборе параметров изображения в масштабируемом расширении, заголовке слайса, заголовке слайса в масштабируемом расширении, слое макроблоков или слое макроблоков в масштабируемом расширении, подлежащим передаче в декодер.

IV. Случай: MB поля в полевом изображении -> MB кадра

В этом случае, макроблоки в текущем слое (EL) кодированы в макроблоки кадров, и макроблоки в базовом слое (BL), подлежащие использованию для межслойного предсказания макроблоков кадров текущего слоя, кодированы в макроблоки полей в полевом изображении. Составляющие видеосигнала, содержащиеся в макроблоке поля в базовом слое, являются такими же, как составляющие видеосигнала, содержащиеся в паре совмещенных макроблоков в текущем слое. Далее сначала приведено описание межслойного предсказания движения.

В качестве режимов разбиения макроблока в виртуальном базовом слое EL-кодер 20 применяет режимы разбиения, получаемые при растягивании макроблока в четном или нечетном поле базового слоя (в два раза, в вертикальном направлении). На фиг.10a представлен подробный пример упомянутого процесса. Процедура, изображенная на фиг.10a, отличается от процедуры в случае III, когда выбирается макроблок верхнего или нижнего поля в MBAFF-кадре, тем, что обычно применяется пространственно совмещенный макроблок 1010 поля в четном или нечетном поле, и сходна с процедурой в случае III в том, что совмещенный макроблок 1010 поля растягивается, и режимы разбиения двух макроблоков, получаемых растягиванием, применяются к паре макроблоков 1012 виртуального базового слоя. Когда соответствующий макроблок 1010 поля растягивается в два раза в вертикальном направлении, возможно создание режима (или схемы) разбиения, который(ая) запрещен(а) в режимах разбиения макроблоков. Для предотвращения такой возможности EL-кодер 20 определяет режимы разбиения в зависимости от режимов разбиения при растяжении в соответствии с такими же правилами, как правила 1 и 2, предложенные в случае III.

Если соответствующий макроблок кодирован в intra-режиме, EL-кодер 20 выполняет только межслойное предсказание текстуры, без выполнения определения режимов разбиения, в ходе вышеописанного процесса растяжения и нижеописанного процесса получения опорных индексов и векторов движения. То есть EL-кодер 20 не выполняет межслойное предсказание движения.

Процедура получения опорных индексов и векторов движения также сходна с процедурой, описанной в предыдущем случае III. Однако, рассматриваемый случай IV отличается от случае III в следующем. Поскольку, в случае III, соответствующие макроблоки базового слоя передаются в парах четных и нечетных макроблоков в кадре, то выбирается один из верхнего и нижнего макроблоков и применяется в процедуре вывода. Поскольку, в рассматриваемом случае IV, в базовом слое присутствует только один макроблок, который соответствует текущему макроблоку, подлежащему кодированию, то информация о движении в паре макроблоков 1012 виртуального базового слоя выводится из информации о движении соответствующего макроблока поля, без выполнения процедуры выбора макроблока, как показано на фиг.10b и 10c, и полученная информация о движении применяется для межслойного предсказания движения в текущей паре макроблоков 1013.

На фиг.11 схематично показано получение опорных индексов и векторов движения пары макроблоков виртуального базового слоя в соответствии с другим вариантом осуществления настоящего изобретения. В рассматриваемом случае, информация о движении пары макроблоков виртуального базового слоя выводится из информации о движении четного или нечетного макроблока поля базового слоя, что отлично от случая, описанного выше со ссылкой на фиг.9a. В настоящем случае применяются такие операции вывода, как операции в случае, показанном на фиг.9a. Однако, процесс смешения и использования информации о движении в паре макроблоков в случае, показанном на фиг.9b, не применим в рассматриваемом случае IV, поскольку, в рассматриваемом случае, в соответствующем поле базового слоя отсутствует пара из верхнего и нижнего макроблоков.

В варианте осуществления, описанном со ссылкой на фиг.10a-10c, для предсказания информации о движении в паре макроблоков виртуального базового слоя, EL-кодер 20 последовательно получает режимы разбиения, опорные индексы и векторы движения на основе информации о движении соответствующего макроблока поля базового слоя. Однако, в другом варианте осуществления, показанном на фиг.11, EL-кодер 20 сначала получает опорные индексы и векторы движения пары макроблоков виртуального базового слоя на основе информации о движении соответствующей пары макроблоков базового слоя и, наконец, затем определяет режимы разбиения пары макроблоков виртуального базового слоя на основе полученных значений. Когда режимы разбиения определены, сегменты блоков 4×4 с одинаковыми полученными векторами движения и опорными индексами объединяются, и если режим объединенного блока является допустимым режимом разбиения, то режимы разбиения устанавливаются в объединенный режим, а, в ином случае, режимы разбиения устанавливаются в режимы до объединения.

Когда в вышеописанных вариантах осуществления выполняется предсказание текстуры, если соответствующий макроблок поля базового слоя является макроблоком intra-режима, то на текущем макроблоке выполняется внутрикадровое кодирование с предсказанием по базовому слою. Если соответствующий макроблок поля является макроблоком inter-режима, и если текущий макроблок кодирован в inter-режиме, то выполняется кодирование с межслойным предсказанием по остаточным данным. Разумеется, в рассматриваемом случае макроблок поля для использования в предсказании служит для предсказания текстуры после того, как он сверхдискретизируется в вертикальном направлении.

В другом варианте осуществления настоящего изобретения создается виртуальный макроблок из макроблока поля, содержащегося в нечетном или четном поле, для построения пары макроблоков, и затем информация о движении пары макроблоков виртуального базового слоя выводится из построенной пары макроблоков. На фиг.12a и 12b представлены примеры упомянутого варианта осуществления.

В этом варианте осуществления опорные индексы и векторы движения соответствующего макроблока четного (или нечетного) поля базового слоя копируются (1201 и 1202) для создания виртуального макроблока нечетного (или четного) поля для построения пары макроблоков 1211, и информация о движении построенной пары макроблоков 1211 смешивается для вывода информации о движении пары макроблоков 1212 виртуального базового слоя (1203 и 1204). В примерном способе смешения и использования информации о движении, как показано на фиг.12a и 12b, опорные индексы верхнего блока 8×8 соответствующего верхнего макроблока применяются к верхнему блоку 8×8 верхнего макроблока из пары макроблоков 1212 виртуального базового слоя, опорные индексы нижнего блока 8×8 применяются к верхнему блоку 8×8 нижнего макроблока, опорные индексы верхнего блока 8×8 соответствующего нижнего макроблока применяются к нижнему блоку 8×8 верхнего макроблока из пары макроблоков 1212 виртуального базового слоя, и опорные индексы нижнего блока 8×8 применяются к нижнему блоку 8×8 нижнего макроблока (1203). Векторы движения применяются в соответствии с опорными индексами (1204). Описание такого процесса в настоящей заявке не приводится, поскольку его можно интуитивно понять из фиг.12a и 12b.

В варианте осуществления, показанном на фиг.12a и 12b, режимы разбиения пары макроблоков 1212 виртуального базового слоя определяются на основе полученных опорных индексов и векторов движения с использованием способа, аналогичного вышеописанному способу.

Далее приведено описание межслойного предсказания текстуры. На фиг.10b показан пример способа межслойного предсказания текстуры для рассматриваемого случая «MB поля в полевом изображении -> MB кадра». Сначала EL-кодер 20 сверхдискретизирует соответствующий макроблок 1010 поля базового слоя для создания двух промежуточных макроблоков 1021. Если соответствующий макроблок 1010 поля является макроблоком intra-режима, то EL-кодер 20 применяет деблокинговый фильтр к двум созданным промежуточным макроблокам 1021 и затем выполняет внутрикадровое предсказание по базовому слою текущей пары макроблоков 1013 кадра на основе двух промежуточных макроблоков 1021. Если соответствующий макроблок 1010 поля является макроблоком inter-режима, то EL-кодер 20 выполняет предсказание по остаточным данным текущей пары макроблоков 1013 кадра на основе двух созданных промежуточных блоков 1021.

V. Случай: MB поля -> MB поля

Этот случай подразделяется на следующие четыре случая, поскольку макроблоки полей делятся на макроблоки полей, содержащиеся в полевом изображении, и макроблоки полей, содержащиеся в MBAFF-кадре.

i) Случай, когда базовый и улучшенный слои являются MBAFF-кадрами

Такой случай показан на фиг.13a. Как показано, информация о движении (режимы разбиения, опорные индексы и векторы движения) соответствующей пары макроблоков базового слоя используется как информация о движении пары макроблоков виртуального базового слоя посредством прямого копирования информации о движении соответствующей пары макроблоков в пару макроблоков виртуального базового слоя. При этом информация о движении копируется между макроблоками, идентичными по четности. В частности, информация о движении макроблоков четных полей копируется в макроблоки четных полей, и информация о движении макроблоков нечетных полей копируется в макроблоки нечетных полей, чтобы построить макроблок виртуального слоя, который применяется для предсказания движения макроблока текущего слоя.

Когда выполняется предсказание текстуры, применяется известный способ межслойного предсказания текстуры.

ii) Случай, когда базовый слой содержит полевые изображения и улучшенный слой содержит MBAFF-кадры

Такой случай показан на фиг.13b. Как показано, информация о движении (режимы разбиения, опорные индексы и векторы движения) соответствующего макроблока поля базового слоя используется как информация о движении каждого из пары макроблоков виртуального базового слоя посредством прямого копирования информации о движении соответствующего макроблока поля в каждый из пары макроблоков. При этом правило копирования с учетом идентичности по четности не применяется, поскольку информация о движении одного макроблока поля применяется для макроблоков как верхнего, так и нижнего полей.

Когда выполняется предсказание текстуры, применяется внутрикадровое предсказание по базовому слою (когда соответствующий блок базового слоя является блоком intra-режима), или применяется предсказание по остаточным данным (когда соответствующий блок базового слоя является блоком inter-режима) между макроблоками улучшенного и базового слоев, имеющими одинаковые (четные или нечетные) атрибуты полей.

iii) Случай, когда базовый слой содержит MBAFF-кадры и улучшенный слой содержит полевые изображения

Такой случай показан на фиг.13c. Как показано, макроблок поля идентичной четности выбирается из пары макроблоков базового слоя, соответствующей текущему макроблоку поля, и информация о движении (режимы разбиения, опорные индексы и векторы движения) выбранного макроблока поля используется как информация о движении макроблока поля виртуального базового слоя посредством прямого копирования информации о движении выбранного макроблока поля в макроблок поля виртуального базового слоя.

Когда выполняется предсказание текстуры, применяется внутрикадровое предсказание по базовому слою (когда соответствующий блок базового слоя является блоком intra-режима), или применяется предсказание по остаточным данным (когда соответствующий блок базового слоя является блоком inter-режима) между макроблоками улучшенного и базового слоев, имеющими одинаковые (четные или нечетные) атрибуты полей.

iv) Случай, когда базовый и улучшенный слои являются полевыми изображениями

Такой случай показан на фиг.13d. Как показано, информация о движении (режимы разбиения, опорные индексы и векторы движения) соответствующего макроблока поля базового слоя используется как информация о движении макроблока поля виртуального базового слоя посредством прямого копирования информации о движении соответствующего макроблока поля в макроблок поля виртуального базового слоя. В рассматриваемом случае, информация о движении копируется также между макроблоками, одинаковыми по четности.

Когда выполняется предсказание текстуры, применяется известный способ межслойного предсказания текстуры между макроблоками кадров.

Вышеприведенное описание межслойного предсказания приведено для случая, когда базовый и улучшенный слои имеют одинаковое разрешение. Ниже приведено описание того, каким образом опознается тип изображения (прогрессивный кадр, MBAFF-кадр или чересстрочное поле) каждого слоя и/или тип макроблока в изображении, когда разрешение улучшенного слоя выше, чем разрешение базового слоя (т.е. когда тип пространственной масштабируемости (SpatialScalabilityType()) выше нуля), и применяется способ межслойного предсказания в соответствии с опознанными типами. Во-первых, поясняется межслойное предсказание движения.

M_A). Базовый слой (прогрессивный кадр) -> Улучшенный слой (MBAFF-кадр)

На фиг.14a изображен способ обработки для такого случая. Как показано, сначала информация о движении всех макроблоков соответствующего кадра в базовом слое копируется для создания виртуального кадра. Затем выполняется сверхдискретизация. В ходе упомянутой сверхдискретизации выполняется интерполяция с использованием информации о текстуре изображения базового слоя с частотой интерполяции, при которой разрешение изображения (или размер изображения) может быть равным разрешению изображения текущего слоя. В дополнение формируется информация о движении каждого макроблока изображения, увеличенного путем интерполяции, на основе информации о движении каждого макроблока созданного виртуального кадра. Для упомянутого формирования применяется один из ряда известных способов. Изображения промежуточного базового слоя, построенного таким образом, имеют такое же разрешение, как изображения текущего (улучшенного) слоя. Соответственно, в рассматриваемом случае применимо вышеописанное межслойное предсказание движения.

В рассматриваемом случае (фиг.14a) макроблоки в изображении в базовом и текущем слоях являются макроблоками кадра и макроблоками полей в MBAFF-кадре, поскольку базовый слой содержит кадры, и текущий слой содержит MBAFF-кадры. Соответственно, для выполнения межслойного предсказания движения применим способ из вышеописанного случая I. Однако в одном и том же MBAFF-кадре может содержаться не только пара макроблоков полей, но также пара макроблоков кадра, как описано выше. Соответственно, применяется известный способ предсказания движения между макроблоками кадров (межкадровый способ предсказания), который содержит простое копирование информации о движении, когда тип пары макроблоков текущего слоя, соответствующих паре макроблоков в изображении промежуточного базового слоя, опознан как тип макроблоков кадра, а не тип макроблока поля.

M_B). Базовый слой (прогрессивный кадр) -> Улучшенный слой (поле с чересстрочной разверткой)

На фиг.14b представлен способ обработки для такого случая. Как показано, сначала информация о движении всех макроблоков соответствующего кадра в базовом слое копируется для создания виртуального кадра. Затем выполняется сверхдискретизация. В ходе упомянутой сверхдискретизации выполняется интерполяция с использованием информации о текстуре изображения базового слоя с частотой интерполяции, при которой разрешение изображения может быть равным разрешению изображения текущего слоя. В дополнение формируется информация о движении каждого макроблока изображения, увеличенного путем интерполяции, на основе информации о движении каждого макроблока созданного виртуального кадра.

Для выполнения межслойного предсказания движения применяется способ из вышеописанного случая II, поскольку каждый макроблок в изображении промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком поля в полевом изображении.

M_C). Базовый слой (MBAFF-кадр) -> Улучшенный слой (прогрессивный кадр)

На фиг.14c изображен способ обработки для такого случая. Как показано, сначала соответствующий MBAPF-кадр базового слоя преобразуется в прогрессивный кадр. Для преобразования пары макроблоков полей MBAPF-кадра в прогрессивный кадр применяется способ из вышеописанного случая III, и для преобразования пары макроблоков кадра MBAPF-кадра применяется известный способ межкадрового преобразования. Разумеется, когда в рассматриваемом случае применяется способ из случая III, виртуальный кадр и информация о движении каждого макроблока кадра создаются с использованием данных, полученных посредством межслойного предсказания, без выполнения операции кодирования разности между предсказанными данными и данными слоя, фактически подлежащего кодированию.

После того, как виртуальный кадр получен, на виртуальном кадре выполняется сверхдискретизация. В ходе упомянутой сверхдискретизации выполняется интерполяция с частотой интерполяции, при которой разрешение базового слоя может стать равным разрешению текущего слоя. В дополнение формируется информация о движении каждого макроблока увеличенного изображения на основе информации о движении каждого макроблока виртуального кадра с использованием одного из ряда известных способов. В рассматриваемом случае выполняется известный способ межслойного предсказания движения между макроблоками кадров, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком кадра.

M_D). Базовый слой (поле с чересстрочной разверткой) -> Улучшенный слой (прогрессивный кадр)

На фиг.14d изображен один способ обработки для такого случая. В этом случае тип изображения является таким, как тип макроблока изображения. Как показано, сначала соответствующее поле базового слоя преобразуется в прогрессивный кадр. Полученный преобразованием кадр имеет такое же отношение вертикального/горизонтального размеров (соотношение размеров), как изображение текущего слоя. Для преобразования чересстрочного поля в прогрессивный кадр применяются процесс сверхдискретизации и способ из вышеописанного случая IV. Разумеется, когда способ случая IV применяется в рассматриваемом случае, текстурные данные виртуального кадра и информация о движении каждого макроблока кадра создаются с использованием данных, получаемых межслойным предсказанием, без выполнения операции кодирования разности между предсказанными данными и данными слоя, фактически подлежащего кодированию.

После того, как виртуальный кадр получен, на виртуальном кадре выполняется сверхдискретизация. В ходе упомянутой сверхдискретизации выполняется интерполяция, чтобы разрешение виртуального кадра могло стать равным разрешению текущего слоя. В дополнение формируется информация о движении каждого макроблока интерполированного изображения на основе информации о движении каждого макроблока виртуального кадра с использованием одного из ряда известных способов. В рассматриваемом случае выполняется известный способ межслойного предсказания движения между макроблоками кадров, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком кадра.

На фиг.14e изображен один способ обработки для вышеупомянутого случая M_D) в соответствии с другим вариантом осуществления настоящего изобретения. Как показано, в этом варианте осуществления нечетное или четное соответствующее поле преобразуется в прогрессивный кадр. Для преобразования чересстрочного поля в прогрессивный кадр применяются сверхдискретизация и вышеописанный способ из случая IV, представленный на фиг.14d. После того, как виртуальный кадр получен, способ предсказания движения между изображениями, имеющими одинаковое соотношение размеров, который является одним из ряда известных способов, применяется к виртуальному кадру для предсказания движения между изображением текущего слоя и виртуальным кадром промежуточного слоя, чтобы выполнить кодирование с предсказанием информации о движении каждого макроблока прогрессивного изображения текущего слоя.

Способ, показанный на фиг.14e, отличается от способа, показанного на фиг.14d, тем, что не формируется никакого промежуточного сигнала предсказания.

На фиг.14f изображен способ обработки для вышеупомянутого случая M_D) в соответствии с другим вариантом осуществления настоящего изобретения. Как показано, в этом варианте осуществления информация о движении всех макроблоков соответствующего поля базового слоя копируется для создания виртуального изображения. Затем выполняется сверхдискретизация. В ходе такой сверхдискретизации используется информация о текстуре изображения базового слоя, и применяются разные частоты интерполяции при вертикальной и горизонтальной интерполяции, чтобы увеличенное изображение имело такой же размер (или разрешение), как изображение текущего слоя. Кроме того, к виртуальному изображению применяется один из ряда известных способов предсказания (например, способ расширенной специальной масштабируемости (ESS)) для формирования разнообразной синтаксической информации и информации о движении увеличенного изображения. Векторы движения, построенные в ходе упомянутого процесса, растягиваются в соответствии с коэффициентом увеличения. После того, как сверхдискретизированное изображение промежуточного базового слоя построено, упомянутое изображение используется для выполнения межслойного предсказания движения каждого макроблока в изображении текущего слоя, чтобы кодировать информацию о движении каждого макроблока изображения текущего слоя. При этом, применяется известный способ межслойного предсказания движения между макроблоками кадров.

На фиг.14g показан способ обработки для вышеупомянутого случая M_D) в соответствии с другим вариантом осуществления настоящего изобретения. Как показано, в этом варианте осуществления сначала копируется информация о движении всех макроблоков соответствующего поля базового слоя для создания виртуального изображения. После этого, информация о текстуре изображения базового слоя используется для выполнения интерполяции с разными частотами при вертикальной и горизонтальной интерполяции. Информация о текстуре, созданная в ходе такой операции, используется для межслойного предсказания текстуры. В дополнение, информация о движении в виртуальном изображении используется для выполнения межслойного предсказания движения каждого макроблока в изображении текущего слоя. При этом применяется один из ряда известных способов (например, способ расширенной специальной масштабируемости (ESS), заданный в объединенной модели масштабируемого видео (JSVM)), чтобы выполнить кодирование с предсказанием движения изображения текущего слоя.

Способ, показанный на фиг.14g отличается от способа, показанного на фиг.14f, тем, что не формируется никакого промежуточного сигнала предсказания.

M_E). Базовый слой (MBAFF-кадр) -> Улучшенный слой (MBAFF-кадр)

На фиг.14h изображен способ обработки для такого случая. Как показано, сначала соответствующий MBAFF-кадр базового слоя преобразуется в прогрессивный кадр. Для преобразования MBAFF-кадра в прогрессивный кадр применяется способ из вышеописанного случая III для преобразования пар макроблоков полей MBAFF-кадра, и применяется способ межкадрового предсказания для преобразования пар макроблоков MBAFF-кадра. Разумеется, когда в рассматриваемом случае применяется способ из случая III, виртуальный кадр и информация о движении каждого макроблока кадра создаются с использованием данных, полученных посредством межслойного предсказания, без выполнения операции кодирования разности между предсказанными данными и данными слоя, фактически подлежащего кодированию.

После того, как виртуальный кадр получен, на виртуальном кадре выполняется сверхдискретизация. В ходе упомянутой сверхдискретизации выполняется интерполяция с частотой интерполяции, при которой разрешение базового слоя может стать равным разрешению текущего слоя. В дополнение формируется информация о движении каждого макроблока увеличенного изображения на основе информации о движении каждого макроблока виртуального кадра с использованием одного из ряда известных способов. Для выполнения межслойного предсказания движения применяется способ из вышеописанного случая I, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком поля в MBAPF-кадре. Однако в одном и том же MBAFF-кадре может содержаться не только пара макроблоков полей, но также пара макроблоков кадра, как описано выше. Соответственно, применяется известный способ предсказания движения между макроблоками кадров (межкадровый способ предсказания), который содержит копирование информации о движении, когда пара макроблоков текущего слоя, соответствующих паре макроблоков в изображении промежуточного базового слоя представляет собой макроблоки кадра, а не макроблоки полей.

M_F). Базовый слой (MBAFF-кадр) -> Улучшенный слой (поле с чересстрочной разверткой)

На фиг.14i представлен способ обработки для такого случая. Как показано, сначала соответствующий MBAFF-кадр базового слоя преобразуется в прогрессивный кадр. Чтобы преобразовать MBAFF-кадр в прогрессивный кадр, применяется способ из вышеописанного случая III для преобразования пар макроблоков полей MBAFF-кадра, и применяется способ межкадрового предсказания для преобразования пар макроблоков кадра MBAFF-кадра. Разумеется, также, когда способ из случая III применяется в рассматриваемом случае, виртуальный кадр и информация о движении каждого макроблока кадра создаются с использованием данных, получаемых посредством межслойного предсказания, без выполнения операции кодирования разности между предсказанными данными и данными слоя, фактически подлежащего кодированию.

После того, как виртуальный кадр получен, на виртуальном кадре выполняется интерполяция с частотой интерполяции, при которой разрешение может быть равным разрешению текущего слоя. В дополнение формируется информация о движении каждого макроблока увеличенного изображения на основе информации о движении каждого макроблока виртуального кадра с использованием одного из ряда известных способов. Для выполнения межслойного предсказания движения применяется способ из вышеописанного случая II, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком поля в четном или нечетном поле.

M_G). Базовый слой (поле с чересстрочной разверткой) -> Улучшенный слой (MBAFF-кадр)

На фиг.14j изображен способ обработки для такого случая. Как показано, сначала чересстрочное поле базового слоя преобразуется в прогрессивный кадр. Для преобразования чересстрочного поля в прогрессивный кадр применяются сверхдискретизация и способ из вышеописанного случая IV. Разумеется, также, когда в рассматриваемом случае применяется способ из случая IV, виртуальный кадр и информация о движении каждого макроблока кадра создаются с использованием данных, получаемых посредством межслойного предсказания, без выполнения операции кодирования разности между предсказанными данными и данными слоя, фактически подлежащего кодированию.

После того, как виртуальный кадр получен, на виртуальном кадре выполняется сверхдискретизация, чтобы разрешение могло стать равным разрешению текущего слоя. В дополнение формируется информация о движении каждого макроблока увеличенного изображения с использованием одного из ряда известных способов. Для выполнения межслойного предсказания движения применяется способ из вышеописанного случая I, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком кадра, и каждый макроблок текущего слоя является макроблоком поля в MBAPF-кадре. Однако в одном и том же MBAFF-кадре может содержаться не только пара макроблоков полей, но также пара макроблоков кадра, как описано выше. Соответственно, применяется известный способ предсказания движения между макроблоками кадров (межкадровый способ предсказания), вместо способа предсказания из вышеописанного случая I, когда пара макроблоков текущего слоя, соответствующих паре макроблоков в изображении промежуточного базового слоя, содержит макроблоки кадра, а не макроблоки полей.

M_H). Базовый слой (поле с чересстрочной разверткой) -> Улучшенный слой (поле с чересстрочной разверткой)

На фиг.14k изображен способ обработки для такого случая. Как показано, сначала информация о движении всех макроблоков соответствующего поля в базовом слое копируется для создания виртуального поля, и затем выполняется сверхдискретизация на виртуальном поле. Упомянутая сверхдискретизация выполняется с частотой сверхдискретизации, при которой разрешение базового слоя может быть равным разрешению текущего слоя. В дополнение, с использованием одного из ряда известных способов, формируется информация о движении каждого макроблока увеличенного изображения на основе информации о движении каждого макроблока созданного виртуального поля. Для выполнения межслойного предсказания движения применяется способ из вышеописанного случая iv) в случае V, поскольку каждый макроблок изображения промежуточного базового слоя, построенного таким образом, является макроблоком поля в полевом изображении, и каждый макроблок текущего слоя является также макроблоком поля в полевом изображении.

Хотя, для сверхдискретизации в описании вариантов осуществления, показанных на фиг.14a-14k, используется информация о текстуре виртуального поля или кадра промежуточного слоя, вместо информации о текстуре изображения базового слоя, информация о текстуре изображения базового слоя также может служить для сверхдискретизации. Кроме того, в отсутствие необходимости, процесс интерполяции с использованием информации о текстуре исключается из вышеописанного процесса сверхдискретизации, при выводе информации о движении в изображении промежуточного слоя, подлежащего использованию для межслойного предсказания движения, которое выполняется на последующей стадии.

С другой стороны, хотя описание предсказания текстуры приведено для случая, когда базовый и улучшенный слои имеют одинаковое пространственное разрешение, оба слоя могут иметь разные пространственные разрешения, как изложено выше. В случае, когда разрешение улучшенного слоя выше, чем разрешение базового слоя, сначала выполняются операции, обеспечивающие равенство разрешения изображения базового слоя разрешению изображения улучшенного слоя, чтобы создать изображение базового слоя, имеющее такое же разрешение, как изображение улучшенного слоя, и, на основе каждого макроблока в изображении, выбирается способ предсказания текстуры, соответствующий каждому из вышеописанных случаев I-V, для выполнения кодирования с предсказанием. Далее приведено описание процедуры, обеспечивающей равенство разрешения изображения базового слоя разрешению изображения улучшенного слоя.

Когда рассматриваются два слоя для межслойного предсказания, число комбинаций форматов изображения (прогрессивный и чересстрочный форматы) для кодирования между двумя слоями равно четырем, так как существуют два способа развертки видеосигнала, один способ прогрессивной развертки и другой способ чересстрочной развертки. Поэтому способ повышения разрешения изображений базового слоя для выполнения межслойного предсказания текстуры будет описан отдельно для каждого из четырех случаев.

T_A). Случай, когда улучшенный слой является прогрессивным и базовый слой является чересстрочным

На фиг.15a представлен вариант осуществления способа использования изображения базового слоя для межслойного предсказания текстуры в рассматриваемом случае. Как показано, изображение 1501 базового слоя, совпадающее по времени с изображением 1500 текущего (улучшенного) слоя, содержит четные и нечетные поля, которые выводятся в разные моменты времени. Поэтому сначала EL-кодер 20 разделяет изображение базового слоя на четное и нечетное поля (S151). Intra-макроблоки изображения 1501 базового слоя содержат исходные видеоданные, которые не кодированы (или видеоданные, которые кодированы) и которые служат для внутрикадрового предсказания по базовому слою, и inter-макроблоки упомянутого изображения содержат кодированные остаточные данные (или декодированные остаточные данные), которые служат для предсказания по остаточным данным. То же самое справедливо для макроблоков или изображений базового слоя при нижеописанном предсказании текстуры.

После разделения соответствующего изображения 1501 на компоненты полей EL-кодер 20 выполняет интерполяцию полученных разделением полей 1501a и 1501b в вертикальном и/или горизонтальном направлении для создания увеличенных четного и нечетного изображений 1502a и 1502b (S152). При интерполяции применяется один из ряда известных способов, например, 6-точечной фильтрации и двоично-линейной фильтрации. Вертикальные и горизонтальные отношения для повышения разрешения (т.е. размера) изображения посредством интерполяции равны вертикальным и горизонтальным отношениям размера изображения 1500 улучшенного слоя к размеру изображения 1501 базового слоя. Вертикальные и горизонтальные отношения могут быть равными между собой. Например, если отношение по разрешению между улучшенным и базовым слоями равно 2, то интерполяция выполняется на полученных разделением четном и нечетном полях 1501a и 1501b для создания одного дополнительного пиксела между каждым пикселем в каждом поле в вертикальном и горизонтальном направлениях.

После того, как интерполяция завершается, увеличенные четное и нечетное поля 1502a и 1502b объединяются для построения изображения 1503 (S153). При таком объединении, строки увеличенных четного и нечетного полей 1502a и 1502b выбираются попеременно (1502a -> 1502b -> 1502a -> 1502b-> …) и затем выстраиваются в выбранном порядке для построения объединенного изображения 1503. При этом определяется режим блока каждого макроблока в объединенном изображении 1503. Например, режим блока макроблока объединенного изображения 1503 задается идентичным режиму макроблока в изображении 1501 базового слоя, который содержит область, содержащую тот же самый видеокомпонент. Вышеупомянутый способ определения применим в любом нижеописанном случае увеличения изображений. Поскольку объединенное изображение 1503, построенное таким образом, имеет пространственное разрешение, равное пространственному разрешению текущего изображения 1500 улучшенного слоя, предсказание текстуры (например, межкадровое предсказание текстуры inter-макроблоков) макроблоков в текущем прогрессивном изображении 1500 выполняется на основе соответствующих макроблоков объединенного изображения 1503 (S154).

На фиг.15b представлен способ использования изображения базового слоя для межслойного предсказания текстуры в соответствии с другим вариантом осуществления настоящего изобретения. Как показано, в этом варианте осуществления выполняется интерполяция изображения базового слоя, содержащего четные и нечетные поля, которые выводятся в разные моменты времени, в вертикальном и/или горизонтальном направлении, непосредственно, без разделения изображения базового слоя на основе атрибутов (четности) полей (S155), чтобы построить увеличенное изображение с таким же разрешением (т.е. размером), как разрешение изображения улучшенного слоя. Увеличенное изображение, построенное таким образом, используется для выполнения межслойного предсказания текстуры текущего прогрессивного изображения улучшенного слоя (S156).

На фиг.15a показана, на уровне изображения, процедура интерполяции изображения, содержащего четные и нечетные поля, посредством изображения на основе атрибутов полей. Однако EL-кодер 20 может получить такие же результаты, как показанные на фиг.15a, выполнением процедуры, представленной на фиг.15a, на уровне макроблоков. В частности, когда базовый слой, содержащий четные и нечетные поля, кодирован в режиме MBAFF, пара вертикально смежных макроблоков в изображении 1501, которые совмещаются с парой макроблоков в изображении улучшенного слоя, которое в настоящий момент должно быть кодировано с предсказанием текстуры, может содержать видеосигналы компонентов четных и нечетных полей, как на фиг.16a или 16b. На фиг.16a показан режим передачи пар макроблоков кадров, в котором компоненты четных и нечетных полей перемежаются в каждом из пары макроблоков A и B, и на фиг.16b показан режим передачи пар макроблоков полей, в котором каждый из пары макроблоков A и B содержит строки развертки с одинаковым атрибутом поля.

В случае, показанном на фиг.16a, чтобы применить способ, показанный на фиг.15a, четные строки каждого из пары макроблоков A и B выбираются для построения блока A' четного поля, и его нечетные строки выбираются для построения блока B' нечетного поля, что разделяет пару макроблоков, содержащих компоненты четного и нечетного полей, перемеженных в каждом макроблоке, на два блока A' и B', содержащих, соответственно, компоненты четного и нечетного полей. Интерполяция выполняется на каждом из двух макроблоков A' и B', полученных разделением упомянутым образом, для построения увеличенного блока. Предсказание текстуры выполняется с использованием данных в области в увеличенном блоке, которая соответствует макроблоку в режиме внутрикадрового или межкадрового предсказания, соответственно, по базовому слою (intra_BL) или по остаточным данным (residual_prediction) в изображении улучшенного слоя, которое в настоящий момент должно быть кодировано с предсказанием текстуры. Хотя и не показано на фиг.16a, объединение раздельно увеличенных блоков на основе атрибутов полей частично строит увеличенные четное и нечетное изображения 1502a и 1502b на фиг.15a, и поэтому увеличенные четное и нечетное изображения 1502a и 1502b на фиг.15a могут быть построены повторением вышеописанных операций для каждой пары макроблоков.

В случае, когда пара макроблоков разделяется на основе атрибутов полей для построения каждого макроблока, как на фиг.16b, вышеописанная процедура разделения является процессом простого копирования каждого из пары макроблоков для построения двух отдельных макроблоков. Последующая процедура аналогична процедуре, описанной со ссылкой на фиг.16a.

T_B). Случай, когда улучшенный слой является чересстрочным и базовый слой является прогрессивным

На фиг.17a представлен вариант осуществления способа использования изображения базового слоя для межслойного предсказания текстуры в рассматриваемом случае. Как показано, сначала EL-кодер 20 строит два изображения для изображения 1700 текущего слоя (S171). В примерном способе построения двух изображений, четные строки соответствующего изображения 1701 выбираются для построения одного изображения 1701a, и его нечетные строки выбираются для построения другого изображения 1701b. Затем EL-кодер 20 выполняет интерполяцию упомянутых двух построенных изображений 1701a и 1701b в вертикальном и/или горизонтальном направлении для создания двух увеличенных изображений 1702a и 1702b (S172). При такой интерполяции применяется один из ряда известных способов, например, 6-точечная фильтрация и двоично-линейная фильтрация, как в случае T_A). Отношения для повышения разрешения являются такими же, как отношения, описанные в случае T_A).

После того, как интерполяция завершена, два увеличенных поля 1702a и 1702b объединяются для построения изображения 1703 (S173). При таком объединении, строки двух увеличенных полей 1702a и 1702b выбираются попеременно (1702a -> 1702b -> 1702a -> l702b -> …) и затем выстраиваются в выбранном порядке для построения объединенного изображения 1703. Поскольку объединенное изображение 1703, построенное таким образом, имеет пространственное разрешение, равное пространственному разрешению текущего изображения 1700 улучшенного слоя, предсказание текстуры (например, межкадровое предсказание текстуры inter-макроблоков или предсказание текстуры, описанное со ссылкой на фиг.4g) макроблоков в текущем чересстрочном изображении 1700 выполняется на основе соответствующих макроблоков объединенного изображения 1703 (S174).

На фиг.17b представлен способ использования изображения базового слоя при межслойном предсказании текстуры в соответствии с другим вариантом осуществления настоящего изобретения. Как показано, в этом варианте осуществления выполняется интерполяция изображения базового слоя в вертикальном и/или горизонтальном направлении, непосредственно, без разделения изображения базового слоя на два изображения, (S175) для построения увеличенного изображения такого же разрешения (т.е. размера), как разрешение изображения улучшенного слоя. Увеличенное изображение, построенное таким образом, используется для выполнения межслойного предсказания текстуры текущего чересстрочного изображения улучшенного слоя (S176).

Хотя описание фиг.17a также приведено на уровне изображения, EL-кодер 20 может выполнять процесс разделения изображения на уровне макроблоков, как описано выше в случае T_A). Способ, представленный на фиг.17b, аналогичен процедуре разделения и интерполяции, показанной на фиг.17a, когда одно изображение 1701 считается парой вертикально смежных макроблоков. Подробное описание этой процедуры в настоящей заявке отсутствует, поскольку она интуитивно понятна из фиг.17a.

T_C). Случай, когда как улучшенный, так и базовый слои являются чересстрочными

На фиг.18 представлен вариант осуществления способа использования изображения базового слоя для межслойного предсказания текстуры в рассматриваемом случае. В этом случае, как показано, EL-кодер 20 разделяет изображение 1801 базового слоя, соответствующее по времени изображению 1800 текущего слоя, на четное и нечетное поля (S181) таким же образом, как в случае T_A). Затем EL-кодер 20 выполняет интерполяцию полученных разделением полей 1801a и 1801b в вертикальном и/или горизонтальном направлении для создания увеличенных четного и нечетного изображений 1802a и 1802b (S182). Затем EL-кодер 20 объединяет увеличенные четное и нечетное изображения 1802a и 1802b для построения изображения 1803 (S182). Затем EL-кодер 20 выполняет межслойное предсказание текстуры (например, межкадровое предсказание текстуры inter-макроблоков или предсказание текстуры, описанное со ссылкой на фиг. 4g) макроблоков (пар макроблоков кадров, кодированных в режиме MBAFF) в текущем чересстрочном изображении 1800 на основе соответствующих макроблоков объединенного изображения 1803 (S184).

Хотя оба слоя имеют одинаковый формат изображения, EL-кодер 20 разделяет изображение 1801 базового слоя на основе атрибутов полей (S181) и раздельно увеличивает полученные разделением поля (S182) и затем объединяет увеличенные изображения (S183), поскольку если изображение 1801, объединяющее четное и нечетное поля, интерполировать непосредственно, когда оно характеризуется тем, что видеосигналы четного и нечетного полей значительно изменяются, то увеличенное изображение может содержать искаженное изображение (например, изображение, содержащее размытые границы) по сравнению с чересстрочным изображением 1800, содержащим перемеженные четное и нечетное поля улучшенного слоя. Соответственно, даже когда оба слоя являются чересстрочными, EL-кодер 20 использует изображение базового слоя после его разделения на основе атрибутов полей, чтобы получить два поля и раздельно увеличить два поля, и затем объединить увеличенные поля в соответствии с настоящим изобретением.

Разумеется, вместо использования способа, показанного на фиг.18, всегда, когда изображения обоих слоев являются чересстрочными, способ можно использовать выборочно, в зависимости от характеристик видеосигнала изображений.

На фиг.18 показана, на уровне изображения, процедура разделения и увеличения изображения, содержащего четные и нечетные поля на основе атрибутов полей, в соответствии с настоящим изобретением. Однако, как изложено выше в T_A), EL-кодер 20 может получить такие же результаты, как показанные на фиг.18, выполнением, на уровне макроблоков, процедуры, показанной на фиг.18, которая содержит процессы разделения и интерполяции для макроблоков, описанные со ссылкой на фиг.16a и 16b, (в частности, разделение пары макроблоков кадров на блоки с четными и нечетными строками и раздельное увеличение полученных разделением блоков) и процессы объединения и межслойного предсказания текстуры (в частности, попеременного выбора строк увеличенных блоков для построения пары увеличенных блоков и выполнения предсказания текстуры пары макроблоков кадра текущего слоя с использованием построенной пары увеличенных блоков).

T_D). Случай, когда как улучшенный, так и базовый слои являются прогрессивными

В этом случае изображение базового слоя увеличивается до такого же размера, как размер изображения улучшенного слоя, и увеличенное изображение используется для межслойного предсказания текстуры текущего изображения улучшенного слоя, имеющего такой же формат изображения.

Хотя выше описаны варианты осуществления предсказания текстуры для случая, когда базовый и улучшенный слои имеют одинаковое временное разрешение, два слоя могут иметь разные временные разрешения, т.е. разные частоты кадров. Если изображения слоев различаются по типу развертки изображений, то, даже когда слои имеют одинаковое временное разрешение, изображения могут содержать видеосигналы с разными временами вывода, даже если они являются изображениями с одинаковыми POC (т.е. изображениями, соответствующими по времени одно другому). Ниже приведено описание способа межслойного предсказания текстуры для такого случая. В нижеследующем описании предполагается, что оба слоя первоначально имеют одинаковое пространственное разрешение. Если слои имеют разные пространственные разрешения, то после сверхдискретизации каждого изображения базового слоя для обеспечения равенства его пространственного разрешения пространственному разрешению улучшенного слоя, как изложено выше, применяются нижеописанные способы.

a) Случай, когда улучшенный слой содержит прогрессивные кадры, базовый слой содержит MBAFF-кадры и временное разрешение улучшенного слоя выше в два раза

На фиг.19a представлен способ межслойного предсказания движения для такого случая. Как показано, каждый MBAFF-кадр базового слоя содержит четные и нечетные поля, отличающиеся по времени вывода, и, следовательно, EL-кодер 20 разделяет каждый MBAFF-кадр на четные и нечетные поля (S191). EL-кодер 20 разделяет компоненты четного поля (например, четные строки) и компоненты нечетного поля (например, нечетные строки) каждого MBAFF-кадра на четное поле и нечетное поле соответственно. После разделения MBAFF-кадра на два поля упомянутым образом EL-кодер 20 интерполирует каждое поле в вертикальном направлении так, что его разрешение повышается в два раза (S192). При такой интерполяции применяется один из ряда известных способов, например, 6-точечная фильтрация, двоично-линейная фильтрация и простое дополнение незначащими строками. После того, как интерполяция завершена, каждый кадр улучшенного слоя содержит совпадающее по времени изображение в базовом слое, и, следовательно, EL-кодер 20 выполняет известное межслойное предсказание текстуры (например, межкадровое предсказание inter-макроблоков) на макроблоках каждого кадра улучшенного слоя (S193).

Вышеописанная процедура применима также к межслойному предсказанию движения. При этом при разделении MBAFF-кадра на два поля, EL-кодер 20 копирует информацию о движении каждой пары макроблоков полей в MBAFF-кадре как информацию о движении макроблока с одинаковым атрибутом (четности) поля, чтобы использовать ее для межслойного предсказания движения. При применении такого способа можно создать совпадающее по времени изображение в соответствии с вышеописанным способом для выполнения межслойного предсказания движения, даже когда в базовом слое отсутствует совпадающее по времени изображение (в случае t1, t3, …).

Вышеописанный способ можно применять непосредственно, когда разрешение одного из двух слоев в два раза выше, чем разрешение другого слоя, как в примере на фиг.19a, и даже когда разрешение выше в N (три или более) раз. Например, когда разрешение выше в три раза, одно из двух полученных разделением полей можно копировать дополнительно для построения и использования трех полей, и, когда разрешение выше в четыре раза, каждое из двух полученных разделением полей может копироваться еще раз для построения и использования четырех полей. Очевидно, что, при любой разнице во временном разрешении, специалисты в данной области техники смогут выполнить межслойное предсказание простым применением принципов настоящего изобретения, без какого-либо творческого напряжения. Следовательно, естественно, что любой способ предсказания между слоями с разными временными разрешениями, не рассмотренный в настоящем описании, не выходит за пределы объема настоящего изобретения. То же самое справедливо для других нижеописанных случаев.

Если базовый слой кодирован в режиме адаптивного к изображению кодирования полей (PAFF), вместо MBAFF-кадров, оба слоя могут иметь одинаковое временное разрешение, как на фиг.19b. Следовательно, в этом случае, межслойное предсказание текстуры выполняется после построения изображения, имеющего такое же временное разрешение, как разрешение текущего слоя посредством прямой интерполяции кадра, без процесса разделения кадра на два поля.

b) Случай, когда улучшенный слой содержит MBAFF-кадры, базовый слой содержит прогрессивные кадры, и временное разрешение улучшенного слоя составляет половину от временного разрешения базового слоя

На фиг.20 представлен способ межслойного предсказания текстуры для такого случая. Как показано, каждый MBAFF-кадр улучшенного слоя содержит четные и нечетные поля с разными временами вывода, и, следовательно, EL-кодер 20 разделяет каждый MBAFF-кадр на четные и нечетные поля (S201). EL-кодер 20 разделяет компоненты четного поля (например, четные строки) и компоненты нечетного поля (например, нечетные строки) каждого MBAFF-кадра на четное поле и нечетное поле соответственно. EL-кодер 20 выполняет субдискретизацию каждого кадра базового слоя в вертикальном направлении для построения изображения с разрешением, сниженным в два раза (S202). Упомянутая субдискретизация может использовать строчную субдискретизацию или один из множества других известных способов понижающей дискретизации. В примере на фиг.20, EL-кодер 20 выбирает четные строки изображений с четными индексами изображений (изображения t0, t2, t4, …) для получения изображений, уменьшенных по размеру в два раза, и выбирает нечетные строки изображений с нечетными индексами изображений (изображения t1, t3, t5, …) для получения изображений, уменьшенных по размеру в два раза. Разделение (S201) и субдискретизация (S202) кадра могут также выполняться в обратном порядке.

После того, как два процесса S201 и S202 завершены, поля 2001, выделенные из кадров улучшенного слоя, содержат изображения, которые совпадают по времени с полями 2001 и имеют такое же пространственное разрешение, как разрешение полей 2001 в базовом слое, и, следовательно, EL-кодер 20 выполняет известное межслойное предсказание текстуры (например, покадровое предсказание inter-макроблоков) на макроблоках в каждом поле (S203).

Вышеописанная процедура применима также к межслойному предсказанию движения. При этом при получении изображения, уменьшенного по размеру, из каждого кадра базового слоя посредством субдискретизации (S202), EL-кодер 20 может получать информацию о движении соответствующего макроблока из информации о движении каждого из пары вертикально смежных макроблоков в соответствии с подходящим способом (например, способом выбора информации о движении блока, который не был разбит полностью) и затем может использовать полученную информацию о движении для межслойного предсказания движения.

В таком случае, изображения улучшенного слоя кодированы в режиме PAFF для передачи, поскольку межслойное предсказание выполняется на каждом полевом изображении 2001, выделенном из MBAFF-кадров.

c) Случай, когда улучшенный слой содержит MBAFF-кадры, базовый слой содержит прогрессивные кадры, и оба слоя имеют одинаковое временное разрешение

На фиг.21 представлен способ межслойного предсказания текстуры для такого случая. Как показано, каждый MBAFF-кадр улучшенного слоя содержит четные и нечетные поля, отличающиеся по времени вывода, и, следовательно, EL-кодер 20 разделяет каждый MBAFF-кадр на четные и нечетные поля (S211). EL-кодер 20 разделяет компоненты четного поля (например, четные строки) и компоненты нечетного поля (например, нечетные строки) каждого MBAFF-кадра на четное поле и нечетное поле соответственно. EL-кодер 20 выполняет субдискретизацию каждого кадра базового слоя в вертикальном направлении для построения изображения с разрешением, уменьшенным в два раза (S212). Упомянутая субдискретизация может использовать строчную субдискретизацию или один из множества других известных способов понижающей дискретизации. Разделение (S211) и субдискретизация (S212) кадра могут также выполняться в обратном порядке.

EL-кодер 20 может также строить поле (например, изображение четного поля) из MBAFF-кадра, вместо разделения MBAFF-кадра на два поля. Это возможно благодаря тому, что оба слоя имеют одинаковое временное разрешение, и, следовательно, только одному из двух полевых изображений, выделенных из одного кадра, (а не обоим таким изображениям) соответствует кадр в базовом слое, который можно использовать для межслойного предсказания.

После того, как два процесса S211 и S212 завершены, EL-кодер 20 выполняет известное межслойное предсказание текстуры (например, межкадровое предсказание inter-макроблоков) только на четных (нечетных) полях из полей, выделенных из кадров улучшенного слоя, на основе соответствующих субдискретизированных изображений в базовом слое (S213).

В этом случае, в отношении полученных разделением полей улучшенного слоя, для которого выполняется межслойное предсказание текстуры, может также выполняться межслойное предсказание движения таким же образом, как описано в случае b).

Хотя вышеприведенные описания относятся к операциям межслойного предсказания, выполняемым EL-кодером 20, представленным на фиг.2a или 2b, все описания операций межслойного предсказания можно, как правило, применить к EL-декодеру, который получает декодированную информацию из базового слоя и декодирует потоки улучшенного слоя. В ходе процедур кодирования и декодирования вышеописанные операции межслойного предсказания (включая операции для разделения, увеличения и объединения видеосигналов в изображениях или макроблоках) выполняются одинаковым образом, тогда как операции, следующие за межслойным предсказанием, выполняются по-разному. Примером различия является то, что, после выполнения предсказания движения и текстуры, кодер кодирует предсказанную информацию или информацию о разности между предсказанной информацией и фактической информацией, чтобы передавать ее в декодер, тогда как декодер получает фактические информацию о движении и информацию о текстуре путем непосредственного применения информации, полученной выполнением такого же межслойного предсказания движения и текстуры, как предсказание, выполненное в кодере, к текущему макроблоку или путем дополнительного использования фактически принятой информации о кодировании макроблоков. Подробные данные и принципы настоящего изобретения, изложенные выше с точки зрения кодирования, непосредственно применимы к декодеру, который декодирует принимаемые потоки данных двух слоев.

Однако, когда EL-кодер передает улучшенный слой MBAFF-кадров в режиме PAFF после разделения улучшенного слоя на последовательности полей и выполнения межслойного предсказания, как описано со ссылками на фиг.20 и 21, декодер не выполняет вышеописанную процедуру разделения MBAFF-кадров на полевые изображения в текущем принимаемом слое.

Кроме того, тогда декодер, из принимаемого сигнала, флаг «field_base_flag», который указывает, выполнил ли EL-кодер 20 межслойное предсказание текстуры между макроблоками, как показано на фиг.8d, или как показано на фиг.8h. На основании декодированного значения флага декодер решает, выполнено ли предсказание между макроблоками, как показано на фиг.8d или как показано на фиг.8h, и получает информацию предсказания текстуры в соответствии с решением. Если флаг «field_base_flag» не получен, то EL-декодер считает, что принят флаг, имеющий значение «0». То есть EL-декодер считает, что предсказание текстуры между макроблоками выполнено в соответствии со способом, показанным на фиг.8d, и получает информацию предсказания в текущей паре макроблоков для построения текущего макроблока или пары макроблоков.

По меньшей мере, один из ограниченных вариантов осуществления настоящего изобретения, описанных выше, может выполнять межслойное предсказание, даже при использовании источников видеосигналов в разных форматах (или режимах). Следовательно, при кодировании множества слоев, скорость кодирования данных можно повышать, независимо от типов видеосигналов изображений, например, чересстрочных видеосигналов, прогрессивных сигналов, изображений MBAFF-кадров и полевых изображений. Кроме того, когда один из двух источников является источником чересстрочного видеосигнала, видеообъект в изображении для использования в предсказании можно строить более похожим на исходный видеообъект для кодирования с предсказанием, что повышает скорость кодирования данных.

Выше настоящее изобретение описано со ссылкой на предпочтительные варианты осуществления, однако специалистам в данной области техники очевидно, что в настоящее изобретение можно вносить разнообразные усовершенствования, изменения и дополнения без выхода за пределы объема и существа изобретения. Следовательно, предполагается, что изобретение охватывает усовершенствования, изменения, замены и дополнения к изобретению при условии, что они не выходят за пределы объема, определяемого прилагаемой формулой изобретения и ее эквивалентами.

Изобретение относится к способу межслойного предсказания при кодировании/декодировании видеосигнала. Техническим результатом является создание способа интерполяции, учитывающего режимы сканирования видеосигналов слоев. Указанный результат достигается тем, что способ обеспечивает построение пары макроблоков кадра из одного макроблока поля или двух вертикально смежных макроблоков поля базового слоя и использование информации о текстуре построенной пары макроблоков кадра в межслойном предсказании текстуры пары макроблоков кадра текущего слоя. 2 н. и 6 з.п. ф-лы, 67 ил.

1. Способ декодирования сигнала изображения, содержащий этапы, на которых
получают информацию виртуальной позиции соответствующей пары макроблоков полей, причем данная соответствующая пара макроблоков полей соответствует паре макроблоков полей улучшенного слоя;
получают информацию позиции пары макроблоков опорного кадра на основе упомянутой информации виртуальной позиции соответствующей пары макроблоков полей, причем данная пара макроблоков опорного кадра находится на базовом слое;
предсказывают информацию движения упомянутой пары макроблоков полей улучшенного слоя на основе информации движения упомянутой пары макроблоков опорного кадра согласно упомянутой информации позиции пары макроблоков опорного кадра; и
декодируют упомянутую пару макроблоков полей улучшенного слоя, используя упомянутую информацию движения пары макроблоков полей улучшенного слоя.

2. Способ по п.1, в котором упомянутая соответствующая пара макроблоков полей составлена из верхнего макроблока поля и нижнего макроблока поля, причем верхняя часть верхнего макроблока поля составлена из четных строк в верхнем макроблоке упомянутой пары макроблоков опорного кадра, а нижняя часть верхнего макроблока поля составлена из четных строк в нижнем макроблоке упомянутой пары макроблоков опорного кадра, причем верхняя часть нижнего макроблока поля составлена из нечетных строк в верхнем макроблоке упомянутой пары макроблоков опорного кадра, а нижняя часть нижнего макроблока поля составлена из нечетных строк в нижнем макроблоке упомянутой пары макроблоков опорного кадра.

3. Способ по п.1, в котором, когда упомянутая пара макроблоков опорного кадра составлена из макроблока, кодированного внутрикадровым кодированием, и макроблока, кодированного межкадровым кодированием, предсказывают упомянутую информацию движения пары макроблоков полей улучшенного слоя на основе информации движения данного макроблока, кодированного межкадровым кодированием.

4. Способ по п.1, в котором упомянутую пару макроблоков полей улучшенного слоя кодируют адаптивно как макроблок кадра или макроблок поля для каждого макроблока.

5. Устройство для декодирования сигнала изображения, содержащее модуль декодирования, который получает информацию виртуальной позиции соответствующей пары макроблоков полей; получает информацию позиции пары макроблоков опорного кадра на основе упомянутой информации виртуальной позиции соответствующей пары макроблоков полей; предсказывает информацию движения пары макроблоков полей улучшенного слоя на основе информации движения упомянутой пары макроблоков опорного кадра согласно упомянутой информации позиции пары макроблоков опорного кадра; и декодирует упомянутую пару макроблоков полей улучшенного слоя, используя упомянутую информацию движения пары макроблоков полей улучшенного слоя,
при этом упомянутая соответствующая пара макроблоков полей соответствует упомянутой паре макроблоков полей улучшенного слоя, а упомянутая пара макроблоков опорного кадра находится на базовом слое.

6. Устройство по п.5, в котором упомянутая соответствующая пара макроблоков полей составлена из верхнего макроблока поля и нижнего макроблока поля, причем верхняя часть верхнего макроблока поля составлена из четных строк в верхнем макроблоке упомянутой пары макроблоков опорного кадра, а нижняя часть верхнего макроблока поля составлена из четных строк в нижнем макроблоке упомянутой пары макроблоков опорного кадра, причем верхняя часть нижнего макроблока поля составлена из нечетных строк в верхнем макроблоке упомянутой пары макроблоков опорного кадра, а нижняя часть нижнего макроблока поля составлена из нечетных строк в нижнем макроблоке упомянутой пары макроблоков опорного кадра.

7. Устройство по п.5, в котором, когда упомянутая пара макроблоков опорного кадра составлена из макроблока, кодированного внутрикадровым кодированием, и макроблока, кодированного межкадровым кодированием, упомянутая информация движения пары макроблоков полей улучшенного слоя предсказывается на основе информации движения данного макроблока, кодированного межкадровым кодированием.

8. Устройство по п.5, в котором упомянутая пара макроблоков полей улучшенного слоя кодируется адаптивно как макроблок кадра или макроблок поля для каждого макроблока.