УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N19/30 H04N19/463 H04N19/61 H04N19/70 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений.

Уровень техники

В настоящее время осуществляется работа по стандартизации схемы кодирования изображений под названием HEVC (Высокоэффективное видеокодирование), которая выполняется JCTVC (Объединенная команда по видеокодированию), являющейся совместной организацией стандартизации ITU-T и ISO/IEC, в целях повышения эффективности кодирования Н.264/AVC (см, например, непатентный документ 1 ниже).

HEVC обеспечивает не только кодирование одного уровня, но также и масштабируемое видеокодирование, как и в известных схемах кодирования изображений, таких как MPEG2 и AVC (Усовершенствованное кодирование видеосигнала). HEVC технология масштабируемого видеокодирования также называют SHVC (масштабируемое HEVC) (например, см. непатентный документ 2 ниже).

В этой связи, масштабируемое видеокодирование, как правило, представляет собой технологию, которая иерархически кодирует уровень, передающий сигнал изображения низкого разрешения, и уровень, передающий сигнал изображения высокого разрешения. Типичные атрибуты, расположенные в иерархическом порядке, в масштабируемом видеокодировании, в основном, включают в себя следующие три:

- пространственная масштабируемость: пространственное разрешение изображений или размеры изображения расположены в иерархическом порядке.

- временная масштабируемость: частоты кадров расположены в иерархическом порядке.

- SNR (отношение сигнал-шум) масштабируемость: отношение сигнал/шум в иерархическом порядке.

Дополнительно, хотя еще не принято в стандарте, также обсуждаются масштабируемость битовой глубины и масштабируемость цветового формата.

В непатентном документе 3, описывается масштабируемость цветовой палитры, в котором палитры воспроизводимых цветов размещаются в иерархическом порядке. Например, в телевидение высокой четкости (HD), как правило, используется размер изображения 1920×1080 пикселей, цветовая палитра ITU-R ВТ.709 и битовая глубина 8 бит. С другой стороны, в телевидении сверхвысокой четкости (UHD) будет изучена возможность использования изображения размером 4000×2000 пикселей или 8000×4000 пикселей, цветовая палитра ITU-R ВТ.2020 и битовая глубина 10 или 12 бит. В общем, для преобразования цветовой палитры необходимо выполнять вычисление матрицы на 3-х мерных векторах пикселей. Тем не менее, с точки зрения аппроксимации соотношения между ВТ.709 и ВТ.2020 линейной зависимости, независимо для каждого цветового компонента, непатентный документ 3 предлагает предсказание значения пикселя усовершенствованного уровня из значения пикселя основного уровня простым способом, когда ВТ.709 используется в основном уровне и ВТ.2020 используется в усовершенствованном уровне.

Список противопоставленных материалов

Непатентная литература

Непатентный документ 1: "Высокоэффективное видеокодирование (HEVC) текст спецификации версии 10 (для FDIS & Одобрения)" Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang и Thomas Wiegand (JCTVC - L1003 v4, с 14 по 23 января, 2013)

Непатентный документ 2: "Описание технологии масштабируемого видеокодирования, предложенное Qualcomm (конфигурации 2)" Jianle Chen, el. al, (JCTVC - K0036, 10-19 октября, 2012)

Непатентный документ 3: "Цветовая палитра масштабируемого видеокодирования: новые результаты" Louis Kerofsky, el. al, (JCTVC - L0334, 14-23 января, 2013)

Раскрытие изобретения

Техническая задача

В предлагаемом в непатентном документе 3 способе, однако, коэффициент усиления и величина смещения каждого цветового компонента кодируются для каждого изображения в адаптивном режиме настройки, где высокая точность предсказания может быть достигнута посредством увеличения количества кодированной информации. В режиме битового сдвига и в фиксированном режиме настройки, дополнительного кодирования параметров не происходит, но точность предсказания незначительно ухудшается.

Соответственно, желательно обеспечить новую структуру, способную не допускать увеличения количества кодирования для достижения высокой точности предсказания при масштабируемости цветовой палитры.

Решение технической задачи

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя секцию декодирования, выполненную с возможностью декодировать разностное значение от предшествующего значения параметра предсказания, используемого, когда изображение второго уровня, имеющее иную цветовую палитру, чем первый уровень, предсказывается из изображения первого уровня, и секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, используя параметр предсказания, вычисленный, используя разностное значение, декодированное посредством секции декодирования.

Устройство обработки изображения, упомянутое выше, может быть, как правило, реализовано как устройство декодирования изображения, которое декодирует изображение.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя декодирования разностного значения из предшествующего значения параметра предсказания, используемого, когда изображение второго уровня, имеющее другую цветовую палитру, чем первый уровень, предсказывается из изображения первого уровня, и предсказание изображения второго уровня из изображения первого уровня, используя параметр предсказания, вычисленный с использованием декодированного разностного значения.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство обработки изображения, включающее в себя секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, указанное, когда изображение второго уровня, имеющее иную цветовую палитру, чем первый уровень, декодируется, и секцию кодирования, выполненную с возможностью кодировать разностное значение из предшествующего значения параметра предсказания, используемого секцией предсказания.

Устройство обработки изображения, упомянутое выше, может быть, как правило, реализовано как устройство кодирования изображений, которое кодирует изображение.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ обработки изображения, включающий в себя предсказание изображения второго уровня из изображения первого уровня, указанного, когда изображение второго уровня, имеющее иную цветовую палитру, чем первого уровня, декодируется, и кодирование разностного значения от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня.

Полезные результаты изобретения

В соответствии с технологией в настоящем изобретении, можно не допустить увеличение объема кодирования при достижении высокой точности предсказания в масштабируемости цветовой палитры.

Краткое описание чертежей

Фиг. 1 является пояснительным видом, иллюстрирующим масштабируемое видеокодирование.

Фиг. 2 является пояснительным видом, иллюстрирующим цветовые палитры, выраженные ВТ.709 и ВТ.2020.

Фиг. 3А представляет собой таблицу, показывающую режим предсказания для предсказания цветовой палитры, предложенной JCTVC - L0334.

Фиг. 3В является первым пояснительным видом, иллюстрирующим синтаксис параметров предсказания, предложенных JCTVC - L0334.

Фиг. 3С представляет собой второй вид, иллюстрирующий синтаксис параметров предсказания, предложенных JCTVC - L0334.

Фиг. 4 является блок-схемой, показывающей схематичную конфигурацию устройства кодирования изображения в соответствии с вариантом осуществления.

Фиг. 5 является блок-схемой, показывающей схематичную конфигурацию устройства декодирования изображения в соответствии с вариантом осуществления.

Фиг. 6 представляет собой блок-схему, показывающую пример конфигурации EL секции кодирования, показанной на фиг. 4.

Фиг. 7 показывает блок-схему, показывающую пример конфигурации секции предсказания цветовой палитры, показанной на фиг. 6.

Фиг. 8 является пояснительным видом, иллюстрирующим пример синтаксиса параметров кодирования для предсказания цветовой палитры.

Фиг. 9 показывает пояснительный вид, иллюстрирующий значения параметров, которые являются базисом для вычисления разностного значения коэффициента усиления и величины смещения.

Фиг. 10 показывает пояснительный вид, иллюстрирующий пример кодирования использованного коэффициента усиления и величины смещения каждого среза.

Фиг. 11 показывает пояснительный вид, иллюстрирующий известный синтаксис ассоциированных параметров взвешенного предсказания.

Фиг. 12 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказания в соответствии с диапазонами, к которым принадлежат значения пикселей.

Фиг. 13 представляет собой график, который просто показывает зависимость компоненты яркости модели предсказания, реализованной в соответствии со способом, описанным со ссылкой на фиг. 12.

Фиг. 14 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 12.

Фиг. 15 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказания в соответствии с областью изображения, к которой принадлежат пиксели.

Фиг. 16 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 15.

Фиг. 17А представляет собой первый пояснительный вид, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 17В представляет собой второй пояснительный вид, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 17С является третьим пояснительным видом, иллюстрирующий способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194.

Фиг. 18А представляет собой первый пояснительный вид, иллюстрирующий новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 18В представляет собой второй пояснительный вид, иллюстрирующий новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 18С является третьим пояснительным видом, иллюстрирующим новый способ снижения стоимости обработки межуровневого предсказания.

Фиг. 19 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 18А - 18С.

Фиг. 20 является блок-схемой алгоритма, показывающей пример схематического процесса кодирования в соответствии с вариантом осуществления.

Фиг. 21 является блок-схемой алгоритма, показывающей первый пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 22 является блок-схемой алгоритма, показывающей второй пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 23 является блок-схемой алгоритма, показывающей третий пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 24 является блок-схемой алгоритма, показывающей четвертый пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Фиг. 25А показывает пояснительный вид, иллюстрирующий пример порядка обработки известного межуровневого предсказания.

Фиг. 25В показывает пояснительный вид, иллюстрирующий пример порядка обработки нового межуровневого предсказания.

Фиг. 26 является блок-схемой, показывающей пример конфигурации секции EL декодирования, показанной на фиг. 5.

Фиг. 27 является блок-схемой, показывающей пример конфигурации секции предсказания цветовой палитры, показанной на фиг. 26.

Фиг. 28 является блок-схемой алгоритма, показывающей пример схематического потока выполнения процесса в момент декодирования согласно варианту осуществления.

Фиг. 29 является блок-схемой алгоритма, показывающей первый пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 30 является блок-схемой алгоритма, показывающей второй пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 31 является блок-схемой алгоритма, показывающей третий пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 32 является блок-схемой алгоритма, показывающей четвертый пример потока процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Фиг. 33 является блок-схемой, показывающей пример схематичной конфигурации телевизора.

Фиг. 34 является блок-схемой, показывающей пример схематичной конфигурации мобильного телефона.

Фиг. 35 является блок-схемой, показывающей пример схематичной конфигурации устройства записи/воспроизведения.

Фиг. 36 является блок-схемой, показывающей пример схематичной конфигурации устройства захвата изображения.

Фиг. 37 показывает пояснительный вид, иллюстрирующий первый пример использования масштабируемого видеокодирования.

Фиг. 38 показывает пояснительный вид, иллюстрирующий второй пример использования масштабируемого видеокодирования.

Фиг. 39 показывает пояснительный вид, иллюстрирующий третий пример использования масштабируемого видеокодирования.

Фиг. 40 показывает пояснительный вид, иллюстрирующий многоракурсный кодек.

Фиг. 41 является блок-схемой, показывающей схематичную конфигурацию устройства кодирования изображения для многоракурсного кодека.

Фиг. 42 является блок-схемой, показывающей схематичную конфигурацию устройства декодирования изображения для многоракурсного кодека.

Осуществление изобретения

В дальнейшем, предпочтительные варианты осуществления настоящего изобретения будут описаны подробно со ссылкой на прилагаемые чертежи. Следует отметить, что в этом описании и на чертежах, элементы, которые имеют, по существу, ту же самую функцию и структуру, обозначены теми же ссылочными позициями, и повторное объяснение опущено.

Описание будет сделано в следующем порядке.

1. Обзор

1-1. Масштабируемое видеокодирование

1-2. Масштабируемость цветовой палитры

1-3. Пример базовой конфигурации устройства кодирования

1-4. Пример базовой конфигурации декодирующего устройства

2. Пример конфигурации EL секции кодирования в одном варианте осуществления

2-1. Общая конфигурация

2-2. Подробная конфигурация секции предсказания цветовой палитры

2-3. Пример синтаксиса

3. Алгоритм выполнения процесса кодирования в соответствии с вариантом осуществления

3-1. Блок-схема алгоритма

3-2. Процесс предсказания цветовой палитры

4. Пример конфигурации EL секции декодирования в одном варианте осуществления

4-1. Общая конфигурация

4-2. Подробная конфигурация секции предсказания цветовой палитры

5. Алгоритм выполнения процесса декодирования в соответствии с вариантом осуществления

5-1. Блок-схема алгоритма

5-2. Процесс предсказания цветовой палитры

6. Пример применения

6-1. Применение на различных продуктах

6-2. Примеры использования масштабируемого видеокодирования

6-3. Прочее

7. Заключение

1. Обзор

Масштабируемое видеокодирование

При масштабируемом видеокодировании, множество уровней, каждый из которых содержит серию изображений, кодируется. Основной уровень представляет собой уровень, который кодируется первым, и представляет изображение низкого разрешения. Кодированный поток основного уровня может быть независимо декодирован без декодирования кодированных потоков других уровней. Уровни, отличные от основного уровня, называются усовершенствованными уровнями, представляющие изображения высокого разрешения. Кодированные потоки усовершенствованных уровней кодируются с использованием информации, содержащейся в кодированном потоке основного уровня. Поэтому, чтобы воспроизвести изображение усовершенствованного уровня, закодированные потоки, как основного уровня, так и усовершенствованного уровня, декодируются. Количество уровней, обработанных в масштабируемом видеокодировании, может быть любым числом, равным 2 или больше. Когда кодируются три или более уровней, нижний уровень является основным уровнем и остальные уровни являются усовершенствованными уровнями. Для кодированного потока более высокого усовершенствованного уровня, информация, содержащаяся в кодированных потоках нижнего усовершенствованного уровня и основного уровня, может быть использована для кодирования и декодирования.

Фиг. 1 показывает три уровня L1, L2 и L3, которые подвергаются масштабируемому видеокодированию. Уровень L1 представляет собой основной уровень и уровни L2 и L3 являются усовершенствованными уровнями. Соотношение пространственного разрешения уровня L2 к уровню L1 составляет 2:1, и соотношение пространственного разрешения уровня L3 к уровню L1 составляет 4:1. Коэффициенты разрешения, приведенные в данном описании, являются просто примерами. Например, может быть использовано нецелое число коэффициента разрешения, такое как 1,5:1. Блок В1 уровня L1 представляет собой блок обработки процесса кодирования в изображении основного уровня. Блок В2 уровня L2 представляет собой блок обработки процесса кодирования в изображении усовершенствованного уровня, в котором, проецируется общий кадр блока В1. Блок В2 соответствует блоку В1 уровня L1. Блок В3 уровня L3 является блоком обработки процесса кодирования в изображении усовершенствованного уровня выше, чем уровни, на которые проецируются общий кадр блоков В1 и В2. Блок В3 соответствует блоку В1 уровня L1 и блоку В2 уровня L2.

1-2. Масштабируемость цветовой палитры

В уровневой структуре, показанной на фиг. 1, текстуры изображений схожи между уровнями, в которой проецируется общий кадр. То есть, текстуры блока В1 уровня L1, блока В2 уровня L2 и блока В3 уровня L3 аналогичны. Соответственно, например, когда пиксели блока В2 или В3 предсказаны с использованием блока В1 в качестве опорного блока, или пиксели блока В3 предсказаны с использованием блока В2 в качестве опорного блока, существует вероятность получения высокой точности предсказания. Такое предсказание между уровнями упоминается как межуровневое предсказание. Непатентный документ 2 предлагает несколько способов межуровневого предсказания. В способах, декодированное изображение (восстановленное изображение) основного уровня, используется в качестве опорного изображения для предсказания декодированного изображения усовершенствованного уровня при внутрикадровом BL предсказании. Во внутреннем остаточном предсказании и внешнем остаточном предсказании, ошибка предсказания (остаточное) изображения основного уровня используется в качестве опорного изображения для предсказания ошибки предсказания изображения усовершенствованного уровня.

Здесь, например, предполагается, что изображение на уровне L1 является HD телевизионным изображением, и предполагается, что изображение на уровне L2 является UHD телевизионным изображением. Фиг. 2 показывает пояснительный вид, иллюстрирующий цветовую палитру, выраженную ВТ.709 и ВТ.2020. Со ссылкой на фиг. 2, показано графическое изображение цветовой палитры, в котором 3-мерное цветовое пространство отображается на 2-мерную плоскость, используя заранее определенное ограничивающее условие. Крестик на графике указывает позицию, к которой сопоставляется белый цвет. Пунктирная линия на графике указывает на цветовой диапазон выраженный ВТ.709. Сплошная линия на графике указывает на цветовой диапазон выраженный ВТ.2020. Линия из точек на графике указывает на диапазон цветов, которые могут быть определены с помощью человеческого зрения. Как понятно из фиг. 2, ВТ.2020 может выразить большее разнообразие цветов, чем ВТ.709. Когда каждый пиксель уровня L1 выражается ВТ.709 и каждый пиксель уровня L2 выражается ВТ.2020, преобразование разрешения (то есть, повышающая дискретизация) или преобразование цветовой палитры выполняется на опорном изображении (изображение уровня 1) в момент межуровневого предсказания. В целом, преобразование цветовой палитры выполняется путем умножения 3-мерного вектора пикселя на матрицу преобразования из 3 строк и 3 столбцов. Как описано в непатентном документе 3, отношение между ВТ.709 и ВТ.2020 может быть аппроксимировано в линейную зависимость независимо для каждой цветовой составляющей. Таким образом, непатентный документ 3 предлагает упрощенный способ уменьшения сложности вычислений и времени, необходимого для преобразования цветовой палитры.

Фиг. 3А показывает таблицу, иллюстрирующую режим предсказания для предсказания цветовой палитры, предложенной непатентным документом 3. Как показано на фиг. 3А, номер режима предсказания обозначен как "0", "1" и "2", то есть, существует три типа кандидатов режима предсказания. Когда номер режима предсказания равен "0", то значения пикселей (Y₂₀₂₀, U₂₀₂₀, V₂₀₂₀) ВТ.2020 предсказываются из значений пикселей (Y₇₀₉, U₇₀₉, V₇₀₉) ВТ.709 цветовых компонентов посредством битового сдвига (побитовый инкремент), как показано в следующих уравнениях с (1) по (3). Такой режим предсказания в настоящем описании упоминается как режим битового сдвига.

Математика 1

Когда номер режима предсказания равен "1" или "2", то значения пикселей ВТ.2020 предсказываются из значений пикселей ВТ.709 цветовых компонентов посредством линейного преобразования с использованием величины усиления g_i и смещения o_i (где i=1, 2, 3), как показано в следующих уравнениях с (4) по (6).

Математика 2

Когда номер режима предсказания = "1", то используются фиксированные значения, указанные заранее как значения усиления и смещения. Режим предсказания, в котором номер режима предсказания = "1", в данном описании называется режимом фиксированного параметра. Когда номер режима предсказания = "2", то используются переменные значения, адаптивно назначенные как значения усиления и смещения. Режим предсказания, в котором номер режима предсказания = "2", в настоящем описании называется режимом адаптивного параметра. Когда выбран режим адаптивного параметра, дополнительно кодируются шесть типов параметров предсказания (три параметра усиления и три смещения) как параметры предсказания.

Фиг. 3В и 3С показывают пояснительные виды, иллюстрирующие синтаксис параметров предсказания, предложенные в непатентном документе 3. Здесь, "pps_extension_flag" в первой строке на фиг. 3В является флагом, который указывает, включает ли набор параметров изображения (PPS) в себя синтаксис, расширенный для предсказания цветовой палитры. Кроме того, "color_pred_data ()" в 5-й строке на фиг. 3В, является функцией синтаксиса для масштабируемости цветовой палитры и его контент, показан на фиг. 3С. Здесь "color_prediction_model" в 1-й строке на фиг. 3С является параметром, который указывает на выбранный режим предсказания и принимает одно значение среди "0", "1" и "2", как показано на фиг. 3А. В случае режима адаптивного параметра ("color_prediction_model=2"), обозначено число битов ("numFractionBits"), соответствующие знаменателю величины усиления в 3-й строке, числителю ("color_prediction_gain [I]" величины усиления для i-th цветового компонента в 5-й строке, и смещение ("color_prediction_offset [I]") для i-th цветового компонента в 6-й строке.

Из трех режимов предсказания, режим адаптивного параметра является режимом, в котором можно получить высокую точность предсказания. Однако когда вышеописанные параметры предсказания кодируются для каждого изображения в режиме адаптивного параметра, величина кодирования увеличивается. Таким образом, в вариантах осуществления, которые будут описаны ниже, будет описаны структуры, которые выполнены с возможностью эффективно кодировать параметры предсказания в масштабируемости цветовой палитры, чтобы не допустить увеличения величины кодирования.

1-3. Пример базовой конфигурация устройства кодирования

Фиг. 4 является блок-схемой, показывающей схематичную конфигурацию устройства 10 кодирования изображений в соответствии с вариантом осуществления, поддерживающая масштабируемое видеокодирование. Как показано на фиг. 4, устройство 10 кодирования изображения включает в себя секцию 1а кодирования основного уровня (BL), секцию 1b кодирования усовершенствованного уровня (EL), общую память 2 и секцию 3 мультиплексирования.

Секция 1а кодирования основного уровня (BL) кодирует изображение основного уровня для генерации кодированного потока основного уровня. Секция 1b кодирования усовершенствованного уровня (EL) кодирует изображение усовершенствованного уровня для генерации кодированного потока усовершенствованного уровня. Общая память 2 хранит информацию, которая совместно используется между уровнями. Секция 3 мультиплексирования мультиплексирует кодированный поток основного уровня, генерируемый секцией 1а кодирования BL, и кодированный поток, по меньшей мере, одного усовершенствованного уровня, генерируемый секцией 1b кодирования EL, генерируя многоуровневый мультиплексированный поток.

1-4. Пример базовой конфигурации устройства декодирования

Фиг. 5 является блок-схемой, показывающей схематичную конфигурацию устройства 60 декодирования изображения в соответствии с вариантом осуществления, поддерживающая масштабируемое видеокодирование. Как показано на фиг. 5, устройство 60 декодирования изображения включает в себя секцию 5 демультиплексирования, секцию 6а декодирования основного уровня (BL), секцию 6b декодирования усовершенствованного уровня (EL) и общую память 7.

Секция 5 демультиплексирования демультиплексирует многоуровневый мультиплексированный поток в кодированный поток основного уровня и кодированный поток, по меньшей мере, одного усовершенствованного уровня. Секция 6а декодирования BL декодирует изображение основного уровня из кодированного потока основного уровня. Секция 6b декодирования EL декодирует изображение усовершенствованного уровня из закодированного потока усовершенствованного уровня. Общая память 7 хранит информацию, обычно используемая между уровнями.

В устройстве 10 кодирования изображения, как показано на фиг. 4, конфигурация секции 1а кодирования BL для кодирования основного уровня и секция 1b кодирования EL для кодирования усовершенствованного уровня, аналогичны друг другу. Некоторые параметры и изображения, сгенерированные или полученные секцией 1а кодирования BL, могут быть буферизованы, используя общую память 2, и повторно использованы секцией 1b кодирования EL. В следующем разделе будет приведено подробное описание такой конфигурации секции 1b кодирования EL.

Аналогично, в устройстве 60 декодирования изображения, показанного на фиг. 5, конфигурация секции 6а декодирования BL для декодирования основного уровня и конфигурация секции 6b декодирования EL для декодирований усовершенствованного уровня аналогичны друг другу. Некоторые параметры и изображения, сгенерированные или полученные секцией 6а кодирования BL, могут быть буферизованы, используя общую память 7, и повторно использованы секцией 6b кодирования EL. Дополнительно в следующем разделе будет приведено подробное описание такой конфигурации секции 6b кодирования EL.

2. Пример конфигурации секции кодирования EL в одном варианте осуществления

2-1. Общая конфигурация

Фиг. 6 представлена блок-схема, показывающая пример конфигурации секции 1b кодирования EL, показанной на фиг. 4. Как показано на фиг. 6, секция 1b кодирования EL включает в себя сортировочный буфер 11, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 накопления, секцию 18 управления скоростью, секцию 21 обратного квантования, секцию 22 обратного ортогонального преобразования, секцию 23 сложения, контурный фильтр 24, память 25 кадров, селекторы 26 и 27, секцию 30 внутреннего предсказания, секцию 35 внешнего предсказания и секцию 40 предсказания цветовой палитры.

Сортировочный буфер 11 сортирует изображения, включенные в состав серии данных изображения. После сортировки изображений в соответствии с GOP (Группа изображений) структурой в соответствии со способом кодирования, сортировочный буфер 11 выводит данные изображения, которые уже были отсортированы, в секцию 13 вычитания, секцию 30 внутреннего предсказания, секцию 35 внешнего предсказания и в секцию 40 предсказания цветовой палитры.

Входные данные изображения из сортировочного буфера 11 и предсказанные входные данные изображения секцией 30 внутреннего предсказания или секцией 35 внешнего предсказания, описанные ниже, подают в секцию 13 вычитания. Секция 13 вычитания вычисляет ошибку предсказания данных, которая является разницей между входными данными изображения из сортировочного буфера 11 и предсказанными данными изображения, и подает вычисленное значение ошибки предсказания данных в секцию 14 ортогонального преобразования.

Секция 14 ортогонального преобразования выполняет ортогональное преобразование ошибки предсказания, поступившие из секции 13 вычитания. Ортогональное преобразование, которое выполняется секцией 14 ортогонального преобразования, может представлять собой дискретное косинусного преобразование (DCT) или преобразование Карунена-Лоэва, например. В HEVC ортогональное преобразование выполняется для каждого блока, называемого блоком преобразования (TU). TU представляет собой блок, сформированный путем деления блока кодирования (CU). Секция 14 ортогонального преобразования вырабатывает коэффициент преобразования данных, полученный в результате процесса ортогонального преобразования в секции 15 квантования.

В секцию 15 квантования подается коэффициент преобразования входных данных из секции 14 ортогонального преобразования и сигнал управления скоростью передачи из секции 18 управления скоростью передачи, которые будут описаны ниже. Секция 15 квантования квантует коэффициент преобразования данных на этапе квантования, определенный в соответствии с сигналом управления скоростью передачи. Секция 15 квантования выводит квантованный коэффициент преобразования данных (далее, как квантованные данные) в секцию 16 кодирования без потерь и секцию 21 обратного квантования.

Секция 16 кодирования без потерь выполняет процесс кодирования без потерь квантованных входных данных из секции 15 квантования для генерации кодированного потока усовершенствованного уровня. Секция 16 кодирования без потерь кодирует различные параметры, указанные, когда кодированный поток декодируется, и вставляет кодированные параметры в область заголовка кодированного потока. Параметры, кодируемые секцией 16 кодирования без потерь, могут включать в себя информацию относительно внутреннего предсказания и информацию, касающуюся внешнего предсказания, который будет описан ниже. Параметры предсказания, относящиеся к предсказанию цветовой палитры, дополнительно могут быть закодированы. Затем секция 16 кодирования без потерь выводит сгенерированный кодированный поток в буфер 17 накопления.

Буфер 17 накопления временно аккумулирует входной кодированный поток из секции 16 кодирования без потерь, используя носитель данных, такой как полупроводниковая память. Затем буфер 17 накопления направляет аккумулированный кодированный поток в секцию передачи (не показано) (например, коммуникационный интерфейс или интерфейс периферийных устройств) со скоростью, в соответствии с диапазоном канала передачи.

Секция 18 управления скоростью передачи контролирует свободное пространство буфера 17 накопления. Затем, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи в соответствии с наличием свободного пространства в буфере 17 накопления, и выводит сгенерированный сигнал управления скоростью передачи в секцию 15 квантования. Например, когда нет большого количества свободного пространства в буфере 17 накопления, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи для снижения скорости передачи битов квантованных данных. Кроме того, например, когда свободного места на буфере 17 накопления достаточно, секция 18 управления скоростью передачи генерирует сигнал управления скоростью передачи для увеличения битовой скорости квантованных данных.

Секция 21 обратного квантования, секция 22 обратного ортогонального преобразования и секция 23 сложения образуют локальный декодер. На стадии квантования, используемого секцией 15 квантования, секция 21 обратного квантования выполняет обратное квантование квантованных данных усовершенствованного уровня для восстановления коэффициента преобразования данных. Затем, секция 21 обратного квантования вырабатывает восстановленный коэффициент преобразования данных в секцию 22 обратного ортогонального преобразования.

Секция 22 обратного ортогонального преобразования выполняет обратное ортогональное преобразование процесса преобразования входных данных коэффициента квантования из секции 21 обратного квантования, тем самым восстанавливая предсказанные данные об ошибках. Как и при ортогональном преобразовании, обратное ортогональное преобразование выполняется для каждого TU. Затем секция 22 обратного ортогонального преобразования выводит восстановленные предсказанные данные об ошибках в секцию 23 сложения.

Секция 23 сложения складывает восстановленные предсказанные входные данные об ошибке из секции 22 обратного ортогонального преобразования и предсказанные входные данные изображения из секции 30 внутреннего предсказания или секции 35 внешнего предсказания, таким образом, генерируя данные декодированного изображения (восстановленное изображение усовершенствованного уровня). Затем секция 23 сложения выводит сгенерированные данные декодированного изображения в контурный фильтр 24 и память 25 кадров.

Контурный фильтр 24 включает в себя фильтр группы с целью улучшения качества изображения. Фильтр деблокинга (DF) представляет собой фильтр, который уменьшает артефакты блочности, возникающие при кодировании изображения. Дискретный фильтр адаптивного смещения (SAO) является фильтром, который добавляет адаптивно определяемое значение смещения для каждого значения пикселя. Адаптивный контурный фильтр (ALF) представляет собой фильтр, который минимизирует ошибку между изображением после выполнения процесса SAO и исходным изображением. Контурный фильтр 24 фильтрует декодированные входные данные изображения из секции 23 сложения и выводит отфильтрованные данные декодированного изображения в память 25 кадров.

Память 25 кадров хранит данные декодированного изображения усовершенствованного уровня, поступившие из секции 23 сложения, отфильтрованные декодированные данные изображения усовершенствованного уровня, поступившие из контурного фильтра 24, и данные опорного изображения основного уровня, поступившие из секции 40 предсказания цветовой палитры, используя носитель данных.

Селектор 26 считывает данные декодированного изображения до фильтрации, используемые для внутреннего предсказания, из памяти 25 кадров, и поставляет считанные декодированные данные изображения как данные опорного изображения, в секцию 30 внутреннего предсказания. Дополнительно, селектор 26 считывает отфильтрованные данные декодированного изображения, использованные для внешнего предсказания, из памяти 25 кадров, и поставляет считанные декодированные данные изображения как данные опорного изображения в секцию 35 внешнего предсказания. При осуществлении межуровневого предсказания секцией 30 внутреннего предсказания или секцией 35 внешнего предсказания, селектор 26 поставляет данные опорного изображения основного уровня в секцию 30 внутреннего предсказания или в секцию 35 внешнего предсказания.

В режиме внутреннего предсказания, селектор 27 вырабатывает предсказанные данные изображения как результат внутрикадрового предсказания, поставленного из секции 30 внутреннего предсказания в секцию 13 вычитания, и также поставляет информацию о внутреннем предсказании в секцию 16 кодирования без потерь. Дополнительно, в режиме внешнего предсказания, селектор 27 вырабатывает предсказанные данные изображений как результат внешнего предсказания, поставленного из секции 35 внешнего предсказания, в секцию 13 вычитания, и также выводит информацию о внешнем предсказании в секцию 16 кодирования без потерь. Селектор 27 переключает режим внешнего предсказания и режим внутреннего предсказания в соответствии с магнитудой значения функции стоимости.

Секция 30 внутреннего предсказания выполняет процесс внутреннего предсказания на каждом блоке предсказания (PU) HEVC на основании данных оригинального изображения и данных декодированного изображения усовершенствованного уровня. Например, секция 30 внутреннего предсказания оценивает результат предсказания в соответствии с каждым кандидатом режима в наборе режимов предсказания, используя предварительно заданную функцию стоимости. Далее, секция 30 внутреннего предсказания выбирает режим предсказания, в котором значение функции стоимости является минимальным, то есть, режим предсказания, в котором степень сжатия является самой высокой, в качестве оптимального режима предсказания. Секция 30 внутреннего предсказания генерирует данные предсказанного изображения усовершенствованного уровня в зависимости от оптимального режима предсказания. Секция 30 внутреннего предсказания может содержать внутреннее BL предсказание, которое является своего рода межуровневым предсказанием в наборе режимов предсказания в усовершенствованном уровне. Во внутреннем BL предсказании, совмещенный блок в основном уровне, соответствующий целевому блоку предсказания усовершенствованного уровня, используется в качестве опорного блока, и предсказанное изображение формируется на основе декодированного изображения опорного блока. Секция 30 внутреннего предсказания может включать в себя внутреннее остаточное предсказание, которое является своего рода межуровневым предсказанием. При внутреннем остаточном предсказании, ошибка предсказания внутреннего предсказания предсказывается на основании предсказанной ошибки изображения опорного блока, который является совмещенным блоком в основном уровне, и генерируется предсказанное изображение, для которого ошибка предсказания была предсказана и добавлена. Секция 30 внутреннего предсказания выводит информацию, относящуюся к внутреннему предсказанию, включающая в себя информацию режима предсказания, указывающая на выбранный оптимальный режим предсказания, значение функции стоимости и данные предсказанного изображения, в селектор 27.

Секция 35 внешнего предсказания выполняет процесс внешнего предсказания на каждом блоке предсказания (PU) HEVC на основании данных оригинального изображения и данных декодированного изображения усовершенствованного уровня. Например, секция 35 внешнего предсказания оценивает результат предсказания в соответствии с каждым кандидатом режима в наборе режимов предсказания, используя предварительно заданную функцию стоимости. Далее, секция 35 внешнего предсказания выбирает режим предсказания, в котором значение функции стоимости является минимальным, то есть, режим предсказания, в котором степень сжатия является самой высокой, в качестве оптимального режима предсказания. Секция 35 внешнего предсказания генерирует данные предсказанного изображения усовершенствованного уровня в зависимости от оптимального режима предсказания. Секция 35 внешнего предсказания может включать в себя внешнее остаточное предсказание, которое является своего рода межуровневым предсказанием. Во внешнем остаточном предсказании, ошибка предсказания внутреннего предсказания предсказывается на основании ошибки предсказанного изображения опорного блока, который является совмещенным блоком в основном уровне, и генерируется предсказанное изображение, для которого ошибка предсказания была предсказана и добавлена. Секция 35 внешнего предсказания выводит информацию, относящуюся к внешнему предсказанию, включающую в себя информацию о режиме предсказания и информацию движения, указывающую на выбранный оптимальный режим предсказания, значение функции стоимости и данные предсказанного изображения в селектор 27.

Секция 40 предсказания цветовой палитры повышает дискретизацию изображения (декодированное изображение или ошибка предсказания изображения) основного уровня, буферизованного в общей памяти 2 в соответствии с коэффициентом разрешения основного уровня и усовершенствованного уровня. Когда изображение усовершенствованного уровня имеет иную цветовую палитру основного уровня, секция 40 предсказания цветовой палитры преобразовывает цветовую палитру дискретизированного с повышением изображение основного уровня в ту же цветовой палитру, что и изображение усовершенствованного уровня. В варианте осуществления, на предположении о независимой линейной зависимости для каждой цветовой составляющей между цветовыми палитрами основного уровня, секция 40 предсказания цветовой палитры преобразовывает цветовую палитру примерным предсказанием изображения усовершенствованного уровня из изображения основного уровня. Изображение основного уровня, из которого преобразуется цветовая палитра секцией 40 предсказания цветовой палитры, может быть сохранено в памяти 25 кадров, для использования в качестве опорного изображения при межуровневым предсказании посредством секции 30 внутреннего предсказания или секцией 35 внешнего предсказания. Секция 40 предсказания цветовой палитры генерирует несколько параметров, которые будут использоваться для предсказания цветовой палитры. Параметры, сгенерированные секцией 40 предсказания цветовой палитры, включают в себя, например, параметры режима предсказания, указывающие на режим предсказания. Когда выбран режим адаптивного параметра в качестве режима предсказания, параметры, сгенерированные секцией 40 предсказания цветовой палитры, включают в себя параметры предсказания каждого цветового компонента, то есть коэффициент усиления и смещения. Дополнительно, секция 40 предсказания цветовой палитры вычисляет разность от предыдущего значения параметра предсказания и выводит вычисленное значение разности в секцию 16 кодирования без потерь. Параметры режима предсказания и разности параметров предсказания могут кодироваться секцией 16 кодирования без потерь.

2-2. Подробная конфигурация секции предсказания цветовой палитры

Фиг. 7 показывает блок-схему, показывающую пример конфигурации секции 40 предсказания цветовой палитры, показанной на фиг. 6. Как показано на фиг. 7, секция 40 предсказания цветовой палитры включает в себя секцию 41 повышающей дискретизации, секцию 42 установки режима предсказания, секцию 43 вычисления параметра и секцию 44 преобразования цветовой палитры.

(1) Секция повышающей дискретизации

Секция 41 повышающей дискретизации повышает дискретизацию изображения основного уровня, полученного из общей памяти 2 в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем. Более конкретно, секция 41 повышающей дискретизации вычисляет интерполированное значение пикселя каждого из последовательно сканируемых интерполированных пикселей в соответствии с соотношением разрешения путем фильтрации изображения основного уровня с заданным коэффициентом фильтрации. Таким образом, пространственное разрешение изображения основного уровня, используемого в качестве опорного блока, может быть увеличено до того же значения разрешения, что и усовершенствованного уровня. Секция 41 повышающей дискретизации выводит изображение после повышающей дискретизации в секцию 43 вычисления параметра и секцию 44 преобразования цветовой палитры.

(2) Секция установки режима предсказания

Секция 42 установки режима предсказания устанавливает режим предсказания, который заранее определен или динамически выбран среди кандидатов режима предсказания для предсказания цветовой палитры в секции 40 предсказания цветовой палитры. Кандидаты режима предсказания могут включать в себя режим битового сдвига, режим фиксированного параметра и режим адаптивного параметра, как описано выше. В одном варианте осуществления, секция 42 установки режима предсказания может установить оптимальный режим предсказания для каждого среза. Одно изображение может иметь один или более срезов. В другом варианте осуществления, секция 42 установки режима предсказания может установить оптимальный режим предсказания для каждой последовательности и сохранить тот же режим предсказания по всему множеству изображений, множеству срезов в одной последовательности. Секция 42 установки режима предсказания может оценить эффективность кодирования или точность предсказания каждого кандидата режима предсказания и выбрать оптимальный режим предсказания. Секция 42 установки режима предсказания выводит параметр режима предсказания, указывающий на набор режима предсказания в секцию 16 кодирования без потерь.

(3) Секция вычисления параметра

Когда установлен режим адаптивного параметра секцией 42 установки режима предсказания или эффективность кодирования или точность предсказания в режиме адаптивного параметра оценивается секцией 42 установки режима предсказания, секция 43 вычисления параметра вычисляет параметры предсказания, которые будут использоваться в режиме адаптивного параметра. Параметры предсказания включают в себя коэффициент g_i усиления и смещения o_i. (где i=1, 2, 3), выраженные в уравнениях с (4) по (6). Здесь индекс i означает, что каждый из трех видов цветовых компонентов. Коэффициент g_i усиления является коэффициентом, на который значение пикселя основного уровня умножается. Величина смещения o_i является числовым значением, которое добавляется к произведению значения пикселя основного уровня и коэффициента g_i усиления. Например, секция 43 вычисления параметра может вычислить коэффициент усиления и смещения, с помощью которого изображение основного уровня после повышающей дискретизации, поступившего из секции 41 повышающей дискретизации, является самым близким к исходному изображению, поступившему из сортировочного буфера 11, для каждого цветового компонента.

Когда установлен режим адаптивного параметра в качестве режима предсказания с помощью секции 42 установки режима предсказания, секция 43 вычисления параметра вычисляет значения разности от предшествующих значений усиления и смещения. Здесь, когда коэффициент усиления и смещения вычисляются для каждого изображения, предыдущее значение может быть, например, значением, вычисленным для предыдущего кадра. Когда коэффициент усиления и смещения рассчитываются для каждого среза, предыдущее значение может быть значением, рассчитанным для среза (совмещенным срезом) на той же позиции, что и на предшествующем изображении. Когда установлен режим битового смещения в предыдущем изображении или в срезе на той же позиции, что и в предыдущем изображении, секция 43 вычисления параметра может использовать значения коэффициента усиления и смещения, соответствующее количеству битового сдвига как основы для разности. Когда установлен режим фиксированного параметра на предыдущем изображении или в срезе на той же позиции, что и на предыдущем изображении, секция 43 вычисления параметров может использовать значения коэффициента усиления и смещения, которые предопределены и зафиксированы как основа для различий. Секция 43 вычисления параметра вырабатывает вычисленные значения разницы коэффициента усиления и смещения в секцию 16 кодирования без потерь. Значение коэффициента усиления может включать в себя дробное значение. Таким образом, секция 42 установки режима предсказания может декомпозировать значение коэффициента усиления в знаменатель и числитель, для расчета каждой величины разности между знаменателем и числителем, и поставлять каждое значение разности в секцию 16 кодирования без потерь. Секция 42 установки режима предсказания может ограничить величину знаменателя коэффициента усиления только целой степенью 2 для повышения эффективности кодирования и снижения стоимости вычислений. В этом случае, двоичный логарифм величины знаменателя могут быть использован в качестве параметра предсказания.

(4) Секция преобразования цветовой палитры

Секция 44 преобразования цветовой палитры преобразовывает цветовую палитру изображения основного уровня после повышающей дискретизации, поступившей из секции 41 повышающей дискретизации, в ту же цветовую палитру, что и изображение усовершенствованного уровня, в соответствии с режимом предсказания, установленным секцией 42 установки режима предсказания. Например, когда установлен режим битового сдвига, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя путем сдвига значения пикселя основного уровня после повышения дискретизации влево на заданную величину n_shift битового сдвига в соответствии с уравнениями с (1) по (3). Величина n_shift битового сдвига может быть 2 или 4 в период преобразования HD телевизионного изображения в UHD телевизионное изображение, например. Когда установлен режим фиксированного параметра, секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя, умножением значения пикселя основного уровня после повышения дискретизации на фиксированный коэффициент усиления и прибавлением фиксированного значения смещения в соответствии с уравнениями с (4) по (6). Когда установлен режим адаптивного параметра, секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя с использованием коэффициента усиления и смещения, вычисленного адаптивно секцией 43 вычисления параметра вместо фиксированного коэффициента усиления и смещения. Таким образом, генерируется опорное изображение для межуровневого предсказания. Секция 44 преобразования цветовой палитры хранит опорное изображение (изображение основного уровня, цветовая палитра которого преобразовывается) для межуровневого предсказания, сгенерированного таким образом, в памяти 25 кадров.

2-3. Пример синтаксиса

(1) Основной пример

Параметры режима предсказания, поставленные секцией 42 установки режима предсказания, и величины различий параметров предсказания (коэффициент усиления и смещения каждого цветового компонента), поставленные из секции 43 вычисления параметров, могут быть закодированы с помощью секции 16 кодирования без потерь, показанной на фиг. 6, и могут быть вставлены в кодированный поток усовершенствованного уровня. Фиг. 8 показывает пояснительный вид, иллюстрирующий пример синтаксиса параметров кодирования для предсказания цветовой палитры.

Например, синтаксис, показанный на фиг. 8, может быть включен в состав PPS или может быть включен в состав среза заголовка. Здесь, "color_gamut_prediction_flag" в 1-й строке синтаксиса является флагом, который указывает на то, что PPS или срез заголовка включает в себя или нет синтаксис, расширенный для предсказания цветовой палитры. Кроме того, "color_prediction_model" в 3-й строке является параметром режима предсказания, который указывает на режим предсказания, установленный секцией 42 установки режима предсказания. Как описано со ссылкой на фиг. 3А, когда параметр режима предсказания равен "0", режим предсказания является режимом битового сдвига. Когда параметр режима предсказания равен "1", режим предсказания является режимом фиксированного параметра. Когда параметр режима предсказания равен "2", режим предсказания является режимом адаптивного параметра. Режим предсказания не ограничивается этими примерами, но могут быть использованы другие виды режимов предсказания. Параметры предсказания после 5-й строки кодируются, когда параметр режима предсказания указывает на режим адаптивного параметра. Здесь "delta_luma_log2_gain_denom" в 10-й строке является разницей между двоичным логарифмом величины знаменателя коэффициента усиления компоненты яркости и предыдущем значением. Кроме того, "delta_luma_gain_color_gamut" в 11-й строке является разницей между значением числителя коэффициента усиления компонента яркости и его предыдущим значением. Кроме того, "delta_luma_offset_color_gamut" в 12-й строке является разницей между величиной смещения компоненты яркости и предыдущим его значением. Когда "luma_gain_color_gamut_flag" в 5-й строчке показывает ноль, то значение разницы параметров предсказания компоненты яркости не может быть закодировано. В этом случае, предыдущие значения параметров предсказания могут быть также использованы в последнем изображении или срезе без изменения (то есть, ноль разности). Кроме того, "delta_chroma_log2_gain_denom" в 15-й строке является разницей между двоичным логарифмом величины знаменателя коэффициента усиления цветовой компоненты и его предыдущим значением. Пример, в котором, общий знаменатель используется для двух цветовых разностных компонентов, был показан на фиг. 8. Однако знаменатели могут отдельно использоваться для двух цветовых разностных компонентов или знаменатель коэффициента усиления компонента яркости и знаменатель коэффициента усиления разности цветовой составляющей могут быть общими. Кроме того, "delta_chroma_gain_color_gamut [J]" в 17-й строке является разницей между значением числителя коэффициента усиления J-го (где J=1, 2) разностного цветового компонента и его предыдущим значением. Кроме того, "delta_chroma_gain_color_gamut [J]" в 18 строке является разницей между величиной числителя смещения J-го (где J=1, 2) цветоразностного компонента и предыдущим его значением. Когда "chroma_gain_color_gamut_flag" в 7-й строке показывает ноль, то величина разницы параметров предсказания цветового компонента не может быть закодирована. В этом случае, предыдущие значения параметров предсказания могут быть также использованы в последнем изображения или срезе без изменения (то есть нулевой разности).

В примере на фиг. 8, параметр режима предсказания "color_prediction_model" кодируется для каждого PPS или среза заголовка. В этом случае, даже тогда, когда параметр режима предсказания последнего изображения или среза указывает на режим адаптивного параметра, параметр режима предсказания может не быть указан на режим адаптивного параметра для предыдущего кадра или среза на той же позиции, что и предыдущее изображение, которое является основой для вычисления величины разницы. Например, когда предыдущий параметр указывает на режим предсказания режима битового сдвига, разностные параметры, где "Delta_" имеет префикс в синтаксисе на фиг. 8, каждый указывают на разницу, вычисленную путем вычитания значения параметра, соответствующего величине битового сдвига из последнего значения коэффициента усиления (или смещения) параметра предсказания. Например, когда величина n_shift битового сдвига равна 2, то значение соответствующего коэффициента усиления является "2²=4". Значение соответствующего смещения может быть равно нулю независимо от величины n_shift битового сдвига. Когда предыдущий параметр указывает на режим предсказания фиксированного параметра, то разностные параметры в синтаксисе на фиг. 8, указывают на разницу, рассчитываемую путем вычитания величины предшествующих параметров (коэффициент усиления или смещения ) из последнего значения (усиления или смещения) параметра предсказания. Величины коэффициента усиления или смещения не кодируются и хранятся заранее в устройстве кодирования и устройстве декодирования. Когда предыдущий параметр указывает на режим предсказания адаптивного параметра, разностные параметры в синтаксисе на фиг. 8 каждый указывают на разницу, рассчитываемую путем вычитания предыдущего значения параметра (коэффициент усиления или смещения ) из последнего значения (усиления или смещения) параметра предсказания. Фиг. 9 показывает основные параметры для вычисления величин различий коэффициента усиления и смещения, описанные здесь в виде таблицы. Когда предыдущее значение отсутствует в начале и т.п. последовательности, исходная величина для вычисления разницы может быть равна нулю или может представлять собой фиксированное значение (коэффициент усиления или смещения ).

(2) Кодирование параметра режима предсказания в каждой последовательности

На фиг. 8, флаг расширения "color_gamut_prediction_flag" в 1-й строке и режим предсказания параметра "color_prediction_model" в 3-й строке могут быть закодированы в каждой последовательности и могут быть вставлены в набор параметров последовательности (SPS). В этом случае, тот же режим предсказания поддерживается в одной последовательности. Когда режим предсказания не меняется в одной последовательности, то нет необходимости в переключении основной величины для вычисления разница, которая зависит от предыдущего режима предсказания, как показано на фиг. 9. Таким образом, сложность вычисления разности облегчается, и можно легко изготовить устройство. Кроме того, также возможно уменьшить количество кодирования для флага расширения и параметра режима предсказания.

(3) Кодирование параметра предсказания для каждого среза

Как описано со ссылкой на фиг. 3В и 3С, в известном способе, параметр режима предсказания и параметр предсказания для предсказания цветовой палитры кодируются для каждого изображения и вставляются в PPS. Однако когда предполагается использовать другую цветовую палитру для каждой частичной области изображения, кодирования различия параметра предсказания и параметра режима предсказания для каждого среза выгодно. Например, в примере, показанном на фиг. 10, изображение IM_B1 основного уровня разделено на четыре квадрата T_B1, T_B2, T_B3 и T_B4. Изображение IM_E1 делится на четыре квадрата T_E1, T_E2, T_E3 и T_E4. Четыре квадрата представляют видео, захваченное разными камерами. Например, изображение IM_B1 основного уровня может иметь низкое разрешение, которое объединено с видео от камер, установленных на четырех точках, и изображения IM_E1 усовершенствованного уровня может иметь высокое разрешение того же объединенного видео. Например, ВТ.2020 предполагает использовать в качестве цветовой палитры в квадратах T_E2 и T_E4, и ВТ.709 предполагает использовать в качестве цветовой палитры другие квадраты основного уровня и усовершенствованного уровня. В этом случае, путем кодирования параметров режима предсказания и параметров предсказания в срезе заголовков срезов, соответствующих квадратов T_E2 и T_E4, оптимальная цветовая палитра может быть предсказана для каждого квадрата и эффективность кодирования может быть улучшена.

(4) Повторное использование синтаксиса для взвешенного предсказания

Синтаксис параметров предсказания цветовой палитры, как показано на фиг. 8, аналогичен синтаксису параметров, ассоциированных с взвешенным предсказанием, применяемым в HEVC. Взвешенное предсказание представляет собой технологию, разработанную для повышения точности предсказания внешнего предсказания в видео, к которому применяются эффекты плавного проявления изображения, постепенного исчезновения изображения и т.п. Фиг. 11 показывает пояснительный вид, иллюстрирующий синтаксис ассоциированных параметров взвешенного предсказания, определенных в непатентном документе 1.

На фиг. 11 "luma_log2_weight_denom" во 2-й строке и "delta_chroma_log2_weight_denom" в 4-й строке обычно указывают значения знаменателей взвешенных компонентов яркости и разностного цветового компонента, соответственно, в отношении к опорному кадру L0 и опорному кадру L1, используемого при взвешенном предсказании. С 5-ой по 20 строчки указывается на оставшиеся ассоциированные параметры взвешенного предсказания в отношении опорного кадра L0. С 21-ой по 38-ю строку указывается оставшиеся ассоциированные параметры взвешенного предсказания в отношении опорного кадра L1, когда возможно би-предсказание. Значения отдельных параметров описаны в непатентном документе 1.

В таблице 1 ниже показан пример отображения между ассоциированными параметры взвешенного предсказания, показанные на фиг. 11, и параметрами предсказания цветовой палитры, показанные на фиг. 8. Как понятно из таблицы 1, параметры предсказания цветовой палитры, показанные на фиг. 8, все параметры, за исключением флага расширения "color_gamut_prediction_flag" и параметра режима предсказания "color_prediction_model", могут быть сопоставлены с любым параметром для взвешенного предсказания. Предназначение отдельных параметров различны, например, в том, что значения ассоциированных параметров взвешенного предсказания не обязательно означает наличие разности от предыдущих значений, но типы взаимно отображаемых параметров одинаковы. Так как только один опорный кадр (изображение основного уровня) присутствует в предсказании цветовой палитры, то переменная "num_ref_idx_10_active_minusl" и индекс i, соответствующий номеру опорного кадра, не требуется.

Соответственно, в одном варианте осуществления, например, секция 16 кодирования без потерь может кодировать разностные значения параметров предсказания цветовой палитры в заголовке (среза заголовка), имеющие общий синтаксис для ассоциированных параметров взвешенного предсказания. Таким образом, нет необходимости в определении нового синтаксиса, избыточность синтаксиса уменьшается, и, таким образом, легко обеспечить совместимость при установке устройства кодирования и устройства декодирования и при их обновлении. Флаг расширения "color_gamut_prediction_flag" и параметр режима предсказания "color_prediction_model" можно закодировать отдельно в SPS, PPS или в срезе заголовка. Флаг, указывающий, что любой из ассоциированных параметров взвешенного предсказания и параметры для предсказания цветовой палитры кодируются, может дополнительно кодироваться.

Обычно применяемые эффекты постепенного появления изображения и постепенного исчезновения изображения и т.п., аналогичны как основного уровня, так и усовершенствованного уровня. Таким образом, для повышения эффективности кодирования повторное использование ассоциированных параметров взвешенного предсказания выгодно. Когда используются ассоциированные параметры взвешенного предсказания основного уровня повторно в усовершенствованном уровне, секция 16 кодирования без потерь не кодирует ассоциированные параметры взвешенного предсказания только для усовершенствованного уровня. В этом случае, синтаксис на фиг. 11, определенный в непатентном документе 1, не используется для взвешенного предсказания в усовершенствованном уровне. Таким образом, путем кодирования разности предсказания параметров предсказания цветовой палитры в тот же синтаксисе, вместо ассоциированных параметров взвешенного предсказания, определение синтаксиса может быть эффективно использовано. В этом случае, синтаксис (с 21-й по 38-ю строчки на фиг. 11) для параметров опорного кадра L1 может быть не использован. Дополнительно, значение переменной "num_ref_idx_10_active_minus1", соответствующее количеству опорных кадров (минус 1) можно считать равной нулю (то есть количество изображений основного уровня, цветовая палитра которых, преобразуется, равно 1).

В другом варианте осуществления, ассоциированные параметры взвешенного предсказания также могут быть закодированы в усовершенствованном уровне, и некоторые из ассоциированных параметров взвешенного предсказания могут быть повторно использованы. Например, знаменатель, определенный как "luma_log2_weight_denom" и "delta_chroma_log2_weight_denom" показанный на фиг. 11, может быть повторно использован в качестве знаменателей коэффициента усиления компонента яркости и цветового компонента. В этом случае, секция 16 кодирования без потерь не кодирует "delta_luma_log2_gain_denom" и "delta_chroma_log2_gain_denom", показанные на фиг. 8. Количество кодирования дополнительно необходимое для предсказания цветовой палитры, может быть уменьшено и, таким образом, эффективность кодирования может быть улучшена.

(5) Поставка двух версий параметров предсказания

Как описано в предыдущем пункте, синтаксис для параметров опорного кадра L1 может быть не использован, когда синтаксис ассоциированных параметров взвешенного предсказания используется повторно для параметров предсказания цветовой палитры. Тем не менее, в примере модификации, две версии параметров предсказания цветовой палитры могут быть поставлены, за счет повторного использования обоих вариантов синтаксиса для параметров опорного кадра L0 и опорного кадра L1.

Например, секция 43 вычисления параметра секции 40 предсказания цветовой палитры вычисляет первый вариант коэффициента g_i усиления и смещения o_i (где i=1, 2, 3), когда установлен режим адаптивного параметра секцией 42 установки режима предсказания, или эффективность кодирования или точность предсказания режима адаптивного параметра оценивается. Секция 43 вычисления параметра также вычисляет второй вариант коэффициента g_i усиления и смещения o_i (где i=1, 2, 3). Затем, секция 44 преобразования цветовой палитры избирательно использует первый и второй варианты параметров предсказания для предсказания изображения усовершенствованного уровня, то есть, для генерации опорного изображения для межуровневого предсказания. Секция 43 вычисления параметра может рассчитать величину разницы из предыдущих значений в первой версии параметров предсказания и величину разницы из предыдущих значений во второй версии параметров предсказания. Секция 16 кодирования без потерь кодирует величину разности, рассчитанную в первом варианте, на части для опорного кадра L0 общего синтаксиса для ассоциированных параметров взвешенного предсказания. Дополнительно, секция 16 кодирования без потерь кодирует величину разности, рассчитанную во втором варианте на части опорного кадра L1 синтаксиса, общего для ассоциированных параметров взвешенного предсказания.

Далее приводится описание двух примерных способов переключения вариантов, которые необходимо использовать, когда предсказывается изображение усовершенствованного уровня.

(5-1) Первый способ

В первом способе, первый и второй варианты параметров предсказания избирательно использованы в зависимости от диапазона, к которому принадлежит значение пикселя. Здесь диапазон значения пиксела не является ограничительным и может соответствовать яркости по отношению к компоненту яркости и четкости в отношении разностного компонента цветности.

Фиг. 12 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказания в соответствии с диапазонами, к которым принадлежит значение пикселя. На фиг. 12 показаны две полосы, которые обозначают диапазоны значений пикселей компонента (Y) яркости и разностного компонента (Cb/Cr) цветности. Когда битовая глубина равна 8 битам, диапазоны составляют от 0 до 255. Диапазон компонента яркости разбивается на более низкий диапазон Pb11 и верхний диапазон Pb12, используя граничное значение в качестве эталона. В примере на фиг. 12, граничное значение яркостной составляющей равно 128 (то есть середина диапазона). Когда значение пикселя компонента яркости (например, значение пикселя компонента яркости изображения с повышенной дискретизацией) относится к диапазону Pb11, секция 44 преобразования цветовой палитры может использовать первый вариант параметра предсказания на момент вычисления предсказанного значения пикселя из этого значения пикселя. Когда значение пикселя компонента яркости принадлежит к диапазону Pb12, секция 44 преобразования цветовой палитры может использовать второй вариант параметра предсказания на момент вычисления предсказанного значения пикселя из этого значения пикселя. Диапазон цветоразностного компонента разбивается на внутренний диапазон Pb21 и внешний диапазон Pb22 с помощью двух граничных значений как опорные. В примере на фиг. 12, граничные значения цветоразностного компонента равны 64 и 191 (то есть значение 1/4 и значение 3/4 диапазона). Когда значение пикселя компонента яркости (например, значение пикселя яркости составляющей изображения повышающей дискретизации) относится к диапазону Pb21, секция 44 преобразования цветовой палитры может использовать первый вариант параметра предсказания на момент вычисления предсказанного значения пикселя из этого значения пикселя. Когда значение пикселя цветоразностного компонента принадлежит к диапазону Pb22, секция 44 преобразования цветовой палитры может использовать второй вариант параметра предсказания на момент вычисления предсказанного значения пикселя из этого значения пикселя.

Используемые граничные значения для переключения вариантов могут быть известны заранее, как в устройстве кодирования, так и в устройстве декодирования. Вместо этого, секция 16 кодирования без потерь может дополнительно кодировать информацию о граничном значении. Например, для компоненты яркости, информация о граничном значении может указывать, например, значение коррекции для компонента яркости, добавленное к опорному значению (например, 128, когда битовая глубина равна 8 бит) в середине диапазона. Для цветоразностной компоненты, информация о граничном значении может указывать на значение коррекции для цветоразностной компоненты, вычитаемой из первого опорного значения, равного 1/4 диапазона, и добавленной ко второму опорному значению, равному 3/4 диапазона.

Фиг. 13 представляет собой график, который показывает компонент яркости модели предсказания, которая осуществляется в соответствии с первым способом. Горизонтальная ось графика на фиг. 13 соответствует значению пикселя яркости компонента основного уровня, и значение пикселя обозначается, например, ВТ.709. Вертикальная ось соответствует значению пикселя яркости компонента усовершенствованного уровня и значение пиксела обозначено, например, ВТ.2020. Толстая линия показывает траекторию предсказанного значения пикселя в усовершенствованном уровне, предсказанного с использованием коэффициента усиления и смещения режима адаптивного параметра, из значения пикселя основного уровня. Траектория показывает многоугольную форму линии, которая имеет разные наклоны и отсекает в диапазоне Pb11 на левой стороне граничного значения Y_border на горизонтальной оси, и диапазон Pb12 на правой стороне. Когда модель предсказания, которая изображается траекторией с такой многоугольной линейной формой, может быть использована, ошибка предсказания цветовой палитры может быть уменьшена по сравнению с известным способом, в котором модель предсказания имеет совершенно линейную форму (то есть с прямолинейной траекторией) и, таким образом, эффективность кодирования может быть улучшена. Граничное значение Y_border может быть равно половине (Ymax/2) от максимального значения Ymax значения пикселя яркости компонента основного уровня, или может быть равно значению, полученному путем добавления значения dY корректировки к Ymax/2. Дополнительное кодирование значения dY корректировки означает, что граничное значение Y_border значение может адаптивно управляться. В этом случае, в результате расширения гибкости модели предсказания цветовой палитры, можно дополнительно повысить точность предсказания.

Фиг. 14 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 12. Номера строк в синтаксисе, показанном на фиг. 14, соответствуют номерам линий синтаксиса ассоциированных параметров взвешенного предсказания, показанные на фиг. 11. В синтаксисе ассоциированных параметров взвешенного предсказания часть для параметров опорного кадра L1 не показана на чертеже для краткости описания. Со ссылкой на фиг. 14, дополнительный флаг "inter_layer_pred_flag" определяется после 2-й строки. Этот флаг "inter_layer_pred_flag" установлен для подтверждения использования синтаксиса для параметра предсказания цветовой палитры. Параметр "delta_pix_value_luma [I]" после 13-й строки является описанной выше граничной информацией для компоненты яркости. Например, параметр "delta_pix_value_luma [I]" указывает для компоненты яркости значение корректировки компонента яркости, добавленного к опорному значению в середине диапазона. Параметр "delta_pix_value_chroma [I] [J]" после 18-й строки является вышеописанной граничной информацией для цветоразностной составляющей. Например, параметр "delta_pix_value_chroma [I] [J]" указывает для цветоразностной компоненты значение коррекции для цветоразностной компоненты, вычитаемой из первого опорного значения, равного 1/4 диапазона, и добавленного ко второму опорному значению, равному 3/4 диапазона. Дополнительные параметры, показанные на фиг. 14, могут быть включены не в состав среза заголовка, но в состав расширенного среза заголовка.

(5-2) Второй способ

Во втором способе, первый и второй варианты параметров предсказания избирательно использованы в зависимости от области изображения, к которой принадлежит пиксель. Здесь, область изображения может соответствовать отдельной области, которая может быть образована путем сегментации изображения, срезом или разбивкой на квадраты.

Фиг. 15 показывает пояснительный вид, иллюстрирующий избирательное применение параметров предсказание в соответствии с области изображения, к которой относятся пиксели. Со ссылкой на фиг. 15 показано изображение IM₂. Изображение IM₂ может быть, например, изображением повышающей дискретизации, которое может быть поставлено из секции 41 повышающей дискретизации. Изображение IM₂ сегментировано на верхнюю область РА1 изображения и нижнюю область РА2 изображения. Например, секция 44 преобразования цветовой палитры может использовать первый вариант параметров предсказания, когда предсказанное значение пикселя, принадлежащего к области РА1 изображения, вычисляется, и может использовать второй вариант параметров предсказания, когда предсказанное значение пикселя, принадлежащих к область РА2 изображения, рассчитывается.

Граничная область для переключения используемого варианта может быть известна заранее как в устройстве кодирования, так и в устройстве декодирования (например, граничное значение разделяет изображение, срез или квадрат поровну на две части). Вместо этого, секция 16 кодирования без потерь может дополнительно кодировать пограничную информацию, указывающую граничную область. Граничная информация может представлять собой, например, информацию, обозначающую начальную LCU (LCU Lborder на чертеже), которая продолжается после граничной области в порядке растрового сканирования. Начальная LCU продолжается после граничной области и может быть назначена количеством LCUs, отсчитываемым заранее, из определенного места изображения, среза или квадрата, или может быть назначена флагом, включенного в состав заголовка начального LCU. В первом случае, заданное место может стать началом изображения, среза или квадрата, или может быть средней точкой (например, точкой, находящейся ровно на середине от общего количества LCUs). В последнем случае, граничная область для переключения параметров предсказания между двумя вариантами может адаптивно управляться лишь добавлением однобитового флага к параметру кодирования. В известной спецификации HEVC, информация о размере непосредственно указывает на размер среза и не кодируется. Соответственно, как правило, декодер не распознает размер среза во время декодирования среза (до завершения декодирования среза). Соответственно, дополнительное кодирование граничной информации, указывающая граничную область, выгодно даже тогда, когда граничная область зафиксирована (например, граничное разделения делит поровну срез на две части).

Фиг. 16 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 15. Номера строк в синтаксисе, показанном на фиг. 16, соответствуют номерам строк синтаксиса ассоциированных параметров взвешенного предсказания, показанных на фиг. 11 в синтаксисе в ассоциированных параметров взвешенного предсказания, часть для параметров опорного кадра L1 не показана на чертеже для краткости описания. Со ссылкой на фиг. 16, дополнительный флаг "inter_layer_pred_flag" аналогичен тому, что показано на фиг. 14, и определяется после 2-й строки. Этот флаг "inter_layer_pred_flag" установлен для подтверждения использования синтаксиса для параметра предсказания цветовой палитры. Параметр "delta_num_ctb" затем флаг является описанной выше граничной информацией. Параметр "delta_num_ctb" является информацией, обозначающей начальную LCU, которая продолжается после граничной области в порядке растрового сканирования количеством LCUs. Когда число LCUs отсчитывается от средней точки изображения, среза или квадрата, параметр "delta_num_ctb" может указывать на положительное или отрицательное целое число. Дополнительные параметры, показанные на фиг. 16, также могут быть не включены в состав среза заголовка, но входить в состав расширенного заголовка среза.

Когда параметры предсказания другого варианта могут быть использованы для каждой области изображения, оптимальная модель предсказания для каждой области изображения может быть применена к предсказанию цветовой палитры. Например, оптимальное сочетание коэффициента усиления и смещения отличается между областью голубого неба и других областей в ландшафтном изображении. В этом случае, с помощью коэффициента усиления и смещения, оптимизированного для каждой области для предсказания цветовой палитры, ошибка предсказания цветовой палитры может быть уменьшена и, таким образом, эффективность кодирования может быть улучшена. Процесс дополнительного кодирования граничной информации, указывающая граничную область, может адаптивно управляться посредством установления точки разграничения. В этом случае, при перемещении граничной области в соответствии с контентом изображения, ошибка предсказания цветовой палитры может быть дополнительно уменьшено.

(5-3) Управления каждой цветовой составляющей

В примере модификации, способ подачи двух вариантов параметров предсказания, как описано в данном разделе, может быть применен только к компоненту яркости и не может быть применен к цветоразностной составляющей. В этом случае, чтобы предсказать цветовую палитру цветоразностной составляющей, параметры предсказания (как правило, коэффициент усиления и смещения), которые могут быть закодированы с частью для опорного кадра L0 в синтаксисе ассоциированных параметров взвешенного предсказания, и могут быть декодированы из части, используются независимо от диапазона, к которому принадлежит значение пиксела или область изображения, к которой принадлежит пиксель. Параметр для цветоразностной составляющей, включенный в часть для опорного кадра L1, может быть установлен на любое значение (например, ноль), который может быть сопоставлен с сокращенным кодом переменной длины кодирования (этим значением можно пренебречь при предсказании цветовой палитры цветоразностной составляющей). В целом, влияние цветоразностной составляющей на субъективное качество изображения меньше влияния компонента яркости. Таким образом, путем селективного снижения точности предсказания цветовой палитры цветоразностной составляющей, таким образом, можно уменьшить количество кодирования параметров предсказания, и пренебречь качеством изображения незначительной области.

Когда формат цветности указывает, что разрешение цветоразностной составляющей равно разрешающей способности компоненты яркости, два варианта параметра предсказания могут быть предоставлены на оба компонента яркости и цветоразностной составляющей. Когда формат цветности указывает, что разрешение цветоразностной составляющей ниже, чем разрешение компоненты яркости, то только один вариант параметра предсказания может быть предоставлен для цветоразностной составляющей. Например, когда формат цветности является форматом 4:2:0, разрешение цветоразностной составляющей ниже, чем для компонента яркости в обоих вертикальном и горизонтальном направлениях. Если формат цветности является 4:2:2, разрешение цветоразностной составляющей ниже, чем у компонента яркости в горизонтальном направлении. В этих случаях, влияние на ухудшение точности предсказания цветовой палитры на эффективность кодирования меньше, чем компонент яркости. Таким образом, путем выполнения предсказания цветовой палитры только на цветоразностной составляющей более примерно в этих случаях, что предоставляет возможность эффективно уменьшить объем кодирования параметров предсказания.

(6) Управление интервалом времени, в течение которого выполняется битовый сдвиг

Как описано выше, размер, цветовая палитра и разрядность отличаются между изображениями высокой четкости (HD) и изображениями ультравысокой четкости (UHD). Когда отдельно выполняется процессы преобразования трех атрибутов, стоимость необходимой обработки всего межуровневого процесса значительно возрастает. Соответственно, JCTVC - О0194 ("SCE4: Тест 5.1 результаты битовой глубины и масштабируемости цветовой палитры". Alireza Aminlou, el. Al с 23 октября по 1 ноября 2013 г.) предлагает способ снижения затрат на обработку, посредством использования вычисления битового сдвига в расчете повышающей дискретизации фильтра.

Фиг. 17А - 17С являются первыми пояснительными видами, иллюстрирующие способ снижения стоимости обработки межуровневого предсказания, который предложен в JCTVC - О0194. В качестве примера на фиг. 17А, размер изображения основного уровня является 2K (например, 1920×1080 пикселей), цветовая палитра является ВТ.709 и битовая глубина равна 8 бит. Размер изображения усовершенствованного уровня является 4K (например, 3840×2160 пикселей), цветовая палитра является ВТ.2020 и битовая глубина равна 10 бит. При межуровневом предсказании, секции 41 повышающей дискретизации выполняет битовый сдвиг вместе с повышающей дискретизацией (этап S1). Например, в расчете фильтра, сложение двух условий может соответствовать 1-битовому сдвигу влево и сложение четырех условий может соответствовать 2-битовому сдвигу влево. Таким образом, битовый сдвиг может быть выполнен, по существу, одновременно с повышающей дискретизацией. После этого, секция 44 преобразования цветовой палитры преобразовывает цветовую палитру изображения после повышающей дискретизации входного сигнала из секции 41 повышающей дискретизации (этап S3). Здесь, преобразование цветовой палитры может представлять собой линейное преобразование, аналогичное взвешенному предсказанию.

В качестве примера на фиг. 17В, размер изображения основного уровня является 2K, цветовая палитра является ВТ.709 и битовая глубина равна 8 бит. Размер изображения усовершенствованного уровня является 2K, цветовая палитра является ВТ.2020 и битовая глубина равна 10 бит. При межуровневом предсказании, секция 41 повышающей дискретизации выполняет только битовый сдвиг, как только величины разрешения будут одинаковыми между уровнями (этап S2). Соответственно, секция 44 преобразования цветовой палитры преобразовывает цветовую палитру изображения после повышающей дискретизации входного сигнала из секции 41 повышающей дискретизации (этап S3).

В качестве примера на фиг. 17С, размер изображения основного уровня является 2K, цветовая палитра является ВТ.709 и битовая глубина равна 8 бит. Размер изображения усовершенствованного уровня равен 4K, цветовая палитра является ВТ.709 и битовая глубина равна 10 бит. При межуровневом предсказании, секция 41 повышающей дискретизации выполняет повышающую дискретизацию битовый сдвиг (этап S1). После этого секция 44 преобразования цветовой палитры не преобразовывает цветовую палитру, так как цветовые палитры являются одинаковыми между уровнями.

В случаях на фиг. 17А - 17С, так как повышающая дискретизация и битовый сдвиг выполняются одновременно, то стоимость обработки, необходимая для межуровневого предсказания, снижается по сравнению со случаями, в которых выполняются отдельно повышающая дискретизация и битовый сдвиг. С другой стороны, в случае на фиг. 17В, хотя преобразование цветовой палитры включает в себя вычисление аналогичное битовому сдвигу, битовый сдвиг выполняется независимо от преобразования цветовой палитры. Поэтому, существует возможность для улучшения стоимости переработки.

Соответственно, в одном варианте осуществления предполагается, что секция 44 преобразования цветовой палитры иметь возможность выполнять битовый сдвиг в расчете преобразования цветовой палитры. В частности, когда предполагается использовать повторно синтаксис для взвешенного предсказания, расчет преобразования цветовой палитры может быть выражен следующим образом.

Математика 3

В уравнении (7), X_k представляет собой значение пикселя k-й компоненты цвета после преобразования и X_k.pred является значением пикселя k-й компоненты цвета. Дополнительно, w_k, и n_k и o_k являются числителем веса (усиления), двоичный логарифм знаменателя веса и смещение применяется к k-ой цветовой составляющей. Здесь, когда разница в битовой глубине между уровнями составляет m бит, расчет, когда секция 44 преобразования цветовой палитры выполняет m-битовый сдвиг (сдвиг влево) одновременно с преобразованием цветовой палитры, может быть выражена следующим образом.

Математика 4

Когда битовый сдвиг может быть выполнен одновременно с повышающей дискретизацией или битовый сдвиг может выполняться одновременно с преобразованием цветовой палитры, есть вероятность наличия периодов времени, в течение которых битовый сдвиг выполняется по-разному между кодером и декодером (или между декодерами, имеющие различные варианты реализации). Например, когда декодер выполняет битовый сдвиг одновременно с повышающей дискретизацией независимо от того, выполняет ли кодер битовый сдвиг одновременно с преобразованием цветовой палитры, межуровневое предсказание ухудшается. Соответственно, в варианте осуществления, секция 16 кодирования без потерь дополнительно кодирует флаг управления битовым сдвигом посредством управления периодом времени, на котором осуществляется битовый сдвиг. Флаг управления битовым сдвигом является управляющим параметром, указывающим на то, выполняется ли битовый сдвиг в момент межуровневого предсказания одновременно с преобразованием цветовой палитры или выполняется одновременно с повышающей дискретизацией, например, когда битовая глубина усовершенствованного уровня больше, чем битовая глубина основного уровня.

Фиг. 18А - 18С являются первыми пояснительными видами, иллюстрирующие новый способ снижения стоимости обработки межуровневого предсказания. Атрибуты основного уровня и усовершенствованного уровня в примере на фиг. 18А являются такими же, как на фиг. 17А. Тем не менее, управляющий флаг битового сдвига обозначен "1" (битовый сдвиг выполняется одновременно с взвешенным предсказанием). В этом случае, при межуровневом предсказании, секция 41 повышающей дискретизации выполняет повышающую дискретизацию без выполнения битового сдвига для улучшения битовой глубины (этап S4). После этого, как и в приведенном выше уравнении (8), секция 44 преобразования цветовой палитры преобразовывает цветовую палитру изображения после повышающей дискретизации входного сигнала из секции 41 повышающей дискретизации и одновременно выполняет битовый сдвиг (этап S6).

Атрибуты основного уровня и усовершенствованного уровня в примере на фиг. 18В являются такими же, как и на фиг. 17В. Тем не менее, управляющий флаг указывает битовый сдвиг "1" (битовый сдвиг выполняется одновременно с взвешенным предсказанием). В этом случае, при межуровневом предсказании, секция 41 повышающей дискретизации не выполняет ни один из битовых сдвигов и повышающую дискретизацию. После этого, как и в приведенном выше уравнении (8), секция 44 преобразования цветовой палитры преобразовывает цветовую палитру изображения основного уровня и одновременно выполняет битовый сдвиг (этап S6).

Атрибуты основного уровня и усовершенствованного уровня в примере на фиг. 18С являются такими же, как и на фиг. 17С. Тем не менее, управляющий флаг битового сдвига указывает "0" (битовый сдвиг выполняется одновременно с повышающей дискретизацией). В этом случае, при межуровневом предсказании, секция 41 повышающей дискретизации выполняет повышающую дискретизацию и битовый сдвиг (этап S5). Поскольку цветовые палитры между уровнями одинаковы, то секция 44 преобразования цветовой палитры не выполняет преобразование цветовой палитры.

Когда фиг. 17А - 17С сравниваются с фиг. 18А - 18С, подразумевается, что этап процесса сокращается с помощью нового способа, в частности, в отношении второго примера (на фиг. 17В и 18В), в котором размер изображения не изменяется между уровнями. В новом способе, есть управляющий флаг битового сдвига и период времени, в котором битовый сдвиг выполняется, адаптивно переключается, так что количество этапов процесса межуровневого предсказания может быть сведено к минимуму.

Фиг. 19 показывает пояснительный вид, иллюстрирующий пример синтаксиса в соответствии со способом, описанным со ссылкой на фиг. 18А - 18С. Номера строк в синтаксисе, показанном на фиг. 19, соответствуют номерам строк синтаксиса ассоциированных параметров взвешенного предсказания, показанные на фиг. 11. В синтаксисе ассоциированных параметров взвешенного предсказания часть для параметров опорного кадра L1 не показана на чертеже для краткости описания. Со ссылкой на фиг. 19, два параметра кодирования "weighted_prediction_and_bit_shift_luma_flag" и "weighted_prediction_and_bit_shift_chroma_flag" кодируется, когда ID уровня не равен нулю (то есть уровень является усовершенствованным уровнем), определены после первой строки. Из параметров кодирования, первый флаг представляет собой управляющий флаг битового сдвига для управления моментом времени, в течение которого выполняется битовый сдвиг компоненты яркости. Последний представляет собой управляющий флаг битового сдвига для управления моментом времени выполнения битового сдвига цветоразностной составляющей. Эти флаги установлены для подтверждения того, что битовый сдвиг и преобразование цветовой палитры выполняются одновременно, и установлены для информирования о том, что битовый сдвиг и повышающая дискретизация не выполняются одновременно. Так как размер изображения и битовая глубина могут быть различными для каждого компонента цвета, моменты времени, в течение которых выполняется битовый сдвиг, могут гибко управляться в соответствии с определением атрибутов путем кодирования управляющих флагов битового сдвига отдельно для компонента яркости и цветоразностной составляющей. Здесь, настоящее изобретение не ограничивается данным примером, но один управляющий флаг битового сдвига может быть закодирован как для компоненты яркости, так и для цветоразностной составляющей. Когда битовая глубина одинакова между уровнями, кодирование управляющего флага битового сдвига может быть опущено или флаг может быть установлен на определенное значение (например, нулевое). Даже тогда, когда синтаксис на фиг. 19 не используется для взвешенного предсказания в межуровневом предсказании, но во внешнем предсказании в уровне, кодирование управляющего флага битового сдвига может быть опущено или флаг может быть установлен на конкретное значение (например, ноль).

3. Алгоритм выполнения процесса кодирования в соответствии с вариантом осуществления

3-1. Блок-схема алгоритма

Фиг. 20 является блок-схемой алгоритма, показывающей пример алгоритма выполнения процесса кодирования в соответствии с вариантом осуществления. Для краткости описания, этапы процесса, которые непосредственно не связанные с выполнением процесса, в соответствии с настоящим изобретением, опущены на фиг. 20.

Со ссылкой на фиг. 20, секция 1а кодирования BL сначала выполняет процесс кодирования для основного уровня для генерации кодированного потока основного уровня (этап S11).

Общая память 2 буферизует изображение (одно или оба декодированное изображение и изображение, предсказанное с ошибкой) основного уровня, генерируемого в процессе кодирования для основного уровня, и параметры, повторно используемые между уровнями (этап S12). Параметры, повторно использованные между уровнями, могут включать в себя ассоциированные параметры взвешенного предсказания.

Далее, секция 1b кодирования EL выполняет процесс кодирования для усовершенствованного уровня для генерации кодированного потока усовершенствованного уровня (этап S13). В процессе кодирования для усовершенствованного уровня, выполняемого здесь, изображение основного уровня, буферизованное в общей памяти 2, подвергается повышающей дискретизации с помощью секции 40 предсказания цветовой палитры, так, что цветовая палитра преобразовывается. Затем, изображение основного уровня после преобразования цветовой палитры, может быть использовано в качестве опорного изображения в межуровневом предсказании.

Затем, секция 3 мультиплексирования мультиплексирует кодированный поток основного уровня, генерируемого секцией 1а кодирования BL и кодированный поток усовершенствованного уровня, генерируемого секцией 1b кодирования EL, генерирует многоуровневый мультиплексированный поток (этап S14).

3-2. Процесс предсказания цветовой палитры

(1) Первый пример

Фиг. 21 является блок-схемой алгоритма, показывающей первый пример алгоритма процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня. Процесс предсказания цветовой палитры, описанный здесь, повторяется для каждого изображения или среза.

Со ссылкой на фиг. 21, секция 41 повышающей дискретизации, во-первых, выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 2 в соответствии с отношением разрешении между основным уровнем и усовершенствованным уровнем (этап S20).

Далее, секция 42 установки режима предсказания устанавливает один режим предсказания из кандидатов режима предсказания для предсказания цветовой палитры в изображении (или срезе) (этап S22). Секция 42 установки режима предсказания может установить режим предсказания, определенный заранее, или может установить режим предсказания, динамически выбранный на основании оценки эффективности кодирования или точности предсказания каждого кандидата режима предсказания.

Далее, секция 16 кодирования без потерь кодирует параметр, указывающий режим предсказания режима предсказания, установленный в секции 42 установки режима предсказания (этап S25). Параметр режима предсказания кодируется секцией 16 кодирования без потерь и вставляется в, например, PPS или срез заголовка.

Последующий процесс разветвляется в зависимости от режима предсказания, установленного секцией 42 установки режима предсказания (этапы S26 и S28). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 43 вычисления параметра вычисляет значения оптимального коэффициента усиления и оптимального смещения, которое используется для предсказания (преобразования) цветовой палитры (этап S30). Секция 43 вычисления параметра вычисляет разницу между расчетной оптимальной величиной коэффициента усиления и смещения и предыдущих их значений. Затем секция 16 кодирования без потерь кодирует величину разницы коэффициента усиления и смещения, рассчитанную секцией 43 вычисления параметра (этап S32). Величина разницы параметров предсказания, кодируемая секцией 16 кодирования без потерь, вставляется в, например, PPS или срез заголовка.

Если установленный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя, умножая значение пикселя основного уровня после повышенной дискретизации на адаптивно рассчитанный или фиксированный коэффициент усиления и дополнительно добавляется величина смещения в соответствии с уравнениями с (4) по (6) (этап S34).

Когда выбранный режим предсказания является режимом битового сдвига, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышенной дискретизации влево на заданную величину битового сдвига в соответствии с уравнениями с (1) по (3) (этап S36).

Когда все предсказанные значения пикселей в изображении или срезе, подлежащие обработке, вычисляются, то секция 44 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 25 кадров (этап S38).

После этого, когда существует последующее необработанное изображение или срез, то процесс возвращается к этапу S20, и описанные выше процессы повторяются на следующем изображении или срезе (этап S40).

(2) Второй пример

Фиг. 22 является блок-схемой алгоритма, показывающей второй пример потока процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Со ссылкой на фиг. 22, секция 42 установки режима предсказания, прежде всего, устанавливает один режим предсказания среди кандидатов режима предсказания для предсказания цветовой последовательности последовательно (этап S21). Далее, секция 16 кодирования без потерь кодирует параметр, указывающий режим предсказания режима предсказания, установленный секцией 42 установки режима предсказания (этап S23). Параметр режима предсказания, закодированный секцией 16 кодирования без потерь, вставляется в SPS.

Процессы этапов с S24 по S40 повторяются для каждого изображения или среза последовательно.

Секция 41 повышающей дискретизации, во-первых, осуществляет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 2, в соответствии с отношением разрешении между основным уровнем и усовершенствованным уровнем (этап S24).

Дополнительно, процесс разветвляется в зависимости от режима предсказания, установленного секцией 42 установки режима предсказания (этапы S26 и S28). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 43 вычисления параметра вычисляет оптимальное значение коэффициента усиления и оптимальное значение смещения, которые используется для предсказания (преобразования) цветовой палитры (этап S30). Секция 43 вычисления параметра вычисляет разницу между расчетной величиной оптимального коэффициента усиления и смещения и их предшествующими значениями. Затем секция 16 кодирования без потерь кодирует разностной сигнал коэффициента усиления и смещения, вычисленные секцией 43 вычисления параметра (этап S32). Разностные значения параметров предсказания, закодированные секцией 16 кодирования без потерь, вставляются в, например, PPS или срез заголовка.

Если выбранный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя умножением значения пикселя основного уровня после повышающей дискретизации на адаптивно рассчитанный или фиксированной коэффициент усиления и дополнительно прибавлением величины смещения в соответствии с уравнениями с (4) по (6) (этап S34).

Если выбранный режим предсказания является режимом битового сдвига, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышающей дискретизации влево на заданную величину битового сдвига в соответствии с уравнениями с (1) по (3) (этап S36).

Когда все предсказанные значения пикселей в изображении или срезе в процессе обработки рассчитываются, секция 44 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 25 кадров (этап S38).

После этого, когда существует последующее необработанное изображение или сред в последовательности, процесс возвращается к этапу S24 и процесс повышающей дискретизации и преобразования цветовой палитры повторяется на следующем изображение или срезе (этап S40). Когда преобразование цветовой палитры всех изображений или всех срезов в последовательности заканчивается, то дополнительно определяется, существует ли последующая последовательность (этап S42). Когда есть последующая последовательность, то процесс возвращается к этапу S21 и описанные выше процессы повторяются на последующей последовательности.

(3) Третий пример

Фиг. 23 является блок-схемой алгоритма, показывающей третий пример последовательности выполнения процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Со ссылкой на фиг. 23, секция 42 установки режима предсказания, во-первых, устанавливает режим предсказания из множества кандидатов режима предсказания для предсказания цветовой палитры в последовательности (этап S21). Далее, секция 16 кодирования без потерь кодирует параметр, указывающий на режим предсказания, установленный секцией 42 установки режима предсказания (этап S23). Параметр режима предсказания, закодированный секцией 16 кодирования без потерь, вставляется в SPS.

Процессы этапов с S24 по S41 повторяются для каждого среза в последовательности.

Секция 41 повышающей дискретизации осуществляет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 2, в соответствии с соотношением разрешения между основным уровнем и усовершенствованным уровнем (этап S24). Здесь вычисление фильтра повышающей дискретизации может включать в себя или может не включать в себя битовый сдвиг для межуровневого предсказания.

Дополнительно, процесс разветвляется в зависимости от режима предсказания, установленного секцией 42 установки режима предсказания (этапы S26 и S28). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 43 вычисления параметра вычисляет оптимальное значение коэффициента усиления и оптимальное значение смещения, которые используются для предсказания (преобразования) цветовой палитры (этап S30). Секция 43 вычисления параметра вычисляет разницу между расчетным оптимальным значением коэффициента усиления и смещения и их предыдущими значениями. Затем секция 16 кодирования без потерь кодирует вычисленные разностные значения коэффициента усиления и смещения посредством повторного использования синтаксиса ассоциированных параметров взвешенного предсказания (этап S33). Разностные значения параметров предсказания, закодированные секцией 16 кодирования без потерь, вставляются в срез заголовка. Когда вышеописанный управляющий флаг битового сдвига принимается в синтаксисе, закодированный управляющий флаг битового сдвига также может быть вставлен в срез заголовка.

Если выбранный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя умножением значения пикселя основного уровня после повышающей дискретизации на адаптивно рассчитываемый или фиксированный коэффициент усиления и дополнительным прибавлением величины смещения в соответствии с уравнениями с (4) по (6) (этап S34). Когда битовый сдвиг не выполняется на этапе S24, то вычисление предсказанного значения пикселя в данном документе может включать в себя битовый сдвиг.

Если выбранный режим предсказания является режимом битового сдвига, то секция 44 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышающей дискретизации влево на заданную величину битового сдвига в соответствии с уравнениями с (1) по (3) (этап S36).

Когда все предсказанные значения пикселей в изображении или срезе для обработки рассчитываются, то секция 44 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть, предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 25 кадров (этап S38).

После этого, когда существует последующий необработанный срез в последовательности, процесс возвращается к этапу S24 и процесс повышающей дискретизации и преобразования цветовой палитры повторяется на последующем срезе (этап S41). Когда преобразование цветовой палитры всех срезов в последовательности заканчивается, то дополнительно определяется, существует ли последующая последовательность (этап S42). Когда есть последующая последовательность, то процесс возвращается к этапу S21 и описанные выше процессы повторяются на последующей последовательности.

(4) Четвертый пример

Фиг. 24 является блок-схемой алгоритма, показывающей четвертый пример последовательности выполнения процесса предсказания цветовой палитры в процессе кодирования для усовершенствованного уровня.

Со ссылкой на фиг. 24, секция 42 установки режима предсказания, во-первых, устанавливает один режим предсказания среди кандидатов режима предсказания для предсказания цветовой палитры в последовательности (этап S21). Далее, секция 16 кодирования без потерь кодирует параметр, указывающий режим предсказания, установленный секцией 42 установки режима предсказания (этап S23). Параметр режима предсказания, закодированный секцией 16 кодирования без потерь, вставляется в SPS.

Процессы этапов с S24 по S41 повторяются для каждого среза в последовательности.

Секция 41 повышающей дискретизации выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 2, в соответствии с соотношением разрешения между основным уровнем и усовершенствованным уровнем (этап S24). Здесь вычисление фильтра повышающей дискретизации может включать в себя или может не включать в себя битовый сдвиг для межуровневого предсказания.

Дополнительно, процесс разветвляется в зависимости от режима предсказания, установленного секцией 42 установки режима предсказания (этапы S26 и S28). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 43 вычисления параметров вычисляет первый вариант оптимального коэффициента усиления и оптимальное смещение, которое используется для предсказания (преобразования) цветовой палитры (этап S31a). Аналогично, секция 43 вычисления параметров вычисляет второй вариант коэффициента усиления и смещения (этап S31b). Каждый из первого и второго вариантов может включать в себя оптимальное значение, заданное для использования в первом и втором диапазонах в диапазоне значений пикселей. Вместо этого, первый и второй вариант могут каждый включать в себя оптимальное значение, заданное для использования в первой и второй областях изображения. Секция 43 вычисления параметра вычисляет разностное значение между коэффициентом усиления и смещения и их предыдущими значениями для каждого из первого и второго вариантов. Затем секция 16 кодирования без потерь кодирует разностное значение параметров предсказания, рассчитанное для каждого из первого и второго вариантов в части опорного кадра L0 и части опорного кадра L1 синтаксиса ассоциированных параметров взвешенного предсказания (этап S33B). Разностные значения параметров предсказания, закодированные секцией 16 кодирования без потерь, вставляются в срез заголовка. Когда вышеописанный управляющий флаг битового сдвига принимается в синтаксисе, закодированный управляющий флаг битового сдвига также может быть вставлен в срез заголовка.

Последовательность выполнения последующих процессов может быть такой же, как в третьем примере, описанном со ссылкой на фиг. 23, за исключением того, что, вариант предсказанных параметров может быть изменен в соответствии с диапазоном, к которому принадлежит значение пикселя или область изображения, к которому принадлежит пиксель на этапе S34. На этапе S33b, секция 16 кодирования без потерь может дополнительно кодировать граничную информацию, указывающую граничное значение между диапазонами для переключения варианта параметров предсказания или граничную область между областями изображения, например, срез заголовка или расширенный срез заголовка.

(5) Пример модификация последовательности выполнения процесса обработки

В соответствии с известным способом в межуровневом предсказании выполняется преобразование цветовой палитры после повышающей дискретизации (и битового сдвига, по мере необходимости). Блок-схемы алгоритма, показанные на фигурах с 21 по 24, также иллюстрируют последовательности выполнения процесса обработки. Однако, так как стоимость обработки преобразования цветовой палитры пропорциональна количеству пикселей, которые должны быть преобразованы, то тот факт, что преобразование цветовой палитры выполняется на пикселях, количество которых увеличилось из-за повышающей дискретизации, не может быть рассмотрено как оптимальная с точки зрения стоимости обработки. Дополнительно, тот факт, что преобразование цветовой палитры выполняется на пикселях, имеющие битовую глубину, расширенную после битового сдвига, означает, что ресурсы обработки (например, число битов, необходимые в регистре), необходимые для вычисления преобразования цветовой палитры, также увеличились. Таким образом, в примере модификации, когда пространственное разрешение (размер изображения) усовершенствованного уровня выше, чем в пространственное разрешение основного уровня, секция 40 предсказания цветовой палитры может предсказать изображение усовершенствованного уровня путем преобразования цветовой палитры изображения основного уровня, и затем выполнить повышающую дискретизацию преобразованного изображения.

Фиг. 25А показывает пояснительный вид, иллюстрирующий пример последовательности выполнения процесса обработки известного межуровневого предсказания. На фиг. 25А, к примеру, показаны два этапа выполнения операций, которые являются такими же, как на фиг. 17А. Во-первых, размер и битовая глубина (например, 2K/8 бит) изображения, включенные в состав данных среза основного уровня, могут быть увеличены с помощью повышающей дискретизацией и битового сдвига (например, 4K/10 бит). Далее, цветовая палитра изображения после повышающей дискретизации преобразовывается в цветовую палитру усовершенствованного уровня в соответствии с параметрами предсказания.

Фиг. 25В показывает пояснительный вид, иллюстрирующий пример последовательности выполнения процесса обработки нового межуровневого предсказания в соответствии с модификацией примера. В примере модификации секция 40 предсказания цветовой палитры сначала преобразовывает цветовую палитру изображения, включенного в состав среза данных основного уровня, в цветовую палитру усовершенствованного уровня в соответствии с параметрами предсказания. Далее секция 40 предсказания цветовой палитры увеличивает размер изображения (например, 2K) после преобразования цветовой палитры посредством повышающей дискретизации (например, в 4K). Битовый сдвиг может выполняться одновременно с преобразованием цветовой палитры или может быть выполнен одновременно с повышающей дискретизацией. Период времени, в котором производится битовый сдвиг, может быть назначен управляющим флагом битового сдвига. В соответствии с новой версией последовательности выполнения процесса обработки, так как битовая глубина и количество пикселей, которые должны быть преобразованы путем преобразования цветовой палитры, уменьшается по сравнению со случаем известной версии последовательности выполнения процесса обработки, стоимость обработки межуровневого предсказания дополнительно уменьшена.

4. Пример конфигурации секции декодирования EL в одном варианте осуществления

4-1. Общая конфигурация

Фиг. 26 является блок-схемой, показывающей пример конфигурации секции 6b декодирования EL, показанной на фиг. 5. На фиг. 26 секции 6b декодирования EL включает в себя буфер 61 накопления, секцию 62 декодирования без потерь, секцию 63 обратного квантования, секцию 64 обратного ортогонального преобразования, секцию 65 сложения, контурный фильтр 66, сортировочный буфер 67, секцию 68 цифро-аналогового преобразования (D/A), память 69 кадров, селекторы 70 и 71, секцию 80 внутреннего предсказания, секцию 85 внешнего предсказания и секцию 90 предсказания цветовой палитры.

Буфер 61 накопления временно аккумулирует кодированный поток усовершенствованного уровня, поступившего из секции 5 демультиплексирования, используя носитель информации.

Секция 62 декодирование без потерь декодирует квантованные данные усовершенствованного уровня из кодированного потока усовершенствованного уровня, поступившего из буфера 61 накопления, в соответствии со схемой кодирования, используемая во время кодирования. Секция 62 декодирование без потерь декодирует информацию, вставленную в область заголовка кодированного потока. Информация, декодируемая с помощью секции 62 декодирования без потерь, может включать в себя, например, информацию, связанную с внутренним предсказанием и информацию о внешнем предсказании. Параметры для предсказания цветовой палитры также могут быть декодированы в усовершенствованном уровне. Секция 62 декодирования без потерь вырабатывает квантованные данные в секцию 63 обратного квантования. Секция 62 декодирования без потерь выводит информацию относительно внутреннего предсказания в секцию 80 внутреннего предсказания. Секция 62 декодирования без потерь выводит информацию о внешнем предсказании в секцию 85 внешнего предсказания. Секция 62 декодирования без потерь выводит параметры для предсказания цветовой палитры в секцию 90 предсказания цветовой палитры.

Секция 63 обратного квантования выполняет обратное квантование квантованных данных, поступивших из секции 62 декодирования без потерь в шагом квантования, используемого во время кодирования для восстановления данных коэффициента преобразования усовершенствованного уровня. Секция 63 обратного квантования вырабатывает восстановленные данные коэффициента преобразования в секцию 64 обратного ортогонального преобразования.

Секция 64 обратного ортогонального преобразования выполняет обратное ортогональное преобразование данных коэффициента квантования, поступившие из секции 63 обратного квантования в соответствии со схемой ортогонального преобразования, используемой во время кодирования для генерирования предсказанных данных об ошибках. Секция 64 обратного ортогонального преобразования выводит сгенерированные предсказанные данные об ошибках в секцию 65 сложения.

Секция 65 сложения складывает предсказанные данные ошибки, поступившие из секции 64 обратного ортогонального преобразования, и предсказанные данные изображения, поступившие из селектора 71, чтобы генерировать данные декодированного изображения. Затем, секция 65 сложения выводит сгенерированные данные декодированного изображения в контурный фильтр 66 и память 69 кадров.

В связи с тем, что контурный фильтр 24 секции 1b кодирования EL, контурный фильтр 66 включает в себя фильтр деблокинга, который устраняет артефакты блочности, фильтр адаптивного смещения, который добавляет значение смещения для каждого значения пикселя, и адаптивный контурный фильтр, который минимизирует ошибку оригинального изображения. Контурный фильтр 66 фильтрует декодированные данные изображения, поступившие из секции 65 сложения, и выводит данные декодированного изображения после фильтрации в сортировочный буфер 67 и память 69 кадров.

Сортировочный буфер 67 сортирует изображения, поступающие из контурного фильтра 66 для генерации хронологической последовательности данных изображения. Затем, сортировочный буфер 67 выводит данные изображения в секцию 68 D/A преобразования.

Секция 68 D/A преобразования преобразовывает данные изображения с цифрового формата, поступившие из сортировочного буфера 67, в сигнал изображения аналогового формата. Затем, Секция 68 D/A преобразования отображает изображение усовершенствованного уровня путем вывода аналогового сигнала изображения, например, на дисплей (не показан), соединенный с устройством 60 декодирования изображения.

Память 69 кадров сохраняет данные декодированного изображения до фильтрации, поступившие из секции 65 сложения, данные декодированного изображения после фильтрации поступают на вход из контурного фильтра 66, и данные опорного изображения основного уровня поступают на вход из секции 90 предсказания цветовой палитры, с использованием носителя информации.

Селектор 70 переключает выход назначения данных изображения из памяти 69 кадров между секцией 80 внутреннего предсказания и секцией 85 внешнего предсказания для каждого блока в изображении, в соответствии с информацией о режиме, полученной секцией 62 декодирования без потерь. Например, когда выбран режим внутреннего предсказания, селектор 70 выводит данные декодированного изображения перед фильтрацией, поставленные из памяти 69 кадров, в качестве данных опорного изображения в секцию 80 внутреннего предсказания. Когда выбран режим внешнего предсказания, селектор 70 направляет данные декодированного изображения после фильтрации в качестве данных опорного изображения в секцию 85 внешнего предсказания. При выполнении межуровневого предсказания в секции 80 внутреннего предсказания или секции 85 внешнего предсказания, селектор 70 подает данные опорного изображения основного уровня в секцию 80 внутреннего предсказания или секцию 85 внешнего предсказания.

Селектор 71 переключает источник вывода предсказанных данных изображения, которые должны подаваться в секцию 65 сложения, между секцией 80 внутреннего предсказания и секцией 85 внешнего предсказания в соответствии с информацией о режиме, полученной секцией 62 декодирования без потерь. Например, когда назначен режим внутреннего предсказания, селектор 71 подает данные предсказанного изображения из секции 80 внутреннего предсказания в секцию 65 сложения. Когда назначен режим внешнего предсказания, селектор 71 подает предсказанные данные изображения из секции 85 внешнего предсказания в секцию 65 сложения.

Секция 80 внутреннего предсказания выполняет процесс внутреннего предсказания усовершенствованного уровня на основе информации, касающейся внутреннего предсказания, поступившей из секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадров, для генерирования данных предсказанного изображения. Процесс внутреннего предсказания выполняется для каждого PU. Когда назначен режим внутреннего предсказания BL или внутреннего остаточного предсказания как режим внутреннего предсказания, то секция 80 внутреннего предсказания использует смещенный блок в основном уровне, соответствующий целевому блоку предсказания в качестве опорного блока. В случае внутреннего предсказания BL, секция 80 внутреннего предсказания генерирует предсказанное изображение на основе декодированного изображения опорного блока. В случае внутреннего остаточного предсказания, секция 80 внутреннего предсказания предсказывает ошибку предсказания внутреннего предсказания на основании ошибки предсказания изображения опорного блока и генерирует предсказанное изображение, к которому добавляется предсказанная ошибка предсказания. Секция 80 внутреннего предсказания выводит сгенерированные данные предсказанного изображения усовершенствованного уровня в селектор 71.

Секция 85 внешнего предсказания выполняет процесс внешнего предсказания (процесс компенсации движения) усовершенствованного уровня на основании информации, касающейся внешнего предсказания, поступившей из секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадров, чтобы генерировать данные предсказанного изображения. Процесс внешнего предсказания выполняется для каждого PU. Когда назначен режим внешнего остаточного предсказания как режим внешнего предсказания, секция 85 внешнего предсказания использует совмещенный блок в основном уровне, соответствующий блоку целевого предсказания в качестве опорного блока. В случае внешнего остаточного предсказания секция 85 внешнего предсказания предсказывает ошибку предсказания внешнего предсказания на основании ошибки предсказания изображений опорного блока и генерирует предсказанное изображение, к которому добавляется предсказанная ошибка предсказания. Секция 85 внешнего предсказания выводит сгенерированные данные предсказанного изображения усовершенствованного уровня в селектор 71.

Секция 90 предсказания цветовой палитры выполняет повышающую дискретизацию изображения (декодированное изображение или предсказанная ошибка изображения) основного уровня, буферизованное в общей памяти 7 в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем. Когда изображение усовершенствованного уровня имеет иную цветовую палитру, чем изображение основного уровня, секция 90 предсказания цветовой палитры преобразует цветовую палитру дискретизированного изображения с повышением основного уровня в ту же цветовую палитру, что и изображение усовершенствованного уровня. В варианте осуществления, на предположении о линейной независимой зависимости для каждой цветовой составляющей между цветовыми палитрами основного уровня и усовершенствованного уровня, секция 90 предсказания цветовой палитры преобразовывает цветовую палитру примерным предсказанием изображения усовершенствованного уровня из изображения основного уровня. Изображение основного уровня, цветовая палитра которого преобразовывается секцией 90 предсказания цветовой палитры, может быть сохранено в памяти 69 кадров, которые будут использоваться в качестве опорного изображения в межуровневом предсказании секцией 80 внутреннего предсказания или секцией 85 внешнего предсказания. Секция 90 предсказания цветовой палитры получает параметр режима предсказания, указывающий режим предсказания для предсказания цветовой палитры, из секции 62 декодирования без потерь. Когда параметр указывает на режим предсказания адаптивного параметра, секция 90 предсказания цветовой палитры дополнительно получает разностный сигнал от предыдущего значения параметра предсказания из секции 62 декодирования без потерь. Секция 90 предсказания цветовой палитры предсказывает изображение усовершенствованного уровня из изображения основного уровня после повышающей дискретизации, используя параметры, полученные из секции 62 декодирования без потерь.

4-2. Подробная конфигурация секции предсказания цветовой палитры

Фиг. 27 является блок-схемой, показывающей пример конфигурации секции 90 предсказания цветовой палитры, показанной на фиг. 26. Со ссылкой на фиг. 27, секция 90 предсказания цветовой палитры включает в себя секцию 91 повышающей дискретизации, секцию 92 установки режима предсказания, секцию 93 вычисления параметра и секцию 94 преобразования цветовой палитры.

(1) Секция повышающей дискретизации

Секция 91 повышающей дискретизации выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 7 в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем. Более конкретно, секция 91 повышающей дискретизации вычисляет интерполированное значение пикселя каждого из последовательно сканируемых интерполированных пикселей в соответствии с соотношением разрешения путем фильтрации изображения основного уровня с заданным коэффициентом фильтрации. Таким образом, пространственное разрешение изображения основного уровня, используемого в качестве опорного блока, может быть увеличено до той же величины разрешения, что и усовершенствованного уровня. Секция 91 повышающей дискретизации выводит изображение после повышенной дискретизации в секцию 94 преобразования цветовой гаммы.

(2) Секция установки режима предсказания

Секция 92 установки режима предсказания устанавливает режим предсказания, указанный параметром режима прогнозирования, декодированного посредством секции 62 декодирования без потерь среди кандидатов режима предсказания для предсказания цветовой палитры в секции 90 предсказания цветовой палитры. Кандидаты режима предсказания могут включать в себя режим битового сдвига, режим фиксированного параметра и режим адаптивного параметра, описанные выше. В одном варианте осуществления, секция 92 установки режима предсказания может установить режим предсказания в соответствии с параметром режима предсказания, декодированного из PPS. В другом варианте осуществления, секция 92 установки режима предсказания может установить режим предсказания в соответствии с параметром режима предсказания, декодированного из среза заголовка. В еще одном варианте осуществления, секция 92 установки режима предсказания может установить режим предсказания в соответствии с параметром режима предсказания, декодированного из SPS. Когда параметр режима предсказания декодируется из SPS, такой же режим предсказания может поддерживаться в одной последовательности.

(3) Секция вычисления параметра

Когда установлен режим адаптивного параметра секцией 92 установки 92 режима предсказания, секция 93 вычисления параметра вычисляет параметры предсказания, которые будут использоваться для предсказания цветовой палитры с использованием разности параметров предсказания, декодированных секцией 62 декодирования без потерь. В данном случае параметры предсказания включают в себя коэффициент g_i усиления и величину o_i смещения (где i=1, 2, 3), выраженное в уравнениях с (4) по (6).

Более конкретно, в режиме адаптивного параметра, секция 93 вычисления параметров вычисляет последние значения коэффициента усиления и смещения, добавлением разностного значения коэффициента усиления и величины смещения, полученного из секции 62 декодирования без потерь, с предыдущими значениями коэффициента усиления и смещения. Здесь, предыдущие значения могут быть, например, значения, рассчитанные для предыдущего изображения, когда коэффициент усиления и смещения рассчитываются для каждого изображения. Когда коэффициент усиления и смещения рассчитываются для каждого среза, предыдущие значения могут быть значениями, рассчитанными для среза на той же позиции, что и предыдущее изображение. Когда последнее значение параметра указывает на режим предсказания адаптивного параметра и предыдущий параметр указывает на режим предсказания битового сдвига, секция 93 вычисления параметров добавляет разносной сигнал, декодированное секцией 62 декодирования без потерь, к значению параметров предсказания, соответствующих количеству битового сдвига. Когда последнее значение параметра указывает режим предсказания режима адаптивного параметра и предыдущий параметр указывает режим предсказания режима фиксированного параметра, секция 93 вычисления параметров добавляет разностный сигнал, декодированный с помощью секции 62 декодирования без потерь 62, к значениям фиксированных параметров предсказания, определенных заранее. Предыдущие значения (базовые для разности), к которым разносные значения коэффициента усиления и смещения добавляются, показаны на фиг. 9. Секция 93 вычисления параметра вырабатывает вычисленные последние значения коэффициента усиления и смещения в секцию 94 преобразования цветовой палитры. Так как значение коэффициента усиления может включать в себя дробное значение, разностное значение знаменателя и числителя коэффициента усиления может каждый быть рассчитан из декодированных разностных значений. Соответственно, секция 93 вычисления параметров может рассчитать каждое значение знаменателя и числителя из декодированных разностных величин. Умножение коэффициента усиления секцией 94 преобразования цветовой палитры может быть выполнено посредством умножения числителя, который является целым числом, и вычисление сдвига осуществляется соответствующим делением на знаменатель. Диапазон значения знаменателя коэффициента усиления может быть ограничен только целой степенью 2, чтобы уменьшить стоимость вычисления. В этом случае, двоичный логарифм величины знаменателя может быть использован в качестве параметра предсказания.

(4) Секция преобразования цветовой палитры

Секция 94 преобразования цветовой палитры преобразовывает цветовую палитру изображения основного уровня после повышающей дискретизации, поступившего из секции 91 повышающей дискретизации, в ту же цветовую палитру, что и изображение усовершенствованного уровня в соответствии с установленным режимом предсказания, установленного секцией 92 установки режима предсказания. Например, когда установлен режим битового сдвига, то секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя путем сдвига значения пикселя основного уровня после повышающей дискретизации влево на заданную величину n_shift битового сдвига в соответствии с уравнениями с (1) по (3). Когда установлен режим фиксированного параметра, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя, умножением значения пикселя основного уровня после повышающей дискретизации, на фиксированный коэффициент усиления и дополнительно добавлением фиксированного значения смещения в соответствии с уравнениями с (4) по (6). Когда установлен режим адаптивного параметра, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя с использованием коэффициента усиления и смещения, вычисленные адаптивно секцией 93 вычисления параметра, вместо фиксированного значения усиления и смещения. Таким образом, генерируется опорное изображение для межуровневого предсказания. Секция 94 преобразования цветовой палитры сохраняет опорное изображение (изображение основного уровня, цветовая палитра которого преобразуется) для межуровневого предсказания, генерируемого таким образом в памяти 69 кадров.

Пример синтаксиса разностных значений параметров режима предсказания и параметры предсказания (коэффициент усиления и величина смещения каждого цветового компонента), декодированных секцией 62 декодирования без потерь, показан на фиг. 8. Эти параметры могут быть декодированы из кодированного потока усовершенствованного уровня секцией 62 декодирования без потерь. Например, синтаксис, показанный на фиг. 8, может быть включен в состав PPS или может быть включен в состав среза заголовка. Как описано выше, пример, в котором разностные значения параметров режима предсказания и параметры предсказания декодируются из заголовка среза выгодно в использовании, когда разностная величина цветовой палитры используется для каждой частичной области изображения. Дополнительно, флаг расширения "color_gamut_prediction_flag" и параметр режима предсказания "color_prediction_model" могут быть декодированы из SPS каждой последовательности. В этом случае, тот же режим предсказания поддерживается в одной последовательности.

В одном варианте осуществления, секция 62 декодирования без потерь может декодировать разностные значения параметров предсказания цветовой палитры из заголовка (среза заголовка), имеющие синтаксис общий для ассоциированных параметров взвешенного предсказания в соответствии с отображением, показанном в таблице 1. Повторное использование синтаксиса позволяет снизить избыточность синтаксиса и, таким образом, легко обеспечить совместимость при установке кодера и декодера и при обновлении версии. Тем не менее, флаг расширения "color_gamut_prediction_flag" и параметр режима предсказания "color_prediction_model" может отдельно декодироваться из SPS, PPS или среза заголовка. Секция 62 декодирования без потерь может декодировать флаг, указывающий, что либо ассоциированные параметры взвешенного предсказания, либо параметры предсказания цветовой палитры декодированы и может декодировать параметр для предсказания цветовой палитры в соответствии с декодированным флагом. Когда ассоциированные параметры взвешенного предсказания повторно используются между уровнями, секция 62 декодирования без потерь может не декодировать ассоциированные параметры взвешенного предсказания уникальные для усовершенствованного уровня, и вместо этого может декодировать разностные значения параметров предсказания цветовой палитры одним и тем же синтаксисом. В этом случае, синтаксис (с 21-ой по 38-ую строчки на фиг. 11) для параметров опорного кадра L1 может не использоваться. Значение переменной "num_ref_idx_10_active_minus1", соответствующей количеству опорных кадров (минус 1), как можно видеть, равно нулю (то есть количество изображений в основном уровне, цветовая палитра которых, преобразуется, равна 1).

В другом варианте осуществления, секция 62 декодирование без потерь может повторно использовать некоторые из ассоциированных параметров взвешенного предсказания для предсказания цветовой палитры. Например, указанный знаменатель "luma_log2_weight_denom" и "delta_chroma_log2_weight_denom", как показано на фиг. 11, могут повторно использоваться в качестве знаменателей коэффициента усиления компоненты яркости и цветоразностной составляющей. В этом случае, секция 62 декодирования без потерь не декодирует "delta_luma_log2_gain_denom" и "delta_chroma_log2_gain_denom", показанные на фиг. 8.

В примере модификации, секция 62 декодирования без потерь может декодировать разносные значения первого варианта параметров предсказания цветовой палитры из части опорного кадра L0 синтаксиса, общего для ассоциированных параметров взвешенного предсказания и может декодировать разносные значения второго варианта параметров предсказания цветовой палитры из части опорного кадра L1 синтаксиса. В этом случае, секция 93 вычисления параметров вычисляет первый вариант параметров предсказания цветовой палитры с использованием декодированных разносных значений в отношении первого варианта и вычисляет второй вариант параметров предсказания цветовой палитры с использованием декодированных разностных значений в отношении второго варианта. Затем, секция 94 преобразования цветовой палитры избирательно использует первый и второй варианты параметров предсказания для предсказания изображения усовершенствованного уровня, то есть для генерации опорного изображения для межуровневого предсказания.

В примере модификации, например, секция 94 преобразования цветовой палитры может выбрать вариант, который будет использоваться между первым и вторым вариантами параметров предсказания в соответствии с диапазоном, к которому принадлежит значение пикселя. Граничное значение, соответствующее границе между диапазонами для переключения вариантов, который будет использоваться, может быть известно заранее, как часть кодера и декодера или может быть установлено адаптивно. Когда граничное значение установлено адаптивно, секция 94 преобразования цветовой палитры определяет диапазон, которому относится значение пикселя в соответствии с указанной граничной информацией, дополнительно декодируется секцией 62 декодирования без потерь. Затем секция 94 преобразования цветовой палитры может выбрать вариант для использования между первым и вторым вариантами параметров предсказания на основании результата определения.

В описанном выше примере модификации, например, секция 94 преобразования цветовой палитры может выбрать вариант, который будет использоваться между первым и вторым вариантами параметров предсказания в соответствии с областью изображения, к которой принадлежит пиксель. Граничная область для переключения вариантов использования может быть известна заранее, как для кодера, так и для декодера, и может быть установлена адаптивно. Когда граничная область установлена адаптивно, секция 94 преобразования цветовой палитры определяет область изображения, к которой принадлежит пиксель в соответствии с граничной областью, указанной граничной информацией, дополнительно декодируется секцией 62 декодирования без потерь. Затем секция 94 преобразования цветовой палитры можно выбрать вариант для использования между первым и вторым вариантами параметров предсказания на основании результата определения.

В соответствии с примером модификации, ошибка предсказания цветовой палитры уменьшается по сравнению с известным способом, и таким образом, количество кодирования данных предсказанной ошибки, уменьшается. В результате, эффективность кодирования может быть улучшена. Способ обеспечения двух вариантов параметров предсказания может быть применен только к яркостной составляющей, а не к цветоразностной составляющей, как описано выше.

В одном варианте осуществления, когда битовая глубина усовершенствованного уровня больше, чем битовая глубина основного уровня, считается, что секция 94 преобразования цветовой палитры имеет возможность выполнить битовый сдвиг и преобразование цветовую палитры одновременно в момент предсказания изображения усовершенствованного уровня. Секция 62 декодирования без потерь декодирует управляющий флаг битового сдвига, указывающий на факт того, выполняется или нет битовый сдвиг в момент межуровневого предсказания одновременно с преобразованием цветовой палитры, как параметра управления усовершенствованного уровня. Когда управляющий флаг битового сдвига указывает на то, что битовый сдвиг выполняется одновременно с преобразованием цветовой палитры, секция 94 преобразования цветовой палитры выполняет битовый сдвиг одновременно с преобразованием цветовой палитры. В противном случае, например, секция 94 преобразования цветовой палитры выполняет битовый сдвиг одновременно с повышающей дискретизацией. Таким образом, момент времени, в котором выполняется битовый сдвиг адаптивно переключается, так что число этапов последовательности выполнения процесса межуровневого предсказания может быть сведено к минимуму. В результате, стоимость обработки межуровневого предсказания может быть снижено по сравнению с известным способом. Секция 62 декодирования без потерь может декодировать управляющий флаг битового сдвига отдельно для компоненты яркости и цветоразностной составляющей. В этом случае, может быть обеспечено более гибкое управление в соответствии с установкой каждого цветового компонента (установка размера изображения и битовой глубины). В общем, управляющий флаг битового сдвига может быть декодирован из среза заголовка, как показано на фиг. 19. Тем не менее, настоящее изобретение не ограничивается примером, но управляющий флаг битового сдвига может быть декодирован из другого места, например, SPS или PPS.

5. Последовательность выполнения этапов процесса декодирования согласно варианту осуществления

5-1. Блок-схема алгоритма

Фиг. 28 является блок-схемой алгоритма, показывающей пример схематической последовательности выполнения этапов процесса в момент декодирования согласно варианту осуществления. Для краткости описания, этапы процесса, не имеющие прямого отношения к технологии настоящего изобретения, опущены на чертеже.

Со ссылкой на фиг. 28, секция 5 демультиплексирования, во-первых, демультиплексирует многоуровневый мультиплексированный поток из кодированного потока основного уровня и кодированного потока усовершенствованного уровня (этап S60).

Далее, секция 6а декодирования BL выполняет процесс декодирования основного уровня для восстановления изображения основного уровня из кодированного потока основного уровня (этап S61).

Общая память 7 буферизует изображение (одно или оба из декодированного изображения и изображения с предсказанной ошибкой) основного уровня, генерируемого в процессе декодирования для основного уровня и повторно используемых параметров между уровнями (этап S62). Повторно используемые параметры между уровнями могут включать в себя ассоциированные параметры взвешенного предсказания.

Далее, секция 6b декодирования EL выполняет процесс декодирования для усовершенствованного уровня для восстановления изображения в усовершенствованном уровне (этап S63). В процессе декодирования для усовершенствованного уровня, как выполняется в данном документе, изображение основного уровня, буферизованное в общей памяти 7, выполняется повышающая дискретизация секцией 90 предсказания цветовой палитры так, что осуществляется преобразование цветовой палитры. Изображение основного уровня после преобразования цветовой палитры может быть использовано в качестве опорного изображения в межуровневом предсказании.

5-2. Процесс предсказания цветовой палитры

(1) Первый уровень

Фиг. 29 является блок-схемой алгоритма, показывающей первый пример последовательности выполнения этапов процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня. Описанный здесь процесс предсказания цветовой палитры повторяется для каждого изображения или среза.

Со ссылкой на фиг. 29, секция 91 повышающей дискретизации, во-первых, выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 7 в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем (этап S70).

Секция 62 декодирования без потерь декодирует параметр режима предсказания, указывающий режим предсказания, установленный для предсказания цветовой палитры, из PPS или среза заголовка (этап S72). Затем секция 92 установки режима предсказания устанавливает режим предсказания, указанный декодированным параметром режима предсказания в изображении (или срез) (этап S75).

Последующий процесс разветвляется в зависимости от режима предсказания, установленного секцией 92 установки режима предсказания (этапы S76 и S78). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 62 декодирования без потерь декодирует разносные значениями между коэффициентом усиления и величиной смещения и их предыдущими значениями, из PPS или среза заголовка (этап S80). Затем, секция 93 вычисления параметров вычисляет коэффициент усиления и величину смещения, которые используются для последнего изображения или среза, добавлением декодированных разносных значений коэффициента усиления и смещения к предыдущими значениями коэффициента усиления и смещения (этап S82).

Если выбранный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя, умножая значение пикселя основного уровня после повышенной дискретизации, на адаптивно рассчитанный или фиксированный коэффициент усиления и дополнительно добавлением величины смещения в соответствии с уравнениями с (4) по (6) (этап S84).

Если выбранный режим предсказания является режимом битового сдвига, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышенной дискретизации влево на заданную величину битового сдвига в соответствии со уравнениями с (1) по (3) (этап S86).

Когда все предсказанные значения пикселей на срезе, которые должны быть обработаны, рассчитываются, секция 94 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 69 кадров (этап S88).

После этого, когда существует последующее необработанное изображение или срез, процесс возвращается к этапу S70, и описанные выше процессы повторяются на следующем изображении или срезе (этап S90).

(2) Второй пример

Фиг. 30 является блок-схемой алгоритма, показывающей второй пример последовательности выполнения этапов процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Со ссылкой на фиг. 30, секция 62 декодирования без потерь сначала декодирует параметр режима предсказания с указанием режима предсказания, установленного для предсказания цветовой палитры, из SPS (этап S71). Затем секция 92 установки режима предсказания устанавливает режим предсказания, обозначенного декодированным параметром режима предсказания в последовательности (этап S73).

Процессы этапов с S74 по S90 повторяются для каждого изображения или среза последовательно.

Секция 91 повышающей дискретизации, прежде всего, выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 7 в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем (этап S74).

Дополнительно, процесс должен быть разветвлен в зависимости от режима предсказания, установленного секцией 92 установки режима предсказания (этапы S76 и S78). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 62 декодирования без потерь декодирует разностные значения между значениями коэффициента усиления и смещения и их предыдущими значениями, из PPS или среза заголовка (этап S80). Затем, секция 93 вычисления параметров вычисляет коэффициент усиления и смещения, которое используется для последнего изображения или среза, добавлением декодированных разностных значений коэффициента усиления и смещения соответственно с предыдущими значениями коэффициента усиления и смещения (этап S82).

Если выбранный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя, умножая значение пикселя основного уровня после повышенной дискретизации на адаптивно рассчитанный или фиксированный коэффициент усиления и дополнительно добавлением величины смещения в соответствии с уравнениями с (4) по (6) (этап S84).

Если выбранный режим предсказания является режимом битового сдвига, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышенной дискретизации влево на заданную величину битового сдвига в соответствии со уравнениями с (1) по (3) (этап S86).

Когда все предсказанные значения пикселов в срезе, которые должны быть обработаны, рассчитываются, секция 94 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 69 кадров (этап S88).

После этого, когда существует последующее необработанное изображение или срез в последовательности, процесс возвращается к этапу S74 и процесс повышающей дискретизации и преобразования цветовой палитры повторяются на следующем изображении или срезе (этап S90). Когда преобразование цветовой палитры на всех изображениях или всех срезах в последовательности заканчивается, то далее определяется, существует ли последующая последовательность (этап S92). Когда есть последующая последовательность, то процесс возвращается к этапу S71 и описанные выше процессы повторяются на последующей последовательности. (3) Третий пример

Фиг. 31 является блок-схемой алгоритма, показывающей третий пример последовательности выполнения этапов процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Со ссылкой на фиг. 31, секция 62 декодирование без потерь сначала декодирует параметр режима предсказания с указанием режима предсказания, установленный для предсказания цветовой палитры, из SPS (этап S71). Затем секция 92 установки режима предсказания устанавливает режим предсказания, обозначенный декодированным параметром режима предсказания в последовательности (этап S73).

Процессы этапов с S74 по S91 повторяются для каждого среза последовательно.

Секция 91 повышающей дискретизации, во-первых, выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 7, в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем (этап S74).

Дополнительно, процесс разветвляется в зависимости от режима предсказания, установленного секцией 92 установки режима предсказания (этапы S76 и S78). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 62 декодирования без потерь декодирует разные значения между значениями коэффициента усиления и смещения, закодированные путем повторного использования синтаксиса ассоциированных параметров взвешенного предсказания, и предыдущих значений, из среза заголовка (этап S81). Затем, секция 93 вычисления параметров вычисляет коэффициент усиления и смещения, которое используется для последнего среза путем добавления декодированных разностных значений коэффициента усиления и смещения с предыдущими значениями коэффициента усиления и смещения, соответственно (этап S82).

Если выбранный режим предсказания является режимом адаптивного параметра или режимом фиксированного параметра, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя, умножением значения пикселя основного уровня после повышающей дискретизации на адаптивно рассчитанный или фиксированный коэффициент усиления и дополнительно добавлением величины смещения в соответствии с уравнениями с (4) по (6) (этап S84). В соответствии с управляющим флагом битового сдвига, который может быть декодирован из кодированного потока, вычисление предсказанного значения пикселя в данном документе, может включать в себя битовый сдвиг для межуровневого предсказания. Дополнительно, битовый сдвиг может быть включен в состав расчета фильтра повышающей дискретизации на этапе S74.

Если выбранный режим предсказания является режимом битового сдвига, секция 94 преобразования цветовой палитры вычисляет предсказанное значение пикселя каждого пикселя путем сдвига значения пикселя основного уровня после повышающей дискретизации влево на заданную величину битового сдвига в соответствии с уравнениями с (1) по (3) (этап S86).

Когда все предсказанные значения пикселей на срезе, которые должны быть обработаны, рассчитываются, секция 94 преобразования цветовой палитры сохраняет изображение основного уровня после преобразования цветовой палитры, то есть, предсказанное изображение, которое является результатом предсказания цветовой палитры, в памяти 69 кадров (этап S88).

После этого, когда существует последующий необработанный срез в последовательности, процесс возвращается к этапу S74 и повышающая дискретизация и преобразование цветовой палитры повторяются на последующем срезе (этап S91). Когда преобразование цветовой палитры на всех срезах в последовательности заканчивается, то далее определяется, существует ли последующая последовательность (этап S92). Когда есть последующая последовательность, то процесс возвращается к этапу S71 и описанные выше процессы повторяются на последующей последовательности.

(4) Четвертый пример

Фиг. 32 является блок-схемой алгоритма, показывающей четвертый пример последовательности выполнения операций процесса предсказания цветовой палитры в процессе декодирования для усовершенствованного уровня.

Со ссылкой на фиг. 32, секция 62 декодирования без потерь сначала декодирует параметр режима предсказания с указанием режима предсказания, установленного для предсказания цветовой палитры из SPS (этап S71). Затем секция 92 установки режима предсказания устанавливает режим предсказания, в соответствии с декодированным параметром режима предсказания в последовательности (этап S73).

Процессы этапов с S74 по S91 повторяются для каждого среза в последовательности.

Секция 91 повышающей дискретизации, во-первых, выполняет повышающую дискретизацию изображения основного уровня, полученного из общей памяти 7, в соответствии с отношением разрешения между основным уровнем и усовершенствованным уровнем (этап S74).

Дополнительно, процесс разветвляется в зависимости от режима предсказания, установленного секцией 92 установки режима предсказания (этапы S76 и S78). Например, когда выбранный режим предсказания является режимом адаптивного параметра, секция 62 декодирования без потерь декодирует разностные значения первого и второго вариантов параметров предсказания части опорного кадра L0 и части опорного кадра L1 синтаксиса ассоциированных параметров взвешенного предсказания (этап S81b). Затем, секция 93 вычисления параметров вычисляет параметры предсказания первого варианта, которые будут использоваться для последнего среза, путем добавления декодированных разностных значений коэффициента усиления и смещения с предыдущими значениями коэффициента усиления и смещения по отношению к первому варианту (этап S83a). Аналогично, секция 93 вычисления параметров вычисляет второй вариант параметров предсказания, которые будут использоваться для последнего среза путем добавления декодированных разностных значений коэффициента усиления и смещения с предыдущими значениями коэффициента усиления и смещения, по отношению ко второму варианту (этап S83b). Каждый из первого и второго вариантов может включать в себя оптимальное значение, заданное для использования в первом и втором диапазоне в диапазоне значений пикселей. Вместо этого, первый и второй варианты могут каждый включать в себя оптимальное значение, заданное для использования в первой и второй областях изображения.

Последовательность выполнения операций последующих процессов может быть такой же, как в третьем примере, описанном со ссылкой на фиг. 31, за исключением того, что вариант параметров предсказания может быть изменен в соответствии с диапазоном, к которому принадлежит значение пиксела или область изображения, к которой принадлежит пиксель на этапе S84. На этапе S81b, секция 62 декодирование без потерь может дополнительно декодировать граничную информацию с указанием граничного значения между диапазонами для переключения вариантов параметров предсказания или граничной области между областями изображения из, например, среза заголовка или расширенного среза заголовка.

(5) Пример модификации последовательности выполнения операций обработки

В блок-схемы алгоритма, показанные на фиг. с 29 по 32, иллюстрируют примеры, в которых выполняется преобразование цветовой палитры после повышающей дискретизации. Однако, как описано со ссылкой на фиг. 25А и 25В, в примере модификации, когда пространственное разрешение (размер) усовершенствованного уровня выше, чем в пространственное разрешение основного уровня, секция 90 предсказания цветовой палитры может предсказать изображение усовершенствованного уровня путем преобразования цветовой палитры изображения основного уровня, и затем выполнить повышающую дискретизацию преобразованного изображения. В соответствии с последовательностью выполнения этапов процесса обработки, так как битовая глубина и количество пикселей должны быть преобразованы путем преобразования цветовой палитры уменьшается, по сравнению со случаем известной последовательности выполнения этапов процесса обработки, стоимость обработки межуровневого предсказания дополнительно снижается.

6. Пример применения

6-1. Применение в различных изделиях

Устройство 10 кодирования изображения и устройство 60 декодирования изображения в соответствии с вариантом осуществления, описанным выше, могут быть применены в различных электронных приборах, таких как передатчик и приемник для спутникового вещания, кабельного вещания, такие как кабельное телевидение в сети Интернет, доставка сигнала на терминалы через сотовую связь и т.п., записывающее устройство, на которое записываются изображения, например, оптический диск, магнитный диск или флэш-память, устройство воспроизведения, которое воспроизводит изображения с такого носителя и тому подобное. Ниже приведено описание четырех примеров применения.

(1) Первый пример применения

Фиг. 33 является схемой, иллюстрирующей пример схематичной конфигурации телевизионного устройства с применением вышеупомянутого варианта осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигналов, устройство 906 отображения, блок 907 обработки аудио сигнала, динамик 908, внешний интерфейс 909, блок 910 управления, пользовательский интерфейс 911 и шину 912.

Тюнер 902 извлекает сигнал желаемого канала из широковещательного сигнала, принимаемого через антенну 901, и демодулирует извлеченный сигнал. Тюнер 902 затем выводит кодированный битовый поток, полученный с помощью демодуляции в демультиплексор 903. То есть, тюнер 902 играет определенную роль в телевизионном устройстве 900, как средство доставки принятого кодированного потока, в котором кодируется изображение.

Демультиплексор 903 разделяет видеопоток и аудио поток в программе для просмотра из кодированного битового потока и выдает каждый из изолированных потоков в декодер 904. Демультиплексор 903 извлекает вспомогательные данные, такие как (электронный гид программ) EPG из кодированного битового потока и передает извлеченные данные в блок 910 управления. Здесь, демультиплексор 903 может декодировать кодированный битовый поток, когда он закодирован.

Декодер 904 декодирует видеопоток и аудио поток, которые вводятся из демультиплексора 903. Декодер 904 затем выводит видеоданные, сгенерированные в процессе декодирования, в блок 905 обработки видеосигнала. Кроме того, декодер 904 вырабатывает аудио данные, полученные в процессе декодирования, в блок 907 обработки аудио сигнала

Блок 905 обработки видеосигнала воспроизводит входные видеоданные из декодера 904 и отображает видеоданные на устройстве 906 отображения. Блок 905 обработки видеосигнала может также отображать изображения приложений, поставляемые через сеть на устройстве 906 отображения. Блок 905 обработки видеосигнала может дополнительно выполнять дополнительный процесс, например, снижение шума на видеоданных в соответствии с установками. Кроме того, блок 905 обработки видеосигнала может генерировать изображение GUI (графический интерфейс пользователя), такие как меню, кнопки или курсор и накладывать сгенерированное изображение на выходное изображение.

Устройство 906 отображения управляется посредством управляющего сигнала, поступающего из блока 905 обработки видеосигнала, и отображает видео или изображение на экране устройства отображения (например, жидкокристаллический дисплей, плазменный дисплей или OELD (органической электролюминесцентный дисплей)).

Блок 907 обработки аудио сигнала выполняет процесс воспроизведения, такой как D/A преобразование и усиление аудио данных, поступивших из декодера 904, и выводит звук через громкоговоритель 908. Блок 907 обработки аудио сигнала может также выполнять дополнительный процесс, например, шумоподавление на аудио данных.

Внешний интерфейс 909 представляет собой интерфейс, который соединяет телевизионное устройство 900 с внешним устройством или сетью. Например, декодер 904 может декодировать видеопоток или аудио поток, полученный через внешний интерфейс 909. Это означает, что внешний интерфейс 909 также играет определенную роль как средство доставки принятого кодированного потока, в котором кодируется изображение, в телевизионном устройстве 900.

Блок 910 управления включает в себя процессор, такой как CPU, и память, такую как RAM и ROM. Память хранит программу, исполняемую CPU, программные данные, данные EPG и данные, полученные через сеть. Программа, хранимая в памяти, считывается с помощью процессора при включении телевизионного устройства 900, и выполняются, например. При выполнении программы, процессор управляет работой телевизионного устройства 900 в соответствии с операционным сигналом, который поступает из пользовательского интерфейса 911, например.

Пользовательский интерфейс 911 подключен к блоку 910 управления. Пользовательский интерфейс 911 включает в себя кнопку и переключатель для пользователя, чтобы работать работой телевизионного устройства 900, а также приемную часть, которая принимает сигнал дистанционного управления, например. Пользовательский интерфейс 911 обнаруживает операцию пользователя посредством данных компонентов, генерирует операционный сигнал и выводит сгенерированный операционный сигнал в блок 910 управления.

Шина 912 взаимно соединяет тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 907 обработки аудио сигнала, внешний интерфейс 909 и блок 910 управления.

Декодер 904 в телевизионном устройстве 900, сконфигурированный вышеупомянутым образом, имеет функцию устройства 60 декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Таким образом, когда телевизионное устройство 900 выполняет предсказание цветовой палитры на уровнях, на которых цветовые палитры являются взаимно различными, увеличение количества кодирования может быть снижено и в тоже время, достигнута высокая точность предсказания.

(2) Второй пример применения

Фиг. 34 является схемой, иллюстрирующей пример схематичной конфигурации мобильного телефона с применением вышеупомянутого варианта осуществления. Мобильный телефон 920 включает в себя антенну 921, блок 922 связи, аудиокодек 923, динамик 924, микрофон 925, блок 926 камеры, блок 927 обработки изображения, блок 928 демультиплексирования, блок 929 записи/воспроизведения, устройство 930 отображения, блок 931 управления, операционный блок 932 и шину 933.

Антенна 921 подключена к блоку 922 связи. Динамик 924 и микрофон 925 соединены с аудиокодеком 923. Операционный блок 932 соединен с блоком 931 управления. Шина 933 взаимно соединяет блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображения, блок 928 демультиплексирования, блок 929 записи/воспроизведения, устройство 930 отображения и блок 931 управления.

Мобильный телефон 920 выполняет операцию, например, передачу/прием аудио сигнала, передачу/прием сообщения электронной почты или данных изображений, визуализацию изображения или запись данных в различных режимах работы, включающие в себя режиме аудио вызова, режим передачи данных, режим фотографирования и режим видеофона.

В режиме аудио вызова, аналоговый звуковой сигнал, генерируемый микрофоном 925, подается в аудиокодек 923. Аудиокодек 923 затем преобразует аналоговый аудио сигнал в данные аудио сигнала, выполняет преобразование A/D на преобразованных аудио данных и сжимает данные. Аудиокодек 923 затем выводит сжатые аудиоданные в блок 922 связи. Блока 922 связи кодирует и модулирует данные аудио сигнала, чтобы генерировать сигнал передачи. Блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает радиосигнал, принятый антенной 921, преобразовывает частоту сигнала и получает принятый сигнал. После этого, блок 922 связи демодулирует и декодирует принятый сигнал для генерирования аудио данных и выводит сгенерированные аудио данные в аудиокодек 923. Аудиокодек 923 распаковывает аудио данные, выполняет D/A преобразование на данных и генерирует аналоговый аудио сигнал. Аудиокодек 923 затем выводит аудио сигнал, поставляя сгенерированный аудио сигнал в динамик 924.

В режиме передачи данных, например, блок 931 управления генерирует данные символов, конфигурируя электронную почту, в соответствии с операцией пользователя через операционный блок 932. Блок 931 управления дополнительно отображает символы на устройстве 930 отображения. Кроме того, блок 931 управления генерирует данные электронной почты в соответствии с командами пользователя через операционный блок 932, и выводит сгенерированные данные электронной почты в блок 922 связи. Блок 922 связи кодирует и модулирует данные электронные почты для генерирования сигнала передачи. Затем блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Блок 922 связи дополнительно усиливает радиосигнал, принятый через антенну 921, преобразовывает частоту сигнала и получает принятый сигнал. После этого, блок 922 связи демодулирует и декодирует принятый сигнал, восстанавливает данные электронной почты и выводит восстановленные данные электронной почты в блок 931 управления. Блок 931 управления отображает контент сообщения электронной почты на устройстве 930 отображения и также сохраняет данные электронной почты на носителе блока 929 записи/воспроизведения.

Блок 929 записи/воспроизведения включает в себя произвольный носитель данных, который приспособлен для чтения и записи. Например, носитель данных может быть встроенным носителем информации, таким как RAM или флэш-память, или может быть внешним носителем данных, таким как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, USB (незанятое пространство битовой памяти) память или карта памяти.

В режиме фотографирования, например, блок 926 камеры формирует изображение объекта, генерирует данные изображения и выводит данные изображения в блок 927 обработки изображения. Блок 927 обработки изображения кодирует поступившие данные изображений с блока 926 камеры и сохраняет кодированный поток на носителе блока 929 записи/воспроизведения.

В режиме видеотелефона, например, блок 928 демультиплексирования мультиплексирует видеопоток, закодированный блоком 927 обработки изображений и аудио поток, поступивший из аудиокодека 923, и выводит мультиплексированный поток в блок 922 связи. Блок 922 связи кодирует и модулирует поток, чтобы генерировать сигнал передачи. Блок 922 связи затем передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Более того, блок 922 связи усиливает радиосигнал, принятый через антенну 921, преобразует частоту сигнала и получает принятый сигнал. Сигнал передачи и сигнал приема могут включать в себя закодированный поток битов. Затем блок 922 связи демодулирует и декодирует сигнал приема, чтобы восстановить поток и выводит восстановленный поток в блок 928 демультиплексирования. Блок 928 демультиплексирования разделяет поток видео и аудио поток из входного потока и выдает поток видео и аудио поток в блок 927 обработки изображений и аудиокодек 923, соответственно. Блок 927 обработки изображения декодирует видеопоток для генерации видеоданных. Видеоданные затем подаются на устройство 930 отображения, которое отображает серию изображений. Аудиокодек 923 распаковывает данные и выполняет D/A преобразование на аудио потоке для генерации аналогового аудио сигнала. Аудиокодек 923 затем подает сгенерированный аудио сигнал в динамик 924 для воспроизведения звука.

Блок 927 обработки изображения в мобильном телефоне 920, сконфигурированного вышеупомянутым образом, имеет функцию устройства 10 кодирования изображения и устройства 60 декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Таким образом, когда мобильный телефон 920 выполняет предсказание цветовой палитры на уровнях, на которых цветовые палитры являются взаимно различными, увеличение количества кодирования может быть снижено и в то время обеспечена высокая точность предсказания.

(3) Третий пример применения

Фиг. 35 является схемой, иллюстрирующей пример схематической конфигурации устройства записи/воспроизведения с применением вышеупомянутого варианта осуществления. Устройство 940 записи/воспроизведения кодирует аудиоданные и видеоданные широковещательной программы, принятые и записанные на носителе записи, например. Устройство 940 записи/воспроизведения устройство может также кодировать аудиоданные и видеоданные, полученные от другого устройства и записывать данные на носителе записи, например. В ответ на команду пользователя, например, устройство 940 записи/воспроизведения воспроизводит данные, записанные на носителе записи, на мониторе и посредством громкоговорителя. Устройство 940 записи/воспроизведения в это время декодирует аудиоданные и видеоданные.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, внешний интерфейс 942, кодер 943, HDD (жесткий диск) 944, драйвер 945 диска, селектор 946, декодер 947, OSD (экранный индикатор) 948, блок 949 управления и пользовательский интерфейс 950.

Тюнер 941 извлекает сигнал желаемого канала из широковещательной сигнала, принятый антенной (не показано), и демодулирует выделенный сигнал. Тюнер 941 затем выводит кодированный битовый поток, полученный с помощью демодуляции на селектор 946. То есть тюнер 941 играет определенную роль в качестве средства доставки сигнала в устройстве 940 записи/воспроизведения.

Внешний интерфейс 942 представляет собой интерфейс, который соединяет устройство 940 записи/воспроизведения с внешним устройством или сетью. Внешний интерфейс 942 может быть, например, интерфейсом IEEE 1394, сетевым интерфейсом, USB интерфейсов или интерфейсом флэш-памяти. Видеоданные и аудио данные, принятые через внешний интерфейс 942, поступают на кодер 943, например. То есть, внешний интерфейс 942 играет определенную роль в качестве средства доставки сигнала в устройстве 940 записи/воспроизведения.

Кодер 943 кодирует видеоданные и аудиоданные, когда видеоданные и аудио данные поступают из внешнего интерфейса 942 в не кодируемом виде. Кодер 943 затем выводит кодированный битовый поток в селектор 946.

HDD 944 записывает на внутренний жесткий диск закодированный битовый поток, в котором контент данных, такой как видео и аудио данные сжимается, различные программы и другие данные. HDD 944 считывает эти данные с жесткого диска при воспроизведении видео и аудио.

Привод 945 диска записывает и считывает данные на/с носителя записи, который установлен в дисковод. Носитель записи, установленный на приводе 945 диска, может быть, например, DVD-диском (например, DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R или DVD+RW) или Blu-ray (зарегистрированный товарный знак) диск.

Селектор 946 выбирает закодированный битовый поток, поступивший из тюнера 941 или кодера 943 при записи видео и аудио, и выводит выбранный закодированный битовый поток на жесткий диск 944 или дисковод 945. При воспроизведении видео и аудио, с другой стороны, селектор 946 выводит кодированный битовый поток, поступивший из жесткого диска 944 или дисковода 945, в декодер 947.

Декодер 947 декодирует закодированный битовый поток для генерации видеоданных и аудио данных. Декодер 904 затем выводит сгенерированные видеоданные на OSD 948 и генерируемые аудиоданные на внешний динамик.

OSD 948 воспроизводит видеоданные, поступившие из декодера 947, и отображает видео. OSD 948 может также наложить изображение GUI, такое как меню, кнопки или курсор, на отображаемое изображение.

Блок 949 управления включает в себя процессор, такой как CPU и память, такую как RAM и ROM. Память хранит программу, исполняемую процессором, а также данные программы. Программа, хранимая в памяти, считывается с помощью процессора при включении устройства 940 записи/воспроизведения и выполняется, например. При выполнении программы, процессор управляет работой устройства 940 записи/воспроизведения в соответствии с операционным сигналом, который поступает из пользовательского интерфейса 950, например.

Пользовательский интерфейс 950 подключен к блоку 949 управления. Пользовательский интерфейс 950 включает в себя кнопку и переключатель для пользователя, чтобы управлять устройством 940 записи/воспроизведения, а также приемную часть, которая принимает сигнал дистанционного управления, например. Пользовательский интерфейс 950 обнаруживает операцию пользователя через эти компоненты, генерирует рабочий сигнал и выводит сгенерированный сигнал операции на блок 949 управления.

Кодер 943 в устройстве 940 записи/воспроизведения, сконфигурированного вышеупомянутым образом, имеет функцию устройства 10 кодирования изображения в соответствии с вышеупомянутым вариантом осуществления. С другой стороны, декодер 947 имеет функцию устройства 60 декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Таким образом, когда устройство 940 записи /воспроизведения выполняет предсказание цветовой палитры на уровнях, на которых цветовые палитры являются взаимно различными, увеличение количества кодирования может быть подавлено, и в то время обеспечена высокая точность предсказания.

(4) Четвертый пример применения

Фиг. 36 показывает пример схематичной конфигурации устройства захвата изображения с применением вышеупомянутого варианта осуществления. Устройство 960 формирования изображения формирует изображение объекта, генерирует изображение, кодирует данные изображения и записывает данные на носителе записи.

Устройство 960 формирования изображения включает в себя оптический блок 961, блок 962 формирования изображения, блок 963 обработки сигнала, блок 964 обработки изображения, дисплей 965, внешний интерфейс 966, память 967, драйвер 968, OSD 969, блок 970 управления, пользовательский интерфейс 971 и шину 972.

Оптический блок 961 подключен к блоку 962 формирования изображения. Блок 962 формирования изображения подключен к блоку 963 обработки сигнала. Дисплей 965 соединен с блоком 964 обработки изображений. Пользовательский интерфейс 971 подключен к блоку 970 управления. Шина 972 взаимно соединяет блок 964 обработки изображения, внешний интерфейс 966, память 967, дисковод 968, OSD 969 и блок 970 управления.

Оптический блок 961 включает в себя фокусный линзы и механизм диафрагмы. Оптические блок 961 формирует оптическое изображение объекта на поверхности формирования изображения блока 962 формирования изображения. Блок 962 формирования изображения включает в себя датчик изображения, такой как CCD (прибор с зарядовой связью) или CMOS (комплементарный металл-оксидный полупроводник), и выполняет фотоэлектрическое преобразование для преобразования оптического изображения, сформированного на поверхности формирования изображения, в сигнал изображения в виде электрического сигнала. После этого блок 962 формирования изображения выводит сигнал изображения в блок 963 обработки сигнала.

Блок 963 обработки сигнала выполняет различные процессы обработки сигнала камеры, такие как регулировка динамического диапазона контраста, коррекция градации яркости и хроматическая коррекция сигнала изображения, поступающего из блока 962 формирования изображения. Блок 963 обработки сигнала выводит данные изображения, которые были обработаны, в блок 964 обработки изображения.

Блок 964 обработки изображения кодирует входные данные изображения, которые поступили из блока 963 обработки сигналов, и генерирует кодированные данные. Блок 964 обработки изображения затем выводит сгенерированные кодированные данные, во внешний интерфейс 966 или дисковод 968. Блока 964 обработки изображения также декодирует кодированные данные, поступившие из внешнего интерфейса 966 или дисковода 968, для формирования данных изображения. Блок 964 обработки изображения затем выводит сгенерированные данные изображения на дисплей 965. Кроме того, блок 964 обработки изображения может выводить на дисплей 965 данные изображения, поступившие из блока 963 обработки сигналов для отображения изображения. Кроме того, блок 964 обработки изображения может накладывать данные, полученные из OSD 969, на изображение, которое выводится на дисплей 965.

OSD 969 генерирует изображение GUI, такое как меню, кнопки или курсор, и выводит сформированное изображение в блок 964 обработки изображения.

Внешний интерфейс 966 выполнен в виде USB терминала ввода/вывода, например. Внешний интерфейс 966 подключает устройство 960 формирования изображения к принтеру при печати изображения, например. Более того, дисковод подключен к внешнему интерфейсу 966, по мере необходимости. Съемный носитель информации, такой как магнитный диск или оптический диск установлен в дисковод, например, так, что программа считывается со съемного носителя информация, который может быть установлен в устройство 960 формирования изображения. Внешний интерфейс 966 может быть также выполнен в виде сетевого интерфейса, который подключен к сети, такой как локальная сеть или Интернет. То есть, внешний интерфейс 966 играет определенную роль в качестве средства доставки информации в устройстве 960 формирования изображения.

Носитель записи, установленный в дисковод 968, может быть произвольным съемным носителем информации для чтения и записи, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Более того, носитель информации может быть установлен на дисковод 968 несъемным способом, например, как встроенный жесткий диск или SSD (твердотельный накопитель), например.

Блок 970 управления включает в себя процессор, такой как CPU и память, такую как RAM и ROM. Память хранит программу, исполняемую процессором, а также данные программы. Программа сохраняется в памяти для чтения с помощью процессора при включении устройства 960 формирования изображений, и затем выполняется. При выполнении программы, процессор управляет работой устройства 960 формирования изображения в соответствии с операционным сигналом, который поступает из пользовательского интерфейса 971, например.

Пользовательский интерфейс 971 подключен к блоку 970 управления. Пользовательский интерфейс 971 включает в себя кнопку и переключатель для пользователя для управления устройством 960 формирования изображений, например. Пользовательский интерфейс 971 обнаруживает операцию пользователя посредством компонентов, генерирует рабочий сигнал и выводит сгенерированный сигнал операции на блок 970 управления.

Блок 964 обработки изображения в устройстве 960 формирования изображения, сконфигурированного указанным выше образом, имеет функцию устройства 10 кодирования изображения и устройства 60 декодирования изображения в соответствии с вышеупомянутым вариантом осуществления. Таким образом, когда устройство 960 формирования изображения выполняет предсказание цветовой палитры на уровнях, на которых цветовые палитры являются взаимно различными, увеличение количества кодирования может быть подавлено, и в тоже время обеспечена высокая точность предсказания.

6-2. Различные примеры использования масштабируемого видеокодирования

Преимущества масштабируемого видеокодирования, как описано выше, могут быть применены в различных примерах использования. Три примера использования будут описаны ниже.

(1) Первый пример

В первом примере, масштабируемое видеокодирование используется для селективной передачи данных. Со ссылкой на фиг. 37, система 1000 передачи данных включает в себя устройство 1001 хранения данных потока и сервер 1002 доставки. Сервер 1002 доставки соединен с некоторыми терминальными устройствами через сеть 1003. Сеть 1003 может представлять собой сеть проводную или беспроводной сеть или их объединение. Фиг. 37 показывает PC (персональный компьютер) 1004, AV устройство 1005, планшетное устройство 1006 и мобильный телефон 1007, как примеры терминальных устройств.

Устройство 1001 хранения данных потока хранит, например, данные 1011 потока, включающие в себя данные мультиплексированного потока, сгенерированные устройством 10 кодирования изображения. Данные мультиплексированного потока включают в себя кодированные данные потока основного уровня (BL) и кодированные данные потока усовершенствованного уровня (EL). Сервер 1002 доставки считывает данные 1011 потока, сохраненные в устройстве 1001 хранения данных потока, и доставляет, по меньшей мере, часть считываемых данных 1011 потока, в компьютер 1004, AV устройство 1005, планшетное устройство 1006 и мобильный телефон 1007 через сеть 1003.

Когда поток доставляется в терминальное устройство, сервер 1002 доставки выбирает поток, который должен быть доставлен, на основании некоторого условия, такого как возможности терминального устройства или среды связи. Например, сервер 1002 доставки может не допустить возникновение задержек при осуществлении коммуникации в терминальном устройстве, или возникновение переполнения или перегрузки процессора, вызванного не обеспечением кодированного потока, имеющего высокое качество изображения, превышающее качество изображения, которое может быть обработано с помощью терминального устройства. Сервер 1002 доставки может также не допустить использование коммуникационных диапазонов сети 1003, не поставляя кодированный поток, имеющий высокое качество изображения. С другой стороны, когда отсутствует основание для подобных случаев, как полагают, на основании соответствующих условий соглашения с пользователем или иного условия, сервер 1002 доставки может доставить весь мультиплексированный поток на терминальное устройство.

В примере на фиг. 37, сервер 1002 доставки считывает данные 1011 потока из устройства 1001 хранения данных потока. Затем, сервер 1002 доставки доставляет данные 1011 потока непосредственно в PC 1004, имеющий высокие возможности обработки. Поскольку AV устройство 1005 имеет низкие возможности обработки, сервер 1002 доставки формирует поток данных 1012, содержащие только кодированный поток основного уровня, извлеченный из потока данных 1011, и доставляет поток данных 1012 в AV устройство 1005. Сервер 1002 доставки доставляет поток данных 1011 непосредственно в планшетное устройство 1006, способного устанавливать связь с высокой скоростью передачи данных. Поскольку мобильный телефон 1007 может взаимодействовать с низкой скоростью передачи, сервер 1002 доставки поставляет поток данных 1012, содержащие только кодированный поток основного уровня на мобильный телефон 1007.

С помощью мультиплексированного потока, таким образом, объем трафика, подлежащего передаче, может адаптивно регулировать. Величина кода данных 1011 потока уменьшается по сравнению со случаем, когда кодируется каждый уровень отдельно и, таким образом, даже если весь поток данных 1011 поступает, нагрузка на сеть 1003 может быть уменьшена. Более того, ресурсы устройства 1001 хранения данных потока используются рационально.

Аппаратные конфигурации термальных устройств отличается от устройства к устройству. Кроме того, возможности приложений, запускаемые на терминальных устройствах, разнообразны. Дополнительно, коммуникационные возможности сети 1003 изменяются. Функциональные возможности для передачи данных могут меняться в каждый период времени в связи с наличием другого трафика. Таким образом, прежде чем начать доставку потоковых данных, сервер 1002 доставки может получить информацию об аппаратной конфигурации терминального устройства и приложения терминального устройства, и сетевую информацию о коммуникационной возможности сети 1003 через сигнализацию с терминальным устройством. Затем, сервер 1002 доставки может выбрать поток, который должен быть доставлен на основании полученной информации.

Кстати, уровень, который должен быть декодирован, может быть получен с помощью терминального устройства. Например, компьютер 1004 может отображать извлеченное изображение основного уровня и декодированное из принятого мультиплексированного потока на своем экране. После генерации данных 1012 потока, извлечением кодированного потока основного уровня из принятого мультиплексированного потока, компьютер 1004 может вызвать носитель данных для хранения данных 1012 потока или передачи потоковых данных в другое устройство.

Конфигурация системы 1000 передачи данных, показанной на фиг. 37, является только примером. Система 1000 передачи данных может включать в себя любое количество устройств 1001 хранения данных потока, серверов 1002 доставки, сети 1003 и терминальных устройств.

(2) Второй пример

Во втором примере, масштабируемое видеокодирование используется для передачи данных посредством множества коммуникационных каналов. Со ссылкой на фиг. 38, система 1100 передачи данных включает в себя радиовещательную станцию 1101 и терминальное устройство 1102. Радиовещательная станция 1101 транслирует кодированный поток 1121 основного уровня по наземному каналу 1111. Радиовещательная станция 1101 также передает закодированный поток 1122 усовершенствованного уровня на терминальное устройство 1102 через сеть 1112.

Терминальное устройство 1102 имеет приемную функцию, чтобы принимать сигнал наземного вещания, переданный радиовещательной станцией 1101, и принимает закодированный поток 1121 основного уровня по наземному каналу 1111. Терминальное устройство 1102 также имеет коммуникационную функцию для взаимодействия с радиовещательной станцией 1101 и получает кодированный поток 1122 усовершенствованного уровня через сеть 1112.

После приема кодированного потока 1121 основного уровня, например, в ответ на команду пользователя, терминальное устройство 1102 может декодировать изображение основного уровня из принятого кодированного потока 1121, и отобразить изображение основного уровня на экране. Альтернативно, терминальное устройство 1102 может вызвать носитель данных сохранить декодированное изображение основного уровня или передать изображение основного уровня на другое устройство.

После приема кодированного потока 1122 усовершенствованного уровня через сеть 1112, например, в ответ на команду пользователя, терминальное устройство 1102 может генерировать мультиплексированный поток посредством мультиплексирования кодированного потока 1121 основного уровня и кодированного потока 1122 усовершенствованного уровня. Терминальное устройство 1102 также может декодировать усовершенствованное изображение из кодированного потока 1122 усовершенствованного уровня для отображения усовершенствованного изображения на экране. Альтернативно, терминальное устройство 1102 может вызвать носитель данных сохранить декодированное изображение усовершенствованного уровня или передать изображение усовершенствованного уровня на другое устройство.

Как описано выше, кодированный поток каждого уровня, содержащийся в мультиплексированном потоке, может быть передан через другой коммуникационный канал для каждого уровня. Таким образом, коммуникационная задержка или возникновение переполнения могут быть сокращены путем распределения нагрузки на отдельные каналы.

Используемый для передачи коммуникационный канал может быть динамически выбран в соответствии с некоторым условием. Например, кодированный поток 1121 основного уровня, величина данных которого относительно велика, может быть передан по каналу связи, имеющий более широкую полосу частот, и кодированный поток 1122 усовершенствованного уровня, величина данных которого относительно невелика, может быть передан по коммуникационному каналу, имеющий узкую полосу пропускания. Канал связи, на котором передается кодированный поток 1122 конкретного уровня, может быть переключен в соответствии с пропускной способностью канала связи. Таким образом, нагрузка на отдельные каналы может быть уменьшена более эффективно.

Конфигурация системы 1100 передачи данных, показанной на фиг. 38, является только примером. Система 1100 передачи данных может включать в себя любое количество каналов связи и терминальных устройств. Конфигурация системы, описанной здесь, может быть также применена для иных целей, чем для радиовещания.

(3) Третий пример

В третьем примере, масштабируемое видеокодирование используется для хранения видеосигнала. Со ссылкой на фиг. 39, система 1200 передачи данных включает в себя устройство 1201 формирования изображения и устройство 1202 хранения данных потока. Устройство 1201 формирования изображения выполняет масштабируемое кодирование данных изображения, сформированных изображаемым субъектом 1211, для генерирования мультиплексированного потока 1221. Мультиплексированный поток 1221 включает в себя закодированный поток основного уровня и кодированный поток усовершенствованного уровня. Затем, устройство 1201 формирования изображения поставляет мультиплексированный поток 1221 в устройство 1202 хранения данных потока.

Устройство 1202 хранения данных потока сохраняет мультиплексированный поток 1221, поставленный из устройства 1201 формирования изображения, имеющий различное качество изображения для каждого режима. Например, устройство 1202 хранения данных потока извлекает кодированный поток 1222 основного уровня из мультиплексированного потока 1221 в штатном режиме и сохраняет извлеченный закодированный поток 1222 основного уровня. В режиме высокого качества, напротив, устройство 1202 хранения данных потока сохраняет мультиплексированный поток 1221, как таковой. Соответственно, устройство 1202 хранения данных потока может хранить поток высокого качества с большим количеством данных только тогда, когда требуется записать видеосигнал высокого качества. Поэтому, ресурсы памяти могут быть сохранены, и в тоже время не оказывая влияния на ухудшение качества изображения.

Например, предполагается, что устройство 1201 формирования изображения представляет собой камеру наблюдения. В случае, когда отсутствует объект наблюдения (например, отсутствует злоумышленник) в захваченном изображении, то выбирается штатный режим работы. В этом случае, захваченное изображение может быть не важно, и приоритет отдается сокращению количества данных, так что видео записывается в низком качестве изображения (то есть, сохраняется только кодированный поток 1222 основного уровня). В иной ситуации, когда объект наблюдения (например, субъект 1211 является нарушителем) появляется в захваченном изображении, выбирается режим высокого качества. В этом случае, захваченное изображение может быть важным и приоритет отдается высокому качеству изображения так, что видео записывается с высоким качеством изображения (то есть, сохраняется мультиплексированный поток 1221).

В примере на фиг. 39, режим выбирается устройством 1202 хранения данных потока на основании, например, результата анализа изображения. Тем не менее, настоящий вариант осуществления не ограничивается таким примером, и устройство 1201 формирования изображения может также выбирать режим работы. В последнем случае, устройство 1201 формирования изображения может предоставить кодированный поток 1222 основного уровня в устройство 1202 хранения данных потока в штатном режиме и мультиплексированный поток 1221 в устройство 1202 хранения данных потока в режиме высокого качества.

Критерии выбора режима работы могут быть любыми критериями. Например, режим может быть переключен в соответствии с уровнем громкости голоса, принятого через микрофон, или голосовым сигналом. Режим может быть также периодически переключаться. Кроме того, режим работы может переключаться в ответ на команды пользователя. Кроме того, количество выбираемых режимов работы может быть любым количеством, до момента превышения количества, расположенных в иерархическом порядке, уровней.

Конфигурация системы 1200 передачи данных, показанной на фиг. 39, является только примером. Система 1200 передачи данных может включать в себя любое количество устройств 1201 формирования изображения. Конфигурация системы, описанная здесь, может быть также применена для иных целей, нежели, чем камера наблюдения.

6-3. Другое

(1) Применение во многоракурсном кодеке

Многоракурсный кодек является своего рода многоуровневым кодеком и представляет собой систему кодирования изображения для кодирования и декодирования так называемого многоракурсного видео. Фиг. 40 показывает пояснительный вид, иллюстрирующий многоракурсный кодек. Со ссылкой на фиг. 40, показаны последовательности трехракурсных кадров, захваченных из трех точек просмотра. ID ракурса (view_id) назначается для каждого ракурса. Среди множества этих ракурсов, один ракурс указывается в качестве основного ракурса. Другие ракурсы, отличные от основного ракурса, называются дополнительными ракурсами. В примере на фиг. 23, ракурс, ID которого является "0", является основным ракурсом, и два ракурса, ID которых является "1" или "2", являются дополнительными ракурсами. Когда эти ракурсы иерархически кодируются, каждый ракурс может соответствовать уровню. Как показано стрелками на фиг. 40, изображение дополнительного ракурса кодируется и декодируется посредством обращения к изображению основного ракурса (изображение другого дополнительного ракурса, также может быть отнесено).

Фиг. 41 является блок-схемой, показывающей схематичную конфигурацию устройства 10v кодирования изображения, поддерживающее многоракурсный кодек. Со ссылкой на фиг. 41, устройство 10v кодирования изображения включает в себя секцию 1с кодирования первого уровня, секцию 1d кодирования второго уровня, общую память 2 и секцию 3 мультиплексирования.

Функция секции 1с кодирования первого уровня является такой же, что и секция 1а кодирования BL, описанная со ссылкой на фиг. 4, за исключением того, что вместо изображения основного уровня, на вход поступает изображение основного ракурса. Секция 1с кодирования первого уровня кодирует изображение основного ракурса для генерации кодированного потока первого уровня. Функция секции 1d кодирования второго уровня является такой же, что и секция 1b кодирования EL, описанная со ссылкой на фиг. 4, за исключением того, что вместо изображения усовершенствованного уровня, на вход поступает изображение дополнительного ракурса. Секция 1d кодирования второго уровня кодирует изображение дополнительного ракурса для генерации кодированного потока второго уровня. Общая память 2 хранит информацию, совместно используемую между уровнями. Секция 3 мультиплексирования мультиплексирует кодированный поток первого уровня, генерируемого секцией 1 с кодирования первого уровня и кодированный поток второго уровня, генерируемого секцией 1d кодирования второго уровня для генерирования многоуровневого мультиплексированного потока.

Фиг. 42 является блок-схемой, показывающей схематичную конфигурацию устройства 60v декодирования изображения, поддерживающего многоракурсный кодек. Со ссылкой на фиг. 42, устройство 60v декодирования изображения включает в себя секцию 5 демультиплексирования, секцию 6 с декодирования первого уровня, секцию 6d декодирования второго уровня и общую память 7.

Секция 5 демультиплексирования демультиплексирует многоуровневый мультиплексированный поток в кодированный поток первого уровня и кодированный поток второго уровня. Функция секции 6 с декодирования первого уровня является такой же, что и секции 6а декодирования BL, описанной со ссылкой на фиг. 5, за исключением того, что кодированный поток, в котором, вместо изображения основного уровня поступает на вход кодированное изображение основного ракурса. Секция 6с декодирования первого уровня декодирует изображение основного ракурса из кодированного потока первого уровня. Функция секции 6d декодирования второго уровня является той же самой, что и секции 6b декодирования EL, описанной со ссылкой на фиг. 5, за исключением того, что кодированный поток, в котором, вместо изображения усовершенствованного уровня, поступает на вход кодированное изображение дополнительного ракурса. Секция 6d декодирования второго уровня декодирует изображение дополнительного ракурса из кодированного потока второго уровня. Общая память 7 хранит информацию, которая совместно используется между уровнями.

Когда данные многоракурсного изображения кодируются или декодируются и когда цветовая палитра отличается между ракурсами, процесс преобразования цветовой палитры между ракурсами может управляться в соответствии с технологией, описанной в настоящем изобретении. Таким образом, как и в случае масштабируемого видеокодирования, увеличение количества кодирования также может быть уменьшено в многоракурсном кодеке, и в тоже время, может быть обеспечена как высокая точность предсказания цветовой палитры.

(2) Применение в потоковой технологии

Технология в настоящем изобретении может быть также применена к протоколу потоковой передачи. В MPEG-DASH (стандарт динамической адаптивной потоковой передачи HTTP), например, множество кодированных потоков, имеющие взаимно различные параметры, такие как разрешение, подготавливаются с помощью потокового сервера заранее. Затем, потоковый сервер динамически выбирает соответствующие данные для потоковой передачи из множества кодированных потоков и доставляет выбранные данные. В таком протоколе потоковой передачи, предсказание цветовой палитры между кодированных потоков может управляться в соответствии с технологией, описанной в настоящем изобретении.

7. Заключение

Варианты осуществления технологии в настоящем изобретении были подробно описаны выше со ссылкой на фигуры с 1 по 42. В вышеописанных вариантах осуществления, используется разностная величина от предыдущего значения параметра предсказания, когда изображение второго уровня (например, усовершенствованного уровня), имеющее иную цветовую палитру, чем первого уровня (например, основного уровня), предсказанное из изображения первого уровня, декодируется из кодированного потока. Параметр предсказания вычисляется с помощью декодированного разностного значениями изображение второго уровня предсказывается с использованием расчетного параметра предсказания. Даже тогда, когда оптимальный параметр предсказания динамически изменяться для предсказания (преобразования) цветовой палитры, изменение значения параметра считается малым для каждого кадра. Соответственно, по сравнению со способом кодирования значения самого параметра предсказания, увеличение количества кодирования может быть снижено, и в то время высокая точность предсказания достигается в масштабируемости цветовой палитры способом кодирования и декодирования вышеописанной разностной величины.

В вышеописанных вариантах осуществления параметр предсказания, используемый для предсказания цветовой палитры, включает в себя коэффициент усиления и величину смещения, на которые значение пикселя каждой цветовой составляющей первого уровня умножается. Оптимальные значения коэффициента усиления и смещения существенно не изменяются для каждого кадра. Соответственно, выгодно использовать способ кодирования и декодирования вышеописанной разностной величины коэффициента усиления и смещения. Настоящее изобретение не ограничивается данным примером, но разностная величина только одного коэффициента усиления или величины смещения может быть закодирована и декодирована. Разностная величина может быть рассчитана только для одного знаменателя или числителя, соответствующие коэффициент усиления или разностное значение могут быть вычислены для обоих знаменателя и числителя.

В описанных выше вариантах осуществления, когда параметр режима предсказания указывает на режим адаптивного параметра, изображение второго уровня предсказывается с использованием параметра предсказания, рассчитанного с помощью разностной величины. Соответственно, технология по настоящему изобретению может быть применена не только к случаю, в котором используется режим адаптивного параметра, но и к случаю, в котором выбран режим предсказания из кандидатов из множества режимов предсказания, в том числе режим битового сдвига и режим фиксированного параметра.

В одном варианте осуществления, даже когда режим предсказания отличается от предшествующего кадра и последнего кадра, значение параметра предсказания, соответствующее величине битового сдвига или значению фиксированного параметра предсказания, может использоваться в качестве основы для разностной величины. Соответственно, разностное значение параметра предсказания может кодироваться во всех кадрах, отличных от начального кадра, когда выбран оптимальный режим предсказания для каждого кадра.

В одном варианте осуществления, параметр режима предсказания может кодироваться и декодироваться для каждой последовательности. В этом случае, поскольку режим предсказания не меняется в одной последовательности, сложность вычисления разностной величины может быть уменьшена. В результате, можно легко смонтировать устройство. Дополнительно, можно уменьшить количество кодирования для параметра режима предсказания.

В одном варианте осуществления, разностная величина параметра предсказания может быть декодирована для каждого среза. Когда используется другая цветовая палитра для каждой частичной области изображения, оптимальная цветовая палитра может быть предсказана для каждой частичной области и, таким образом, эффективность кодирования может быть повышена.

В одном варианте осуществления, разностная величина параметра предсказания декодируется из заголовка, имеющего общий синтаксис для ассоциированного параметра взвешенного предсказания. В этом случае, избыточность синтаксиса уменьшается и, таким образом, легко обеспечить совместимость, когда кодер и декодер установлены, и обновляются варианты. В примере модификации, два варианта параметра предсказания для предсказания цветовой палитры могут быть закодированы и декодированы с использованием обоих части опорного кадра L0 и части опорного кадра L1 синтаксиса ассоциированного параметра взвешенного предсказания. В этом случае, так как может использоваться модель предсказания цветовой палитры, имеющая большую гибкость и высокую точность предсказания, эффективность кодирования масштабируемости цветовой палитры может быть улучшена.

В одном варианте осуществления, управляющий параметр, указывающий на факт того, что битовый сдвиг в момент межуровневого предсказания выполняется одновременно с преобразованием цветовой палитры, может быть закодирован и декодирован. В этом случае, период времени, в котором выполняется битовый сдвиг (например, одновременно с повышающей дискретизацией или одновременно с преобразованием цветовой палитры), адаптивно переключается, и стоимость обработки межуровневого предсказания может быть снижена. В примере модификации, преобразование цветовой палитры может быть выполнено до осуществления повышающей дискретизации. В этом случае, так как число пикселей, которые должны быть подвергнуты преобразованию цветовой палитры, уменьшается, стоимость обработки преобразования цветовой палитры может быть дополнительно уменьшена.

Термины "CU", "PU" и "TU", использованные в настоящем описании, относятся к логическим блокам, включающие в себя синтаксис, ассоциированный с индивидуальным блоком в HEVC. Когда фокусируются только на индивидуальные блоки, которые являются частями изображения, блоки могут быть относиться к терминам "блок (СВ) кодирования", "блок (СВ) предсказания", "блок (ТВ) преобразования». СВ формируется иерархическим делением кодового дерева блока (СТВ) в форме квадродерева. Одно квадродерево соответствует СТВ и логический блок, соответствующий СТВ, называют блоком (CTU) кодового дерева. СТВ и СВ в HEVC играют ту же роль, что и макроблок в Н.264/AVC, СТВ и СВ являются блоками обработки процесса кодирования. Тем не менее, СТВ и СВ отличаются от макроблока тем, что размеры СТВ и СВ не фиксированы (размер макроблока обычно равен 16×16 пикселей). Размер СТВ выбирают из размера 16×16 пикселей, размера 32×32 пикселей и размера 64×64 пикселей и обозначается параметром в кодированном потоке. Размер СВ может быть изменен в соответствии с глубиной деления СТВ.

В основном, приведенное здесь описание, представляет собой пример, в котором различные фрагменты информации, такие как информация, относящаяся к процессу управления предсказанием цветовой палитры, мультиплексируются в заголовке кодированного потока и переданные из стороны кодирования на сторону декодирования. Способ передачи этих фрагментов информации, однако, не ограничивается таким примером. Например, эти части информации могут быть переданы или записаны в виде отдельных данных, ассоциированных с закодированным битовым потоком без мультиплексирования в закодированный битовый поток. Здесь термин "ассоциирование" означает, что изображение, включенное в состав битового потока (может быть часть изображения, такая как срез или блок), и информация, соответствующая текущему изображению, устанавливает взаимосвязь при декодировании. А именно, эта информация может быть передана по другому тракту передачи от изображения (или битового потока). Информация, также могут быть записана на другом носителе записи (или другой области записи на том же носителе записи) из изображения (или битового потока). Более того, информация и изображение (или битовый поток) могут быть ассоциированы друг с другом с помощью любого устройства, например, посредством множества кадров, одним кадром или частью в пределах кадра.

Предпочтительные варианты осуществления настоящего изобретения были описаны выше со ссылкой на сопровождающие чертежи, однако настоящее изобретение не ограничивается приведенными выше примерами, конечно. Специалист в данной области техники может определить различные изменений и модификаций в пределах объема прилагаемой формулы изобретения, и следует понимать, что они, естественно, будет находиться в рамках технического объема настоящего изобретения.

Дополнительно, настоящее технология также может быть сконфигурирована, как показано ниже.

(1) Устройство обработки изображения, включающее в себя секцию декодирования, выполненную с возможностью декодировать разностную величину от предшествующего значения параметра предсказания, используемую, когда изображение второго уровня, имеющее другую цветовую палитру, чем первого уровня, предсказывается из изображения первого уровня; и секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, используя параметр предсказания, вычисленный используя разностную величину, декодированную секцией декодирования.

(2) Устройство обработки изображения по п. (1), в котором, параметр предсказания включает в себя коэффициент усиления и величину смещения, на которые умножается значение пикселя первого уровня.

(3) Устройство обработки изображения по п. (1) или (2), в котором, секция декодирования дополнительно декодирует параметр режима предсказания, указывающий на режим предсказания. Секция предсказания предсказывает изображение второго уровня, используя параметр предсказания, когда параметр режима предсказания указывает на режим адаптивного параметра.

(4) Устройство обработки изображения по п. (3), в котором, секция декодирования декодирует разностную величину параметра предсказания для каждого среза.

(5) Устройство обработки изображения по п. (3) или (4), в котором, когда последний параметр режима предсказания указывает на режим адаптивного параметра и предшествующий параметр режима предсказания указывает на режим битового сдвига, секция предсказания вычисляет последний параметр предсказания путем добавления разностной величины, декодированной секцией декодирования, к значению параметра предсказания, соответствующей величине битового сдвига.

(6) Устройство обработки изображения по любому из пунктов с (3) по (5), в котором, когда последний параметр режима предсказания указывает на режим адаптивного параметра и предыдущий параметр режима предсказания указывает на режим фиксированного параметра, секция предсказания вычисляет последний параметр предсказания добавлением разностной величины, декодированной секцией декодирования, к фиксированному значению параметра предсказания, определенному заранее.

(7) Устройство обработки изображения по п. (3) или (4), в котором, секция декодирования декодирует параметр режима предсказания для каждой последовательности.

(8) Устройство обработки изображения по любому из пунктов с (1) по (7), в котором, секция декодирования декодирует разностное значение из заголовка, имеющего общий синтаксис для ассоциированного параметра взвешенного предсказания.

(9) Устройство обработки изображения по п. (8), в котором, секция декодирования не декодирует ассоциированный параметр взвешенного предсказания во втором уровне и ассоциированный параметр взвешенного предсказания первого уровня используется повторно на втором уровне.

(10) Устройство обработки изображения по п. (8) или (9),

в котором, первый вариант параметра предсказания вычисляется с использованием разностной величины, декодированной из части для опорного кадра L0 общего синтаксиса для ассоциированного параметра взвешенного предсказания,

в котором, второй вариант параметра предсказания вычисляется с использованием разностной величины, декодированной из части для опорного кадра L1 общего синтаксиса для ассоциированного параметра взвешенного предсказания, и

в котором, секция предсказания избирательно использует первый вариант параметра предсказания и второй вариант параметра предсказания для предсказания изображения второго уровня.

(11) Устройство обработки изображения по п. (10), в котором, секция предсказания выбирает вариант для использования между первым вариантом параметра предсказания и вторым вариантом параметра предсказания в соответствии с диапазоном, к которому принадлежит значение пикселя.

(12) Устройство обработки изображения по п. (11), в котором, секция декодирования дополнительно декодирует граничную информацию, указывающую граничное значение для переключения варианта, который будет использоваться.

(13) Устройство обработки изображения по п. (10), в котором, секция предсказания выбирает вариант для использования между первым вариантом параметра предсказания и вторым вариантом параметра предсказания согласно области изображения, к которой принадлежит пиксель.

(14) Устройство обработки изображения по п. (13), в котором, секция декодирования дополнительно декодирует граничную информацию, указывающую на граничную область для переключения варианта, который будет использоваться.

(15) Устройство обработки изображения по любому из пунктов с (1) по (14),

в котором, секция декодирования дополнительно декодирует управляющий параметр, указывающий на факт того, что осуществляется или нет битовый сдвиг в момент предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня, и

в котором, секция предсказания выполняет битовый сдвиг одновременно не с повышающей дискретизацией, но с преобразованием цветовой палитры, когда управляющий параметр указывает на то, что битовый сдвиг в момент предсказания изображения второго уровня выполняется одновременно с преобразованием цветовой палитры.

(16) Устройство обработки изображения по п. (15), в котором, секция декодирования декодирует управляющий параметр отдельно для компонента яркости и цветоразностной составляющей.

(17) Устройство обработки изображения по любому из пунктов с (1) по (16), в котором, когда пространственное разрешение второго уровня выше, чем в пространственное разрешение первого уровня, секция предсказания преобразовывает цветовую палитру изображения первого уровня, используя параметр предсказания, и затем предсказывает изображение второго уровня посредством повышающей дискретизации преобразованного изображения.

(18) Способ обработки изображения включает в себя:

декодирование разностного значения от предшествующего значения параметра предсказания, используемого, когда изображение второго уровня, имеющее другую цветовую палитру, чем первого уровня, предсказывается из изображения первого уровня; и

предсказание изображения второго уровня из изображения первого уровня с помощью параметра предсказания, вычисленного используя декодированное разностное значение.

(19) Устройство обработки изображения включает в себя:

секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня из изображения первого уровня, указанного, когда изображение второго уровня, имеющее другую цветовую палитру, чем первого уровня, декодируется; и

секцию кодирования, выполненную с возможностью кодировать разностное значение из предшествующего значения параметра предсказания, используемого секцией предсказания.

(20) Устройство обработки изображения по п. (19), в котором, параметр предсказания включает в себя коэффициент усиления и величину смещения, на которые умножается значение пикселя из первого уровня.

(21) Устройство обработки изображения по п. (19) или (20), в котором, когда изображение второго уровня предсказывается на основании разностного значения, секция кодирования дополнительно кодирует параметр режима предсказания, указывающий на режим адаптивного параметра в качестве режима предсказания.

(22) Устройство обработки изображения по п. (21), в котором, секция кодирования кодирует разностное значение параметра предсказания для каждого среза.

(23) Устройство обработки изображения по п. (21) или (22), в котором, когда последний параметр режима предсказания указывает на режим адаптивного параметра, и предшествующий параметр режима предсказания указывает на режим битового сдвига, секция кодирования кодирует разностное значение, вычисленное путем вычитания значения параметра, соответствующее величине битового сдвига, из последнего значения параметра предсказания.

(24) Устройство обработки изображения по любому из пунктов с (21) по (23), в котором, когда последний параметр режима предсказания указывает на режим адаптивного параметра, и предшествующий параметр режима предсказания указывает на режим фиксированного параметра, секция кодирования кодирует разностное значение, вычисленное вычитанием значения фиксированного параметра, определенного заранее, из последнего значения параметра предсказания.

(25) Устройство обработки изображения по п. (21) или (22), в котором, секция кодирования кодирует параметр режима предсказания для каждой последовательности.

(26) Устройство обработки изображения по любому из пунктов с (19) по (25), в котором, секция кодирования кодирует разностное значение в заголовке, имеющий общий синтаксис ассоциированного параметра для взвешенного предсказания.

(27) Устройство обработки изображения по п. (26), в котором, секция кодирования не кодирует ассоциированный параметр взвешенного предсказания во втором уровне, и ассоциированный параметр взвешенного предсказания первого уровня используется повторно во втором уровне.

(28) Устройство обработки изображения в соответствии по п. (26) или (27),

в котором секция предсказания избирательно использует первый вариант параметра предсказания и второй вариант параметра предсказания для предсказания изображения на втором уровне, и

в котором секция кодирования кодирует разностное значение, рассчитанное в первом варианте параметра предсказания на части для опорного кадра L0 общего синтаксиса для ассоциированного параметра взвешенного предсказания, и кодирует разностное значение, вычисленное во втором варианте параметра предсказания на части для опорного кадра L1 общего синтаксиса для ассоциированного параметра взвешенного предсказания.

(29) Устройство обработки изображения по п. 28, в котором, секция предсказания выбирает вариант для использования между первым вариантом параметра предсказания и вторым вариантом параметра предсказания в соответствии с диапазоном, к которому принадлежит значение пикселя.

(30) Устройство обработки изображения по п. (29), в котором, секция кодирования дополнительно кодирует граничную информацию, указывающую граничное значение для переключения варианта, который будет использоваться.

(31) Устройство обработки изображения по п. (28), в котором, секция предсказания выбирает вариант для использования между первым вариантом параметра предсказания и вторым вариантом параметра предсказания согласно области изображения, к которой принадлежит пиксель.

(32) Устройство обработки изображения по п. (31), в котором, секция кодирования дополнительно кодирует граничную информацию, указывающую граничную область для переключения варианта, который будет использоваться.

(33) Устройство обработки изображения по любому из пунктов с (19) по (32),

в котором, секция кодирования дополнительно кодирует управляющий параметр, указывающий на факт того, что выполняется или нет битовый сдвиг в момент предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня.

(34) Устройство обработки изображения по п. (33), в котором, секция кодирования кодирует управляющий параметр отдельно для компонента яркости и цветоразностной составляющей.

(35) Устройство обработки изображения по любому из пунктов с (19) по (34),

в котором, когда пространственное разрешение второго уровня выше, чем в пространственное разрешение первого уровня, секция предсказания преобразовывает цветовую палитру изображения первого уровня, используя параметр предсказания, и затем предсказывает изображение второго уровня посредством повышающей дискретизации преобразованного изображения.

(36) Способ обработки изображения включает в себя:

предсказание изображения второго уровня из изображения первого уровня, указанного, когда изображение второго уровня, имеющее иную цветовую палитру, чем первого уровня, декодируется; и

кодирование разностного значения от предшествующего значения параметра предсказания, используемого для предсказания изображение второго уровня.

Перечень ссылочных позиций

10, 10v Устройство кодирования изображения (устройство обработки изображения)

16 Секция кодирования без потерь

40 Секция предсказания цветовой палитры

60, 60v Устройство декодирования изображения (устройство обработки изображения)

62 Секция декодирования без потерь

90 Секция предсказания цветовой палитры

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности многоуровневого предсказания. Устройство обработки изображения содержит секцию декодирования, выполненную с возможностью декодировать разностное значение от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня, имеющего цветовую палитру, отличную от цветовой палитры первого уровня, на основе изображения первого уровня; и секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня на основе изображения первого уровня с использованием параметра предсказания, вычисляемого с использованием разностного значения, декодируемого секцией декодирования; при этом секция декодирования выполнена с возможностью дополнительно декодировать управляющий параметр, указывающий, выполнять ли битовый сдвиг во время предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня. 4 н. и 15 з.п. ф-лы, 49 ил., 1 табл.

1. Устройство обработки изображения, содержащее:

секцию декодирования, выполненную с возможностью декодировать разностное значение от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня, имеющего цветовую палитру, отличную от цветовой палитры первого уровня, на основе изображения первого уровня; и

секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня на основе изображения первого уровня с использованием параметра предсказания, вычисляемого с использованием разностного значения, декодируемого секцией декодирования;

при этом секция декодирования выполнена с возможностью дополнительно декодировать управляющий параметр, указывающий, выполнять ли битовый сдвиг во время предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня.

2. Устройство обработки изображения по п. 1, в котором параметр предсказания включает в себя коэффициент усиления и величину смещения, на которые умножается значение пикселя первого уровня.

3. Устройство обработки изображения по п. 1, в котором секция декодирования выполнена с возможностью декодирования разностного значения параметра предсказания для каждого среза.

4. Устройство обработки изображения по п. 1, в котором секция декодирования выполнена с возможностью декодировать разностное значение на основе заголовка, имеющего общий синтаксис с ассоциированным параметром взвешенного предсказания.

5. Устройство обработки изображения по п. 4, характеризующееся тем, что выполнено с возможностью

вычислять первый вариант параметра предсказания с использованием разностного значения, декодируемого на основе участка для опорного кадра L0, имеющего общий синтаксис с ассоциированным параметром взвешенного предсказания, и

вычислять второй вариант параметра предсказания с использованием разностного значения, декодируемого на основе участка для опорного кадра L1, имеющего общий синтаксис с ассоциированным параметром взвешенного предсказания,

при этом секция предсказания выполнена с возможностью избирательно использовать первый вариант параметра предсказания и второй вариант параметра предсказания для предсказания изображения второго уровня.

6. Устройство обработки изображения по п. 5, в котором секция предсказания выполнена с возможностью выбирать подлежащий использованию вариант между первым вариантом параметра предсказания и вторым вариантом параметра предсказания в соответствии с диапазоном, к которому принадлежит значение пикселя.

7. Устройство обработки изображения по п. 5, в котором секция предсказания выполнена с возможностью выбирать подлежащий использованию вариант между первым вариантом параметра предсказания и вторым вариантом параметра предсказания в соответствии с областью изображения, к которой принадлежит пиксель.

8. Устройство обработки изображения по п. 1, в котором секция предсказания выполнена с возможностью выполнять битовый сдвиг одновременно не с повышающей дискретизацией, а с преобразованием цветовой палитры, когда управляющий параметр указывает, что битовый сдвиг во время предсказания изображения второго уровня выполняется одновременно с преобразованием цветовой палитры.

9. Устройство обработки изображения по п. 1, в котором, когда пространственное разрешение второго уровня выше, чем пространственное разрешение первого уровня, секция предсказания выполнена с возможностью преобразовывать цветовую палитру изображения первого уровня с использованием параметра предсказания и затем предсказывать изображение второго уровня посредством повышающей дискретизации преобразованного изображения.

10. Способ обработки изображения, содержащий этапы, на которых:

декодируют разностное значение от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня, имеющего цветовую палитру, отличную от цветовой палитры первого уровня, на основе изображения первого уровня; и

предсказывают изображение второго уровня на основе изображения первого уровня с использованием параметра предсказания, вычисленного с использованием декодированного разностного значения,

при этом дополнительно декодируют управляющий параметр, причем управляющий параметр указывает, выполнять ли битовый сдвиг во время предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня.

11. Устройство обработки изображения, содержащее:

секцию предсказания, выполненную с возможностью предсказывать изображение второго уровня на основе изображения первого уровня, служащего опорным при декодировании изображения второго уровня, имеющего цветовую палитру, отличную от цветовой палитры первого уровня; и

секцию кодирования, выполненную с возможностью кодировать разностное значение от предшествующего значения параметра предсказания, используемого секцией предсказания,

при этом секция кодирования дополнительно выполнена с возможностью кодировать управляющий параметр, указывающий, выполнять ли битовый сдвиг во время предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня.

12. Устройство обработки изображения по п. 11, в котором параметр предсказания включает в себя коэффициент усиления и величину смещения, на которые умножается значение пикселя первого уровня.

13. Устройство обработки изображения по п. 11, в котором секция кодирования выполнена с возможностью кодировать разностное значение параметра предсказания для каждого среза.

14. Устройство обработки изображения по п. 11, в котором секция кодирования выполнена с возможностью кодировать разностное значение в заголовке, имеющем общий синтаксис с ассоциированным параметром взвешенного предсказания.

15. Устройство обработки изображения по п. 14, в котором

секция предсказания выполнена с возможностью избирательно использовать первый вариант параметра предсказания и второй вариант параметра предсказания для предсказания изображения второго уровня, а

секция кодирования выполнена с возможностью кодировать разностное значение, вычисленное в первом варианте параметра предсказания на участке для опорного кадра L0, имеющего общий синтаксис с ассоциированным параметром взвешенного предсказания, и кодировать разностное значение, вычисленное во втором варианте параметра предсказания на участке для опорного кадра L1, имеющего общий синтаксис с ассоциированным параметром взвешенного предсказания.

16. Устройство обработки изображения по п. 15, в котором секция предсказания выполнена с возможностью выбирать подлежащий использованию вариант между первым вариантом параметра предсказания и вторым вариантом параметра предсказания в соответствии с диапазоном, к которому принадлежит значение пикселя.

17. Устройство обработки изображения по п. 15, в котором секция предсказания выполнена с возможностью выбирать подлежащий использованию вариант между первым вариантом параметра предсказания и вторым вариантом параметра предсказания согласно области изображения, к которой принадлежит пиксель.

18. Устройство обработки изображения по п. 11, в котором, когда пространственное разрешение второго уровня выше, чем пространственное разрешение первого уровня, секция предсказания выполнена с возможностью преобразовывать цветовую палитру изображения первого уровня с использованием параметра предсказания, а затем предсказывать изображение второго уровня посредством повышающей дискретизации преобразованного изображения.

19. Способ обработки изображения, содержащий этапы, на которых:

выполняют предсказание изображения второго уровня на основе изображения первого уровня, служащего опорным при декодировании изображения второго уровня, имеющего цветовую палитру, отличную от цветовой палитры первого уровня;

кодируют разностное значение от предшествующего значения параметра предсказания, используемого для предсказания изображения второго уровня; и

кодируют управляющий параметр, указывающий, выполнять ли битовый сдвиг во время предсказания изображения второго уровня одновременно с преобразованием цветовой палитры, когда битовая глубина второго уровня превышает битовую глубину первого уровня.