УСТРОЙСТВО И СПОСОБ КОДИРОВАНИЯ, УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ Российский патент 2018 года по МПК H04N19/50 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования и более конкретно, к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования, которые позволяют совместно использовать или прогнозировать информацию, относящуюся к опорному изображению для изображения, имеющего иерархическую структуру.

Уровень техники

В последние годы, с целью преобразования в цифровую форму информации изображения и передачи и накопления информации с высокой эффективностью для этого времени, получили широкое распространение устройства, соответствующие такой схеме, как фаза Группы экспертов движущегося изображения (MPEG), в которой сжатие выполнялось, используя ортогональное преобразование, такое как дискретное косинусное преобразование (DCT) и компенсация движения с использованием определенной избыточности информации изображения, как при предоставлении информации станциями широковещательной передачи и т.п., так и при приеме информации в обычных домашних хозяйствах.

В частности, схема MPEG 2 (ISO/IEC 13818-2) определена, как схема кодирования изображения общего назначения, и в настоящее время широко используется для широкого диапазона применения приложений профессионального использования и потребительского использования в качестве стандарта, охватывающего сканированное изображение с перемежением, последовательное сканированное изображение, изображение со стандартным разрешением и изображение высокой четкости. Используя схему MPEG 2, например, могут быть воплощены высокая степень сжатия и отличное качество изображения, в результате выделения величины кодирования (скорости передачи битов) 4-8 Мбит/с, в случае изображения, сканированного с перемежением, со стандартным разрешением, имеющим 720 x 480 пикселей и величиной кодирования 18-22 Мбайт/с, в случае сканированного изображения с перемежением с высоким разрешением, имеющего 1920 x 1088 пикселей.

MPEG 2, в основном, направлен на кодирование высокой четкости, пригодное для широковещательной передачи, но не поддерживает схему кодирования с величиной кодирования (скоростью передачи битов) ниже, чем у MPEG 1, то есть схему кодирования с высокой степенью сжатия. По мере распространения мобильных терминалов, учли, что потребность в такой схеме кодирования будет увеличиваться в ближайшем будущем, и схема кодирования MPEG 4 будет стандартизирована. ISO/IEC 14496-2 был одобрен в декабре 1998, как международный стандарт для схемы кодирования изображения MPEG4.

Далее, в последние годы была впервые проведена стандартизация, в соответствии с таким стандартом, как H.26L (ITU-T Q6/16 VCEG), разработанным для кодирования изображения для организации видеоконференций. H.26L известен, как требующий большего объема расчетов для кодирования и декодирования, чем в схеме кодирования, такой как MPEG 2 или MPEG 4, но позволяет воплотить высокую эффективность кодирования.

Кроме того, в последние годы, в качестве одного из действий MPEG 4, была выполнена стандартизация, связанная с внедрением функции, которая не поддерживается H.26L, на основе H.26L и воплощающая высокую эффективность кодирования, как Объединенная модель кодирования видеоданных с улучшенным сжатием. Такая стандартизация была одобрена в марте 2003 г., как международный стандарт под названием H.264 или MPEG 4 Part10 (Усовершенствованное кодирование видеоданных (AVC)).

Кроме того, в феврале 2005 г., в качестве расширения этого стандарта, были стандартизированы расширение диапазона правильного воспроизведения (FRExt), включающего в себя инструмент кодирования, необходимый для профессионального использования, такой как RGB или YUV422, или YUV444, или 8 x 8 DCT, и матрицу квантования, которая установлена в MPEG 2. В результате, схема AVC стала схемой кодирования, позволяющей также выражать шумы пленки, включенные в фильм, а также возможность использования в широком диапазоне вариантов применения, таких как диск BD (Blu-ray (зарегистрированный товарный знак)).

Однако в последние годы, все больше повышается потребность в кодировании с высокой степенью сжатия, позволяющей сжимать изображения размером приблизительно 4000 x 2000 пикселей, которые в 4 раза больше, чем изображение высокой четкости, или в передаче изображения высокой четкости в среде с ограниченной возможностью передачи, такой как Интернет. С этой целью, группа экспертов Кодирования видеоданных (VCEG) из ITU-T постоянно ищет возможность улучшения эффективности кодирования.

В настоящее время, для того, чтобы дополнительно улучшить эффективность кодирования, в большей степени, чем в AVC, выполняется стандартизация схемы кодирования, называемая Кодированием видеоданных высокой эффективности (HEVC), Объединенной группой по сотрудничеству в области кодирования видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и ISO/IEC. Непатентный документ 1 был выработан, как проект, в августе 2012 г.

В то же время, схемы кодирования изображения, такие как MPEG 2 и AVC, имеют функцию масштабируемости, связанную с установлением иерархии и кодирования изображения. В соответствии с функцией масштабируемости, возможно передавать кодированные данные, в соответствии с характеристиками обработки на стороне декодирования, без выполнения обработки транскодирования.

В частности, например, возможно передавать только кодированный поток изображения основного уровня, который представляет собой уровень, использующийся, как основание для терминалов, имеющих низкие характеристики обработки, таких как мобильные телефоны. В то же время, возможно передавать кодированный поток изображения основного уровня и изображения уровня расширения, который представляет собой другой уровень, чем основной уровень, в терминалы, имеющие высокие характеристики обработки, такие как телевизионные приемники или персональные компьютеры.

Схема HEVC также имеет функцию масштабирования, и в схеме HEVC набор параметров видеоданных (VPS), включающий в себя параметры, относящиеся к функции масштабирования, определен в дополнение к набору параметров последовательности (SPS) и набору параметров изображения (PPS), как описано в непатентном документе 1.

На фиг. 1 показана схема, иллюстрирующая пример синтаксиса VPS в HEVC версии 1.

В HEVC версии 1, поскольку обеспечена только функция масштабирования (ниже называется "временной масштабируемостью") при установлении иерархии и кодировании изображения, в соответствии с частотой передачи кадров, только параметры, относящиеся к временной масштабируемости, определены в VPS, как представлено на фиг. 1.

В версии 2 HEVC также запланировано проведении стандартизации поддержки другой масштабируемой функции, кроме временной масштабируемости.

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 8," JCTVC-I1003_d7, 2012.7.11-7.20

Сущность изобретения

Задачи, решаемые изобретением

Когда выполняют кодирование, используя функцию масштабирования, если поддерживаются изображение основного уровня и изображение уровня расширения, часть информации, относящаяся к опорным изображениям обоих изображений, рассматривается, как имеющая высокую степень корреляции.

Однако в схеме HEVC предшествующего уровня техники, поскольку информация, относящаяся к опорному изображению, установлена для каждого уровня, эффективность кодирования плохая.

Настоящая технология была выполнена с учетом описанного выше, и при этом желательно иметь возможность совместного использования или прогнозирования информации, относящейся к опорному изображению для изображения, имеющего иерархическую структуру.

Решения задач

Устройство кодирования, в соответствии с первым аспектом настоящей технологии, представляет собой устройство кодирования, включающее в себя модуль установки, который устанавливает информацию генерировании опорного изображения, используемую для генерирования информации первого опорного изображения, используя информацию первого опорного изображения, применяемую, как опорная информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, модуль кодирования, который кодирует первое масштабируемое изображение, используя первое опорное изображение, и генерирует кодированные данные, и модуль передачи, который передает кодированные данные, генерируемые модулем кодирования, и информацию генерирования опорного изображения, установленную модулем установки.

Способ кодирования, в соответствии с первым аспектом настоящей технологии, соответствует устройству кодирования, в соответствии с первым аспектом настоящей технологии.

В первом аспекте настоящей технологии информация генерирования опорного изображения, используемая для генерирования информации первого опорного изображения, установлена, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информации второго опорного изображения, используемой, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, первое масштабируемое изображение кодируют, используя первое опорное изображение, генерируют кодированные данные, и передают кодированные данные и информацию генерирования опорного изображения.

Устройство декодирования, в соответствии со вторым аспектом настоящей технологии, представляет собой устройство декодирования, включающее в себя модуль приема, который принимает информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и кодированные данные первого масштабируемого изображения, модуль генерирования, который генерирует информацию первого опорного изображения, используя информацию генерирования опорного изображения, и модуль декодирования, который декодирует кодированные данные первого масштабируемого изображения, используя первое опорное изображение на основе информации первого опорного изображения, генерируемой модулем генерирования.

Способ декодирования, в соответствии со вторым аспектом настоящей технологии, соответствует устройству декодирования, в соответствии со вторым аспектом настоящей технологии.

Во втором аспекте настоящей технологии информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображении, генерируют, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и принимают кодированные данные первого масштабируемого изображения, информацию первого опорного изображения генерируют, используя информацию генерирования опорного изображения, и декодируют кодированные данные первого масштабируемого изображения на основе сгенерированной информации первого опорного изображения, используя первое опорное изображение.

Кроме того, устройство кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, могут быть воплощены, обеспечивая исполнение компьютером программы.

Кроме того, программа, исполняемая компьютером, для воплощения устройства кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, может быть предусмотрена таким образом, что программа может быть передана через среду передачи данных или записана на носителе записи.

Устройство кодирования, в соответствии с первым аспектом, и устройство декодирования, в соответствии со вторым аспектом, могут представлять собой независимое устройство или могут представлять собой внутренний блок, образующий одно устройство.

Эффекты изобретения

В соответствии с настоящей технологией, возможно совместно использовать или прогнозировать информацию, относящуюся к опорному изображению, для изображения, имеющего иерархическую структуру.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая примерный синтаксис VPS в версии 1 HEVC.

На фиг. 2 является схемой для того, чтобы описать пространственную масштабируемость.

На фиг. 3 показана схема для описания временной масштабируемости.

На фиг. 4 показана схема для описания масштабируемости SNR.

На фиг. 5 показана схема для представления общего обзора первого варианта осуществления настоящей технологии.

На фиг. 6 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с первым вариантом осуществления настоящей технологии.

На фиг. 7 представлена схема, иллюстрирующая примерный синтаксис SPS основного потока.

На фиг. 8 представлена схема, иллюстрирующая примерный синтаксис SPS основного потока.

На фиг. 9 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 10 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 11 представлена схема, иллюстрирующая примерный синтаксис заголовка среза основного потока.

На фиг. 12 представлена схема, иллюстрирующая примерный синтаксис RPS основного потока.

На фиг. 13 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 6.

На фиг. 14 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 13.

На фиг. 15 показана схема для описания CU.

На фиг. 16 показана блок-схема, иллюстрирующая примерную конфигурацию модуля установки опорного изображения по фиг. 14.

На фиг. 17 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 13.

На фиг. 18 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 13.

На фиг. 19 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 20 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 21 представлена схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

На фиг. 22 представлена схема, иллюстрирующая примерный синтаксис RPS потока расширения.

На фиг. 23 представлена схема, иллюстрирующая примерный синтаксис VPS.

На фиг. 24 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства кодирования по фиг. 6.

На фиг. 25 показана блок-схема последовательности операций для подробного описания обработки генерирования потока расширения по фиг. 24.

На фиг. 26 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 25.

На фиг. 27 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 25.

На фиг. 28 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 26.

На фиг. 29 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с первым вариант осуществления настоящей технологии.

На фиг. 30 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 29.

На фиг. 31 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 30.

На фиг. 32 показана блок-схема, иллюстрирующая примерную конфигурацию модуля установки опорного изображения по фиг. 31.

На фиг. 33 показана блок-схема последовательности операций для описания масштабируемой обработки декодирования устройства декодирования по фиг. 29.

На фиг. 34 показана блок-схема последовательности операций для описания обработки генерирования изображения расширения по фиг. 30.

На фиг. 35 показана блок-схема последовательности операций для подробного описания обработки декодирования по фиг. 34.

На фиг. 36 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 35.

На фиг. 37 показана схема для описания общего обзора второго варианта осуществления настоящей технологии.

На фиг. 38 показана схема для описания взвешенного прогнозирования.

На фиг. 39 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии со вторым вариантом осуществления настоящей технологии.

На фиг. 40 представлена схема, иллюстрирующая примерный синтаксис PPS в схеме AVC.

На фиг. 41 представлена схема, иллюстрирующая примерный синтаксис PPS в схеме AVC.

На фиг. 42 представлена схема, иллюстрирующая примерный синтаксис PPS основного потока.

На фиг. 43 представлена схема, иллюстрирующая примерный синтаксис PPS основного потока.

На фиг. 44 представлена схема, иллюстрирующая примерный синтаксис заголовка среза в схеме AVC.

На фиг. 45 представлена схема, иллюстрирующая примерный синтаксис заголовка среза в схеме AVC.

На фиг. 46 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации в схеме AVC.

На фиг. 47 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации основного потока.

На фиг. 48 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 39.

На фиг. 49 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 48.

На фиг. 50 показана блок-схема, иллюстрирующая примерную конфигурацию буфера веса и модуля установки веса по фиг. 49.

На фиг. 51 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации потока расширения.

На фиг. 52 представлена схема, иллюстрирующая примерный синтаксис взвешивающей информации потока расширения.

На фиг. 53 показана блок-схема последовательности операций для описания обработки генерирования потока расширения по фиг. 48.

На фиг. 54 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 53.

На фиг. 55 показана блок-схема последовательности операций для подробного описания обработки кодирования по фиг. 53.

На фиг. 56 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 54.

На фиг. 57 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии со вторым вариантом осуществления настоящей технологии.

На фиг. 58 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 57.

На фиг. 59 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 58.

На фиг. 60 показана блок-схема, иллюстрирующая примерную конфигурацию буфера веса и модуля установки веса по фиг. 59.

На фиг. 61 показана блок-схема последовательности операций для описания масштабируемой обработки декодирования устройства декодирования по фиг. 57.

На фиг. 62 показана блок-схема последовательности операций для подробного описания обработки декодирования модуля декодирования по фиг. 59.

На фиг. 63 показана блок-схема последовательности операций для подробного описания обработки генерирования по фиг. 62.

На фиг. 64 показана схема для описания общего обзора третьего варианта осуществления настоящей технологии.

На фиг. 65 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с третьим вариантом осуществления настоящей технологии.

На фиг. 66 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 65.

На фиг. 67 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 66.

На фиг. 68 представлена схема, иллюстрирующая примерный синтаксис SPS, установленного модулем установки по фиг. 66.

На фиг. 69 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

На фиг. 70 показана схема для описания эффектов в устройстве кодирования.

На фиг. 71 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства кодирования по фиг. 65.

На фиг. 72 показана блок-схема последовательности операций для подробного описания обработки установки SPS при обработке масштабируемого кодирования по фиг. 71.

На фиг. 73 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования при обработке кодирования расширения по фиг. 71.

На фиг. 74 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с третьим вариантом осуществления настоящего раскрытия.

На фиг. 75 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 74.

На фиг. 76 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 75.

На фиг. 77 показана блок-схема последовательности операций для описания обработки генерирования изображения расширения модуля декодирования расширения по фиг. 74.

На фиг. 78 показана блок-схема последовательности операций для подробного описания обработки выделения SPS по фиг. 77.

На фиг. 79 показана блок-схема последовательности операций для подробного описания обработки генерирования обработки декодирования расширения по фиг. 77.

На фиг. 80 представлена схема, иллюстрирующая примерный синтаксис SPS во время другой установки флага копирования.

На фиг. 81 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время другой установки флага копирования.

На фиг. 82 показана блок-схема последовательности операций для описания обработки установки SPS во время другой установки флага копирования.

На фиг. 83 показана блок-схема последовательности операций для описания обработки установки флага копирования во время другой установки флага копирования.

На фиг. 84 показана блок-схема последовательности операций для описания обработку выделения SPS во время другой установки флага копирования.

На фиг. 85 показана блок-схема последовательности операций для описания обработку генерирования во время другой установки флага копирования.

На фиг. 86 представлена схема, иллюстрирующая примерный синтаксис расширения VPS в третьем варианте осуществления.

На фиг. 87 представлена схема, иллюстрирующая примерный синтаксис SPS во время использования режима установки.

На фиг. 88 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время использования режима установки.

На фиг. 89 показана блок-схема последовательности операций для описания обработки установки SPS во время использования режима установки.

На фиг. 90 показана блок-схема последовательности операций для описания обработки установки флага копирования во время использования режима установки.

На фиг. 91 показана блок-схема последовательности операций для описания обработки выделения SPS во время использования режима установки.

На фиг. 92 показана блок-схема последовательности операций для описания обработки генерирования во время использования режима установки.

На фиг. 93 представлена схема, иллюстрирующая примерный синтаксис SPS во время установки общего флага копирования на основе схемы кодирования.

На фиг. 94 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования в соответствии с четвертым вариантом осуществления настоящей технологии.

На фиг. 95 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования расширения по фиг. 94.

На фиг. 96 показана блок-схема, иллюстрирующая примерную конфигурацию модуля кодирования по фиг. 95.

На фиг. 97 представлена схема, иллюстрирующая примерный синтаксис SPS, установленный модулем установки по фиг. 95.

На фиг. 98 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

На фиг. 99 представлена схема, иллюстрирующая примерный синтаксис RPS для флага копирования частичного RPS.

На фиг. 100 показана блок-схема последовательности операций для описания обработки установки SPS устройства кодирования по фиг. 94.

На фиг. 101 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования устройства кодирования по фиг. 94.

На фиг. 102 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с четвертым вариантом осуществления настоящего раскрытия.

На фиг. 103 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования расширения по фиг. 102.

На фиг. 104 показана блок-схема, иллюстрирующая примерную конфигурацию модуля декодирования по фиг. 103.

На фиг. 105 показана блок-схема последовательности операций для подробного описания обработки выделения SPS устройства декодирования по фиг. 102.

На фиг. 106 показана блок-схема последовательности операций для подробного описания обработки генерирования устройства декодирования по фиг. 102.

На фиг. 107 представлена схема, иллюстрирующая примерный синтаксис RPS во время общей установки RPS.

На фиг. 108 показана блок-схема последовательности операций для описания обработки установки SPS во время общей установки RPS.

На фиг. 109 показана блок-схема последовательности операций для подробного описания обработки установки флага копирования во время общей установки RPS.

На фиг. 110 показана блок-схема последовательности операций для описания обработки выделения SPS во время общей установки RPS.

На фиг. 111 представлена схема, иллюстрирующая примерную схему кодирования многообзорного изображения.

На фиг. 112 показано другое примерное кодирование функции масштабирования.

На фиг. 113 показана блок-схема, иллюстрирующая примерную конфигурацию аппаратных средств компьютера.

На фиг. 114 представлена схема, иллюстрирующая примерную схематичную конфигурацию телевизионного устройства в соответствии с настоящей технологией.

На фиг. 115 представлена схема, иллюстрирующая примерную схематичную конфигурацию мобильного телефона в соответствии с настоящей технологией.

На фиг. 116 представлена схема, иллюстрирующая примерную схематичную конфигурацию устройства записи/воспроизведения в соответствии с настоящей технологией.

На фиг. 117 представлена схема, иллюстрирующая примерную схематичную конфигурацию устройства формирования изображения в соответствии с настоящей технологией.

На фиг. 118 показана блок-схема, иллюстрирующая пример использования масштабируемого кодирования.

На фиг. 119 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

На фиг. 120 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

Подробное описание изобретения

<Описание функции масштабирования >

(Описание пространственной масштабируемости)

На фиг. 2 показана схема для описания пространственной масштабируемости.

Как представлено на фиг. 2, пространственная масштабируемость представляет собой функцию масштабирования для установления иерархии и кодирования изображения, в соответствии с пространственным разрешением. В частности, при пространственной масштабируемости, изображение с низким разрешением кодируют, как изображение основного уровня, и дифференциальное изображение между изображением с высоким разрешением и изображением с низким разрешением кодируют, как изображение уровня расширения.

Таким образом, поскольку устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низким разрешением. Кроме того, по мере того, как устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения для устройства декодирования, имеющего высокие характеристики обработки, устройство декодирования может генерировать изображение с высоким разрешением путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

(Описание временной масштабируемости)

На фиг. 3 показана схема для описания временной масштабируемости.

Как описано выше, временная масштабируемость представляет собой функцию масштабируемости, устанавливающую иерархию и кодирование изображения, в соответствии с частотой передачи кадров. В частности, как представлено на фиг. 3, при временной масштабируемости, например, изображение с низкой скоростью передачи кадров (7,5 кадров в секунду в примере, показанном на фиг. 3) кодируют, как изображение основного уровня. Дифференциальное изображение между изображением с промежуточной частотой передачи кадров (15 кадров в секунду в примере на фиг. 3) и изображением с низкой частотой передачи кадров кодируют, как изображение уровня расширения. Дифференциальное изображение между изображением с высокой скоростью передачи кадров (30 кадров в секунду в примере на фиг. 3) и изображением с промежуточной скоростью передачи кадров кодируют, как изображение уровня расширения.

Таким образом, поскольку устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низкой скоростью передачи кадров. Кроме того, поскольку устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения в устройство декодирования, имеющее высокие характеристики обработки, устройство декодирования может генерировать изображение с высокой скоростью передачи кадров или с промежуточной скоростью передачи кадров путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

(Описание масштабируемости SNR)

На фиг. 4 показана схема для описания масштабируемости SNR.

Как представлено на фиг. 4, масштабируемость SNR представляет собой масштабируемую функцию установления иерархии и кодирования изображения, в соответствии с отношением сигнал-шум (SNR). В частности, при масштабируемости SNR, изображение с низким SNR кодируют, как изображение основного уровня, и дифференциальное изображение между изображением с высоким SNR и изображением с низким SNR кодируют, как изображение уровня расширения.

Таким образом, по мере того, как устройство кодирования передает только кодированные данные изображения основного уровня в устройство декодирования, имеющее низкие характеристики обработки, устройство декодирования может генерировать изображение с низким значением SNR, то есть изображение низкого качества. Кроме того, по мере того, как устройство кодирования передает кодированные данные изображения основного уровня и изображения уровня расширения в устройство декодирования, имеющее высокие характеристики обработки, устройство декодирования может генерировать изображение с высоким значением SNR, то есть изображение высокого качества, путем декодирования и комбинирования изображения основного уровня и изображения уровня расширения.

Кроме того, хотя это и не показано, в дополнение к пространственной масштабируемости, временной масштабируемости и масштабируемости SNR, существуют другие масштабируемые функции.

Например, в качестве масштабируемой функции, также существует масштабируемость глубины битов для установления иерархии и кодирования изображения, в соответствии с количеством битов. В этом случае, например, кодируют видеоизображение 8 битов, как изображение основного уровня, и разницу между видеоизображением 10 битов и видеоизображением 8 битов кодируют, как изображение уровня расширения.

Кроме того, в качестве масштабируемой функции, также используется масштабируемость цветности, по которой устанавливают иерархию и кодируют изображение, в соответствии с форматом сигнала цветности. В этом случае, например, изображение YUV 420 кодируют, как изображение основного уровня, и дифференциальное изображение между изображением YUV 422 и изображением YUV 420 кодируют, как изображение уровня расширения.

Следующее описание будет представлено на примере, в котором для удобства описания количество уровней расширения равно одному.

<Первый вариант осуществления>

(Описание обзора первого варианта осуществления)

На фиг. 5 показана схема для описания обзора первого варианта осуществления настоящей технологии.

Как представлено на фиг. 5, в первом варианте осуществления, информация (ниже называется "информацией установления опорного изображения"), устанавливающая опорное изображение, используемое, как информация, относящаяся к опорному изображению, совместно используется или прогнозируется между различными уровнями, другими, а не между этими же уровнями.

(Примерная конфигурация первого варианта осуществления устройства кодирования)

На фиг. 6 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования, в соответствии с первым вариантом осуществления настоящей технологии.

Устройство 10 кодирования по фиг. 6 включает в себя модуль 11 основного кодирования, модуль 12 кодирования расширения, модуль 13 комбинирования и модуль передачи 14, и кодируют изображение в соответствии со схемой, соответствующей схеме HEVC, используя функцию масштабирования.

Изображение основного уровня (ниже называется "основным изображением ") вводят снаружи в модуль 11 основного кодирования устройства 10 кодирования. Модуль 11 основного кодирования сконфигурирован аналогично устройству кодирования схемы HEVC предшествующего уровня техники и кодирует основное изображение, в соответствии со схемой HEVC. Здесь модуль 11 основного кодирования подает информацию, устанавливающую опорное изображение, для опорного изображения, используемого, когда основное изображение кодируют в модуле 12 кодирования расширения. Модуль 11 основного кодирования подает кодированный поток, включающий в себя кодированные данные, полученные, как результат кодирования, SPS, PPS и т.п., в модуль 13 комбинирования, как основной поток.

Изображение уровня расширения (ниже называется "изображением расширения") подают снаружи в модуль 12 кодирования расширения. Модуль 12 кодирования расширения кодирует изображение расширения, в соответствии со схемой, которая соответствует схеме HEVC. Кроме того, модуль 12 кодирования расширения генерирует опорное изображение, устанавливающее информацию генерирования (информацию генерирования опорного изображения), используемую для генерирования информации, устанавливающей опорное изображение изображения расширения, используя информацию, устанавливающую опорное изображение для изображения основания, и информацию, устанавливающую опорное изображение для опорного изображения, используемого, когда кодируют изображение расширения.

Модуль 12 кодирования расширения генерирует кодированный поток путем добавления опорного изображения, устанавливающего информацию генерирования и т.п., в кодированные данные изображения расширения, и подает сгенерированный кодированный поток в модуль 13 комбинирования, как поток расширения.

Модуль 13 комбинирования комбинирует основной поток, подаваемый из модуля 11 основного кодирования, с потоком расширения, подаваемым из модуля 12 кодирования расширения, добавляет VPS и т.п., и генерирует кодированный поток для всех уровней. Модуль 13 комбинирования подает кодированный поток для всех уровней в модуль 14 передачи.

Модуль 14 передачи передает кодированный поток для всех уровней, подаваемых из модуля 13 комбинирования, в устройство декодирования, которое будет описано ниже.

Здесь устройство 10 кодирования передает кодированный поток для всех уровней, но может передавать только основной поток, когда это необходимо.

(Примерный синтаксис SPS потока основания)

На фиг. 7 и 8 показаны схемы, иллюстрирующие примерный синтаксис SPS, включенного в основной поток.

Как представлено в 9-ой - 11-ой строках на фиг. 8, SPS потока основания включают в себя информацию, относящуюся к набору опорного изображения (RPS), используемого, как опорное изображение, устанавливающее информацию для малого времени группы изображений (GOP), соответствующей SPS. В частности, количество (num_short_term_ref_pic_sets) RPS, включенных в SPS и количество RPS (short_term_ref_pic_set), включенных в SPS. Индекс, заданный по порядку от 0, выделяется в RPS.

Кроме того, как представлено в 12-ой - 17-ой строках, информация, относящаяся к информации установления опорного изображения длительного времени, описана в SPS. В частности, флаг длительного времени (long_term_ref_pics_present_flag), обозначающий, доступно или нет опорное изображение для длительного времени, включают в SPS.

Кроме того, когда флаг длительного времени установлен в 1, что обозначает, что опорное изображение длительного времени является доступным, количество (num_long_term_ref_pics_SPS) частей информации, устанавливающей опорное изображение для длительного времени, включенного в SPS, включают в SPS. Кроме того, включают информацию (lt_ref_pic_poc_lsb_SPS), обозначающую младший значащий бит порядка подсчета изображения (POC) опорного изображения, используемого в качестве опорного изображения, устанавливающего информацию для длительного времени. Кроме того, описан опорный флаг (used_by_curr_pic_lt_SPS_flag), обозначающий, была ли или нет сделана ссылка на само себя опорного изображения, установленного по информации установления опорного изображения. Для информации установления опорного изображения для длительного времени представлен индекс в порядке, начиная от 0.

Ниже нет необходимости, в частности, отличать RPS и информацию, устанавливающую опорное изображение для длительного времени друг от друга, они называются просто "информация, устанавливающая опорное изображение".

(Примерный синтаксис заголовка среза основного потока)

На фиг. 9 - 11 показаны схемы, иллюстрирующие примерный синтаксис заголовка среза, используемого как заголовок, добавленный к кодированным данным, включенным в основной поток, в модулях срезов.

Как представлено в 18-ой строке на фиг. 9, заголовок среза основного потока включает в себя флаг RPS (short_term_ref_pic_set_SPS_flag), обозначающий, что RPS соответствующего среза представляет собой RPS, включенный в SPS.

Кроме того, как представлено в 19-ой и 20-ой строках, когда флаг RPS равен 0, что обозначает, что RPS соответствующего среза не является RPS, включенный в SPS, RPS соответствующего среза включают в заголовок среза, как RPS (short_term_ref_pic_set (num_short_term_ref_pic_sets)), имеющий num_short_term_ref_pic_sets, в качестве индекса.

Как представлено в 21-ой и 22-ой строках, когда флаг RPS равен 1, что обозначает, что RPS соответствующего среза представляет собой RPS, включенный в SPS, индекс (short_term_ref_pic_set_idx) RPS соответствующего среза включен в заголовок среза.

Кроме того, как показано в 23-ой - 26-ой строках, когда флаг длительного времени, включенный в соответствующие SPS, равен 1, заголовок среза включает в себя внутреннее число SPS (num_long_term_SPS), используемое, как число частей опорного изображения, устанавливающего информацию длительного времени, включенного в SPS, и внешнее число SPS (num_long_term_pics), используемое, как количество частей опорного изображения, устанавливающего информацию длительного времени, включенную в заголовок среза.

Кроме того, как представлено в 27-ой - 29-ой строках, заголовок среза включает в себя индекс (lt_idx_SPS) опорного изображения, устанавливающего информацию длительного времени, включенную в SPS среди информации, устанавливающей опорное изображение длительного времени в соответствующем срезе. Кроме того, как показано в 30-ой - 32-ой строках, заголовок среза включает в себя информацию (poc_lsb_SPS), обозначающую младший значащий бит POC опорного изображения, и опорный флаг (used_by_curr_pic_lt_flag), как информацию, устанавливающую опорное изображение длительного времени, не включенного в SPS среди информации, устанавливающей опорное изображение длительного времени в соответствующем срезе.

(Пример синтаксиса RPS основного потока)

На фиг. 12 показана схема, иллюстрирующая примерный синтаксис RPS основного потока.

Как представлено во 2-ой строке на фиг. 12, RPS включает в себя inter_ref_pic_set_prediction_flag. inter_ref_pic_set_prediction_flag представляет собой опорную информацию, обозначающую, используется или нет опорное изображение, устанавливающее информацию предыдущего изображения, которое представляет собой предыдущее изображение в порядке кодировании, для текущего изображения кодирования в GOP изображения, которое должно быть кодировано в настоящее время, в качестве опорного изображения, устанавливающего информацию для изображения, которое в настоящее время кодируют.

Опорная информация равна 1, когда информация, устанавливающая опорное изображение для предыдущего изображения, используется, как информация, устанавливающая опорное изображение для изображения, которое должно быть в настоящее время кодировано, но равна 0, когда информация, устанавливающая опорное изображение предыдущего изображения, не используется в качестве информации, устанавливающей опорное изображение, для изображения, которое должно быть в настоящее время кодировано.

Как представлено в 3-ей - 5-ой строках на фиг. 12, когда inter_ref_pic_set_prediction_flag равен 1, RPS включает в себя информацию, устанавливающую предыдущее изображение (delta_idx_minus1), устанавливающую предыдущее изображение. В частности, delta_idx_minus1 имеет значение, получаемое путем вычитания 1 из значения, полученного в результате вычитания числа кодирования предыдущего изображения из числа кодирования (порядка кодирования) текущего изображения кодирования. Здесь число кодирования представляет собой число, которое задано для каждого изображения в GOP, начиная от малого значения, в качестве порядка кодирования.

Кроме того, как представлено в 6-ой и 7-ой строках на фиг. 12, RPS включает в себя знак (delta_rps_sign) разности между (POC) информацией, устанавливающей опорное изображение предыдущего изображения, и (POC) информацией, устанавливающей опорное изображение, которое в настоящее время кодируют, и абсолютное значение (abs_delta_rps_minus1) этой разности.

Кроме того, как показано в 8-ой и 9-ой строках на фиг. 12, RPS включает в себя флаг (used_by_curr_pic_lt_flag), обозначающий, используется или нет опорное изображение, установленное информацией установления опорного изображения. Кроме того, как представлено в 10-ой и 11-ой строках, когда флаг (used_by_curr_pic_lt_flag) равен 0, обозначая, что опорное изображение, установленное по информации установления опорного изображения, не используется, флаг (use_delta_flag), обозначающий, включено или нет опорное изображение в RPS, включен в RPS.

Кроме того, как показано в 14-ой - 23-ей строках по фиг. 12, когда inter_ref_pic_set_prediction_flag равен 0, количество опорных изображений, информация, обозначающая POC или т.п. включены в RPS.

(Примерная конфигурация модуля расширенного кодирования)

На фиг. 13 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 12 расширенного кодирования по фиг. 6.

Модуль 12 расширенного кодирования по фиг. 13 включает в себя модуль 21 кодирования и модуль 22 установки.

Модуль 21 кодирования модуля 12 расширенного кодирования принимает расширенное изображение модуля фрейма, введенного снаружи, как входной сигнал. Модуль 21 кодирования кодирует входной сигнал, в соответствии со схемой, которая соответствует схеме HEVC, со ссылкой на информацию установления опорного изображения, предоставленную из модуля 11 основного кодирования, информация генерирования, устанавливающая опорное изображение, предоставляется из модуля 22 установки, и т.п. Модуль 21 кодирования подает кодированные данные, полученные, как результат, в модуль 22 установки.

Модуль 22 установки устанавливает информацию генерирования, устанавливающую опорное изображение. Индекс, заданный в порядке от 0, выделяют для информации установления опорного изображения для информации установления опорного изображения или разности информации установления опорного изображения. Модуль 22 установки подает информацию генерирования установления опорного изображения в модуль 21 кодирования. Кроме того, модуль 22 установки устанавливает SPS, включающий в себя информацию генерирования установления опорного изображения, PPS и т.п.

Модуль 22 установки генерирует кодированный поток на основе установленного SPS, PPS и кодированных данных, подаваемых из модуля 21 кодирования, и подает сгенерированный кодированный поток в модуль 13 комбинирования, как поток расширения.

(Примерная конфигурация модуля кодирования)

На фиг. 14 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 21 кодирования по фиг. 13.

Модуль 21 кодирования по фиг. 14 включают в себя A/D преобразователь 31, буфер 32 изменения компоновки экрана, модуль 33 операций, модуль 34 ортогонального преобразования, модуль 35 квантования, модуль 36 кодирования без потерь, буфер 37 накопления, модуль 38 обратного квантования, модуль 39 обратного ортогонального преобразования, модуль 40 суммирования, фильтр 41 удаления блоков, фильтр 42 адаптивного смещения, адаптивный фильтр 43 контура, запоминающее устройство 44 кадра, переключатель 45, модуль 46 прогнозирования внутри кадра, модуль 47 прогнозирования/компенсации движения, модуль 48 выбора прогнозируемого изображения, опорный буфер 49, модуль 50 установки опорного изображения и модуль 51 управления скоростью.

В частности, A/D преобразователь 31 модуля 21 кодирования 21 выполняет A/D преобразование для изображения модуля кадра, вводимого, как входной сигнал, и выводит преобразованное изображение, которое должно быть сохранено в буфере 32 изменения компоновки экрана. Буфер 32 изменения компоновки экрана изменяет компоновку сохраненного изображения в модулях кадра с порядка отображения на порядок кодирования, в соответствии со структурой GOP, и выводит изображение с измененной компоновкой в модуль 33 операций, модуль 46 прогнозирования внутри кадра и в модуль 47 прогнозирования/компенсации движения.

Модуль 33 операций функционирует, как модуль кодирования, и выполняют кодирование путем расчета разности между прогнозируемым изображением, переданным из модуля 48 выбора прогнозируемого изображения и текущим изображением кодирования, выведенным из буфера 32 изменения компоновки экрана. В частности, модуль 33 операций выполняет кодирование путем вычитания прогнозируемого изображения, передаваемого из модуля 48 выбора прогнозируемого изображения, из изображения, которое должно быть в настоящее время кодировано, выводимого из буфера 32 изменения компоновки экрана. Модуль 33 операций выводит изображение, полученное в результате, в модуль 34 ортогонального преобразования, в качестве остаточной информации. Кроме того, когда прогнозируемое изображение не подают из модуля 48 выбора прогнозируемого изображения, модуль 33 операций выводит изображение, считанное из буфера 32 изменения компоновки экрана, в модуль 34 ортогонального преобразования 34 без изменения, как остаточную информацию.

Модуль 34 ортогонального преобразования выполняет ортогональное преобразование для остаточной информации, предоставляемой из модуля 33 операций, и подает сгенерированные коэффициенты ортогонального преобразования в модуль 35 квантования.

Модуль 35 квантования квантует коэффициенты ортогонального преобразования, переданные из модуля 34 ортогонального преобразования, и подает коэффициенты, полученные в результате, в модуль 36 кодирования без потерь.

Модуль 36 кодирования без потерь получает информацию (ниже называется "информацией режима прогнозирования внутри кадра"), обозначающую оптимальный режим прогнозирования внутри кадра, из модуля 46 прогнозирования внутри кадра. Кроме того, модуль 36 кодирования без потерь получает информацию (ниже называется "информацией режима прогнозирования между кадрами"), обозначающую оптимальный режим прогнозирования между кадрами, вектор движения и т.п., передаваемые из модуля 47 прогнозирования/компенсации движения. Кроме того, модуль 36 кодирования без потерь получает информацию генерирования, устанавливающую опорное изображение, флаг RPS и т.п. из модуля 50 установки опорного изображения.

Кроме того, модуль 36 кодирования без потерь получает информацию фильтра смещения, относящуюся к фильтру смещения, из фильтра 42 адаптивного смещения, и получает коэффициент фильтра адаптивного фильтра 43 контура.

Модуль 36 кодирования без потерь выполняет кодирование без потерь, такое как контекстно адаптивное кодирование переменной длины (CAVLC) или арифметическое кодирование (например, контекстно-адаптивное кодирование двоичного арифметического кодирования (CABAC)) для квантованных коэффициентов, переданных из модуля 35 квантования.

Кроме того, модуль 36 кодирования без потерь выполняет кодирование без потерь для информации в режиме прогнозирования внутри кадра или для информации в режиме прогнозирования между кадрами, вектора движения, информацию генерирования, устанавливающую опорное изображение, флаг RPS, информацию фильтра смещения, и коэффициент фильтра, в качестве информации кодирования, относящейся к кодированию. Модуль 36 кодирования без потерь устанавливает информацию кодирования, кодированную без потерь, как заголовок среза, устанавливает коэффициенты, кодированные без потерь, как кодированные данные, и добавляет заголовок среза к кодированным данным. Модуль 36 кодирования без потерь подает кодированные данные в заголовок среза для накопления в буфере 37 накопления.

Буфер 37 накопления временно сохраняет кодированные данные, переданные из модуля 36 кодирования без потерь. Кроме того, буфер 37 накопления подает сохраненные кодированные данные в модуль 22 установки на фиг. 13.

Кроме того, квантованные коэффициенты, выводимые из модуля 35 квантования, также подают в модуль 38 обратного квантования. Модуль 38 обратного квантования выполняет обратное квантование для коэффициентов, квантованных модулем 35 квантования 35, и передает коэффициенты ортогонального преобразования, полученные в результате, в модуль 39 обратного ортогонального преобразования.

Модуль 39 обратного ортогонального преобразования выполняет обратное ортогональное преобразование четвертого порядка для коэффициентов ортогонального преобразования, переданных из модуля 38 обратного квантования, и передает остаточную информацию, полученную в результате, в модуль 40 суммирования.

Модуль 40 суммирования добавляет остаточную информацию, переданную из модуля 39 обратного ортогонального преобразования, к прогнозируемому изображению, переданному из модуля 48 выбора прогнозируемого изображения, и получает локально декодированное изображение. Кроме того, когда прогнозируемое изображение не подают из модуля 48 выбора прогнозируемого изображения, модуль 40 суммирования рассматривает остаточную информацию, переданную из модуля 39 обратного ортогонального преобразования, как локально декодированное изображение. Модуль 40 суммирования подает локально декодированное изображение в фильтр 41 удаления блоков, и передает локально декодированное изображение, которое должно быть накоплено, в запоминающее устройство 44 кадра.

Фильтр 41 удаления блоков выполняет обработку фильтра адаптивного удаления блоков, состоящую в удалении искажения блоков в локально декодированном изображении, переданном из модуля 40 суммирования, и подает полученное изображение, как результат, в фильтр 42 адаптивного смещения.

Фильтр 42 адаптивного смещения выполняет обработку фильтра адаптивного смещения (адаптивное смещение выборки (SАО)), обработку, состоящую, в основном, в устранении зацикливания изображения, которое было подвергнуто обработке фильтра адаптивного удаления блоков, с использованием фильтра 41 удаления блоков.

В частности, фильтр 42 адаптивного смещения определяет тип обработки фильтра адаптивного смещения для каждого наибольшего модуля кодирования (LCU), используемого, как максимальный модуль кодирования, и получает смещение, используемое при обработке фильтра адаптивного смещения. Фильтр 42 адаптивного смещения выполняет определенный тип обработки фильтра адаптивного смещения для изображения, которое было подвергнуто обработке фильтра адаптивного удаления блоков, используя полученное значение смещения. Затем фильтр 42 адаптивного смещения передает изображение, которое было подвергнуто обработке фильтра адаптивного смещения в адаптивный фильтр 43 контура.

Далее фильтр 42 адаптивного смещения включает в себя буфер, который содержит смещение. Фильтр 42 адаптивного смещения определяет, было или нет смещение, используемое при обработке фильтра адаптивного смещения, уже сохранено в буфере для каждого LCU.

Когда определяют, что смещение, используемое при обработке фильтра адаптивного смещения, уже сохранено в буфере, фильтр 42 адаптивного смещения устанавливает флаг сохранения, обозначающий, что смещение сохранено в буфере, как значение (в данном случае, 1), обозначающее, что смещение сохранено в буфере.

Затем фильтр 42 адаптивного смещения подает флаг сохранения, установленный в 1, индекс, обозначающий положение сохранения смещения в буфере, информацию типа, обозначающую тип выполненной обработки фильтра адаптивного смещения, в модуль 36 кодирования без потерь, в качестве информации фильтра смещения в модулях LCU.

В то же время, когда смещение, используемое при обработке фильтра адаптивного смещения еще не сохранено в буфере, фильтр 42 сохранения фильтра адаптивного смещения сохраняет смещение в буфере. Кроме того, фильтр 42 адаптивного смещения устанавливает флаг сохранения, как значение (в данном случае, 0), обозначающее, что смещение не сохранено в буфере. Затем фильтр 42 адаптивного смещения передает флаг накопителя, установленный в 0, значение смещения и информацию типа в модуль 36 кодирования без потерь, в качестве информации фильтра смещения в модулях LCU.

Например, адаптивный фильтр 43 в контуре конфигурируют, используя двумерный фильтр Винера. Адаптивный фильтр 43 в контуре выполняет обработку адаптивного фильтра контура (АLF) для изображения, которое было подвергнуто обработке адаптивного фильтра смещения и переданного из фильтра 42 адаптивного смещения, например, в модулях LCU.

В частности, адаптивный фильтр 43 в контуре рассчитывает коэффициент фильтра, используемый при обработке адаптивного фильтра в контуре, в модулях LCU таким образом, что минимизируется остаток между оригинальным изображением, используемым, как изображение, выводимое из буфера 32 изменения компоновки экрана, и изображением, которое было подвергнуто обработке фильтра адаптивного смещения. Затем адаптивный фильтр 43 в контуре выполняет обработку адаптивного фильтра в контуре для изображения, которое было подвергнуто обработке фильтра адаптивного смещения, используя рассчитанный коэффициент фильтра в модулях LCU.

Адаптивный фильтр 43 контура подает изображение, которое было подвергнуто обработке адаптивным фильтром контура, в запоминающее устройство 44 кадра. Кроме того, адаптивный фильтр 43 контура подает коэффициент фильтра в модуль 36 кодирования без потерь.

Здесь предполагается, что обработка адаптивного фильтра контура выполняется в модулях LCU, но модуль обработки адаптивного фильтра контура не ограничен LCU. Здесь обработка может быть эффективно выполнена путем обеспечения соответствия модуля обработки фильтра 42 адаптивного смещения модулю обработки адаптивного фильтра 43 контура.

В запоминающем устройстве 44 накапливается изображение, подаваемое из адаптивного фильтра 43 контура и изображение, подаваемое из модуля 40 суммирования. Изображения, накопленные в запоминающем устройстве 44 кадра, выводят в модуль 46 прогнозирования внутри кадра или в модуль 47 прогнозирования/компенсации движения через переключатель 45, как опорное изображение.

Модуль 46 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для всех режимов прогнозирования внутри кадра, используемых в качестве кандидата, используя опорное изображение, считанное из запоминающего устройства 44 кадра, через переключатель 45.

Кроме того, модуль 46 прогнозирования внутри кадра рассчитывает значение функции стоимости (детали будут описаны ниже) всех режимов прогнозирования внутри кадра, используемых в качестве кандидата, на основе изображения, считанного из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, генерируемого в результате обработки прогнозирования внутри кадра. Затем модуль 46 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования внутри кадра.

Модуль 46 прогнозирования внутри кадра подает прогнозируемое изображение, сгенерированное в оптимальном режиме прогнозирования внутри кадра, и соответствующее значение функции стоимости, в модуль 48 выбора прогнозируемого изображения. Когда уведомление о выборе прогнозируемого изображения, сгенерированного в режиме оптимальном прогнозирования внутри кадра, будет передано из модуля 48 выбора прогнозируемого изображения, модуль 46 прогнозирования внутри кадра подает информацию о режиме прогнозирования внутри кадра в модуль 36 кодирования без потерь.

Кроме того, значение функции стоимости также называется стоимостью искажения скорости (RD), и рассчитывается на основе технологии любого из режима высокой сложности и режима низкой сложности, определенного совместной моделью (JM), которая представляет собой опорное программное обеспечение, например, в схеме H.264/AVC. Кроме того, опорное программное обеспечение в схеме H.264/AVC открыто для общественности по адресу http://iphome.hhi.de/suehring/tml/index.htm.

В частности, когда режим высокой сложности используется, как технология расчета значения функции стоимости, вплоть до декодирования, предположительно, выполняется во всех режимах прогнозирования, используемых в качестве кандидата, и значение функции стоимости, выраженное следующей формулой (1), рассчитывают для каждого из режимов прогнозирования.

[Математическая формула 1]

Стоимость (Режим) = D + λ⋅R ... (1)

D обозначает разность (искажение) между оригинальным изображением и декодируемым изображением, R обозначает сгенерированную величину кодирования, включающую в себя вплоть до коэффициентов ортогонального преобразования, и λ обозначает неопределенный множитель Лагранжа, заданный как функция параметра QP квантования.

В то же время, когда используется режим низкой сложности, как технология расчета значения функции стоимости, выполняют генерирование прогнозируемого изображения и расчет объема кодирования для информации кодирования во всех режимах прогнозирования, используемых в качестве кандидата, и функцию стоимости, выраженную следующей формулой (2), рассчитывают для каждого из режимов прогнозирования.

[Математическая формула 2]

Стоимость (Режим) = D + QPtoQuant(QP)⋅Header_Bit.. (2)

D обозначает разность (искажение) между оригинальным изображением и прогнозируемым изображением, Header_Bit обозначает объем кодирования информации кодирования, и QPtoQuant обозначает функцию, заданную, как функция параметра QP квантования.

В режиме низкой сложности, поскольку только прогнозируемое изображение требуется генерировать для всех режимов прогнозирования, и нет необходимости генерировать декодированное изображение, объем расчета будет малым.

Модуль 47 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения для всех режимов прогнозирования между кадрами, используемых в качестве кандидата. В частности, модуль 47 прогнозирования/компенсации движения детектирует векторы движения всех режимов прогнозирования между кадрами, используемых в качестве кандидата, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и опорного изображения, считанного из запоминающего устройства 44 кадра через переключатель 45. Например, опорное изображение устанавливается пользователем. Модуль 47 прогнозирования/компенсации движения выполняет обработку компенсации опорного изображения на основе вектора детектированного движения, и генерирует прогнозируемое изображение.

В это время модуль 47 прогнозирования/компенсации движения рассчитывает значения функции стоимости для всех режимов прогнозирования между кадрами, используемых в качестве кандидата, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования между кадрами. Затем модуль 47 прогнозирования/компенсации движения подает значение функции стоимости оптимального режима между кадрами прогнозирования и соответствующего прогнозируемого изображения в модуль 48 выбора прогнозируемого изображения. Кроме того, когда уведомление о выборе прогнозируемого изображения, сгенерированного в оптимальном режиме прогнозирования между кадрами, будет подано из модуля 48 выбора прогнозируемого изображения, модуль 47 прогнозирования/компенсации движения выводит информацию режима прогнозирования между кадрами, соответствующий вектор движения и т.п. в модуль 36 кодирования без потерь, и выводит информацию, устанавливающую опорное изображение, в модуль 50 установки опорного изображения.

Модуль 48 выбора прогнозируемого изображения определяет один из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами, в соответствии с меньшим значением функции стоимости, в качестве оптимального режима прогнозирования, на основе значений функции стоимости, подаваемых из модуля 46 прогнозирования внутри кадра и модуля 47 прогнозирования/компенсации движения. Затем модуль 48 выбора прогнозируемого изображения подает прогнозируемое изображение оптимального режима прогнозирования в модуль 33 операций и в модуль 40 суммирования. Кроме того, модуль 48 выбора прогнозируемого изображения уведомляет модуль 46 прогнозирования внутри кадра или модуль 47 прогнозирования/компенсации движения о выборе прогнозируемого изображения оптимального режима прогнозирования.

В опорном буфере 49 сохраняют информацию, устанавливающую опорное изображение для опорного изображения, которое подают из модуля 11 основного кодирования по фиг. 6 и используют, когда кодируют основное изображение.

Модуль 50 установки опорного изображения сравнивает информацию, устанавливающую опорное изображение, передаваемую из модуля 47 прогнозирования/компенсации движения, с информацией, устанавливающей опорное изображение, сохраненной в опорном буфере 49, и определяет режим прогнозирования информации, устанавливающей опорное изображение для расширенного изображения. Здесь режим прогнозирования информации, устанавливающей опорное изображение, как предполагается, включает в себя режим копирования, режим дифференциального прогнозирования и режим отсутствия прогнозирования.

Режим копирования относится к режиму прогнозирования, в котором информация, устанавливающая опорное изображение опорного уровня, используемого в качестве другого уровня (здесь основного уровня), на который ссылаются, используется в качестве информации, устанавливающей опорное изображение для расширенного изображения. Режим дифференциального прогнозирования относится к режиму прогнозирования, в котором информацию, устанавливающую опорное изображение для расширенного изображения, прогнозируют путем добавления разности между информацией, устанавливающей опорное изображение для расширенного изображения, и информацией, устанавливающей опорное изображение для опорного уровня, с информацией, устанавливающей опорное изображение опорного уровня. Режим отсутствия прогнозирования относится к режиму прогнозирования, в котором информация, устанавливающая опорное изображение расширенного изображения, установлена независимо от опорного изображения, устанавливающего информацию об опорном уровне.

Когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим копирования, если режим прогнозирования информации, устанавливающей опорное изображение, используемой, как информация генерирования, устанавливающая опорное изображение, подаваемое из модуля 22 установки на фиг. 13, представляет собой режим копирования, модуль 50 установки опорного изображения подает значение 1, используемое в качестве флага RPS, в модуль 36 кодирования без потерь. В то же время, если режим прогнозирования информации, устанавливающей опорное изображение, используемой, как информация генерирования, устанавливающая опорное изображение, подаваемая из модуля 22 установки, не является режимом копирования, значение 0, используемое, как флаг RPS, подают в модуль 36 кодирования без потерь, и режим копирования устанавливают, как информацию генерирования, устанавливающую опорное изображение, и подаваемую из модуля 36 кодирования без потерь.

Кроме того, когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим дифференциального прогнозирования, модуль 50 установки опорного изображения рассчитывает разность между информацией, устанавливающей опорное изображение изображения расширения, и информацией, устанавливающей опорное изображения основного изображения. Затем модуль 50 установки опорного изображения сравнивает рассчитанную разность информации установления опорного изображения, с разностью информации, устанавливающей опорное изображение, используемой, как информация генерирования установления опорного изображения, подаваемая из модуля 22 установки.

Затем, когда обе разности являются идентичными друг другу, модуль 50 установки опорного изображения распознает соответствующий индекс, подает 1, используемую, как флаг RPS, в модуль 36 кодирования без потерь, устанавливает индекс, как информацию генерирования, устанавливающую опорное изображение, и подает информацию генерирования, устанавливающую опорное изображение, в модуль 36 кодирования без потерь.

В то же время, когда обе разности не являются идентичными друг другу, модуль 50 установки опорного изображения подает 0, используемый, как флаг RPS, в модуль 36 кодирования без потерь, устанавливает рассчитанную разность информации, устанавливающей опорное изображение, в качестве информации генерирования, устанавливающей опорное изображение, в модуль 36 кодирования без потерь.

Кроме того, когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим без прогнозирования, модуль 50 установки опорного изображения сравнивает информацию, устанавливающую опорное изображение для изображения расширения, с информацией, устанавливающей опорное изображение, используемое, как информация генерирования, устанавливающая опорное изображение, подаваемое из модуля 22 установки. Затем, когда обе части информации, устанавливающей опорное изображение, являются идентичными, модуль 50 установки опорного изображения распознает соответствующий индекс, подает 1, используемую, как флаг RPS, в модуль 36 кодирования без потерь, устанавливает индекс, как информацию генерирования, устанавливающую опорное изображение, и подает информацию генерирования, устанавливающую опорное изображение, в модуль 36 кодирования без потерь.

В то же время, когда обе части информации, устанавливающей опорное изображение, не являются идентичными, модуль 50 установки опорного изображения подает 0, используемый в качестве флага RPS, в модуль 36 кодирования без потерь, устанавливает информацию, устанавливающую опорное изображение, для расширенного изображения, в качестве информации генерировании, устанавливающей опорное изображение, и подает информацию генерирования, устанавливающую опорное изображение, в модуль 36 кодирования без потерь.

Модуль 51 управления скоростью управляет скоростью операции квантования модуля 35 квантования таким образом, что не возникает ни переполнение, ни потеря значимости на основе кодированных данных, накапливаемых в буфере 37 накопления.

(Описание модуля обработки кодирования)

На фиг. 15 показана схема для описания модуля кодирования (CU), используемого, как модуль кодирования, в схеме HEVC.

В схеме HEVC, поскольку изображение с большим кадром изображения, таким как при сверхвысокой четкости (UHD), составляющим 4000 x 2000 пикселей, также является целевым, фиксация размера модуля кодирования до 16 x 16 пикселей не является оптимальной. Таким образом, в схеме HEVC, CU определен, как модуль кодирования.

CU также называется блоком дерева кодирования (CTB), и выполняет ту же роль макроблока в схеме AVC. В частности, CU разделен на модули прогнозирования (PU), используемые как модуль прогнозирования внутри кадров или между кадрами, или модули преобразования (TU), используемые как модуль ортогонального преобразования. Здесь размер CU представляет собой квадрат, который изменяется для каждой последовательности и представлен пикселями со значением степени 2. Кроме того, в настоящее время, в схеме HEVC, в качестве размера ТU можно использовать 16 x 16 пикселей и 32 x 32 пикселя, а также 4 x 4 пикселя и 8 x 8 пикселей.

В примере, показанном на фиг. 15 размер наибольшего модуля кодирования (LCU), используемый, в качестве CU наибольшего размера, представляет собой 128, и размер наименьшего модуля кодирования (SCU), используемый, как CU с наименьшим размером, равен 8. Таким образом, иерархическая глубина CU, имеющего размер 2N x 2N, в котором установление иерархии выполняют в единицах N, составляет от 0 до 4, и число иерархической глубины равно 5. Кроме того, CU, имеющее размер 2N x 2N, делят на CU, имеющий размер N x N, используемый в качестве уровня, который на один уровень ниже, когда значение SPSlit_flag равно 1.

Информация, обозначающая размер LCU и размер SCU, включена в SPS. Детали CU описаны в непатентном документе 1.

(Пример конфигурации модуля установки опорного изображения)

На фиг. 16 показана блок-схема, иллюстрирующая пример конфигурации модуля 50 установки опорного изображения по фиг. 14.

Модуль 50 установки опорного изображения по фиг. 16 включает в себя модуль 71 получения, модуль 72 определения и модуль 73 генерирования.

Модуль 71 получения модуля 50 установки опорного изображения получает информацию, устанавливающую опорное изображение, из модуля 47 прогнозирования/компенсации движения по фиг. 14, и подает информацию, устанавливающую опорное изображение, в модуль 72 определения и модуль 73 генерирования.

Модуль 72 определения считывает информацию, устанавливающую опорное изображение для основного изображения, из опорного буфера 49. Модуль 72 определения сравнивает считанную информацию, устанавливающую опорное изображение основного изображения, с информацией, устанавливающей опорное изображение, подаваемой из модуля 71 получения. Затем, когда считанная информация, устанавливающая опорное изображение для основного изображения, идентична информации, устанавливающей опорное изображение, подаваемое из модуля 71 получения, модуль 72 определения определяет режим копирования, как режим прогнозирования информации, устанавливающей опорное изображение. Модуль 72 определения подает режим копирования в модуль 73 генерирования.

Кроме того, модуль 72 определения определяет, является или нет режим прогнозирования информации, устанавливающей опорное изображение, подаваемой, как информация генерирования, устанавливающая опорное изображение, из модуля 22 установки на фиг. 13, режимом копирования. Когда режим прогнозирования информации, устанавливающей опорное изображение, передаваемой, как информация генерировании, устанавливающая опорное изображение, определяют, как режим копирования, модуль 72 определения подает 1, используемую, как флаг RPS, в модуль 36 кодирования без потерь на фиг. 14. Однако, когда режим прогнозирования информации, устанавливающей опорное изображение, подаваемой, как информация генерирования, устанавливающая опорное изображение, определяют, как не являющееся режимом копирования, модуль 72 определения подает 0, используемый, как флаг RPS, в модуль 36 кодирования без потерь, и подает режим копирования в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение.

Когда режим копирования не подают из модуля 72 определения, модуль 73 генерирования считывает информацию, устанавливающую опорное изображение основного изображения, из опорного буфера 49. Модуль 73 генерирования определяет дифференциальный режим прогнозирования или режим без прогнозирования, как режим прогнозирования информации, устанавливающей опорное изображение, на основе входной команды пользователя, и подает определенный режим прогнозирования в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение.

Когда дифференциальный режим прогнозирования определяют, как режим прогнозирования информации, устанавливающей опорное изображение, модуль 73 генерирования рассчитывает разность между считанной информацией, устанавливающей опорное изображение основного изображения, и информацией, устанавливающей опорное изображение, передаваемой из модуля 71 получения. Затем модуль 73 генерирования сравнивает рассчитанную разность информации, устанавливающей опорное изображение, с разностью информации, устанавливающей опорное изображение, используемой, как информация генерирования, устанавливающая опорное изображение, подаваемое из модуля 22 установки.

Когда обе разности идентичны друг другу, модуль 73 генерирования распознает соответствующий индекс, передает 1, используемую как флаг RPS, в модуль 36 кодирования без потерь, и подает индекс в модуль 36 кодирования без потерь, как информация генерирования, устанавливающая опорное изображение.

Однако когда обе разности не являются идентичными друг другу, модуль 73 генерирования подает 0, используемый, как флаг RPS, в модуль 36 кодирования без потерь, и подает рассчитанную разность в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение.

Кроме того, когда режим без прогнозирования определяют, как режим прогнозирования информации, устанавливающей опорное изображение, модуль 73 генерирования сравнивает информацию, устанавливающую опорное изображение, передаваемую из модуля 71 получения, с информацией, устанавливающей опорное изображение, используемой, как информация генерирования, устанавливающая опорное изображение, подаваемое из модуля 22 установки. Затем, когда обе части информации, устанавливающей опорное изображение, являются идентичными друг другу, модуль 73 генерирования распознает соответствующий индекс, подает 1, используемую, как флаг RPS, в модуль 36 кодирования без потерь, и подает индекс в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение.

Однако когда обе части информации, устанавливающей опорное изображение, не являются идентичными друг другу, модуль 73 генерирования подает 0, используемый, как флаг RPS, в модуль 36 кодирования без потерь, и подает информацию, устанавливающую опорное изображение, подаваемую из модуля 71 получения, в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение.

(Примерный синтаксис SPS потока расширения)

На фиг. 17 и 18 показаны схемы, иллюстрирующие примерный синтаксис SPS, установленного модулем 22 установки по фиг. 13.

Как представлено в 9-ой строке на фиг. 18, SPS включает в себя информацию режима прогнозирования RPS (short_term_ref_pic_pred_mode), обозначающую режим прогнозирования RPS, в качестве информации генерирования, устанавливающей опорное изображение. Информация режима прогнозирования RPS равна 0, когда она обозначает режим копирования, 1, когда она обозначает режим дифференциального прогнозирования, и 2, когда она обозначает режим без прогнозирования.

Как представлено в 10-ой - 13-ой строках, когда информация режима прогнозирования RPS не равна 0, SPS включает в себя RPS или разность RPS для каждого режима прогнозирования RPS. Индекс, заданный в порядке от 0, выделяют для RPS или разности RPS.

Как представлено в 15-ой строке, SPS включает в себя флаг длительного времени (long_term_ref_pics_present_flag), аналогично SPS основного потока. Как представлено в 16-ой и 17-ой строках, когда флаг длительного времени равен 1, SPS включает в себя информацию режима прогнозирования длительного времени (long_term_ref_pic_pred_mode), обозначающую режим прогнозирования информации, устанавливающей опорное изображение длительного времени, в качестве информации генерирования, устанавливающей опорное изображение. Информация режима прогнозирования длительного времени (long_term_ref_pic_pred_mode) равна 0, когда она обозначает режим копирования, 1, когда она обозначает режим дифференциального прогнозирования, и 2, когда она обозначает режим без прогнозирования.

Как представлено в 18-ой - 22-ой строках, когда информация режима прогнозирования длительного времени равна 2, SPS включает в себя количество частей информации, устанавливающей опорное изображение длительного времени, информации, устанавливающей опорное изображение длительного времени, и опорный флаг, в качестве информации генерирования, устанавливающей опорное изображение, аналогично SPS основного потока. Индекс, заданный в порядке от 0, выделяют для информации, устанавливающей опорное изображение длительного времени.

Однако когда информация режима прогнозирования длительного времени равна 1, как представлено в 24-ой - 27-ой строках, SPS включает в себя разность (diff_num_long_term_ref_pics_SPS) между количеством частей информации, устанавливающей опорное изображение длительного времени, включенной в SPS, и количеством частей информации, устанавливающей опорное изображение длительного времени, включенной в SPS опорного уровня, и разность (diff_lt_ref_pic_poc_lsb_SPS) между информацией, устанавливающей опорное изображение длительного времени, для которой задан тот же индекс, и информацией, устанавливающей опорное изображение длительного времени, включенной в SPS опорного уровня, в качестве информации генерирования, устанавливающей опорное изображение.

Кроме того, когда информация режима прогнозирования длительного времени равна 1, SPS потока расширения не включает в себя опорный флаг, и опорный флаг рассматривается, как опорный флаг опорного уровня.

(Примерный синтаксис заголовка среза потока расширения)

На фиг. 19 - 21 показана схема, иллюстрирующая примерную конфигурацию синтаксиса заголовка среза потока расширения.

Как представлено в 18-ой строке на фиг. 19, заголовок среза потока расширения включает в себя флаг RPS, аналогично заголовку среза основного потока. Кроме того, как представлено в 19-ой и 20-ой строках, когда флаг RPS равен 0, заголовок среза включает в себя информацию режима RPS соответствующего среза, как информацию генерирования, устанавливающую опорное изображение.

Как представлено в 21-ой и 22-ой строках на фиг. 19, когда информация режима прогнозирования RPS не равна 0, заголовок среза включает в себя RPS соответствующего среза или разность RPS для каждого режима прогнозирования RPS, как short_term_ref_pic_set, в котором индекс представляет собой num_short_term_ref_pic_sets.

Кроме того, как представлено в 23-ой и 24-ой строках на фиг. 19, когда информация режима прогнозирования RPS не равна 0, и флаг RPS равен 1, заголовок среза включает в себя индекс (short_term_ref_pic_set_idx) RPS соответствующего среза или разности RPS.

Кроме того, как показано в 25-ой и 26-ой строках на фиг. 19, когда флаг длительного времени, включенный в SPS, равен 1, заголовок среза включает в себя информацию режима прогнозирования длительного времени, как информацию генерирования установления опорного изображения.

Как представлено в 27-ой – 30-ой строках на фиг. 19, когда информация режима прогнозирования длительного времени равна 2, заголовок среза включает в себя внутренний номер SPS и внешний номер SPS, как информацию генерирования, устанавливающую опорное изображение, аналогично основному потоку.

Кроме того, как представлено в 31-ой - 36-ой строках на фиг. 19, заголовок среза включает в себя индекс (lt_idx_SPS), информацию (poc_lsb_SPS) и опорный флаг (used_by_curr_pic_lt_flag), как информацию генерирования, устанавливающую опорное изображение, аналогично основному потоку.

Кроме того, как представлено в 38-ой строке на фиг. 19, заголовок среза включает в себя флаг старшего значащего бита (delta_poc_msb_present_flag), обозначающий, обозначает ли информация старшего значащего бита (delta_poc_msb_cycle_lt) старший значащий бит POC опорного изображения длительного времени. Кроме того, как представлено в 39-ой и 40-ой строках, когда флаг старшего значащего бита равен 1, это обозначает, что существует информация старшего значащего бита, заголовок среза включает в себя информацию старшего значащего бита.

В то же время, как представлено в 42-ой - 45-ой строках на фиг. 19, когда информация режима прогнозирования длительного времени равна 1, заголовок среза включает в себя разность (diff_num_long_term_SPS) между номером внутреннего SPS соответствующего среза и номером внутреннего SPS опорного уровня и разность (diff_num_long_term_pics) между внешним номером SPS соответствующего среза и внешним номером SPS опорного уровня, в качестве информации генерирования, устанавливающей опорное изображение.

Кроме того, как представлено в 46-ой строке на фиг. 19 и в 1-ой - 4-ой строках на фиг. 20, заголовок среза включает в себя индекс (lt_idx_SPS) и разность (diff_poc_lsb_lt) между информацией (poc_lsb_lt) и информацией (poc_lsb_lt) опорного уровня, в качестве информации генерирования, устанавливающей опорное изображение.

Кроме того, когда информация режима прогнозирования длительного времени равна 1, заголовок среза потока расширения не включает в себя опорный флаг и флаг старшего значащего бита, и опорный флаг и флаг старшего значащего бита рассматриваются, как опорный флаг и флаг старшего значащего бита опорного уровня.

Кроме того, как представлено в 6-ой и 7-ой строках на фиг. 20, когда флаг старшего значащего бита равен 1, заголовок среза включает в себя разность (diff_delta_poc_msb_cycle_lt) между информацией старшего значащего бита соответствующего среза и информацией старшего значащего бита опорного уровня.

(Примерный синтаксис RPS потока расширения)

На фиг. 22 показана схема, иллюстрирующая примерный синтаксис RPS потока расширения.

Как представлено в 2-ой строке на фиг. 22, RPS потока расширения включает в себя опорную информацию, аналогично RPS основного потока. Как представлено в 3-ей - 13-ой строках, когда опорная информация равна 1, и режим прогнозирования RPS равен 2, RPS потока расширения включает в себя информацию, устанавливающую предыдущее изображение, знак (delta_rps_sign), абсолютное значение (abs_delta_rps_minus1), флаг (used_by_curr_pic_lt_flag) и флаг (use_delta_flag), в качестве информации генерирования, устанавливающей опорное изображение, аналогично RPS основного потока.

Кроме того, как показано в 14-ой - 17-ой строках, когда опорная информация равна 1, и режим прогнозирования RPS равен 1, RPS включает в себя разность (diff_delta_idx_minus1) между информацией, устанавливающей предыдущее изображение соответствующего среза, и информацией, устанавливающей предыдущее изображение опорного уровня, и разность (diff_abs_delta_rps_minus1) между абсолютным значением (abs_delta_rps_minus1) соответствующего среза и абсолютным значением (abs_delta_rps_minus1) опорного уровня.

Кроме того, когда информация режима прогнозирования длительного времени равна 1, заголовок среза потока расширения не включает в себя знак (delta_rps_sign), флаг (used_by_curr_pic_lt_flag) и флаг (use_delta_flag), и знак (delta_rps_sign), флаг (used_by_curr_pic_lt_flag) и флаг (use_delta_flag) рассматриваются как знак (delta_rps_sign), флаг (used_by_curr_pic_lt_flag) и флаг (use_delta_flag) опорного уровня, соответственно.

В то же время, как представлено в 21-ой - 32-ой строках, когда опорная информация равна 0, и режим прогнозирования RPS равен 2, RPS включает в себя информацию, такую как количество опорных изображений или POC опорного изображения, аналогично RPS основного потока. Кроме того, как представлено в 33-ей - 40-ой строках, когда опорная информация 0, и режим прогнозирования RPS равен 1, RPS включает в себя разность между информацией, такой как количество опорных изображений или POC опорного изображения соответствующего среза, и информацией, такой как количество опорных изображений или POC опорного изображения опорного уровня.

(Примерный синтаксис VPS)

На фиг. 23 показана схема, иллюстрирующая примерный синтаксис VPS.

Как представлено в 6-ой строке на фиг. 23, VPS включает в себя информацию (vps_max_layer_minus1), обозначающую количество уровней масштабируемости. Кроме того, как представлено в 7-ой строке, VPS включает в себя информацию (vps_max_sub_layer_minus1), обозначающую количество уровней временной масштабируемости, аналогично предшествующему уровню техники.

Кроме того, как представлено в 15-ой строке, VPS включает в себя 0, как разность (diff_ref_layer [0]) между основным уровнем и опорным уровнем, используемым как информация, устанавливающая основной уровень, индекс которой равен 0. Кроме того, как представлено в 16-ой и 17-ой строках, VPS включает в себя разность (diff_ref_layer) уровней расширения.

Здесь, когда текущий уровень обозначен, как curr_layer, и опорный уровень обозначен, как ref_layer, опорный уровень ref_layer выражается следующей формулой (3), используя разность diff_ref_layer.

[Математическая формула 3]

ref_layer = curr_layer - diff_ref_layer.. (3)

Таким образом, когда разность (diff_ref_layer) между уровнями расширения равна 0, поток расширения генерируют независимо от информации, устанавливающей опорное изображение другого уровня и т.п., аналогично основному потоку.

(Описание обработки устройства кодирования)

На фиг. 24 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства 10 кодирования по фиг. 6. Обработка масштабируемого кодирования начинается, когда основное изображение и изображение расширения вводят снаружи.

На этапе S1, на фиг. 24, модуль 11 основного кодирования устройства 10 кодирования кодирует основное изображение, вводимое снаружи, в соответствии со схемой HEVC. Модуль 11 основного кодирования подает информацию, устанавливающую опорное изображение, для опорного изображения, используемого, когда кодируют основное изображение, в модуль 12 кодирования расширения. Модуль 11 основного кодирования подает основной поток, включающий в себя кодированные данные, полученные, как результат кодирования, SPS, PPS и т.п., в модуль 13 комбинирования, как основной поток.

На этапе S2, модуль 12 кодирования расширения выполняет обработку генерирования потока расширения, состоящую в генерировании потока расширения, из изображения расширения, подаваемого снаружи. Детали обработки генерирования потока расширения будут описаны со ссылкой на фиг. 25, которая будет описана ниже.

На этапе S3, модуль 13 комбинирования комбинирует основной поток, подаваемый из модуля 11 основного кодирования, с потоком расширения, подаваемым из модуля 12 кодирования расширения, добавляет VPS и т.п., и генерирует кодированный поток для всех уровней. Модуль 13 комбинирования подает кодированный поток для всех уровней в модуль 14 передачи.

На этапе S4, модуль 14 передачи передает кодированный поток для всех уровней, подаваемых из модуля 13 комбинирования, в устройство декодирования, которое будет описано ниже.

На фиг. 25 показана блок-схема последовательности операций, для описания деталей обработки генерирования потока расширения на этапе S2, на фиг. 24.

На этапе S10, на фиг. 25, модуль 22 установки модуля 12 кодирования расширения устанавливает информацию генерирования, устанавливающую опорное изображение, и подает информацию генерирования, устанавливающую опорное изображение, в модуль 21 кодирования. На этапе S11, модуль 21 кодирования выполняет обработку кодирования, состоящую в кодировании изображения расширения, модуля кадра, подаваемого, как входной сигнал снаружи, в соответствии со схемой, которая соответствует схеме HEVC. Детали обработки кодирования будут описаны со ссылкой на фиг. 26 и 27, которые будут описаны ниже.

На этапе S12, модуль 22 установки устанавливает SPS, включающий в себя информацию генерирования, устанавливающую опорное изображение, установленную на этапе S10. На этапе S13, модуль 22 установки устанавливает PPS. На этапе S14, модуль 22 установки генерирует поток расширения, установленный на установленном SPS и PPS, и на кодированных данных, подаваемых из модуля 21 кодирования.

На этапе S15, модуль 22 установки подает поток расширения в модуль 13 комбинирования и заканчивает обработку.

На фиг. 26 и 27 показаны блок-схемы последовательности операций для описания деталей обработки кодирования этапа S11 на фиг. 25.

На этапе S31, на фиг. 26, A/D преобразователь 31 модуля 21 кодирования выполняет A/D преобразование изображения модуля кадра, введенного, как входной сигнал, и выводит полученное в результате изображение, которое должно быть сохранено в буфере 32 изменения компоновки экрана.

На этапе S32, буфер 32 изменения компоновки экрана изменяет компоновку сохраненного изображения кадра из порядка отображения на порядок кодирования, в соответствии со структурой GOP. Буфер 32 изменения компоновки экрана подает изображение с измененной компоновкой модуля кадра в модуль 33 операций, модуль 46 прогнозирования внутри кадра и в модуль 47 прогнозирования/компенсации движения.

На этапе S33, модуль 46 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для всех режимов прогнозирования внутри кадра, используемых в качестве кандидата. Кроме того, модуль 46 прогнозирования внутри кадра рассчитывает значения функции стоимости для всех режимов прогнозирования внутри кадра, используемых в качестве кандидата, на основе изображения, считываемого из буфера 32 изменения компоновки экрана, и прогнозируемое изображение, генерируемое, как результат обработки прогнозирования внутри кадра. Затем модуль 46 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования внутри кадра. Модуль 46 прогнозирования внутри кадра подает прогнозируемое изображение, генерируемое в оптимальном режиме прогнозирования внутри кадра, и соответствующее значение функции стоимости, в модуль 48 выбора прогнозируемого изображения.

Кроме того, модуль 47 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения для всех режимов прогнозирования между кадрами, используемых в качестве кандидата. Кроме того, модуль 47 прогнозирования/компенсации движения рассчитывает значения функции стоимости для всех режимов прогнозирования между кадрами, используемых в качестве кандидата, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования между кадрами. Затем модуль 47 прогнозирования/компенсации движения подает значение функции стоимости оптимального режима прогнозирования между кадрами и соответствующее прогнозируемое изображение в модуль 48 выбора прогнозируемого изображения.

На этапе S34, модуль 48 выбора прогнозируемого изображения определяет один из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами, который меньше по значению функции стоимости, как оптимальный режим прогнозирования, на основе значений функции стоимости, передаваемых из модуля 46 прогнозирования внутри кадра и модуля 47 прогнозирования/компенсации движения, используя обработку на этапе S33. Затем модуль 48 выбора прогнозируемого изображения подает прогнозируемое изображение в оптимальном режиме прогнозирования в модуль 33 операций и в модуль 40 суммирования.

На этапе S35, модуль 48 выбора прогнозируемого изображения определяет, является или нет оптимальный режим прогнозирования оптимальным режимом прогнозирования между кадрами. Когда определяют, что оптимальный режим прогнозирования представляет собой оптимальный режим прогнозирования между кадрами на этапе S35, модуль 48 выбора прогнозируемого изображения уведомляет модуль 47 прогнозирования/компенсации движения о выборе прогнозируемого изображения, генерируемого в оптимальном режиме прогнозирования между кадрами.

Затем, на этапе S36, модуль 47 прогнозирования/компенсации движения подает информацию о режиме прогнозирования между кадрами и вектора движения в модуль 36 кодирования без потерь. На этапе S37, опорный буфер 49 сохраняет информацию, устанавливающую опорное изображение для основного изображения, переданного из модуля 11 основного кодирования. На этапе S38, модуль 50 установки опорного изображения выполняет обработку генерирования, состоящую в генерировании информации генерирования, устанавливающей опорное изображение, для опорного изображения, используемого при обработке прогнозирования/компенсации движения. Детали процесса генерирования будут описаны со ссылкой на фиг. 28, которая будет описана ниже.

В то же время, когда определяют, что оптимальный режим прогнозирования не является оптимальным режимом прогнозирования между кадрами на этапе S35, то есть, когда оптимальный режим прогнозирования представляет собой оптимальный режим прогнозирования внутри кадра, модуль 48 выбора прогнозируемого изображения уведомляет модуль 46 прогнозирования внутри кадра о выборе прогнозируемого изображения, генерируемого в оптимальном режиме прогнозирования внутри кадра. Затем, на этапе S39, модуль 46 прогнозирования внутри кадра подает информацию о режиме прогнозирования внутри кадра в модуль 36 кодирования без потерь, и обработка переходит на этап S40.

На этапе S40, модуль 33 операций выполняет кодирование путем вычитания прогнозируемого изображения, передаваемого из модуля 48 выбора прогнозируемого изображения, из изображения, передаваемого из буфера 32 изменения компоновки экрана. Модуль 33 операций выводит изображение, полученное, как результат, в модуль 34 ортогонального преобразования, как остаточную информацию.

На этапе S41, модуль 34 ортогонального преобразования выполняет ортогональное преобразование для остаточной информации, подаваемой из модуля 33 операций, и подает коэффициенты ортогонального преобразования, полученные в результате, в модуль 35 квантования.

На этапе S42, модуль 35 квантования выполняет квантование для коэффициентов, переданных из модуля 34 ортогонального преобразования, и подает коэффициенты, полученные в результате, в модуль 36 кодирования без потерь и в модуль 38 обратного квантования.

На этапе S43, на фиг. 27, модуль 38 обратного квантования выполняет обратное квантование для квантованных коэффициентов, передаваемых из модуля 35 квантования, и подает коэффициенты ортогонального преобразования, полученные в результате, в модуль 39 обратного ортогонального преобразования.

На этапе S44, модуль 39 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для коэффициентов ортогонального преобразования, переданных из модуля 38 обратного квантования, и подает остаточную информацию, полученную в результате, в модуль 40 суммирования.

На этапе S45, модуль 40 суммирования добавляет остаточную информацию, переданную из модуля 39 обратного ортогонального преобразования, к прогнозируемому изображению, передаваемому из модуля 48 выбора прогнозируемого изображения, и получает локально декодированное изображение. Модуль 40 суммирования подает полученное изображение в фильтр 41 удаления блоков и в запоминающее устройство 44 кадра.

На этапе S46, фильтр 41 удаления блоков выполняет обработку фильтра удаления блоков для локально декодированного изображения, передаваемого из модуля 40 суммирования. Фильтр 41 удаления блоков подает изображение, полученное в результате, в фильтр 42 адаптивного смещения.

На этапе S47, фильтр 42 адаптивного смещения выполняет обработку фильтра адаптивного смещения для изображения, переданного из фильтра 41 удаления блоков в модулях LCU. Фильтр 42 адаптивного смещения подает изображение, полученное в результате, в фильтр 43 адаптивного контура. Кроме того, фильтр 42 адаптивного смещения подает флаг сохранения, индекс или смещение и информацию типа в модуль 36 кодирования без потерь в модулях LCU, в качестве информации фильтра смещения.

На этапе S48, адаптивный фильтр 43 контура выполняет обработку адаптивного фильтра контура для изображения, передаваемого из фильтра 42 адаптивного смещения, в модулях LCU. Адаптивный фильтр 43 контура подает изображение, полученное в результате, в запоминающее устройство 44 кадра. Кроме того, адаптивный фильтр 43 контура подает коэффициент фильтра, используемый при обработке адаптивного фильтра контура, в модуль 36 кодирования без потерь.

На этапе S49, запоминающее устройство 44 кадра накапливает изображение, подаваемое из адаптивного фильтра 43 контура, и изображение, переданное из модуля 40 суммирования. Изображения, накопленные в запоминающем устройстве 44 кадра, выводят в модуль 46 прогнозирования внутри кадра или в модуль 47 прогнозирования/компенсации движения через переключатель 45, как опорное изображение.

На этапе S50, модуль 36 кодирования без потерь выполняет кодирование без потерь либо для информации режима прогнозирования внутри кадра, или для информации режима прогнозирования между кадрами, вектора движения, информации генерирования, устанавливающей опорное изображение, флага RPS, информации фильтра смещения и коэффициента фильтра, в качестве информации кодирования.

На этапе S51, модуль 36 кодирования без потерь выполняет кодирование без потерь для квантованных коэффициентов, передаваемых из модуля 35 квантования. Затем модуль 36 кодирования без потерь генерирует кодированные данные на основе информации кодирования, кодированной без потерь в ходе обработки на этапе S50, и кодированные без потерь коэффициенты, и передает сгенерированные кодированные данные в буфер 37 накопления.

На этапе S52, буфер 37 накопления временно накапливает кодированные данные, передаваемые из модуля 36 кодирования без потерь.

На этапе S53, модуль 51 управления скоростью управляет скоростью операции квантования, выполняемой модулем 35 квантования таким образом, что не происходит ни переполнение, ни потеря значимости, на основе кодированных данных, накопленных в буфере 37 накопления.

На этапе S54, буфер 37 накопления выводит сохраненные кодированные данные, содержащиеся в модуле 22 установки на фиг. 13. Затем обработка возвращается на этап S11 по фиг. 25 и переходит на этап S12.

Кроме того, при обработке кодирования на фиг. 26 и 27, для упрощения описания, последовательно выполняют обработку прогнозирования внутри кадра и обработку прогнозирования/компенсации движения, но фактически, бывают случаи, при которых выполняют только одну из обработки прогнозирования внутри кадра и обработки прогнозирования/компенсации движения, в соответствии с типом изображения и т.п.

На фиг. 28 показана блок-схема последовательности операций для описания деталей обработки генерирования этапа S38 на фиг. 26.

На этапе S70 по фиг. 28, модуль 71 получения модуля 50 установки опорного изображения получает информацию, устанавливающую опорное изображение для изображения расширения из модуля 47 прогнозирования/компенсации движения, и передает информацию, устанавливающую опорное изображение, изображения расширения в модуль 72 определения и в модуль 73 генерирования. На этапе S71, модуль 72 определения и модуль 73 генерирования считывают информацию, устанавливающую опорное изображение, основного изображения из опорного буфера 49.

На этапе S72, модуль 72 определения определяет, является или нет информация, устанавливающая опорное изображение для изображения расширения, идентичной информации, устанавливающей опорное изображение для основного изображения. Когда информация, устанавливающая опорное изображение для изображения расширения, определена, как идентичная для информации, устанавливающей опорное изображение основного изображения на этапе S72, на этапе S73, модуль 72 определения определяет режим копирования, как режим прогнозирования информации, устанавливающей опорное изображение.

На этапе S74, модуль 72 определения определяет, был или нет передан режим копирования из модуля 22 установки на фиг. 13, как информация генерирования, устанавливающая опорное изображение. Когда определяют, что режим копирования был передан, как информация генерирования, устанавливающая опорное изображение, на этапе S74, на этапе S75, модуль 72 определения устанавливает флаг RPS в 1 и подает флаг RPS в модуль 36 кодирования без потерь по фиг. 14. Затем обработка возвращается на этап S38 на фиг. 26 и переходит на этап S40.

В то же время, когда определяют, что режим копирования не должен быть передан, как информация генерирования, устанавливающая опорное изображение, на этапе S74, обработка переходит на этап S76. На этапе S76, модуль 72 определения устанавливает флаг RPS в 0, подает флаг RPS в модуль 36 кодирования без потерь, и подает режим копирования в модуль 36 кодирования без потерь, как информацию генерирования, устанавливающую опорное изображение. Затем обработка возвращается на этап S38 по фиг. 26 и переходит на этап S40.

В то же время, когда определяют, что информация, устанавливающая опорное изображение для изображения расширения, не является идентичной информации, устанавливающей опорное изображение основного изображения на этапе S72, обработка переходит на этап S77. На этапе S77, модуль 73 генерирования определяет, установлен или нет режим дифференциального прогнозирования, в качестве режима прогнозирования информации, устанавливающей опорное изображение, на основе введенной команды пользователя.

Когда определяют, что режим дифференциального прогнозирования должен быть установлен, как режим прогнозирования информации, устанавливающей опорное изображение на этапе S77, обработка переходит на этап S78. На этапе S78, модуль 73 генерирования определяет режим дифференциального прогнозирования, как режим прогнозирования информации, устанавливающей опорное изображение.

На этапе S79, модуль 73 генерирования получает разность информации, устанавливающей опорное изображение, между основным изображением и изображением расширения. На этапе S80, модуль 73 генерирования определяет, является или нет разность, рассчитанная на этапе S79, идентичной разности информации, устанавливающей опорное изображение, для которой выделяют индекс, переданный из модуля 22 установки.

На этапе S80, когда определяют, что разность, рассчитанная на этапе S79, должна быть идентична разности информации, устанавливающей опорное изображение, для которой были выделен индекс, обработка переходит на этап S81. На этапе S81, модуль 73 генерирования устанавливает флаг RPS в 1, подает флаг RPS в модуль 36 кодирования без потерь, и подает индекс, соответствующий той же разности, что и разность информации, устанавливающей опорное изображение, рассчитанной на этапе S79, в модуль 36 кодирования без потерь. Затем обработка возвращается на этап S38, на фиг. 26 и переходит на этап S40.

В то же время, когда определяют, что разность, рассчитанная на этапе S79, не является идентичной разности информации, устанавливающей опорное изображение, для которой выделяют индекс на этапе S80, обработка переходит на этап S82. На этапе S82 модуль 73 генерирования устанавливает флаг RPS в 0, подает флаг RPS в модуль 36 кодирования без потерь, и подает режим дифференциального прогнозирования и разность информации, устанавливающей опорное изображение, рассчитанной на этапе S79, в модуль 36 кодирования без потерь. Затем обработка возвращается на этап S38, на фиг. 26 и переходит на этап S40.

Кроме того, когда определяют, что режим дифференциального прогнозирования не будет установлен, как режим прогнозирования информации, устанавливающей опорное изображение на этапе S77, модуль 73 генерирования определяет режим без прогнозирования, как режим прогнозирования информации, устанавливающей опорное изображение, и обработка переходит на этап S83.

На этапе S83, модуль 73 генерирования определяет, является или нет информация, устанавливающая опорное изображение, для изображения расширения, идентичной информации, устанавливающей опорное изображение, для которой выделяют индекс, передаваемый из модуля 22 установки. Когда определяют, что информация, устанавливающая опорное изображение для изображения расширения, является идентичной информации, устанавливающей опорное изображение, для которой индекс выделяют на этапе S83, обработка переходит на этап S84.

На этапе S84, модуль 73 генерирования устанавливает флаг RPS в 1, передает флаг RPS в модуль 36 кодирования без потерь, и подает индекс, соответствующий той же информации, устанавливающей опорное изображение, что и информация, устанавливающая опорное изображение для изображения расширения, в модуль 36 кодирования без потерь. Затем обработка возвращается на этап S38, на фиг. 26, и переходит на этап S40.

В то же время, когда определяют, что информация, устанавливающая опорное изображение для изображения расширения, не является идентичной информации, устанавливающей опорное изображение, для которой был выделен индекс на этапе S83, обработка переходит на этап S85. На этапе S85, модуль 73 генерирования устанавливает флаг RPS в 0, передает флаг RPS в модуль 36 кодирования без потерь, и передает режим без прогнозирования и информацию, устанавливающую опорное изображение, в модуль 36 кодирования без потерь. Затем обработка возвращается к этапу S38 на фиг. 26 и переходит на этап S40.

Как описано выше, после того, как информация генерирования, устанавливающая опорное изображение, будет установлена, устройство 10 кодирования может совместно использовать или прогнозировать информацию, устанавливающую опорное изображение между основным уровнем и уровнем расширения. Таким образом, становится возможным уменьшить количество информации потока расширения и улучшить эффективность кодирования.

(Примерная конфигурация устройства декодирования в соответствии с первым вариантом осуществления)

На фиг. 29 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования, в соответствии с первым вариантом осуществления настоящей технологии, которая декодирует кодированный поток для всех уровней, передаваемых из устройства 10 кодирования на фиг. 6.

Устройство 90 декодирования на фиг. 29 включает в себя модуль 91 приема, модуль 92 разделения, модуль 93 основного декодирования и модуль 94 декодирования расширения.

Модуль 91 приема принимает кодированный поток для всех уровней, передаваемых из устройства 10 кодирования по фиг. 6, и подает принятый кодированный поток для всех уровней в модуль 92 разделения.

Модуль 92 разделения выделяет VPS из кодированного потока для всех уровней, переданных из модуля 91 приема, и распознает наличие или отсутствие опорного уровня потока расширения на основе разности (diff_ref_layer), включенной в VPS. Здесь, поскольку устройство 10 кодирования использует основной уровень, как опорный уровень для потока расширения, модуль 92 разделения распознает присутствие опорного уровня.

Когда распознают присутствие опорного уровня, модуль 92 разделения передает инструкцию в модуль 93 основного декодирования, который декодирует кодированный поток опорного уровня, для подачи информации, устанавливающей опорное изображение, в модуль 94 декодирования расширения, который декодирует поток расширения.

Кроме того, модуль 92 разделения разделяет основной поток от кодированного потока для всех уровней и подает основной поток в модуль 93 основного декодирования, и разделяет поток расширения и подает поток расширения в модуль 94 декодирования расширения.

Модуль 93 основного декодирования имеет конфигурацию, аналогичную устройству декодирования в схеме HEVC, в соответствии с предшествующим уровнем техники, и декодирует основной поток, передаваемый из модуля 92 разделения, в соответствии со схемой HEVC, и генерирует основное изображение. Здесь модуль 93 основного декодирования передает информацию, устанавливающую опорное изображение для опорного изображения, используемого, когда декодируют основное изображение, в модуль 94 декодирования расширения. Модуль 93 основного декодирования выводит сгенерированное основное изображение.

Модуль 94 декодирования расширения декодирует поток расширения, подаваемый из модуля 92 разделения, в соответствии со схемой, которая соответствует схеме HEVC, и генерирует изображение расширения. В это время модуль 94 декодирования расширения декодирует поток расширения со ссылкой на информацию, устанавливающую опорное изображение, передаваемую модулем 93 основного декодирования. Модуль 94 декодирования расширения выводит сгенерированное изображение расширения.

(Примерная конфигурация модуля декодирования расширения)

На фиг. 30 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 94 декодирования расширения по фиг. 29.

Модуль 94 декодирования расширения по фиг. 30 включает в себя модуль 111 выделения и модуль 112 декодирования.

Модуль 111 выделения модуля 94 декодирования расширения выделяет SPS, PPS, кодированные данные и т.п. из потока расширения, передаваемого из модуля 92 разделения на фиг. 29, и подает SPS, PPS, кодированные данные и т.п. в модуль 112 декодирования.

Модуль 112 декодирования декодирует кодированные данные, передаваемые из модуля 111 выделения, в соответствии со схемой, которая соответствует схеме HEVC, со ссылкой на информацию, устанавливающую опорное изображение для основного изображения, передаваемого из модуля 93 основного декодирования по фиг. 29. В это время модуль 112 декодирования также обращается к SPS, PPS и т.п., передаваемым из модуля 111 выделения, в соответствии с необходимостью. Модуль 112 декодирования выводит изображение, полученное в результате декодирования, как изображение расширения.

(Примерная конфигурация модуля декодирования)

На фиг. 31 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 112 декодирования по фиг. 30.

Модуль 112 декодирования по фиг. 31 включают в себя буфер 131 накопления, модуль 132 декодирования без потерь, модуль 133 обратного квантования, модуль 134 обратного ортогонального преобразования, модуль 135 суммирования, фильтр 136 удаления блоков, фильтр 137 адаптивного смещения, адаптивный фильтр 138 контура, буфер 139 изменения компоновки экрана, D/A преобразователь 140, запоминающее устройство 141 кадра, переключатель 142, модуль 143 прогнозирования внутри кадра, опорный буфер 144, модуль 145 установки опорного изображения, модуль 146 компенсации движения и переключатель 147.

Буфер 131 накопления модуля 112 декодирования принимает кодированные данные из модуля 111 выделения по фиг. 30, и накапливает принятые кодированные данные. Буфер 131 накопления подает накопленные кодированные данные в модуль 132 декодирования без потерь.

Модуль 132 декодирования без потерь выполняет декодирование без потерь, такое как декодирование переменной длины или арифметическое декодирование для кодированных данных, передаваемых из буфера 131 накопления, и получает квантованные коэффициенты и информацию кодирования. Модуль 132 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 132 декодирования без потерь подает информацию в режиме прогнозирования внутри кадра, используемую, как информация кодирования и т.п., в модуль 143 прогнозирования внутри кадра, и подает вектор движения, информацию режима прогнозирования между кадрами и т.п., в модуль 146 компенсации движения.

Кроме того, модуль 132 декодирования без потерь подает информацию генерирования, устанавливающую опорное изображение, используемую, как информация кодирования, флаг RPS и т.п., в модуль 145 установки опорного изображения. Кроме того, модуль 132 декодирования без потерь передает информацию режима прогнозирования внутри кадра или информацию режима прогнозирования между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 132 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

Модуль 133 обратного квантования, модуль 134 обратного ортогонального преобразования, модуль 135 суммирования, фильтр 136 удаления блоков, фильтр 137 адаптивного смещения, адаптивный фильтр 138 контура, запоминающее устройство 141 кадра, переключатель 142, модуль 143 прогнозирования внутри кадра и модуль 146 компенсации движения выполняют ту же обработку, что и модуль 38 обратного квантования, модуль 39 обратного ортогонального преобразования, модуль 40 суммирования, фильтр 41 удаления блоков, фильтр 42 адаптивного смещения, адаптивный фильтр 43 контура, запоминающее устройство 44 кадра, переключатель 45, модуль 46 прогнозирования внутри кадра и модуль 47 прогнозирования/компенсации движения на фиг. 14 для декодирования изображения.

В частности, модуль 133 обратного квантования выполняет обратное квантование для квантованных коэффициентов, передаваемых из модуля 132 декодирования без потерь, и подает коэффициенты ортогонального преобразования, полученные в результате, в модуль 134 обратного ортогонального преобразования.

Модуль 134 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для коэффициентов ортогонального преобразования, передаваемых из модуля 133 обратного квантования. Модуль 134 обратного ортогонального преобразования передает остаточную информацию, полученную в результате обратного ортогонального преобразования, в модуль 135 суммирования.

Модуль 135 суммирования функционирует, как модуль декодирования, и выполняет декодирование путем суммирования остаточной информации, используемой, как изображение, которое должно быть декодировано в настоящее время, передаваемое из модуля 134 обратного ортогонального преобразования с прогнозируемым изображением, передаваемым из переключателя 147. Модуль 135 суммирования подает изображение, полученное в результате декодирования, в фильтр 136 удаления блоков и в запоминающее устройство 141 кадра. Кроме того, когда прогнозируемое изображение не будет передано из переключателя 147, модуль 135 суммирования подает изображение, используемое, как остаточная информация, передаваемое из модуля 134 обратного ортогонального преобразования, в фильтр 136 удаления блоков, как изображение, полученное в результате декодирования, и передает это изображение для накопления в запоминающем устройстве 141 кадра.

Фильтр 136 удаления блоков выполняет обработку фильтра адаптивного удаления блоков для изображения, передаваемого из модуля 135 суммирования, и подает изображение, полученное в результате, в фильтр 137 адаптивного смещения.

Фильтр 137 адаптивного смещения включает в себя буфер, в котором содержится смещение, переданное из модуля 132 декодирования без потерь, по порядку. Кроме того, фильтр 137 адаптивного смещения выполняет обработку фильтра адаптивного смещения для изображения, которое было подвергнуто обработке фильтра адаптивного удаления блоков, с помощью фильтра 136 удаления блоков в модулях LCU, на основе информации фильтра смещения, передаваемой из модуля 132 декодирования без потерь.

В частности, когда флаг сохранения, включенный в информацию фильтра смещения, равен 0, фильтр 137 адаптивного смещения выполняет обработку адаптивного фильтра смещения для типа, обозначенного информацией типа по изображению, которое было подвергнуто обработке фильтра удаления блоков модуля LCU, используя смещение, включенное в информацию фильтра смещения.

В то же время, когда флаг сохранения, включенный в информацию фильтра смещения, равен 1, фильтр 137 адаптивного смещения считывает смещение, сохраненное в положении, обозначенном индексом, включенным в информацию фильтра смещения, для изображения, которое было подвергнуто обработке фильтра удаления блоков модуля LCU. Затем фильтр 137 адаптивного смещения выполняет обработку фильтра адаптивного смещения для типа, обозначенного информацией типа, используя считанное смещение. Фильтр 137 адаптивного смещения подает изображение, которое было подвергнуто обработке фильтра адаптивного смещения, в адаптивный фильтр 138 контура.

Адаптивный фильтр 138 контура выполняет обработку адаптивного фильтра контура для изображения, переданного из фильтра 137 адаптивного смещения, в модулях LCU, используя коэффициент фильтра, передаваемый из модуля 132 декодирования без потерь. Адаптивный фильтр 138 контура подает изображение, полученное в результате, в запоминающее устройство 141 кадра и в буфер 139 изменения компоновки экрана.

Буфер 139 изменения компоновки экрана сохраняет изображение, переданное из адаптивного фильтра 138 контура в единицах кадров. Буфер 139 изменения компоновки экрана изменяет компоновку сохраненного изображения модуля кадра в порядке кодирования на порядок исходного отображения, и передает изображение с измененной компоновкой в D/A преобразователь 140.

D/A преобразователь 140 выполняет D/A преобразование для изображения модуля кадра, передаваемого из буфера 139 изменения компоновки экрана, и выводит преобразованное изображение, как изображение расширения. Запоминающее устройство 141 кадра накапливает изображение, передаваемое из адаптивного фильтра 138 контура, и изображение, передаваемое из модуля 135 суммирования. Изображение, накопленное в запоминающем устройстве 141 кадра, считывают, как опорное изображение, и подают в модуль 143 прогнозирования внутри кадра или в модуль компенсации 146 движения через переключатель 142.

Модуль 143 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для режима прогнозирования внутри кадра, обозначенного информацией режима прогнозирования внутри кадра, передаваемой из модуля 132 декодирования без потерь, используя опорное изображение, считанное из запоминающего устройства 141 кадра, через переключатель 142. Модуль 143 прогнозирования внутри кадра передает прогнозируемое изображение, генерируемое, как результат, в переключатель 147.

В опорном буфере 144 содержится информация, устанавливающая опорное изображение для опорного изображения, используемого, когда декодируют кодированные данные основного изображения, передаваемого из модуля 93 основного декодирования по фиг. 29.

Модуль 145 установки опорного изображения устанавливает информацию генерирования, устанавливающую опорное изображение, включенную в SPS, подаваемую из модуля 111 выделения, или информацию генерирования, устанавливающую опорное изображение, передаваемую из модуля 132 декодирования без потерь, как информацию генерирования, устанавливающую опорное изображение кодированных данных, которые в настоящее время декодируют, на основе флага RPS, передаваемого из модуля 132 декодирования без потерь. Модуль 145 установки опорного изображения считывает информацию, устанавливающую опорное изображение основного изображения из опорного буфера 144, в соответствии с необходимостью. Модуль 145 установки опорного изображения генерирует информацию, устанавливающую опорное изображение, на основе информации генерирования, устанавливающей опорное изображение, кодированных данных, которые должны быть в настоящее время декодированы, и считывает информацию, устанавливающую опорное изображение для основного изображения, и подает информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения.

Модуль 146 компенсации движения считывает опорное изображение, установленное информацией, устанавливающей опорное изображение, передаваемой из модуля 145 установки опорного изображения, из запоминающего устройства 141 кадра через переключатель 142. Модуль 146 компенсации движения выполняет обработку компенсации движения оптимального режима прогнозирования между кадрами, обозначенную информацией режима прогнозирования между кадрами, передаваемой из модуля 132 декодирования без потерь, используя вектор движения, передаваемый из модуля 132 декодирования без потерь, и опорное изображение. Модуль 146 компенсации движения передает прогнозируемое изображение, генерируемое в результате, в переключатель 147.

Когда информация режима прогнозирования внутри кадра поступает из модуля 132 декодирования без потерь, переключатель 147 передает прогнозируемое изображение, передаваемое из модуля 143 прогнозирования внутри кадра, в модуль 135 суммирования. В то же время, когда информацию режима прогнозирования между кадрами подают из модуля 132 декодирования без потерь, переключатель 147 передает прогнозируемое изображение, передаваемое из модуля 146 компенсации движения, в модуль 135 суммирования.

(Пример конфигурации модуля установки опорного изображения)

На фиг. 32 показана блок-схема, иллюстрирующая пример конфигурации модуля 145 установки опорного изображения по фиг. 31.

Модуль 145 установки опорного изображения по фиг. 32 включает в себя буфер 161 информации, буфер 162 режима и модуль 163 генерирования.

Буфер 161 информации сохраняет другую информацию, чем режим прогнозирования информации, устанавливающей опорное изображение, передаваемой, как информация генерирования, устанавливающая опорное изображение, из модуля 132 декодирования без потерь по фиг. 31, и флаг RPS. Буфер 162 режима сохраняет режим прогнозирования информации, устанавливающей опорное изображение, передаваемой, как информация генерирования, устанавливающая опорное изображение, из модуля 132 декодирования без потерь.

Модуль 163 генерирования считывает флаг RPS из буфера 161 информации. Модуль 163 генерирования определяет информацию генерирования, устанавливающую опорное изображение, передаваемую из модуля 111 выделения по фиг. 30, или информацию генерирования, устанавливающую опорное изображение, передаваемую из модуля 132 декодирования без потерь, как информацию генерирования, устанавливающую опорное изображение, кодированных данных, которые в настоящее время декодируют на основе флага RPS. Когда информация генерирования, устанавливающая опорное изображение, кодированных данных, которые должны быть в настоящее время декодированы, представляет собой информацию генерирования, устанавливающую опорное изображение, передаваемую из модуля 132 декодирования без потерь, модуль 163 генерирования считывает другую информацию, чем режим прогнозирования, информацию, устанавливающую опорное изображение из буфера 161 информации, и считывает режим прогнозирования информации, устанавливающей опорное изображение, из буфера 162 режима.

Когда режим прогнозирования информации, устанавливающей опорное изображение, используемой как информация генерирования, устанавливающая опорное изображение, кодированных данных, которые должны быть в настоящее время декодированы, представляет собой режим копирования или режим дифференциального прогнозирования, модуль 163 генерирования считывает информацию, устанавливающую опорное изображение, для основного изображения из опорного буфера 144. Когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим копирования, модуль 163 генерирования генерирует считанную информацию, устанавливающую опорное изображение для основного изображения, в качестве информации, устанавливающей опорное изображение, изображения расширения, и подает сгенерированную считанную информацию, устанавливающую опорное изображение, для основного изображения, в модуль 146 компенсации движения по фиг. 31.

В то же время, когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим дифференциального прогнозирования, и другая информация, кроме информации режима прогнозирования, устанавливающая опорное изображение, представляет собой индекс, модуль 163 генерирования распознает разность информации, устанавливающей опорное изображение, для которой выделяют этот индекс, которую передают как информацию генерирования, устанавливающую опорное изображение, из модуля 111 выделения по фиг. 30. Модуль 163 генерирования добавляет разность распознанной информации, устанавливающей опорное изображение, к считанной информации, устанавливающей опорное изображение основного изображения, генерирует значение суммирования, полученное, как результат информации, устанавливающей опорное изображение, для изображения расширения, и передает сгенерированное значение суммы в модуль 146 компенсации движения.

Кроме того, когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим дифференциального прогнозирования, и другая информация, чем режим прогнозирования информации, устанавливающей опорное изображение, представляет собой разность информации, устанавливающей опорное изображение, модуль 163 генерирования добавляет эту разность к считанной информации, устанавливающей опорное изображения для основного изображения. Модуль 163 генерирования генерирует значение суммы, полученное в результате, как информацию, устанавливающую опорное изображение изображения расширения, и передает сгенерированное значение суммы в модуль 146 компенсации движения.

Кроме того, когда режим прогнозирования информации, устанавливающей опорное изображение, не является режимом прогнозирования, и другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение, представляет собой индекс, модуль 163 генерирования распознает информацию, устанавливающую опорное изображение, для которой выделяют индекс, который передают из модуля 111 выделения, по фиг. 30, как информацию генерирования, устанавливающую опорное изображение. Модуль 163 генерирования генерирует распознанную информацию, устанавливающую опорное изображение, как информацию, устанавливающую опорное изображение изображения расширения, и подает сгенерированную информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения.

Кроме того, когда режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим без прогнозирования, и информация, другая, чем режим прогнозирования информации, устанавливающей опорное изображение, представляет собой информацию, устанавливающую опорное изображение, модуль 163 генерирования генерирует информацию, устанавливающую опорное изображение, как информацию, устанавливающую опорное изображение для изображения расширения, и передает сгенерированную информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения.

(Описание обработки устройства декодирования)

На фиг. 33 показана блок-схема последовательности операций для описания обработки масштабируемого декодирования для устройства 90 декодирования по фиг. 29.

На этапе S100, на фиг. 33, модуль 91 приема устройства 90 декодирования принимают кодированный поток для всех уровней, передаваемых из устройства 10 кодирования по фиг. 6, и передает принятый кодированный поток для всех уровней в модуль 92 разделения. На этапе S101, модуль 92 разделения выделяет VPS из кодированного потока, переданного из модуля 91 приема.

На этапе S102, модуль 92 разделения распознает присутствие опорного уровня потока расширения для разности (diff_ref_layer), включенной в VPS. На этапе S103, модуль 92 разделения инструктирует модуль 93 основного декодирования, который декодирует кодированный поток опорного уровня, для подачи информации, устанавливающей опорное изображение, в модуль 94 декодирования расширения, который декодирует поток расширения.

На этапе S104, модуль 92 разделения отделяет основной поток и поток расширения от кодированного потока для всех уровней. Модуль 92 разделения передает основной поток в модуль 93 основного декодирования, и передает поток расширения в модуль 94 декодирования расширения.

На этапе S105, модуль 93 основного декодирования декодирует основной поток, передаваемый из модуля 92 разделения в соответствии со схемой HEVC, и генерирует основное изображение. В это время модуль 93 основного декодирования передает информацию, устанавливающую опорное изображение, для опорного изображения, используемого, когда декодируют основное изображение, в модуль 94 декодирования расширения. Модуль 93 основного декодирования выводит сгенерированное основное изображение.

На этапе S106, модуль 94 декодирования расширения выполняет обработку генерирования изображения расширения, состоящую в генерировании изображения расширения, на основе потока расширения, переданного из модуля 92 разделения, со ссылкой на информацию, устанавливающую опорное изображение, передаваемую из модуля 93 основного декодирования. Детали обработки генерирования изображения расширения будут описаны со ссылкой на фиг. 34, которая будет описана ниже.

На фиг. 34 показана блок-схема последовательности операций для описания обработки генерирования изображения расширения модуля 94 декодирования расширения по фиг. 30.

На этапе S111, на фиг. 34, модуль 111 выделения модуля 94 декодирования расширения выделяет SPS, PPS, кодированные данные и т.п. из потока расширения, подаваемого из модуля 92 разделения, и подает SPS, PPS, кодированные данные и т.п. в модуль 112 декодирования.

На этапе S112, модуль 112 декодирования выполняет обработку декодирования, состоящую в декодировании кодированных данных, подаваемых из модуля 111 выделения, в соответствии со схемой, соответствующей схеме HEVC, со ссылкой на SPS и PPS, подаваемых из модуля 111 выделения, информацию, устанавливающую опорное изображение, подаваемую из модуля 93 основного декодирования, и т.п., в соответствии с необходимостью. Детали обработки декодирования будут описаны со ссылкой на фиг. 35, которая будет описана ниже. Затем обработка заканчивается.

На фиг. 35 показана блок-схема последовательности операций для описания деталей обработки декодирования этапа S112 на фиг. 34.

На этапе S131 по фиг. 35 буфер 131 накопления модуля 112 декодирования расширения принимает кодированные данные модуля кадра из модуля 111 выделения по фиг. 30, и накапливает принятые кодированные данные. Буфер 131 накопления подает накопленные кодированные данные в модуль 132 декодирования без потерь.

На этапе S132, модуль 132 декодирования без потерь выполняет декодирование без потерь кодированных данных, передаваемых из буфера 131 накопления, и получает квантованные коэффициенты и информацию кодирования. Модуль 132 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 132 декодирования без потерь подает информацию режима прогнозирования внутри кадра, используемую, как информация кодирования и т.п., в модуль 143 прогнозирования внутри кадра, и подает вектор движения, информацию режима прогнозирования между кадрами и т.п., в модуль 146 компенсации движения.

Кроме того, модуль 132 декодирования без потерь подает информацию генерирования, устанавливающую опорное изображение, используемую, как информация кодирования, флаг RPS и т.п., в модуль 145 установки опорного изображения. Кроме того, модуль 132 декодирования без потерь подает информацию режима прогнозирования внутри кадра или информацию режима прогнозирования между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 132 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

На этапе S133, модуль 133 обратного квантования выполняет обратное квантование для квантованных коэффициентов, передаваемых из модуля 132 декодирования без потерь, и подает коэффициенты ортогонального преобразования, полученные, как результат, в модуль 134 обратного ортогонального преобразования.

На этапе S134, модуль 146 компенсации движения определяет, была или нет информация в режиме прогнозирования между кадрами подана из модуля 132 декодирования без потерь. Когда определяют, что информация режима прогнозирования между кадрами была подана на этапе S134, обработка переходит на этап S135.

На этапе S135, опорный буфер 144 сохраняет информацию, устанавливающую опорное изображение, для опорного изображения, используемого, когда декодируют кодированные данные основного изображения, передаваемого из модуля 93 основного декодирования по фиг. 29.

На этапе S136, модуль 145 установки опорного изображения выполняет обработку генерирования, состоящую в генерировании информации, устанавливающей опорное изображение, для изображения расширения, на основе информации генерирования, устанавливающей опорное изображение, и флага RPS, подаваемого из модуля 132 декодирования без потерь, информации, устанавливающей опорное изображение для основного изображения, сохраненного в опорном буфере 144, и т.п. Детали процесса генерирования будут описаны со ссылкой на фиг. 36, которая будет описана ниже.

На этапе S137, модуль 146 компенсации движения считывает опорное изображение на основе информации, устанавливающей опорное изображение, передаваемой из модуля 145 установки опорного изображения, и выполняет обработку компенсации движения оптимального режима прогнозирования между кадрами, обозначенную информацией режима прогнозирования между кадрами, используя вектор движения и опорное изображение. Модуль 146 компенсации движения подает прогнозируемое изображение, генерируемое в результате, в модуль 135 суммирования через переключатель 147, и обработка переходит на этап S139.

В то же время, когда определяют, что информация режима прогнозирования между кадрами не была подана на этапе S134, то есть, когда информация режима прогнозирования внутри кадра была подана в модуль 143 прогнозирования внутри кадра, обработка переходит на этап S138.

На этапе S138, модуль 143 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для режима прогнозирования внутри кадра, используя информацию режима прогнозирования внутри кадра, применяя опорное изображение, считываемое из запоминающего устройства 141 кадра, через переключатель 142. Модуль 143 прогнозирования внутри кадра подает прогнозируемое изображение, генерируемое в результате обработки прогнозирования внутри кадра, в модуль 135 суммирования, через переключатель 147, и обработка переходит на этап S139.

На этапе S139 модуль 134 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для коэффициентов ортогонального преобразования, передаваемых из модуля 133 обратного квантования, и подает остаточную информацию, полученную в результате, в модуль 135 суммирования.

На этапе S140, модуль 135 суммирования добавляет остаточную информацию, переданную из модуля 134 обратного ортогонального преобразования, к прогнозируемому изображению, подаваемому из переключателя 147. Модуль 135 суммирования подает изображение, полученное как результат, в фильтр 136 удаления блоков и в запоминающее устройство 141 кадра.

На этапе S141, фильтр 136 удаления блоков выполняет обработку фильтра удаления блоков для изображения, подаваемого из модуля 135 суммирования, и удаляет искажение блоков. Фильтр 136 удаления блоков подает изображение, полученное в результате, в фильтр 137 адаптивного смещения.

На этапе S142 фильтр 137 адаптивного смещения выполняет обработку фильтра адаптивного смещения для изображения, которое было подвергнуто обработке фильтра удаления блоков с помощью фильтра 136 удаления блоков в модулях LCU, на основе информации смещения фильтра, подаваемой из модуля 132 декодирования без потерь. Фильтр 137 адаптивного смещения подает изображение, которое было подвергнуто обработке фильтра адаптивного смещения, в адаптивный фильтр 138 контура.

На этапе S143, адаптивный фильтр 138 контура выполняет обработку адаптивного фильтра контура для изображения, подаваемого из фильтра 137 адаптивного смещения, в модулях LCU, используя коэффициент фильтра, подаваемый из модуля 132 декодирования без потерь. Адаптивный фильтр 138 контура подает изображение, полученное в результате, в запоминающее устройство 141 кадра и в буфер 139 изменения компоновки экрана.

На этапе S144, запоминающее устройство 141 кадра накапливает изображение, переданное из модуля 135 суммирования, и изображение, переданное из адаптивного фильтра 138 контура. Изображение, накопленное в запоминающем устройстве 141 кадра, подают в модуль 143 прогнозирования внутри кадра или в модуль 146 компенсации движения через переключатель 142, как опорное изображение.

На этапе S145, буфер 139 изменения компоновки экрана сохраняет, изображение, подаваемое из адаптивного фильтра 138 контура в единицах кадров, изменяет компоновку сохраненного изображения модуля кадра с порядка кодирования на порядок исходного отображения, и подает изображение с измененной компоновкой в D/A преобразователь 140.

На этапе S146, D/A преобразователь 140 выполняет D/A преобразование изображения модуля кадра, подаваемого из буфера 139 изменения компоновки экрана, и выводит преобразованное изображение, как изображение расширения. Затем обработка возвращается на этап S112, на фиг. 34, и заканчивается.

На фиг. 36 показана блок-схема последовательности операций, для описания деталей обработки генерирования этапа S136 на фиг. 35.

На этапе S161, на фиг. 36, в буфере 161 информации (фиг. 32) модуля 145 установки опорного изображения сохраняют флаг RPS, подаваемый как информация генерирования, устанавливающая опорное изображение, из модуля 132 декодирования без потерь по фиг. 31, и другую информацию, чем режим прогнозирования информации, устанавливающей опорное изображение. На этапе S162, буфер 162 режима содержит режим прогнозирования информации, устанавливающей опорное изображение, передаваемой, как информация генерирования, устанавливающая опорное изображение, из модуля 132 декодирования без потерь.

На этапе S163, модуль 163 генерирования считывает флаг RPS из буфера 161 информации. На этапе S164 модуль 163 генерирования определяет, равен или нет флаг RPS 1.

Когда определяют, что флаг RPS равен 1 на этапе S164, на этапе S165, модуль генерирования 163 определяет информацию генерирования, устанавливающую опорное изображение, подаваемую из модуля 111 выделения на фиг. 30, как информацию генерирования, устанавливающую опорное изображение кодированных данных, которые должны быть в настоящее время декодированы.

На этапе S166, модуль 163 генерирования считывает другую информацию, кроме режима прогнозирования, информации, устанавливающей опорное изображение из буфера 161 информации, и считывает режим прогнозирования информации, устанавливающей опорное изображение, из буфера 162 режима. Затем обработка переходит на этап S168.

В то же время, когда определяют, что флаг RPS не равен 1, то есть определяют, что он равен 0 на этапе S164, на этапе S167, модуль 163 генерирования определяет информацию генерирования, устанавливающую опорное изображение, подаваемое из модуля 132 декодирования без потерь, в качестве информации генерирования, устанавливающей опорное изображение, кодированных данных, которые в настоящее время декодируют. Затем обработка переходит на этап S168.

На этапе S168, модуль 163 генерирования определяет, является или нет режимом без прогнозирования режим прогнозирования информации, устанавливающей опорное изображение, используемой как информация генерирования, устанавливающая опорное изображение, кодированных данных, которые в настоящее время декодируют. Когда определяют, что режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим без прогнозирования на этапе S168, на этапе S169, модуль 163 генерирования считывает информацию, устанавливающую опорное изображение основного изображения, из опорного буфера 144.

На этапе S170, модуль 163 генерирования определяет, является или нет режим прогнозирования информации, устанавливающей опорное изображение, режимом копирования.

Когда определяют, что режим прогнозирования информации, устанавливающей опорное изображение, представляет собой режим копирования на этапе S170, на этапе S171, модуль 163 генерирования определяет считанную информацию, устанавливающую опорное изображение для основного изображения, как информацию, устанавливающую опорное изображение изображения расширения. Модуль 163 генерирования подает определенную информацию установления опорного изображения для изображения расширения в модуль 146 компенсации движения на фиг. 31. Затем обработка возвращается на этап S136, на фиг. 35, и переходит на этап S137.

В то же время, когда определяют, что режим прогнозирования информации, устанавливающей опорное изображение, не является режимом копирования, то есть определяют, что он представляет собой дифференциальный режим прогнозирования на этапе S170, на этапе S172, модуль 163 генерирования определяет, представляет ли собой индекс или нет другая информация, чем режим прогнозирования информации, устанавливающей опорное изображение.

Когда определяют, что другая информация, чем режим прогнозирования информации, устанавливающей опорное изображения, представляет собой индекс на этапе S172, обработка переходит на этап S173. На этапе S173, модуль 163 генерирования распознает разность информации, устанавливающей опорное изображения, для которой выделен индекс, которую подают, как информацию генерирования, устанавливающую опорное изображение, из модуля 111 выделения, и обработка переходит на этап S174.

В то же время, когда определяют, что другая информация, кроме режима прогнозирования информации, устанавливающая опорное изображение, не представляет собой индекс, то есть определяют, что она представляет собой разность информации, устанавливающей опорное изображение на этапе S172, обработка переходит на этап S174.

На этапе S174, модуль 163 генерирования добавляет разность информации, устанавливающей опорное изображение, к информации, устанавливающей считанное опорное изображение основного изображения, и определяет значение суммы, полученное в результате, как информацию, устанавливающую опорное изображение для изображения расширения. Модуль 163 генерирования подает определенную информацию, устанавливающую опорное изображение, для изображения расширения, в модуль 146 компенсации движения. Затем обработка возвращается на этап S136 по фиг. 35 и переходит на этап S137.

Кроме того, когда определяют, что режим прогнозирования информации, устанавливающей опорное изображение, не является режимом прогнозирования на этапе S168, на этапе S175, модуль 163 генерирования определяет, представляет ли собой индекс другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение.

Когда на этапе S175 определяют, что другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение, представляет собой индекс, обработка переходит на этап S176. На этапе S176, модуль 163 генерирования распознает информацию, устанавливающую опорное изображение, для которого выделен индекс, которую подают, как информацию генерирования, устанавливающую опорное изображение, из модуля 111 выделения, и обработка переходит на этап S177.

В то же время, когда определяют, что другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение, не представляет собой индекс, то есть, когда определяют, что другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение, представляет собой информацию, устанавливающую опорное изображение на этапе S175, обработка переходит на этап S177.

На этапе S177, модуль 163 генерирования подает информацию, устанавливающую опорное изображение, распознанную на этапе S175, или информацию, устанавливающую опорное изображение, используемую как другая информация, кроме режима прогнозирования информации, устанавливающей опорное изображение, в модуль 146 компенсации движения, как информацию, устанавливающую опорное изображение для изображения расширения. Затем обработка возвращается на этап S136 по фиг. 35 и переходит на этап S137.

Как описано выше, устройство 90 декодирования генерирует информацию, устанавливающую опорное изображение для изображения расширения, используя информацию генерирования, устанавливающую опорное изображение, и, таким образом, может совместно использовать или прогнозировать информацию, устанавливающую опорное изображение, между основным уровнем и уровнем расширения. Таким образом, становится возможным уменьшить количество информации потока расширения и улучшить эффективность кодирования.

Кроме того, в первом варианте осуществления, наличие или отсутствие опорного уровня может быть определено в соответствии с типом масштабируемой функции. В этом случае, например, когда масштабируемая функция обладает масштабируемостью SNR, пространственной масштабируемостью, масштабируемостью формата цветности, масштабируемостью бита или масштабируемостью глубины, в которой существует много вариантов использования, при которых выполняют выравнивание типов изображения между уровнями, и опорная взаимосвязь изображения, вероятно, должна быть идентична между уровнями, устанавливают опорный уровень.

<Второй вариант осуществления>

(Описание общего обзора второго варианта осуществления)

На фиг. 37 показана схема для описания общего обзора второго варианта осуществления настоящей технологии.

Как представлено на фиг. 37, во втором варианте осуществления, взвешивающую информацию, включающую в себя весовой коэффициент и значение смещения при взвешенном прогнозировании, которое используется, как информация, относящаяся к опорному изображению, совместно используют или прогнозируют между разными уровнями.

На фиг. 38 показана схема для описания взвешенного прогнозирования.

Как представлено на фиг. 38, в схеме AVC и в схеме HEVC, выполняют взвешенное прогнозирование во время прогнозирования между кадрами. Взвешенное прогнозирование представляет собой обработку взвешивания опорного изображения и генерирования прогнозируемого изображения. В частности, например, когда декодированное изображение двух кадров Y₁ и Y₀, которые расположены впереди в порядке в кодирования относительно кадра X, который в настоящее время кодируют, используется как опорное изображение, при взвешенном прогнозировании, прогнозируемое изображение X' кадра X получают по следующей формуле (4):

[Математическая формула 4]

X' = w₀ x Y₀ + w₁ x Y₁ + d.. (4)

В формуле (4) w₀ и w₁ представляют собой взвешивающие коэффициенты, и d представляет собой значение смещения. Взвешивающий коэффициент рассчитывают на основе POC при взвешенном прогнозировании, таком как неявное взвешенное прогнозирование в схеме AVC. В то же время, при взвешенном прогнозировании, таком как явное взвешенное прогнозирование в схеме AVC или взвешенное прогнозирование в схеме HEVC, весовой коэффициент и значение смещения включены в кодированный поток и передают.

При выполнении взвешенного прогнозирования, даже когда происходит изменение яркости между опорным изображением и изображением, которое кодируют в настоящее время, из-за постепенного нарастания яркости, постепенного понижения яркости, при плавном переходе и т.п., становится возможным уменьшить разность между прогнозируемым изображением и изображением, которое в настоящее время кодируют. В результате, становится возможным улучшить эффективность кодирования.

С другой стороны, когда взвешенное прогнозирование не выполняют, изменение в яркости, возникающей между опорным изображением и изображением, которое в настоящее время кодируют, из-за постепенного нарастания, постепенного понижения яркости и т.п., становится разностью между прогнозируемым изображением и изображением, которое в настоящее время кодируют, в том виде, как оно есть, и эффективность кодирования ухудшается.

Здесь, при кодировании, используя масштабируемую функцию в каждом масштабируемом изображении, SNR, пространственное разрешение, частота кадров, количество битов (глубина битов), формат сигнала цветности и т.п., являются разными, но предполагается, что содержание остается тем же.

Таким образом, когда выполняют постепенное нарастание, постепенное исчезновение, постепенное понижение яркости и т.п. для определенного масштабируемого изображения, постепенное исчезновение, постепенное понижение яркости и т.п., как полагают, выполняют для других масштабируемых изображений. Таким образом, части взвешивающей информации, пригодной для масштабируемых изображений рассматривают, как имеющие корреляцию. В этом отношении, во втором варианте осуществления, эффективность кодирования улучшается в результате совместного использования или прогнозирования взвешивающей информации между разными уровнями.

(Пример конфигурации второго варианта осуществления устройства кодирования)

На фиг. 39 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования, в соответствии со вторым вариантом осуществления настоящей технологии.

Среди компонентов, представленных на фиг. 39, те же компоненты, что показаны на фиг. 6, обозначены теми же номерами ссылочной позиции. Повторное описание, соответственно, будет исключено.

Конфигурация устройства 180 кодирования по фиг. 39 отличается от конфигурации по фиг. 6 тем, что модуль 181 основного кодирования установлен вместо модуля 11 основного кодирования, модуль 182 кодирования расширения установлен вместо модуля 12 кодирования расширения, и VPS представляет собой VPS, показанный на фиг. 1. Устройство 180 кодирования генерирует информацию генерирования взвешивания (информацию генерирования опорного изображения), используемую при генерировании взвешивающей информации изображения расширения, и включает информацию генерирования взвешивания в поток расширения.

В частности, основное изображение вводят в модуль 181 основного кодирования устройства 180 кодирования снаружи. Модуль 181 основного кодирования имеет конфигурацию, аналогичную устройству кодирования по схеме HEVC, в соответствии с предшествующим уровнем техники и кодирует основное изображение, в соответствии со схемой HEVC. Здесь модуль 181 основного кодирования подает взвешивающую информацию и т.п., используемую, когда кодируют основное изображение, в модуль 182 кодирования расширения. Модуль 181 основного кодирования подает кодированный поток, включающий в себя кодированные данные, SPS, PPS и т.п., полученные в результате кодирования, в модуль 13 комбинирования, как основной поток.

Изображение расширения подают в модуль 182 кодирования расширения снаружи. Модуль 182 кодирования расширения кодирует изображение расширения, в соответствии со схемой, соответствующей схеме HEVC. Кроме того, модуль 182 кодирования расширения генерирует информацию генерирования взвешивающей информации, используя взвешивающую информацию основного изображения и взвешивающую информацию, используемую, когда кодируют изображение расширения.

Модуль 182 кодирования расширения генерирует кодированный поток, путем суммирования взвешивающей информации и т.п. с кодированными данными изображения расширения, и подает сгенерированный кодированный поток в модуль 13 комбинирования, как поток расширения.

(Примерный синтаксис PPS основного потока)

На фиг. 40 и 41 показаны схемы, иллюстрирующие примерный синтаксис PPS в схеме AVC, и на фиг. 42 и 43 показаны схемы, иллюстрирующие примерный синтаксис PPS основного потока.

Как представлено в 28-ой строке на фиг. 40, PPS схемы AVC включает в себя флаг (weighted_pred_flag), обозначающий, выполняется или нет взвешенное прогнозирование для среза P. Кроме того, как показано в 29-ой строке, PPS схемы AVC включает в себя информацию (weighted_bipred_idc), обозначающую, выполняется или нет двухстороннее взвешенное прогнозирование для среза B. Кроме того, двухстороннее взвешенное прогнозирование представляет собой взвешенное прогнозирование, в котором изображения перед и после изображения, которое в настоящее время кодируют в порядке кодирования, используют, как опорное изображение.

Кроме того, как показано в 17-ой строке на фиг. 42, PPS основного потока включает в себя флаг (weighted_pred_flag). Кроме того, как представлено в 18-ой строке, PPS основного потока включает в себя флаг (weighted_bipred_flag), обозначающий, выполняется или нет взвешенное прогнозирование в срезе B.

(Примерный синтаксис заголовка среза основного потока)

На фиг. 44 и 45 показаны схемы, иллюстрирующие примерный синтаксис заголовка среза в схеме AVC. Синтаксис заголовка среза основного потока является таким же синтаксисом, как и на фиг. 9 - 11.

Как представлено в 42-ой строке на фиг. 44, заголовок среза схемы AVC включает в себя информацию (pred_weight_table), относящуюся к взвешивающей информации.

Кроме того, как представлено в 19-ой строке на фиг. 10, заголовок среза основного потока также включает в себя информацию (pred_weight_table), относящуюся к взвешивающей информации.

(Примерный синтаксис взвешивающей информации основного потока)

На фиг. 46 показана схема, иллюстрирующая примерный синтаксис взвешивающей информации в схеме AVC, и на фиг. 47 показана схема, иллюстрирующая примерный синтаксис взвешивающей информации основного потока.

Как представлено во 2-ой строке на фиг. 46, взвешивающая информация в схеме AVC включает в себя знаменатель (luma_log2_weight_denom) коэффициента взвешивания сигнала яркости. Далее, как представлено в 4-ой строке, взвешивающая информация в схеме AVC включает в себя знаменатель (chroma_log2_weight_denom) коэффициента взвешивания сигнала цветности.

С другой стороны, как представлено во 2-ой строке на фиг. 47, взвешивающая информация основного потока также включает в себя знаменатель (luma_log2_weight_denom) коэффициента взвешивания сигнала яркости. Кроме того, как представлено в 4-ой строке, взвешивающая информация основного потока включает в себя разность (delta_chroma_log2_weight_denom) между знаменателем коэффициента взвешивания сигнала яркости и знаменателем коэффициента взвешивания сигнала цветности. Взвешивающий коэффициент сигнала цветности (chroma_log2_weight_denom) рассчитывают с помощью следующей формулы (5), используя разность (delta_chroma_log2_weight_denom).

[Математическая формула 5]

chroma_log2_weight_denom = luma_log2_weight_denom +

delta_chroma_log2_weight_denom.. (5)

Кроме того, как представлено в 6-ой и 22-ой строках на фиг. 46, взвешивающая информация в схеме AVC включает в себя флаг (luma_weight_l0_flag, luma_weight_l1_flag), обозначающий, присутствует или нет взвешивающая информация для сигнала яркости.

Как показано в 7-ой, 8-ой, 23-ей и 24-ой строках, когда флаг (luma_weight_10_flag, luma_weight_11_flag) равен 1, это обозначает, присутствует или нет взвешивающая информация для сигнала яркости, взвешивающая информация в схеме AVC включает в себя весовой коэффициент (luma_weight_10, luma_weight_11) сигнала яркости. Кроме того, как показано в 9-ой и 25-ой строках, смещение (luma_offset_10, luma_offset_11) сигнала яркости включено.

С другой стороны, как представлено в 6-ой и 23-ей строках на фиг. 47, взвешивающая информация основного потока также включает в себя флаг (luma_weight_10_flag, luma_weight_11_flag). Как показано в 11-ой, 12-ой, 28-ой и 29-ой строках, когда флаг (luma_weight_10_flag, luma_weight_11_flag) равен 1, взвешивающая информация основного потока включает в себя информацию (delta_luma_weight_l0,delta_luma_weight_l1) коэффициента взвешивания сигнала яркости.

Коэффициент взвешивания (luma_weight_10, luma_weight_11) сигнала яркости рассчитывают по следующей формуле (6), используя информацию (delta_luma_weight_10,delta_luma_weight_11) взвешивающего коэффициента сигнала яркости.

[Математическая формула 6]

luma_weight_10 [i] = (1 <<luma_log2_weight_denom) + delta_luma_weight_l0 [i] luma_weight_l1 [i] = (1 <<luma_log2_weight_denom) + delta_luma_weight_l1 [i].. (6)

Кроме того, как представлено в 13-ой и 30-ой строках на фиг. 47, взвешивающая информация основного потока также включает в себя смещение (luma_offset_10, luma_offset_11) сигнала яркости.

Кроме того, как показано в 12-ой и 28-ой строках на фиг. 46, взвешивающая информация в схеме AVC включает в себя флаг (chroma_weight_10_flag,chroma_weight_11_flag), обозначающий, присутствует или нет взвешивающая информация для сигнала цветности.

Когда флаг (chroma_weight_10_flag,chroma_weight_11_flag) равен 1, что обозначает, что присутствует взвешивающая информация для сигнала цветности, как представлено в 13-ой - 15-ой строках и в 29-ой- 31-ой строках, взвешивающая информация в схеме AVC включает в себя коэффициент взвешивания (chroma_weight_10, chroma_weight_11) сигнала цветности. Кроме того, как представлено в 16-ой и 32-ой строках, смещение (chroma_offset_10, chroma_offset_11) сигнала цветности включено.

С другой стороны, как показано в 9-ой и 26-ой строках на фиг. 47, взвешивающая информация основного потока также включает в себя флаг (chroma_weight_10_flag,chroma_weight_11_flag). Как представлено в 15-ой - 17-ой строках и 32-ой - 34-ой строках, когда флаг (chroma_weight_10_flag,chroma_weight_11_flag) равен 1, взвешивающая информация основного потока включает в себя информацию (delta_chroma_weight_10,delta_chroma_weight_11) взвешивающего коэффициента сигнала цветности.

Взвешивающий коэффициент (chroma_weight_10, chroma_weight_11) сигнала цветности рассчитывают по следующей формуле (7), используя информацию (delta_chroma_weight_10,delta_chroma_weight_11) взвешивающего коэффициента сигнала цветности.

[Математическая формула 7]

chroma_weight_l0 [i] [j] = (1 <<chroma_log2_weight_denom) + delta_chroma_weight_l0 [i] [j] chroma_weight_l1 [i] [j] = (1 <<chroma_log2_weight_denom) + delta_chroma_weight_l1 [i] [j].. (7)

Кроме того, как представлено в 18-ой и 35-ой строках на фиг. 47, взвешивающая информация основного потока включает в себя информацию (delta_chroma_offset_10,delta_chroma_offset_11) смещения сигнала цветности. Смещение (chroma_offset_10, chroma_offset_11) сигнала цветности рассчитывают с помощью следующей формулы (8), используя информацию (delta_chroma_offset_10,delta_chroma_offset_11) смещения сигнала цветности.

[Математическая формула 8]

chroma_offset_10 [i] [j] = Clip3 (–128, 127, (delta_chroma_offset_l0 [i] [j] - ((shift* chroma_weight_10 [i] [j])>> chroma_log2_weight_denom) −shift))

chroma_offset_11 [i] [j] = Clip3 (–128, 127, (delta_chroma_offset_l1 [i] [j] - ((shift* chroma_weight_11 [i] [j])>> chroma_log2_weight_denom) −shift))

Здесь, сдвиг = 1 <<(BitDepthC−1).. (8)

(Примерная конфигурация модуля кодирования расширения)

На фиг. 48 показана блок-схема, иллюстрирующая пример конфигурации модуля 182 кодирования расширения по фиг. 39.

Модуль 182 кодирования расширения по фиг. 48 включает в себя модуль 201 кодирования и модуль 202 установки.

Модуль 201 кодирования модуля 182 кодирования расширения принимает изображение расширения модуля кадра, подаваемого снаружи, в качестве входного сигнала. Модуль 201 кодирования кодирует входной сигнал, в соответствии со схемой, которая соответствует схеме HEVC, со ссылкой на взвешивающую информацию и т.п., подаваемую из основного модуля 11 кодирования. Модуль 201 кодирования подает кодированные данные, полученные в результате, в модуль 202 установки.

Модуль 202 установки устанавливает SPS, PPS и т.п. Кроме того, PPS не включает в себя флаг (weighted_pred_flag) и флаг (weighted_bipred_flag) и флаг (weighted_pred_flag) и флаг (weighted_bipred_flag), включенные в PPS основного потока, используемого в качестве кодированного потока опорного уровня, которые используются, как флаг (weighted_pred_flag) и флаг (weighted_bipred_flag) изображения расширения.

Таким образом, когда выполняют взвешивание опорного изображения для основного изображения, взвешивание выполняют для опорного изображения для изображения расширения, и когда взвешивание не выполняют для опорного изображения основного изображения, взвешивание не выполняют для опорного изображения для изображения расширения.

Модуль 202 установки генерирует кодированный поток на основе установленных SPS, PPS и кодированных данных, подаваемых из модуля 201 кодирования, и подает сгенерированный кодированный поток в модуль 13 комбинирования, в качестве потока расширения.

(Пример конфигурации модуля кодирования)

На фиг. 49 показана блок-схема, иллюстрирующая пример конфигурации модуля 201 кодирования по фиг. 48.

Среди компонентов, показанных на фиг. 49, те же компоненты, которые представлены на фиг. 14, обозначены теми же номерами ссылочной позиции. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 201 кодирования на фиг. 49 отличается от конфигурации на фиг. 14 тем, что модуль 221 прогнозирования/компенсации движения, буфер 222 веса, модуль 223 установки веса и модуль 224 кодирования без потерь установлены вместо модуля 47 прогнозирования/компенсации движения, опорного буфера 49, модуля 50 установки опорного изображения и модуля 36 кодирования без потерь.

Модуль 221 прогнозирования/компенсации движения функционирует, как модуль взвешивающей обработки, и выполняет обработку прогнозирования/компенсации движения, используя взвешенное прогнозирование для всех режимов прогнозирования между кадрами, используемых в качестве кандидатов, на основе инструкции взвешенного прогнозирования, предоставленной из модуля 223 установки веса. В частности, модуль 221 прогнозирования/компенсации движения детектирует векторы движения всех режимов прогнозирования между кадрами, используемых в качестве кандидатов, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и опорного изображения, считываемого из запоминающего устройства 44 кадра через переключатель 45. Например, опорное изображение устанавливает пользователь.

Модуль 221 прогнозирования/компенсации движения выполняет обработку компенсации для опорного изображения на основе детектируемого вектора движения. Модуль 221 прогнозирования/компенсации движения рассчитывает взвешивающую информацию для прогнозирования взвешивания. Модуль 221 прогнозирования/компенсации движения выполняет прогнозирование взвешивания для опорного изображения, которое было подвергнуто обработке компенсации, используя рассчитанную взвешивающую информацию, и генерирует прогнозируемое изображение.

В это время модуль 221 прогнозирования/компенсации движения рассчитывает значения функции стоимости для всех режимов прогнозирования между кадрами, используемых в качестве кандидатов, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования между кадрами. Затем модуль 221 прогнозирования/компенсации движения подает значение функции стоимости оптимального режима прогнозирования между кадрами и соответствующее прогнозируемое изображение в модуль 48 выбора прогнозируемого изображения.

Кроме того, когда уведомление о выборе прогнозируемого изображения, сгенерированного в оптимальном режиме прогнозирования между кадрами, будет предоставлено из модуля 48 выбора прогнозируемого изображения, модуль 221 прогнозирования/компенсации движения выводит информацию о режиме прогнозирования между кадрами, соответствующую вектору движения, информацию, устанавливающую опорное изображение, и т.п. в модуль 224 кодирования без потерь. Кроме того, модуль 221 прогнозирования/компенсации движения подает взвешивающую информацию при взвешенном прогнозировании в модуль 223 установки веса.

В буфере 222 веса сохраняется флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), включенные в PPS основного потока, передаваемого из модуля 181 основного кодирования по фиг. 39. Кроме того, буфер 222 веса содержит взвешивающую информацию, включенную в заголовок среза основного потока, подаваемого из модуля 181 основного кодирования.

Модуль 223 установки веса считывает флаг (weighted_pred_flag) и флаг (weighted_bipred_flag) из буфера 222 веса. Модуль 223 установки веса инструктирует модуль 221 прогнозирования/компенсации движения выполнить взвешенное прогнозирование на основе флага (weighted_pred_flag), флага (weighted_bipred_flag) и типа среза изображения, которое в настоящее время должно быть кодировано.

Модуль 223 установки веса сравнивает взвешивающую информацию, подаваемую из модуля 221 прогнозирования/компенсации движения, с взвешивающей информации, содержащейся в буфере 222 веса, и определяет режим прогнозирования взвешивающей информации для расширенного изображения. Здесь режим прогнозирования взвешивающей информации, как предполагается, включает в себя режим копирования, режим дифференциального прогнозирования и режим без прогнозирования.

Режим копирования представляет собой режим прогнозирования, в котором взвешивающая информация опорного уровня (здесь основной уровень) используется в качестве взвешивающей информации расширенного изображения. Режим дифференциального прогнозирования представляет собой режим прогнозирования, состоящий в суммировании разности взвешивающей информации между расширенным изображением и опорным уровнем до взвешивающей информации опорного уровня и генерирования взвешивающей информации изображения расширения. Режим без прогнозирования представляет собой режим прогнозирования, состоящий в установке взвешивающей информации изображения расширения, в зависимости от взвешивающей информации опорного уровня.

Когда режим прогнозирования взвешивающей информации представляет собой режим копирования, модуль 223 установки веса устанавливает режим копирования, как информацию генерирования взвешивания, и подает режим копирования в модуль 224 кодирования без потерь. Кроме того, когда режим прогнозирования взвешивающей информации представляет собой режим дифференциального прогнозирования, модуль 223 установки веса рассчитывает разность между взвешивающей информации изображения расширения и взвешивающей информации основного изображения. Затем модуль 223 установки веса устанавливает рассчитанную разность взвешивающей информации и режима дифференциального прогнозирования, как информацию генерирования взвешивания, и подает рассчитанную разность взвешивающей информации и режима дифференциального прогнозирования в модуль 224 кодирования без потерь.

Кроме того, когда режим прогнозирования взвешивающей информации представляет собой режим без прогнозирования, модуль 223 установки веса устанавливает взвешивающую информацию для изображения расширения, в качестве информации генерирования взвешивания, и подает взвешивающую информацию изображения расширения в модуль 224 кодирования без потерь.

Модуль 224 кодирования без потерь получает информацию режима прогнозирования внутри кадра из модуля 46 прогнозирования внутри кадра, аналогично модулю 36 кодирования без потерь по фиг. 14. Кроме того, модуль 224 кодирования без потерь получает информацию режима прогнозирования между кадрами, вектор движения, информацию, устанавливающую опорное изображение, и т.п., передаваемые из модуля 221 прогнозирования/компенсации движения. Кроме того, модуль 224 кодирования без потерь получает информацию генерирования взвешивания из модуля 223 установки веса.

Модуль 224 кодирования без потерь получает информацию фильтра смещения из фильтра 42 адаптивного смещения и получает коэффициент фильтра из адаптивного фильтра 43 контура, аналогично модулю 36 кодирования без потерь.

Модуль 224 кодирования без потерь выполняет кодирование без потерь по квантованным коэффициентам, переданным из модуля 35 квантования, аналогично модулю 36 кодирования без потерь. Кроме того, модуль 224 кодирования без потерь выполняет кодирование без потерь, используя либо информацию режима прогнозирования внутри кадра, или информацию режима прогнозирования между кадрами, вектор движения, информацию, устанавливающую опорное изображение, информацию генерирования взвешивания, информацию фильтра смещения и коэффициент фильтра, в качестве информации кодирования, относящейся к кодированию.

Аналогично модулю 36 кодирования без потерь, модуль 224 кодирования без потерь устанавливает информацию кодирования, кодированную без потерь, как заголовок среза, устанавливает кодированные коэффициенты без потерь, как кодированные данные, и добавляет заголовок среза к кодированным данным. Аналогично модулю 36 кодирования без потерь, модуль 224 кодирования без потерь подает кодированные данные с заголовком среза, добавленным к ним, которые должны быть накоплены в буфере 37 накопления.

(Пример конфигурации буфера веса и модуля установки веса)

На фиг. 50 показана блок-схема, иллюстрирующая пример конфигурации буфера 222 веса и модуля 223 установки веса по фиг. 49.

Буфер 222 веса на фиг. 50 включает в себя буфер 241 информации и буфер 242 флага.

Буфер 241 информации буфера 222 веса сохраняет взвешивающую информацию, включенную в заголовок среза основного потока, подаваемого из модуля 181 основного кодирования по фиг. 39. Буфер 242 флага сохраняет флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), включенные в PPS основного потока, подаваемого из модуля 181 основного кодирования.

Модуль 223 установки веса по фиг. 50 включают в себя модуль 261 управления, буфер 262 информации, модуль 263 определения и модуль 264 установки.

Модуль 261 управления модуля 223 установки веса считывает флаг (weighted_pred_flag) и флаг (weighted_bipred_flag) из буфера 242 флага. Модуль 223 установки веса инструктирует модуль 221 прогнозирования/компенсации движения по фиг. 49 для выполнения взвешенного прогнозирования на основе флага (weighted_pred_flag), флага (weighted_bipred_flag) и типа среза изображения, которое в настоящее время кодируют.

Буфер 262 информации получает взвешивающую информацию из модуля 221 прогнозирования/компенсации движения, и сохраняет взвешивающую информацию. Модуль 263 определения считывает взвешивающую информацию основного изображения из буфера 241 информации и считывает взвешивающую информацию изображения расширения из буфера 262 информации. Модуль 263 определения сравнивает считанную взвешивающую информацию основного изображения с взвешивающей информации изображения расширения.

Затем, когда взвешивающая информация основного изображения идентична взвешивающей информации изображения расширения, модуль 263 определения определяет режим копирования, как режим прогнозирования взвешивающей информации. Модуль 263 определения подает режим копирования в модуль 264 установки. Кроме того, модуль 263 определения устанавливает режим копирования, как информацию генерирования взвешивания, и подает режим копирования в модуль 224 кодирования без потерь на фиг. 49.

Когда режим копирования не подают из модуля 263 определения, модуль 264 установки считывает взвешивающую информацию основного изображения из буфера 241 информации и считывает взвешивающую информацию изображения расширения из буфера 262 информации. Модуль 264 установки определяет режим прогнозирования взвешивающей информации, как режим дифференциального прогнозирования или режим без прогнозирования на основе информации, введенной пользователем.

Когда режим дифференциального прогнозирования определяют, как режим прогнозирования взвешивающей информации, модуль 264 установки рассчитывает разность между считанной взвешивающей информацией основного изображения и взвешивающей информацией изображения расширения. Затем модуль 223 установки веса устанавливает рассчитанную разность взвешивающей информации и режима дифференциального прогнозирования, в качестве информации генерирования взвешивания, и подает информацию генерирования взвешивания в модуль 224 кодирования без потерь.

В то же время, когда режим без прогнозирования определяют, как режим прогнозирования для взвешивающей информации, модуль 264 установки устанавливает взвешивающую информацию изображения расширения и режим без прогнозирования в качестве информации генерирования взвешивания, и подает установленную информацию генерировании взвешивания в модуль 36 кодирования без потерь.

(Синтаксис заголовка среза потока расширения)

Поскольку синтаксис заголовка среза потока расширения аналогичен синтаксису заголовка среза основного потока, за исключением взвешивающей информации, будет описан только синтаксис информации (pred_weight_table), относящийся к взвешивающей информации.

На фиг. 51 и 52 показаны схемы, иллюстрирующие примерный синтаксис взвешивающей информации потока расширения.

Как представлено во 2-ой строке на фиг. 51, информация, относящаяся к взвешивающей информации, включает в себя режим прогнозирования (pred_mode) взвешивающей информации. Режим прогнозирования взвешивающей информации равен 0, когда он обозначает режим копирования, 1, когда он обозначает режим дифференциального прогнозирования, и 2, когда он обозначает режим без прогнозирования.

Как представлено в 3-ей и 4-ой строках, когда режим прогнозирования взвешивающей информации не равен 2, то есть, когда режим прогнозирования взвешивающей информации представляет собой режим копирования или режим дифференциального прогнозирования, включена разность (diff_ref_layer_minus1) между уровнем основания и опорным уровнем. Здесь, когда текущий уровень обозначен, как curr_layer, и опорный уровень обозначен, как ref_layer, опорный уровень ref_layer выражен следующей формулой (9), используя разность diff_ref_layer_minus1.

[Математическая формула 9]

ref_layer = curr_layer - diff_ref_layer_minus1.. (9)

Кроме того, как представлено в 5-ой и 6-ой строках, когда режим прогнозирования взвешивающей информации равен 1, информация, относящаяся к взвешивающей информации, включает в себя разность (diff_luma_log2_weight_denom) знаменателя (luma_log2_weight_denom) между соответствующим срезом и опорным уровнем. Кроме того, как представлено в 8-ой строке, включена разность (diff_delta_chroma_log2_weight_denom) разности (delta_chroma_log2_weight_denom) между соответствующим срезом и опорным уровнем.

Кроме того, информация, относящаяся к взвешивающей информации, не включает в себя флаг (luma_weight_10_flag, luma_weight_11_flag) и флаг (chroma_weight_10_flag, chroma_weight_11_flag).

*** Другими словами, как описано выше, при кодировании, используя функцию масштабирования, когда постепенное нарастание яркости, постепенное исчезновение, постепенное понижение яркости, и т.п. выполняют для определенного масштабируемого изображения, постепенное нарастание яркости, постепенное исчезновение, постепенное понижение яркости, и т.п., как полагают, также выполняется для других масштабируемых изображений. Таким образом, когда выполняют взвешенное прогнозирование для основного изображения опорного уровня, предпочтительно, чтобы взвешенное прогнозирование было выполнено даже для изображения расширения с учетом эффективности кодирования.

Таким образом, флаг (luma_weight_10_flag, luma_weight_11_flag) и флаг (chroma_weight_10_flag, chroma_weight_11_flag) изображения расширения не передают, и используют флаг (luma_weight_10_flag, luma_weight_11_flag) и флаг (chroma_weight_l0_flag,chroma_weight_l1_flag) опорного уровня.

Кроме того, как представлено в 10-ой - 12-ой строках и 22-ой - 24-ой строках, когда флаг (luma_weight_10_flag, luma_weight_l1_flag) опорного уровня равен 1, информация, относящаяся к взвешивающей информации, включает в себя разность (diff_delta_luma_weight_10, diff_delta_luma_weight_11) информации (delta_luma_weight_10, delta_luma_weight_11) весового коэффициента сигнала яркости между соответствующим срезом и опорным уровнем. Кроме того, включена разность (diff_luma_offset_10, diff_luma_offset_11) смещения (luma_offset_10, luma_offset_11) сигнала яркости между соответствующим срезом и опорным уровнем.

Кроме того, как представлено в 14-ой - 17-ой строках и в 26-ой - 29-ой строках, когда флаг (chroma_weight_10_flag, chroma_weight_11_flag) опорного уровня равен 1, информация, относящаяся к взвешивающей информации, включает в себя разность (diff_delta_chroma_weight_10, diff_delta_chroma_weight_11) информации (delta_chroma_weight_10, delta_chroma_weight_11) весового коэффициента сигнала цветности между соответствующим срезом и опорным уровнем. Кроме того, включена разность (diff_chroma_offset_10, diff_chroma_offset_11) смещения (chroma_offset_10, chroma_offset_11) сигнала цветности между соответствующим срезом и опорным уровнем.

В то же время, когда режим прогнозирования взвешивающей информации равен 2, как представлено в 33-ей - 37-ой строках на фиг. 51 и фиг. 52, информация, относящаяся к взвешивающей информации, включает в себя ту же информацию, что и взвешивающая информация основного потока.

Кроме того, информация (pred_weight_table), относящаяся к взвешивающей информации, может быть включена в более высокий уровень, чем заголовок среза, такой как VPS и SPS в единицах уровней.

(Описание обработки устройства кодирования)

Обработка масштабируемого кодирования устройства 180 кодирования по фиг. 39 аналогична на обработке масштабируемого кодирования на фиг. 24, за исключением того, что информация, подаваемая из модуля 181 основного кодирования в модуль 182 кодирования расширения, включает в себя взвешивающую информацию, флаг (weighted_pred_flag) и флаг (weighted_bipred_flag), и выполняют обработку генерирования потока расширения для этапа S2 на фиг. 24, и, таким образом, описание будет продолжено для обработки генерирования потока расширения.

На фиг. 53 показана блок-схема последовательности операций, для описания обработки генерирования потока расширения модуля 182 кодирования расширения по фиг. 48.

На этапе S191, на фиг. 53, модуль 201 кодирования модуля 182 кодирования расширения выполняет обработку кодирования, состоящую в кодировании изображения расширения модуля кадра, вводимого, как входной сигнал снаружи, в соответствии со схемой, соответствующей схеме HEVC. Детали обработки кодирования будут описаны со ссылкой на фиг. 54 и на 55, которые будут описаны ниже.

На этапе S192, модуль 202 установки устанавливает SPS на этапе S193, модуль 202 установки устанавливает PPS, который не включает в себя флаг (weighted_pred_flag) и флаг (weighted_bipred_flag). Обработка на этапах S194 и S195 аналогична обработке на этапах S14 и 15 на фиг. 25, и, таким образом, ее описание здесь исключено.

На фиг. 54 и 55 показаны блок-схемы последовательности операций для описания деталей обработки кодирования этапа S191 на фиг. 53.

Обработка на этапах S211 и S212 на фиг. 54 аналогична обработке на этапах S31 и S32 на фиг. 26, и, таким образом, ее описание здесь исключено.

На этапе S213, буфер 241 информации буфера 222 веса сохраняет взвешивающую информацию, подаваемую из модуля 181 основного кодирования на фиг. 39, и буфер 242 флага содержит флаг (weighted_bipred_flag) и флаг (weighted_pred_flag).

На этапе S214, модуль 261 управления определяет, выполняется или нет взвешенное прогнозирование на основе флага (weighted_pred_flag) и флага (weighted_bipred_flag), сохраненных в буфере 242 флага, и тип среза изображения, которое должно быть в настоящее время кодировано.

Когда определяют, что взвешенное прогнозирование должно быть выполнено на этапе S214, модуль 261 управления инструктирует модуль 221 прогнозирования/компенсации движения выполнить взвешенное прогнозирование, и обработка переходит на этап S215.

На этапе S215, модуль 46 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для всех режимов прогнозирования внутри кадров, используемых в качестве кандидата. Кроме того, модуль 46 прогнозирования внутри кадра рассчитывает значения функции стоимости для всех режимов прогнозирования внутри кадра, используемых в качестве кандидата, на основе изображения, считываемого из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, генерируемого в результате обработки прогнозирования внутри кадра. Затем модуль 46 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования внутри кадра. Модуль 46 прогнозирования внутри кадра подает прогнозируемое изображение, генерируемое в режиме оптимального прогнозирования внутри кадра, и соответствующее значение функции стоимости, в модуль 48 выбора прогнозируемого изображения.

Кроме того, модуль 221 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения, используя взвешенное прогнозирование для всех режимов прогнозирования между кадрами, используемых в качестве кандидата. Кроме того, модуль 221 прогнозирования/компенсации движения рассчитывает значения функции стоимости для всех режимов прогнозирования между кадрами, используемых в качестве кандидата, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и прогнозируемым изображением, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования между кадрами. Затем модуль 221 прогнозирования/компенсации движения подает значение функции стоимости оптимального режима прогнозирования между кадрами и соответствующего прогнозируемого изображения в модуль 48 выбора прогнозируемого изображения.

В то же время, когда определяют, что взвешенное прогнозирование не выполняется на этапе S214, модуль 261 управления обеспечивает переход обработки на этап S216.

На этапе S216, аналогично обработке на этапе S215, модуль 46 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для всех режимов прогнозирования внутри кадра, используемых в качестве кандидата, и рассчитывает значения функции стоимости. Затем модуль 46 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования внутри кадра, и подает прогнозируемое изображение, генерируемое в режиме оптимального прогнозирования внутри кадра, и соответствующее значение функции стоимости в модуль 48 выбора прогнозируемого изображения.

Кроме того, модуль 221 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения для всех режимов прогнозирования между кадрами, используемых в качестве кандидата. Кроме того, модуль 221 прогнозирования/компенсации движения рассчитывает значения функции стоимости для всех режимов прогнозирования между кадрами, используемых в качестве кандидата, на основе изображения, подаваемого из буфера 32 изменения компоновки экрана, и прогнозируемого изображения, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является наименьшим, в качестве оптимального режима прогнозирования между кадрами. Затем модуль 221 прогнозирования/компенсации движения подает значение функции стоимости оптимального режима прогнозирования между кадрами и соответствующее прогнозируемое изображение в модуль 48 выбора прогнозируемого изображения.

После обработки на этапах S215 и S216, обработка переходит на этап S217. Обработка на этапах S217 и S218 аналогична обработке на этапах S34 и S35 на фиг. 26, и, таким образом, ее описание исключено.

На этапе S219, модуль 221 прогнозирования/компенсации движения подает информацию режима прогнозирования между кадрами, вектор движения и информацию, устанавливающую опорное изображение, в модуль 36 кодирования без потерь. На этапе S220, модуль 221 прогнозирования/компенсации движения определяет, было или нет выполнено взвешенное прогнозирование. Когда определяют, что взвешенное прогнозирование было выполнено на этапе S220, на этапе S221, модуль 221 прогнозирования/компенсации движения подает взвешивающую информацию при взвешенном прогнозировании в модуль 223 установки веса.

На этапе S222, модуль 223 установки веса выполняет обработку генерирования, состоящую в генерировании информации генерирования взвешивания. Детали обработки генерирования будут описаны со ссылкой на фиг. 56, которая будет описана ниже. После обработки на этапе S222 обработка переходит на этап S224.

В то же время, когда определяют, что взвешенное прогнозирование не было выполнено на этапе S220, обработку на этапах S221 и S222 пропускают, и обработка переходит на этап S224.

Обработка на этапах S223 - S238 аналогична обработке на этапах S39 - S54 на фиг. 26 и 27, за исключением того, что информация кодирования включает в себя любую из информации режима прогнозирования внутри кадра и информации режима прогнозирования между кадрами, вектора движения, информацию установления опорного изображения, информацию генерирования взвешивания, информацию фильтра смещения и коэффициент фильтра, и, таким образом, ее описание здесь исключено.

На фиг. 56 показана блок-схема последовательности операций для описания деталей обработки генерирования этапа S222 на фиг. 54.

На этапе S251, на фиг. 56, буфер 262 информации модуля 223установки веса получает взвешивающую информацию изображения расширения из модуля 47 прогнозирования/компенсации движения на фиг. 49, и сохраняет полученную взвешивающую информацию изображения расширения. На этапе S252 модуль 263 определения определяет, является или нет взвешивающая информация изображения расширения, сохраненного в буфере 262 информации, идентичной взвешивающей информации основного изображения, сохраненного в буфере 241 информации.

Когда определяют, что взвешивающая информация изображения расширения идентична взвешивающей информации основного изображения на этапе S252, на этапе S253 модуль 263 определения определяет режим копирования, как режим прогнозирования взвешивающей информации. На этапе S254, модуль 263 определения подает режим копирования в модуль 264 установки. Кроме того, модуль 263 определения устанавливает режим копирования, как информацию генерирования взвешивания, и подает установленный режим копирования в модуль 224 кодирования без потерь на фиг. 49. Затем обработка возвращается на этап S222 по фиг. 54, и переходит на этап S224.

В то же время, когда определяют, что взвешивающая информация изображения расширения не идентична взвешивающей информации основного изображения на этапе S252, обработка переходит на этап S255. На этапе S255, модуль 264 установки определяет, установлен или нет режим дифференциального прогнозирования, в качестве режима прогнозирования взвешивающей информации на основе информации, введенной пользователем.

Когда определяют, что режим дифференциального прогнозирования должен быть установлен, как режим прогнозирования взвешивающей информации на этапе S255, на этапе S256, модуль 264 установки определяет дифференциальный режим прогнозирования, в качестве режима прогнозирования взвешивающей информации.

На этапе S257, модуль 264 установки получает разность между взвешивающей информацией изображения расширения и взвешивающей информации основного изображения. На этапе S258, модуль 223 установки веса устанавливает разность взвешивающей информации, полученной на этапе S257, и дифференциальный режим прогнозирования, в качестве информации генерирования взвешивания, и подает установленную информацию генерирования взвешивания в модуль 224 кодирования без потерь. Затем обработка возвращается на этап S222 на фиг. 54 и переходит на этап S224.

В то же время, когда определяют, что дифференциальный режим прогнозирования не должен быть установлен в качестве режима прогнозирования взвешивающей информации на этапе S255, на этапе S259, модуль 264 установки определяет режим без прогнозирования, в качестве режима прогнозирования взвешивающей информации.

На этапе S260, модуль 264 установки устанавливает взвешивающую информацию для изображения расширения и режим без прогнозирования, в качестве информации генерирования взвешивания, и подает установленную информацию генерирования взвешивания в модуль 36 кодирования без потерь. Затем обработка возвращается на этап S222 по фиг. 54 и переходит к этапу S224.

Как описано выше, устройство 180 кодирования устанавливает информацию генерирования взвешивания, и, таким образом, взвешивающая информация может совместно использоваться или может быть прогнозируемой между основным уровнем и уровнем расширения. Таким образом, становится возможным уменьшить количество информации потока расширения и улучшить эффективность кодирования.

(Примерная конфигурация устройства декодирования в соответствии со вторым вариантом осуществления)

На фиг. 57 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования, в соответствии со вторым вариантом осуществления настоящей технологии, которая декодирует кодированный поток для всех уровней, передаваемых из устройства 180 кодирования по фиг. 39.

Среди компонентов, представленных на фиг. 57, те же компоненты, что и на фиг. 29, обозначены теми же номерами ссылочной позиции. Повторное описание будет, соответственно, исключено.

Конфигурация устройства 280 декодирования по фиг. 57 отличается от конфигурации по фиг. 29 тем, что модуль 281 разделения, модуль 282 основного декодирования и модуль 283 декодирования расширения установлены вместо модуля 92 разделения, модуля 93 основного декодирования и модуля 94 декодирования расширения.

Модуль 281 разделения устройства 280 декодирования отделяет основной поток от кодированного потока для всех уровней, подаваемых из модуля 91 приема, подает основной поток в модуль 282 основного декодирования, отделяет поток расширения и подает поток расширения в модуль 283 декодирования расширения.

Модуль 282 основного декодирования имеет такую же конфигурацию, как и устройство декодирования схемы HEVC, в соответствии с предшествующим уровнем техники, и декодирует основной поток, подаваемый из модуля 281 разделения, в соответствии со схемой HEVC, и генерирует основное изображение. Здесь модуль 282 основного декодирования подает взвешивающую информацию, используемую, когда декодируют основное изображение, и флаг (weighted_ bipred_flag) и флаг (weighted_pred_flag), включенные в PPS основного потока, в модуль 283 декодирования расширения. Модуль 282 основного декодирования выводит сгенерированное основное изображение.

Модуль 283 декодирования расширения декодирует поток расширения, подаваемый из модуля 281 разделения, в соответствии со схемой, которая соответствует схеме HEVC, и генерирует изображение расширения. В это время модуль 283 декодирования расширения декодирует поток расширения со ссылкой на взвешивающую информацию, флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), подаваемые из модуля 282 основного декодирования. Модуль 283 декодирования расширения выводит генерируемое изображение расширения.

(Примерная конфигурация модуля декодирования расширения)

На фиг. 58 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 283 декодирования расширения по фиг. 57.

Модуль 283 декодирования расширения по фиг. 58 включает в себя модуль 301 выделения и модуль 302 декодирования.

Модуль 301 выделения модуля 283 декодирования расширения выделяет SPS, PPS, кодированные данные и т.п. из потока расширения, подаваемого из модуля 281 разделения по фиг. 57, и подает SPS, PPS, кодированные данные и т.п. в модуль 302 декодирования.

Модуль 302 декодирования декодирует кодированные данные, подаваемые из модуля 301 выделения, в соответствии со схемой, соответствующей схеме HEVC, со ссылкой на взвешивающую информацию основного изображения, флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), подаваемые из модуля 282 основного декодирования по фиг. 57. В это время модуль 302 декодирования также обращается к SPS, PPS и т.п., подаваемым из модуля 301 выделения, в соответствии с необходимостью. Модуль 302 декодирования выводит изображение, полученное в результате декодирования, как изображение расширения.

(Примерная конфигурация модуля декодирования)

На фиг. 59 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 302 декодирования по фиг. 58.

Среди компонентов, представленных на фиг. 59, те же компоненты, что и на фиг. 31, обозначены теми же номерами ссылочных позиций. Подробное их описание будет, соответственно, исключено.

Конфигурация модуля 302 декодирования на фиг. 59 отличается от конфигурации на фиг. 31 тем, что модуль 320 декодирования без потерь, буфер 321 взвешивания, модуль 322 установки веса и модуль 323 компенсации движения установлены вместо модуля 132 декодирования без потерь опорного буфера 144, модуля 145 установки опорного изображения и модуля 146 компенсации движения.

Модуль 320 декодирования без потерь модуля 302 декодирования выполняет декодирование без потерь, такое как декодирование переменной длины или арифметическое декодирование кодированных данных, подаваемых из буфера 131 накопления, и получают квантованные коэффициенты и информацию кодирования. Модуль 320 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 320 декодирования без потерь подает информацию режима прогнозирования внутри кадра, используемую в качестве информации кодирования и т.п., в модуль 143 прогнозирования внутри кадра, и подает вектор движения, информацию режима прогнозирования между кадрами, информацию, устанавливающую опорное изображение, и т.п. в модуль 146 компенсации движения.

Кроме того, модуль 320 декодирования без потерь подает информацию генерирования взвешивания, используемую, как информация кодирования, в модуль 322 установки веса. Кроме того, модуль 320 декодирования без потерь подает информацию режима прогнозирования внутри кадра или информацию режима прогнозирования между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 320 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

В буфере 321 веса сохраняют взвешивающую информацию основного изображения, флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), подаваемые из модуля 282 основного декодирования по фиг. 57.

Модуль 322 установки веса инструктирует модуль 323 компенсации движения для выполнения взвешенного прогнозирования на основе флага (weighted_bipred_flag) и флага (weighted_pred_flag), сохраненных в буфере 321 веса, в типа среза изображения, которое должно быть в настоящее время декодировано.

Кроме того, модуль 322 установки веса генерирует взвешивающую информацию для изображения расширения на основе взвешивающей информации основного изображения, сохраненного в буфере 321 веса, и информацию генерирования взвешивания, подаваемую из модуля 320 декодирования без потерь. Модуль 322 установки веса подает сгенерированную взвешивающую информацию в модуль 323 компенсации движения.

Модуль 323 компенсации движения считывает опорное изображение, установленное информацией, устанавливающей опорное изображение, подаваемой из модуля 320 декодирования без потерь, из запоминающего устройства 141 кадра через переключатель 142. Модуль 323 компенсации движения выполняет обработку компенсации движения, используя прогнозирование взвешивания оптимального режима прогнозирования между кадрами, обозначенного информацией режима прогнозирования между кадрами, используя вектор движения, опорное изображение и взвешивающую информацию, подаваемую из модуля 322 установки веса на основе инструкция взвешенного прогнозирования, подаваемой из модуля 322 установки веса.

В частности, модуль 323 компенсации движения функционирует, как модуль обработки взвешивания, и выполняет обработку компенсации опорного изображения на основе вектора движения, выполняет взвешенное прогнозирование для опорного изображения, которое было подвергнуто обработке компенсации, используя взвешивающую информацию, и генерирует прогнозируемое изображение. Модуль 323 компенсации движения подает прогнозируемое изображение в переключатель 147.

(Примерная конфигурация буфера веса и модуля установки веса)

На фиг. 60 показана блок-схема, иллюстрирующая примерную конфигурацию буфера 321 веса и модуля 322 установки веса по фиг. 59.

Буфер 321 веса на фиг. 60 включает в себя буфер 341 информации и буфер 342 флага.

В буфере 341 информации буфера 321 веса сохраняют взвешивающую информацию, включенную в заголовок среза основного потока, подаваемого из модуля 282 основного декодирования на фиг. 57. В буфере 342 флага сохраняют флаг (weighted_bipred_flag) и флаг (weighted_pred_flag), включенный в PPS основного потока, подаваемого из модуля 282 основного декодирования.

Модуль 322 установки веса по фиг. 60 включает в себя модуль 351 управления, буфер 352 режима, буфер 353 информации и модуль 354 генерирования.

Модуль 351 управления модуля 322 установки веса считывает флаг (weighted_pred_flag) и флаг (weighted_bipred_flag) из буфера 342 флага. Модуль 322 установки веса инструктирует модуль 323 компенсации движения для выполнения взвешенного прогнозирования на основе флага (weighted_pred_flag), флага (weighted_bipred_flag) и типа среза изображения, которое будет в настоящее время декодировано.

Буфер 352 режима получает режим прогнозирования взвешивающей информации среди информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь по фиг. 59, и сохраняет полученный режим прогнозирования взвешивающей информации. Буфер 353 информации получает взвешивающую информацию или разность взвешивающей информации среди информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь, и сохраняет полученную взвешивающую информацию или полученную разность взвешивающей информации.

Модуль 354 генерирования считывает режим прогнозирования взвешивающей информации из буфера 352 режима. Когда режим прогнозирования взвешивающей информации представляет собой режим копирования или режим дифференциального прогнозирования, модуль 354 генерирования считывает взвешивающую информацию основного изображения из буфера 341 информации. Когда режим прогнозирования взвешивающей информации представляет собой режим копирования, модуль 354 генерирования генерирует взвешивающую информацию основного изображения, как взвешивающую информацию расширенного изображения.

В то же время, когда режим прогнозирования взвешивающей информации представляет собой режим дифференциального прогнозирования, модуль 354 генерирования считывает разность взвешивающей информации из буфера 353 информации. Модуль 354 генерирования добавляет разность взвешивающей информации к взвешивающей информации основного изображения, и генерирует добавленное значение, полученное в результате, как взвешивающую информацию расширенного изображения.

Кроме того, когда режим прогнозирования взвешивающей информации не является режимом прогнозирования, модуль 354 генерирования считывает взвешивающую информацию из буфера 353 информации и генерирует взвешивающую информацию, как взвешивающую информацию расширенного изображения. Модуль 354 генерирования подает сгенерированную взвешивающую информацию расширенного изображения в модуль 323 компенсации движения.

(Описание обработки устройства декодирования)

На фиг. 61 показана блок-схема последовательности операций для описания обработки масштабируемого декодирования устройства 280 декодирования по фиг. 57.

На этапе S280, на фиг. 61, модуль 91 приема устройства 280 декодирования принимает кодированный поток для всех уровней, передаваемых из устройства 180 кодирования по фиг. 39, и подает принятый кодированный поток в модуль 281 разделения.

На этапе S281, модуль 281 разделения отделяет основной поток и поток расширения от кодированного потока для всех уровней. Модуль 281 разделения подает основной поток в модуль 282 основного декодирования, и подает поток расширения в модуль 283 декодирования расширения.

На этапе S282 модуль 282 основного декодирования декодирует основной поток, поданный из модуля 281 разделения, в соответствии со схемой HEVC, и генерирует основное изображение. В это время модуль 282 основного декодирования подает взвешивающую информацию, используемую, когда декодируют основное изображение, и флаг (weighted_bipred_flag), и флаг (weighted_pred_flag), включенные в PPS основного потока, в модуль 283 декодирования расширения. Модуль 282 основного декодирования выводит сгенерированное основное изображение.

На этапе S283, модуль 283 декодирования расширения выполняет обработку генерирования изображения расширения со ссылкой на взвешивающую информацию, подаваемую из модуля 282 основного декодирования, флаг (weighted_bipred_flag) и флаг (weighted_pred_flag). Обработка генерирования изображения расширения аналогична обработке генерирования изображения расширения по фиг. 34, за исключением обработки декодирования на этапе S112 по фиг. 34, и в следующем описании будет представлена обработка декодирования.

На фиг. 62 показана блок-схема последовательности операций для описания деталей обработки декодирования модуля 302 декодирования по фиг. 59.

На этапе S301, на фиг. 62, буфер 131 накопления модуля 283 декодирования расширения принимает кодированные данные модуля кадра из модуля 301 выделения по фиг. 58, и накапливает кодированные данные. Буфер 131 накопления подает накопленные кодированные данные в модуль 320 декодирования без потерь.

На этапе S302, модуль 320 декодирования без потерь выполняет декодирование без потерь для кодированных данных, переданных из буфера 131 накопления, и получает квантованные коэффициенты и информацию кодирования. Модуль 320 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 320 декодирования без потерь подает информацию режима прогнозирования внутри кадра, используемую, как информация кодирования и т.п., в модуль 143 прогнозирования внутри кадра и подает вектор движения, информацию режима прогнозирования между кадрами, информацию, устанавливающую опорное изображение, и т.п. в модуль 323 компенсации движения.

Кроме того, модуль 320 декодирования без потерь подает информацию генерирования взвешивания, используемую, как информация кодирования, в модуль 322 установки веса. Кроме того, модуль 320 декодирования без потерь подает информацию режима прогнозирования внутри кадра или информацию режима прогнозирования между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 320 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

Обработка на этапах S303 и S304 аналогична обработке на этапах S133 и S134 по фиг. 35, и, таким образом, ее описание здесь исключено.

На этапе S305, в буфере 341 информации (фиг. 60) буфера 321 веса сохраняют взвешивающую информацию основного изображения, подаваемого из модуля 282 основного декодирования по фиг. 57, и в буфере 342 флага сохраняют флаг (weighted_bipred_flag) и флаг (weighted_pred_flag).

На этапе S306, модуль 351 управления определяет, выполняют или нет взвешенное прогнозирование на основе флага (weighted_bipred_flag) и флага (weighted_pred_flag), сохраненных в буфере 342 флага и тип среза изображения, которое в настоящее время должно быть декодировано.

Когда определяют, что взвешенное прогнозирование должно быть выполнено на этапе S306, модуль 351 управления передает инструкции в модуль 323 компенсации движения для выполнения взвешенного прогнозирования, и обработка переходит на этап S307. На этапе S307, модуль 322 установки веса выполняет обработку генерирования, состоящую в генерировании взвешивающей информации изображения расширения на основе информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь, взвешивающей информации основного изображения, сохраненной в буфере 321 веса и т.п. Детали обработки генерирования будут описаны со ссылкой на фиг. 63, которая будет описана ниже.

На этапе S308, модуль 323 компенсации движения считывает опорное изображение на основе информации, устанавливающей опорное изображение, подаваемой из модуля 320 декодирования без потерь, и выполняет обработку компенсации движения, используя взвешенное прогнозирование оптимального режима прогнозирования между кадрами, обозначенное информацией режима прогнозирования между кадрами, используя вектор движения, опорное изображение и взвешивающую информацию, подаваемые из модуля 322 установки веса. Модуль 146 компенсации движения подает прогнозируемое изображение, генерируемое, как результат, в модуль 135 суммирования через переключатель 147, и обработка переходит на этап S311.

В то же время, когда определяют, что взвешенное прогнозирование не должно выполняться на этапе S306, на этапе S309, модуль 323 компенсации движения считывает опорное изображение на основе информации, устанавливающей опорное изображение, подаваемое из модуля 320 декодирования без потерь, и выполняет обработку компенсации движения оптимального режима прогнозирования между кадрами, обозначенную информацией режима прогнозирования между кадрами, используя вектор движения и опорное изображение. Модуль 146 компенсации движения подает прогнозируемое изображение, генерируемое, как результат, в модуль 135 суммирования через переключатель 147, и обработка переходит на этап S311.

Обработка на этапах S310 - S318 аналогична обработке на этапах S138 - S146 на фиг. 35, и, таким образом, ее описание здесь не представлено.

На фиг. 63 показана блок-схема последовательности операций, предназначенная для описания деталей обработки генерирования на этапе S307, на фиг. 62.

На этапе S330, на фиг. 63, буфер 352 режима модуля 322 установки веса получает режим прогнозирования взвешивающей информации среди информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь по фиг. 59, и сохраняет полученный режим прогнозирования взвешивающей информации.

На этапе S331, модуль 354 генерирования определяет, является или нет режим прогнозирования взвешивающей информации, сохраненной в буфере 352 режима, режимом без прогнозирования.

Когда определяют, что режим прогнозирования взвешивающей информации не должен представлять собой режим прогнозирования на этапе S331, то есть, когда режим прогнозирования взвешивающей информации представляет собой режим копирования или режим дифференциального прогнозирования, обработка переходит на этап S332. На этапе S332 взвешивающую информацию основного изображения считывают из буфера 341 информации.

На этапе S333 модуль 354 генерирования определяет, представляет ли собой режим прогнозирования взвешивающей информации режим копирования. Когда определяют, что режим прогнозирования взвешивающей информации должен представлять собой режим копирования на этапе S333, на этапе S334, модуль 354 генерирования генерирует взвешивающую информацию основного изображения, как взвешивающую информацию изображения расширения, и подает генерируемую взвешивающую информацию основного изображения в модуль 323 компенсации движения. Затем обработка генерирования заканчивается.

В то же время, когда определяют, что режим прогнозирования взвешивающей информации не является режимом копирования на этапе S333, то есть, когда режим прогнозирования взвешивающей информации представляет собой режим дифференциального прогнозирования, обработка переходит на этап S335. На этапе S335 буфер 353 информации получает разность взвешивающей информации среди информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь, и сохраняет разность этой взвешивающей информации. На этапе S336 модуль 354 генерирования считывает разность взвешивающей информации из буфера 353 информации.

На этапе S337 модуль 354 генерирования суммирует разность взвешивающей информации с взвешивающей информацией основного изображения, и генерирует значение суммы, полученное в результате, как взвешивающую информацию изображения расширения. Модуль 354 генерирования подает сгенерированную взвешивающую информацию изображения расширения в модуль 323 компенсации движения, и обработка генерирования заканчивается.

Кроме того, когда определяют, что режим прогнозирования взвешивающей информации должен представлять собой режим без прогнозирования на этапе S331, на этапе S338, буфер 353 информации получает взвешивающую информацию среди информации генерирования взвешивания, подаваемой из модуля 320 декодирования без потерь, и сохраняет полученную взвешивающую информацию. На этапе S339, модуль 354 генерирования считывает взвешивающую информацию из буфера 353 информации.

На этапе S340, модуль 354 генерирования генерирует взвешивающую информацию, считанную на этапе S339, как взвешивающую информацию изображения расширения, и подает сгенерированную взвешивающую информацию в модуль 323 компенсации движения. Затем обработка генерирования заканчивается.

Как описано выше, устройство 280 декодирования генерирует взвешивающую информацию изображения расширения, используя информацию генерирования взвешивания, и, таким образом, взвешивающая информация может совместно использоваться или может быть спрогнозирована между основным уровнем и уровнем расширения. Таким образом, становится возможным уменьшить количество информации потока расширения и улучшить эффективность кодирования.

Кроме того, во втором варианте осуществления, аналогично первому варианту осуществления, VPS может представлять собой VPS, представленный на фиг. 23.

Кроме того, в первом и втором вариантах осуществления, количество уровней равно 2, но количество уровней может быть равно 2 или больше. Опорный уровень может быть установлен в единицах изображений или может быть установлен в единицах GOP. То же относится к третьему варианту осуществления и четвертому варианту осуществления, которые будут описаны ниже.

Кроме того, в первом и втором вариантах осуществления, основное изображение кодируют в соответствии со схемой HEVC, но оно может быть кодировано в соответствии со схемой AVC. В этом случае, во втором варианте осуществления, информацию (pred_weight_table), относящуюся к взвешивающей информации основного изображения в схеме AVC, преобразуют в информацию (pred_weight_table), относящуюся к взвешивающей информации в схеме HEVC, используя формулы (5) - (8) и затем используют.

<Третий вариант осуществления>

(Описание общего обзора третьего варианта осуществления)

На фиг. 64 показана схема для описания общего обзора, в соответствии с третьим вариантом осуществления настоящей технологии.

Как представлено на фиг. 64, существует множество случаев, в которых структура GOP (группа изображений) основного изображения (BL) идентична структуре GOP изображения расширения (EL). Другими словами, основное изображение и расширение постоянно идентичны в типе среза и во взаимном отношении в направлении времени одновременно. Таким образом, в третьем варианте осуществления, информация, устанавливающая опорное изображение, совместно используется между разными уровнями. В частности, в качестве информации, устанавливающей опорное изображение определенного среза изображения расширения, используется информация, устанавливающая опорное изображение среза основного изображения, которая размещена совместно со срезом.

Кроме того, "размещена совместно" означает, что положения на экране соответствуют друг другу. Например, срез основного изображения, совместно размещенного со срезом изображения расширения, представляет собой срез, включающий в себя LCU основного изображения, который соответствует по положению на экране LCU в заголовке среза изображения.

(Примерная конфигурация устройства кодирования в соответствии с третьим вариантом осуществления)

На фиг. 65 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования, в соответствии с третьим вариантом осуществления настоящей технологии.

Среди компонентов, представленных на фиг. 65, одинаковые компоненты на фиг. 6 обозначены одинаковыми номерами ссылочных позиций. Повторное их описание будет, соответственно, исключено.

Устройство 400 кодирования по фиг. 65 отличается от конфигурации на фиг. 6 тем, что модуль 411 кодирования расширения установлен вместо модуля 12 кодирования расширения. В устройстве 400 кодирования вся информация, устанавливающая опорное изображение, совместно используется между основным изображением и изображением расширения.

В частности, изображение расширения вводят снаружи в модуль 411 кодирования расширения устройства 400 кодирования. Модуль 411 кодирования расширения кодирует изображение расширения в соответствии со схемой, которая соответствует схеме HEVC.

Кроме того, модуль 411 кодирования расширения устанавливает флаг копирования, как информацию генерирования, устанавливающую опорное изображение (информацию генерирования опорного изображения), используя информацию, устанавливающую опорное изображение основного изображения, подаваемого из модуля 11 основного кодирования. Затем модуль кодирования расширения 411 добавляет флаг копирования и т.п. к результату кодирования, и генерирует кодированные данные. Кроме того, флаг копирования представляет собой флаг, обозначающий, используется ли вся информация, устанавливающая опорное изображения основного изображения, в качестве информации, устанавливающей опорное изображение для изображения расширения.

Модуль 411 кодирования расширения подает кодированный поток, включающий в себя кодированные данные, SPS, PPS и т.п. в модуль 13 комбинирования, как поток расширения.

Здесь предполагается, что устройство 400 кодирования передает кодированный поток для всех уровней, но может передавать только основной поток, если необходимо.

(Примерная конфигурация модуля кодирования расширения)

На фиг. 66 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 411 кодирования расширения по фиг. 65.

Модуль 411 кодирования расширения по фиг. 66 включает в себя модуль 431 установки и модуль 432 кодирования.

Модуль 431 установки модуля 411 кодирования расширения устанавливает набор параметров, включающий в себя флаг копирования, такой как SPS и PPS, если необходимо. Модуль 431 установки подает установленный набор параметров в модуль 432 кодирования.

Модуль 432 кодирования принимает изображение расширения модуля кадра, вводимое снаружи, как входной сигнал, и кодирует изображение расширения, в соответствии со схемой, которая соответствует схеме HEVC. Кроме того, модуль 432 кодирования устанавливает флаг копирования на основе информации, устанавливающей опорное изображение, используемое во время кодирования, и информации, устанавливающей опорное изображение, подаваемой из модуля 11 основного кодирования.

Модуль 432 кодирования добавляет флаг копирования и т.п. к результату кодирования на основе установленного флага копирования и флага копирования, включенного в SPS, подаваемого из модуля 431 установки, и генерирует кодированные данные. Затем модуль 432 кодирования генерирует поток расширения на основе кодированных данных и набора параметра, подаваемого из модуля 431 установки, и подает поток расширения в модуль 13 комбинирования по фиг. 65.

(Примерная конфигурация модуля кодирования)

На фиг. 67 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 432 кодирования по фиг. 66.

Среди компонентов, показанных на фиг. 67, те же компоненты, что и на фиг. 14, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 432 кодирования на фиг. 67 отличается от конфигурации на фиг. 14 тем, что модуль 451 кодирования без потерь, буфер 452 накопления и модуль 453 установки опорного изображения установлены вместо модуля 36 кодирования без потерь буфера 37 накопления и модуля 50 установки опорного изображения.

Модуль 451 кодирования без потерь получает информацию режима прогнозирования внутри кадра из модуля 46 прогнозирования внутри кадра. Кроме того, модуль 451 кодирования без потерь получает информацию режима прогнозирования между кадрами, вектор движения и т.п., подаваемые из модуля 47 прогнозирования/компенсации движения. Кроме того, модуль 451 кодирования без потерь получает флаг RPS, флаг копирования и т.п. из модуля 453 установки опорного изображения. Кроме того, модуль 451 кодирования без потерь получает информацию фильтра смещения из фильтра 42 адаптивного смещения, и получает коэффициент фильтра из адаптивного фильтра 43 контура.

Модуль 451 кодирования без потерь выполняет кодирование без потерь для квантованных коэффициентов, подаваемых из модуля 35 квантования. Кроме того, модуль 451 кодирования без потерь выполняет кодирование без потерь либо для информации режима прогнозирования внутри кадра, или для информации режима прогнозирования между кадрами, вектора движения, флага RPS, флага копирования, информации фильтра смещения и коэффициента фильтра, в качестве информации кодирования. Модуль 451 кодирования без потерь добавляет информацию кодирования, кодированную без потерь, к коэффициентам, кодированным без потерь, и генерирует кодированные данные. Модуль 451 кодирования без потерь подает кодированные данные для накопления в буфере 452 накопления.

Буфер 452 накопления временно сохраняет кодированные данные, переданные из модуля 451 кодирования без потерь. Кроме того, буфер 452 накопления подает сохраненные кодированные данные в модуль 13 комбинирования (фиг. 65), как поток расширения, вместе с набором параметров, подаваемым из модуля 431 установки на фиг. 66.

Модуль 453 установки опорного изображения сравнивает информацию, устанавливающую опорное изображение, подаваемую из модуля 47 прогнозирования/компенсации движения, с информацией, устанавливающей опорное изображение, сохраненной в опорном буфере 49, и устанавливает флаг копирования. Затем, когда установленный флаг копирования отличается от флага копирования, включенного в SPS, подаваемого из модуля 431 установки, модуль 453 установки опорного изображения подает установленный флаг копирования в модуль 451 кодирования без потерь.

Кроме того, модуль 453 установки опорного изображения сравнивает информацию, устанавливающую опорное изображение, подаваемую из модуля 47 прогнозирования/компенсации движения, с информацией, устанавливающей опорное изображение, включенной в SPS, на основе установленного флага копирования, устанавливает флаг RPS, и подает флаг RPS в модуль 451 кодирования без потерь. Кроме того, модуль 453 установки опорного изображения подает информацию, устанавливающую опорное изображение, подаваемую из модуля 47 прогнозирования/компенсации движения, в модуль 451 кодирования без потерь на основе флага RPS, и подает индекс, устанавливающий информацию, устанавливающую опорное изображение, включенную в SPS, которая идентична информации, устанавливающей опорное изображение, в модуль 451 кодирования без потерь.

(Первый пример синтаксиса SPS потока расширения)

На фиг. 68 показана схема, иллюстрирующая примерный синтаксис SPS, установленный модулем 431 установки на фиг. 66.

Как представлено в 3-ей строке на фиг. 68, флаг копирования (inter_layer_copy_flag) установлен в SPS потока расширения. Флаг копирования равен 1, когда информация, устанавливающая опорное изображение основного изображения, используется, как информация, устанавливающая опорное изображение для изображения расширения, и 0, когда информация, устанавливающая опорное изображение основного изображения, не используется в качестве информации, устанавливающей опорное изображение для изображения расширения.

Кроме того, как представлено в 4-ой - 14-ой строках на фиг. 68, когда флаг копирования равен 0, аналогично SPS основного потока, устанавливают информацию, относящуюся к RPS, и информацию, относящуюся к информации, устанавливающей опорное изображения длительного времени.

(Первый пример синтаксиса заголовка среза потока расширения)

На фиг. 69 показана схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

Как представлено в 5-ой строке на фиг. 69, когда флаг копирования соответствующего среза отличается от флага копирования, включенного в SPS, флаг копирования устанавливают в заголовок среза потока расширения. Кроме того, как представлено в 6-ой - 15-ой строках, когда флаг копирования соответствующего среза равен 0, аналогично заголовку среза основного потока, флаг RPS и RPS или индекс RPS устанавливают, и информацию, устанавливающую опорное изображение для длительного времени, устанавливают в соответствии с флагом длительного времени.

(Описание эффектов)

На фиг. 70 показана схема, описывающая эффекты в устройстве 400 кодирования.

Как описано выше, в устройстве 400 кодирования, когда флаг копирования установлен в SPS, когда флаг копирования каждого среза отличается от флага копирования SPS, флаг копирования устанавливают в заголовок среза для среза. Таким образом, устройство декодирования, которое будет описано ниже, должно только обновить флаг копирования только, когда флаг копирования включен в заголовок среза и, таким образом, может легко выполнить обработку распознавания информации, устанавливающей опорное изображение, используя флаг копирования.

С другой стороны, в публикации Do-Kyoung Kwon, Madhukar Budagavi, Minhua Zhou, "Inter-layer slice header syntax element prediction in SHVC", JCTVC-L0231, 2013.1.14-1.23 предложено, чтобы флаг копирования не был установлен в SPS, и как представлено в 5-ой строке на фиг. 70, флаг копирования (inter_layer_rps_prediction_flag) постоянно установлен в каждом заголовке среза. В этом случае, в устройстве декодирования, необходимо обновить флаг копирования в модулях срезов, и, таким образом, обработка распознавания информации, устанавливающей опорное изображение, используя флаг копирования, усложняется.

(Описание первого примера обработки устройства кодирования)

На фиг. 71 показана блок-схема последовательности операций для описания обработки масштабируемого кодирования устройства 400 кодирования по фиг. 65.

На этапе S361, на фиг. 71, модуль 11 основного кодирования устройства 400 кодирования кодируют основное изображение, введенное снаружи, в соответствии со схемой HEVC, добавляет установленный параметр, и генерирует основной поток. Затем модуль 11 основного кодирования подает основной поток в модуль 13 комбинирования.

На этапе S362, модуль 11 основного кодирования выводит информацию, устанавливающую опорное изображение основного изображения, в модуль 411 кодирования расширения.

На этапе S363, модуль 431 установки (фиг. 66) модуля 411 кодирования расширения устанавливает набор параметра изображения расширения. На этапе S364 модуль 432 кодирования выполняет обработку кодирования расширения, состоящую в кодировании изображения расширения, вводимого снаружи.

Обработка кодирования расширения аналогична обработке кодирования на фиг. 26 и 27, за исключением того, что обработку установки флага копирования, состоящую в установке флага копирования и т.п., выполняют совместно с обработкой генерирования на этапе S38 по фиг. 26, и обработку на этапе S54, на фиг. 27, не выполняют. Таким образом, обработка установки флага копирования будет описана подробно со ссылкой на фиг. 73, которая будет описана ниже.

На этапе S365 буфер 452 накопления (фиг. 67) модуля 432 кодирования генерирует поток расширения на основе кодированных данных, генерируемых на этапе S364, и набора параметра, подаваемого из модуля 431 установки, и выводит поток расширения в модуль 13 комбинирования.

На этапе S366, модуль 13 комбинирования комбинирует основной поток, подаваемый из модуля 11 основного кодирования, с потоком расширения, подаваемым из модуля 411 кодирования расширения, добавляет VPS и т.п., и генерирует кодированный поток для всех уровней. Модуль 13 комбинирования подает кодированный поток для всех уровней в модуль 14 передачи.

На этапе S367, модуль 14 передачи передает кодированный поток для всех уровней, подаваемых из модуля 13 комбинирования, в устройство декодирования, которое будет описано ниже, и обработка заканчивается.

На фиг. 72 показана блок-схема последовательности операций для описания деталей обработки установки SPS, состоящей в установке SPS при обработке на этапе S363, на фиг. 71.

На этапе S381, на фиг. 72, модуль 431 установки устанавливает флаг копирования в SPS. На этапе S382, модуль 431 установки определяет, равен или нет 1 флаг копирования, установленный для SPS.

Когда определяют, что флаг копирования не равен 1, на этапе S382, то есть, когда флаг копирования равен 0, на этапе S383, модуль 431 установки устанавливает RPS в SPS.

На этапе S384, модуль 431 установки устанавливает флаг длительного времени в SPS. На этапе S385, модуль 431 установки определяет, равен или нет 1 флаг длительного времени, установленный в SPS. Когда определяют, что флаг длительного времени равен 1 на этапе S385, на этапе S386, модуль 431 установки устанавливает информацию, устанавливающую опорное изображение длительного времени, и обработка заканчивается.

В то же время, когда определяют, что флаг копирования равен 1 на этапе S382 или когда определяют, что флаг длительного времени не равен 1 на этапе S385, обработка заканчивается.

На фиг. 73 показана блок-схема последовательности операций, для описания деталей обработки установки флага копирования обработки кодирования расширения на этапе S364, на фиг. 71. Обработку установки флага копирования выполняют, например, в модулях срезов.

На этапе S390 на фиг. 73, модуль 453 установки опорного изображения на фиг. 67 получает информацию, устанавливающую опорное изображение для изображения расширения, из модуля 47 прогнозирования/компенсации движения. На этапе S391, модуль 453 установки опорного изображения считывает информацию, устанавливающую опорное изображение для основного изображения из опорного буфера 49.

На этапе S392, модуль 453 установки опорного изображения определяет, идентична или нет информация, устанавливающая опорное изображение для изображения расширения, информации, устанавливающей опорное изображение для основного изображения. Когда определяют, что информация, устанавливающая опорное изображения для изображения расширения, идентична информации, устанавливающей опорное изображение основного изображения на этапе S392, на этапе S393, модуль 453 установки опорного изображения устанавливает флаг копирования в 1.

На этапе S394, модуль 453 установки опорного изображения определяет, равен или нет 1 флаг копирования SPS, подаваемый из модуля 431 установки на фиг. 66. Когда определяют, что флаг копирования равен 1 на этапе S394, обработка заканчивается.

В то же время, когда определяют, что флаг копирования не равен 1 на этапе S394, модуль 453 установки опорного изображения подает установленный флаг копирования в модуль 451 кодирования без потерь, и обработка заканчивается.

В то же время, когда определяют, что информация, устанавливающая опорное изображение для изображения расширения, не должна быть идентична информации, устанавливающей опорное изображение для основного изображения на этапе S392, на этапе S396, модуль 453 установки опорного изображения устанавливает в 0 флаг копирования. На этапе S397 модуль 453 установки опорного изображения определяет, равен или нет 1 флаг копирования SPS, подаваемого из модуля 431 установки.

Когда определяют, что флаг копирования SPS должен быть равен 1 на этапе S397, на этапе S398, модуль 453 установки опорного изображения подает установленный флаг копирования в модуль 451 кодирования без потерь, и обработка переходит на этап S399.

В то же время, когда определяют, что флаг копирования SPS не равен 1 на этапе S397, то есть, когда флаг копирования SPS идентичен установленному флагу копирования, то есть 0, обработку на этапе S398 пропускают, и обработка переходит на этап S399.

На этапе S399, модуль 453 установки опорного изображения определяет, является или нет RPS среди информации, устанавливающей опорное изображение, подаваемой из модуля 47 прогнозирования/компенсации движения, идентичным RPS в SPS. Когда определяют, что RPS, подаваемый из модуля 47 прогнозирования/компенсации движения, идентичен RPS для SPS на этапе S399, на этапе S400, модуль 453 установки опорного изображения устанавливает флаг RPS в 1.

На этапе S401, модуль 453 установки опорного изображения подает индекс RPS в SPS, который идентичен RPS, подаваемому из модуля 47 прогнозирования/компенсации движения, в модуль 451 кодирования без потерь, и обработка переходит на этап S404.

В то же время, когда определяют, что RPS, подаваемый из модуля 47 прогнозирования/компенсации движения, не является идентичным для RPS в SPS на этапе S399, на этапе S402, модуль 453 установки опорного изображения устанавливает флаг RPS в 0.

На этапе S403, модуль 453 установки опорного изображения подает RPS, подаваемый из модуля 47 прогнозирования/компенсации движения, в модуль 451 кодирования без потерь, и обработка переходит на этап S404.

На этапе S404 модуль 453 установки опорного изображения определяет, равен или нет 1 флаг длительного времени, включенный в SPS. Когда определяют, что флаг длительного времени равен 1 на этапе S404, обработка переходит на этап S405.

На этапе S405 модуль 453 установки опорного изображения подает информацию, устанавливающую опорное изображение длительного времени и т.п., среди информации, устанавливающей опорное изображение, подаваемой из модуля 47 прогнозирования/компенсации движения, в модуль 451 кодирования без потерь. В частности, когда информация, устанавливающая опорное изображение длительного времени SPS среди информации, устанавливающей опорное изображение длительного времени, подаваемой из модуля 47 прогнозирования/компенсации движения, отличается, модуль 453 установки опорного изображения подает индекс той же информации в модуль 451 кодирования без потерь. Затем обработка заканчивается.

Как описано выше, в устройстве 400 кодирования, поскольку флаг копирования установлен, информация, устанавливающая опорное изображение, может совместно использоваться между уровнем основания и уровнем расширения. Таким образом, становится возможным уменьшить количество информации для потока расширения и улучшить эффективность кодирования.

(Примерная конфигурация устройства декодирования в соответствии с третьим вариантом осуществления)

На фиг. 74 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования, в соответствии с третьим вариантом осуществления настоящего раскрытия, которое декодирует кодированный поток для всех уровней, передаваемых из устройства 400 кодирования по фиг. 65.

Среди компонентов, представленных на фиг. 74, те же компоненты на фиг. 29 обозначены теми же номерами ссылочных позиций. Повторное описание будет соответственно исключено.

Конфигурация устройства 470 декодирования на фиг. 74 отличается от конфигурации устройства 90 декодирования по фиг. 29 тем, что модуль 471 декодирования расширения установлен вместо модуля 94 декодирования расширения.

Модуль 471 декодирования расширения устройства 470 декодирования декодирует поток расширения, подаваемый из модуля 92 разделения, в соответствии со схемой, соответствующей схеме HEVC, и генерирует изображение расширения. В это время модуль 471 декодирования расширения обращается к информации, устанавливающей опорное изображение, подаваемой из модуля 93 основного декодирования основного изображения, флагу копирования, включенному в SPS или заголовку среза, и т.п. Модуль 471 декодирования расширения выводит сгенерированное изображение расширения.

(Примерная конфигурация модуля декодирования расширения)

На фиг. 75 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 471 декодирования расширения по фиг. 74.

Среди компонентов, представленных на фиг. 75, такие же компоненты, что и на фиг. 30, обозначены теми же номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 471 декодирования расширения на фиг. 75 отличается от конфигурации модуля 94 декодирования расширения по фиг. 30 тем, что модуль 491 декодирования установлен вместо модуля 112 декодирования.

Модуль 491 декодирования модуля 471 декодирования расширения декодирует кодированные данные, подаваемые из модуля 111 выделения в соответствии со схемой, соответствующей схеме HEVC, со ссылкой на информацию, устанавливающую опорное изображение основного изображения, подаваемого из модуля 93 основного декодирования по фиг. 74, и флаг копирования, включенный в SPS или в заголовок среза, подаваемый из модуля 111 выделения. Модуль 491 декодирования выводит изображение, полученное в результате декодирования, как изображение расширения.

(Примерная конфигурация модуля декодирования)

На фиг. 76 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 491 декодирования на фиг. 75.

Среди компонентов, представленных на фиг. 76, те же компоненты, что и на фиг. 31, обозначены такими же номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 491 декодирования на фиг. 76 отличается от конфигурации модуля 112 декодирования на фиг. 31 тем, что модуль 511 декодирования без потерь установлен вместо модуля 132 декодирования без потерь, и модуль 512 установки опорного изображения установлен вместо модуля 145 установки опорного изображения.

Модуль 511 декодирования без потерь модуля 491 декодирования выполняет декодирование без потерь для кодированных данных, передаваемых из буфера 131 накопления, и получает квантованные коэффициенты и кодированную информацию. Модуль 511 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 511 декодирования без потерь подает информацию режима прогнозирования внутри кадра, используемую, как информация кодирования и т.п., в модуль 143 прогнозирования внутри кадра, и подает вектор движения, информацию режима прогнозирования между кадрами и т.п. в модуль 146 компенсации движения.

Кроме того, модуль 511 декодирования без потерь подает флаг копирования, флаг RPS, информацию, устанавливающую опорное изображение, индекс RPS и т.п., используемые, как информация кодирования, в модуль 512 установки опорного изображения. Кроме того, модуль 511 декодирования без потерь подает информацию режима прогнозирования внутри кадра или информацию прогнозирования режима между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 511 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

Модуль 512 установки опорного изображения считывает флаг копирования, включенный в SPS, подаваемый из модуля 111 выделения на фиг. 75, и информацию, устанавливающую опорное изображение. Модуль 512 установки опорного изображения обновляет флаг копирования и информацию, устанавливающую опорное изображение, которая содержится в нем, когда флаг копирования и информацию, устанавливающую опорное изображение, подают из модуля 511 декодирования без потерь.

Затем, модуль 512 установки опорного изображения считывает информацию, устанавливающую опорное изображение для основного изображения, из опорного буфера 144 на основе содержащегося флага копирования, и определяет считанную информацию, устанавливающую опорное изображения основного изображения, как информацию, устанавливающую опорное изображение текущего среза. Кроме того, модуль 512 установки опорного изображения определяет информацию, устанавливающую обновленное опорное изображение или содержащуюся информацию, устанавливающую опорное изображение, индекса, подаваемого из модуля 511 декодирования без потерь, как информацию, устанавливающую опорное изображение текущего среза на основе флага копирования и флага RPS, подаваемого из модуля 511 декодирования без потерь.

(Описание первого примера обработки устройства декодирования)

Обработка масштабируемого декодирования устройства 470 декодирования на фиг. 74 аналогична обработке масштабируемого декодирования на фиг. 33, за исключением обработки генерирования изображения расширения на этапе S106 по фиг. 33. Таким образом, ниже будет описана обработка генерирования изображения расширения.

На фиг. 77 показана блок-схема последовательности операций, предназначенная для описания обработки генерирования изображения расширения модуля 471 декодирования расширения по фиг. 74.

На этапе S431 на фиг. 77 модуль 111 выделения модуля 471 декодирования расширения выделяет параметр, установленный как SPS или PPS, и кодированные данные из потока расширения, подаваемого из модуля 92 разделения по фиг. 74, и подает набор параметра и кодированные данные в модуль 491 декодирования.

На этапе S432, модуль 512 установки опорного изображения модуля 491 декодирования выполняет обработку выделения SPS, состоящую в выделении флага копирования и т.п. из SPS, подаваемого из модуля 111 выделения. Детали обработки выделения SPS будут описаны со ссылкой на фиг. 78, которая будет описана ниже.

На этапе S433 модуль 491 декодирования выполняет обработку декодирования расширения, состоящую в декодировании кодированных данных, подаваемых из модуля 111 выделения, в соответствии со схемой, соответствующей схеме HEVC, со ссылкой на флаг копирования, включенный в SPS или заголовок среза, информацию, устанавливающую опорное изображение, подаваемое из модуля 93 основного декодирования, и т.п. Обработка декодирования расширения аналогична обработке декодирования на фиг. 35, за исключением обработки генерирования на этапе S136, на фиг. 35. Таким образом, обработка генерирования будет описана ниже со ссылкой на фиг. 79, которая будет описана ниже.

На фиг. 78 показана блок-схема последовательности операций для описания деталей обработки выделения SPS на этапе S432 по фиг. 77.

На этапе S451, на фиг. 78, модуль 512 установки опорного изображения выделяет флаг копирования из SPS, подаваемого из модуля 111 выделения, и содержит выделенный флаг копирования. На этапе S452 модуль 512 установки опорного изображения определяет, равен или нет 1 выделенный флаг копирования.

Когда определяют, что флаг копирования не равен 1 на этапе S452, то есть, когда флаг копирования равен 0, на этапе S453, модуль 512 установки опорного изображения выделяет RPS из SPS, и содержит выделенный RPS. На этапе S454 модуль 512 установки опорного изображения выделяет флаг длительного времени из SPS.

На этапе S455, модуль 512 установки опорного изображения определяет, равен или нет 1 флаг длительного времени, и когда определяют, что флаг длительного времени равен 1, обработка переходит на этап S456. На этапе S456, модуль 512 установки опорного изображения выделяет информацию, устанавливающую опорное изображение длительного времени, из SPS, и содержит выделенную информацию, устанавливающую опорное изображение длительного времени. Затем обработка возвращается на этап S432 на фиг. 77 и переходит на этап S433.

В то же время, когда определяют, что флаг копирования равен 1 на этапе S452 или когда определяют, что флаг длительного времени не равен 1 на этапе S455, обработка возвращается на этап S432 на фиг. 77 и переходит на этап S433.

На фиг. 79 показана блок-схема последовательности операций для описания деталей обработки генерирования при обработке декодирования расширения на этапе S433, на фиг. 77. Обработку генерирования выполняют, например, в модулях срезов.

На этапе S471, на фиг. 79, модуль 512 установки опорного изображения определяет, был или нет флаг копирования передан из модуля 511 декодирования без потерь. Когда определяют, что флаг копирования был передан на этапе S471, на этапе S472, модуль 512 установки опорного изображения обновляет содержащийся флаг копирования, включенный в SPS, во флаг копирования, подаваемый из модуля 511 декодирования без потерь. Затем обработка переходит на этап S473.

В то же время, когда определяют, что флаг копирования был передан на этапе S471, обработка переходит на этап S473.

На этапе S473 модуль 512 установки опорного изображения определяет, равен или нет содержащийся флаг копирования 1, и когда определяют, что флаг копирования равен 1, обработка переходит на этап S474.

На этапе S474 модуль 512 установки опорного изображения считывает информацию, устанавливающую опорное изображение для основного изображения, из опорного буфера 144. На этапе S475, модуль 512 установки опорного изображения определяет информацию, устанавливающую опорное изображение основного изображения, как информацию, устанавливающую опорное изображение текущего среза. Затем модуль 512 установки опорного изображения подает определенную информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения, и обработка заканчивается.

В то же время, когда определяют, что флаг копирования не равен 1 на этапе S473, то есть, когда флаг копирования равен 0, обработка переходит на этап S476. На этапе S476 модуль 512 установки опорного изображения определяет, равен или нет 1 флаг RPS. Когда определяют, что флаг RPS равен 1 на этапе S476, на этапе S477, модуль 512 установки опорного изображения получает индекс информации, устанавливающей опорное изображение, подаваемый из модуля 511 декодирования без потерь.

На этапе S478 модуль 512 установки опорного изображения определяет информацию, устанавливающую опорное изображение, для которой выделяют полученный индекс среди содержащейся информации, устанавливающей опорное изображение, включенной в SPS, в качестве информации, устанавливающей опорное изображение текущего среза, и подает определенную информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения.

Кроме того, в это время, когда флаг длительного времени, включенный в SPS, равен 1, информацию, устанавливающую опорное изображение длительного времени, подаваемую из модуля 511 декодирования без потерь, также определяют, как информацию, устанавливающую опорное изображение текущего среза, и подают в модуль 146 компенсации движения. После обработки на этапе S478, обработка заканчивается.

В то же время, когда определяют, что флаг RPS не равен 1 на этапе S476, на этапе S479, модуль 512 установки опорного изображения получает информацию, устанавливающую опорное изображение, подаваемую из модуля 511 декодирования без потерь. Затем модуль 512 установки опорного изображения обновляет содержащуюся информацию, устанавливающую опорное изображение, включенную в SPS, в информации, устанавливающей опорное изображение.

На этапе S480 модуль 512 установки опорного изображения определяет обновленную информацию, устанавливающую опорное изображение, как информацию, устанавливающую опорное изображение текущего среза, и подает декодированную информацию, устанавливающую опорное изображение, в модуль 146 компенсации движения. Затем обработка заканчивается.

После окончания обработки генерирования флаг копирования и флаг информации, устанавливающей опорное изображение, в модуле 512 установки опорного изображения, восстанавливают во флаге копирования, включенном в SPS, и в информации, устанавливающей опорное изображение.

Как описано выше, устройство 470 декодирования генерирует информацию, устанавливающую опорное изображение, для изображения расширения, используя флаг копирования, и, таким образом, информация, устанавливающая опорное изображение, может совместно использоваться между основным уровнем и уровнем расширения. Таким образом, поскольку информация, устанавливающая опорное изображение, совместно используется между основным уровнем и уровнем расширения, становится возможным декодировать поток расширения с улучшенной эффективностью кодирования.

Кроме того, в представленном выше описании, общий флаг копирования устанавливают для RPS и информации, устанавливающей опорное изображения длительного времени, но могут быть установлены отдельные флаги копирования. Этот случай будет описан ниже, как второй пример третьего варианта осуществления. Кроме того, в следующем описании, второй пример третьего варианта осуществления называется "временем установки другого флага копирования", и первый пример называется "временем установки общего флага копирования".

(Второй пример синтаксиса потока расширения SPS)

На фиг. 80 показана схема, иллюстрирующая пример синтаксиса SPS, установленного модулем 431 установки на фиг. 66 во время установки другого флага копирования.

Как представлено в 3-ей строке на фиг. 80, флаг копирования RPS (inter_layer_short_copy_flag), используемый, как флаг копирования для RPS, устанавливают в SPS. Флаг копирования RPS равен 1, когда RPS основного изображения используется, как RPS изображения расширения, и равен 0, когда RPS основного изображения не используется, как RPS изображения расширения.

Кроме того, как представлено в 4-ой - 8-ой строках на фиг. 80, когда флаг копирования RPS равен 0, информацию, относящуюся к RPS, устанавливают в SPS, аналогично SPS основного потока.

Как представлено в 9-ой строке на фиг. 80, флаг длительного времени устанавливают в SPS. Как представлено в 10-ой и 11-ой строках, когда флаг длительного времени равен 1, устанавливают флаг копирования длительного времени (inter_layer_long_copy_flag), используемый, как флаг копирования для информации, устанавливающей опорное изображение длительного времени.

Флаг копирования длительного времени равен 1, когда информация, устанавливающая опорное изображение длительного времени основного изображения, используется, как информация, устанавливающая опорное изображение длительного времени изображения расширения. В то же время, флаг копирования длительного времени равен 0, когда информация, устанавливающая опорное изображение длительного времени основного изображения, не используется, как информация, устанавливающая опорное изображение длительного времени для изображения расширения.

Как представлено в 12-ой - 17-ой строках на фиг. 80, когда флаг копирования длительного времени равен 0, число (num_long_term_ref_pics_SPS) частей информации, устанавливающей опорное изображение длительного времени, и информация, устанавливающая опорное изображение длительного времени, установлены в SPS.

(Второй пример синтаксиса заголовка среза потока расширения)

На фиг. 81 показана схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время установки другого флага копирования.

Как представлено в 5-ой строке на фиг. 81, когда флаг копирования RPS соответствующего среза отличается от флага копирования RPS, включенного в SPS, флаг копирования RPS устанавливают в потоке расширения заголовка среза. Кроме того, как представлено в 6-ой - 12-ой строках на фиг. 81, когда флаг копирования RPS соответствующего среза равен 0, флаг RPS и RPS или индекс RPS устанавливают, аналогично заголовку среза основного потока.

Кроме того, как представлено в 13-ой - 17-ой строках на фиг. 81, когда флаг длительного времени равен 1, флаг копирования длительного времени устанавливают в заголовке среза, когда флаг копирования длительного времени равен 0, устанавливают информацию, устанавливающую опорное изображение длительного времени.

(Описание второго примера обработки устройства кодирования)

Обработка масштабируемого кодирования во время другой установки флага копирования аналогична обработке масштабируемого кодирования на фиг. 71, за исключением обработки установки SPS и обработки установки флага копирования. Таким образом, следующее описание будет продолжено для обработки установки SPS и обработки установки флага копирования.

На фиг. 82 показана блок-схема последовательности операций для описания обработки установки SPS во время установки другого флага копирования.

На этапе S501, на фиг. 82, модуль 431 установки устанавливает флаг копирования RPS в SPS. На этапе S502 модуль 431 установки определяет, равен или нет 1 флаг копирования RPS, установленный в SPS.

Когда определяют, что флаг копирования RPS не равен 1 на этапе S502, то есть, когда флаг копирования RPS равен 0, на этапе S503, модуль 431 установки устанавливает RPS в SPS, и обработка переходит на этап S504. В то же время, когда определяют, что флаг копирования RPS равен 1 на этапе S502, обработка переходит на этап S504.

На этапе S504 модуль 431 установки устанавливает флаг длительного времени в SPS. На этапе S505 модуль 431 установки определяет, равен или нет 1 флаг длительного времени, установленный в SPS. Когда определяют, что флаг длительного времени равен 1 на этапе S505, на этапе S506 модуль 431 установки устанавливает флаг копирования длительного времени в SPS.

На этапе S507 определяют, равен или нет 1 флаг копирования длительного времени, установленный в SPS. Когда определяют, что флаг копирования длительного времени не равен 1 на этапе S507, то есть, когда флаг копирования длительного времени равен 0, на этапе S508, модуль 431 установки устанавливает информацию, устанавливающую опорное изображение длительного времени, и обработка заканчивается.

В то же время, когда определяют, что флаг копирования длительного времени не равен 1 на этапе S505 или когда определяют, что флаг копирования длительного времени равен 1 на этапе S507, обработка заканчивается.

На фиг. 83 показана блок-схема последовательности операций, для описания обработки установки флага копирования во время установки другого флага копирования. Обработку установки флага копирования выполняют, например, в модулях срезов.

Обработка на этапах S521 и S522, на фиг. 83, аналогична обработке на этапах S390 и S391, на фиг. 73, и, таким образом, ее описание здесь исключено. Кроме того, обработка на этапах S523 - S534 аналогична обработке на этапах S392 - S403 на фиг. 73, за исключением того, что флаг копирования заменяют флагом копирования RPS, и информацию, устанавливающую опорное изображение, заменяют RPS, и, таким образом, ее описание исключено.

Когда определяют, что флаг копирования RPS в SPS равен 1 на этапе S525 или после обработки на этапах S526, S532 или S534, обработка переходит на этап S535.

На этапе S535 модуль 453 установки опорного изображения на фиг. 67 определяет, идентична или нет информация, устанавливающая опорное изображение длительного времени изображения расширения, информации, устанавливающей опорное изображение длительного времени основного изображения. Когда определяют, что информация, устанавливающая опорное изображение длительного времени изображения расширения идентична информации, устанавливающей опорное изображение длительного времени основного изображения на этапе S535, на этапе S536, модуль 453 установки опорного изображения устанавливает в 1 флаг копирования длительного времени.

На этапе S537, модуль 453 установки опорного изображения определяет, равен или нет 1 флаг копирования длительного времени SPS, подаваемого из модуля 431 установки на фиг. 66. Когда определяют, что флаг копирования длительного времени SPS равен 1 на этапе S537, обработка заканчивается.

В то же время, когда определяют, что флаг копирования длительного времени SPS не равен 1 на этапе S537, то есть, когда флаг копирования длительного времени SPS равен 0, на этапе S538, модуль 453 установки опорного изображения подает, устанавливаемый флаг копирования длительного времени в модуль 451 кодирования без потерь. Затем обработка заканчивается.

Кроме того, когда определяют, что информация, устанавливающая опорное изображение длительного времени изображения расширения не идентична информации, устанавливающей опорное изображение длительного времени основного изображения на этапе S535, на этапе S539, модуль 453 установки опорного изображения устанавливает флаг копирования длительного времени в 0.

На этапе S540, модуль 453 установки опорного изображения определяет, равен или нет 1 флаг копирования длительного времени SPS. Когда определяют, что флаг копирования длительного времени SPS равен 1 на этапе S540, на этапе S541, модуль 453 установки опорного изображения подает установленный флаг копирования длительного времени в модуль 451 кодирования без потерь, и обработка переходит на этап S542.

В то же время, когда определяют, что флаг копирования длительного времени SPS не равен 1 на этапе S540, то есть, когда флаг копирования длительного времени SPS равен 0, обработка переходит на этап S542.

Обработка на этапах S542 и S543 аналогична на обработке на этапах S404 и S405 на фиг. 73, и, таким образом, ее описание здесь исключено. После обработки на этапе S543 обработка заканчивается.

(Описание второго примера обработки устройства декодирования)

Обработка масштабируемого декодирования во время установки другого флага копирования аналогична обработке масштабируемого декодирования во время установки общего флага копирования, за исключением обработки выделения SPS и обработки генерирования. Таким образом, в следующем описании будет представлена обработка выделения SPS и обработка генерирования.

На фиг. 84 показана блок-схема последовательности операций для описания обработки выделения SPS во время установки другого флага копирования.

На этапе S561, на фиг. 84, модуль 512 установки опорного изображения выделяет флаг копирования RPS из SPS, подаваемого из модуля 111 выделения, и содержит выделенный флаг копирования RPS. На этапе S562, модуль 512 установки опорного изображения определяет, равен или нет 1 выделенный флаг копирования RPS.

Когда определяют, что флаг копирования RPS не равен 1 на этапе S562, то есть, когда флаг копирования RPS равен 0, на этапе S563, модуль 512 установки опорного изображения выделяет RPS из SPS и содержит выделенный RPS. Затем обработка переходит на этап S564.

В то же время, когда определяют, что флаг копирования RPS равен 1 на этапе S562, обработка переходит на этап S564.

На этапе S564, модуль 512 установки опорного изображения выделяет флаг длительного времени из SPS.

На этапе S565, модуль 512 установки опорного изображения определяет, равен или нет 1 выделенный флаг длительного времени, и когда определяют, что выделенный флаг длительного времени равен 1, обработка переходит на этап S566. На этапе S566, модуль 512 установки опорного изображения выделяет флаг копирования длительного времени из SPS и содержит выделенный флаг копирования длительного времени.

На этапе S567, модуль 512 установки опорного изображения определяет, равен или нет 1 флаг копирования длительного времени, когда определяют, что флаг копирования длительного времени не равен 1, то есть определяют, что он равен 0, и обработка переходит на этап S568. На этапе S568, модуль 512 установки опорного изображения выделяет информацию, устанавливающую опорное изображение длительного времени из SPS, и содержит выделенную информацию, устанавливающую опорное изображение длительного времени, и обработка заканчивается.

В то же время, когда определяют, что флаг длительного времени не равен 1 на этапе S565 или, когда определяют, что флаг копирования длительного времени равен 1 на этапе S567, обработка заканчивается.

На фиг. 85 показана блок-схема последовательности операций для описания обработки генерирования во время установки другого флага копирования. Обработку генерирования выполняют, например, в модулях срезов.

На этапе S581, на фиг. 85, модуль 512 установки опорного изображения определяет, был или нет флаг копирования RPS передан из модуля 511 декодирования без потерь. Когда определяют, что флаг копирования RPS был передан на этапе S581, на этапе S582, модуль 512 установки опорного изображения обновляет содержащийся флаг копирования RPS, включенный в SPS, для флага копирования RPS, подаваемого из модуля 511 декодирования без потерь. Затем обработка переходит на этап S583.

В то же время, когда определяют, что флаг копирования RPS не был передан на этапе S581, обработка переходит на этап S583.

На этапе S583, модуль 512 установки опорного изображения определяет, был или нет передан флаг копирования длительного времени из модуля 511 декодирования без потерь. Когда определяют, что флаг копирования длительного времени был передан на этапе S583, на этапе S584, модуль 512 установки опорного изображения обновляет содержащийся флаг копирования длительного времени, включенный в SPS, во флаге копирования длительного времени, подаваемом из модуля 511 декодирования без потерь. Затем обработка переходит на этап S585.

В то же время, когда определяют, что флаг копирования длительного времени не был передан на этапе S583, обработка переходит на этап S585.

Обработка на этапах S585 - S592 аналогична обработке на этапах S473 - S480, на фиг. 79, за исключением того, что флаг копирования заменен флагом копирования RPS, информация, устанавливающая опорное изображение, заменена RPS и информация, устанавливающая опорное изображение длительного времени текущего среза, не определена, и, таким образом, ее описание исключено.

После обработки на этапах S587, S590 или S592, обработка переходит на этап S593.

На этапе S593, модуль 512 установки опорного изображения определяет, равен или нет 1 флаг копирования длительного времени. Когда определяют, что флаг копирования длительного времени равен 1 на этапе S593, на этапе S594, модуль 512 установки опорного изображения считывает информацию, устанавливающую опорное изображение длительного времени основного изображения из опорного буфера 144.

На этапе S595, модуль 512 установки опорного изображения определяет информацию, устанавливающую опорное изображение длительного времени основного изображения, в качестве информации, устанавливающей опорное изображение длительного времени текущего среза. Затем модуль 512 установки опорного изображения подает определенную информацию, устанавливающую опорное изображение длительного времени, в модуль 146 компенсации движения, и обработка заканчивается.

В то же время, когда определяют, что флаг копирования длительного времени не равен 1 на этапе S593, то есть, когда флаг копирования длительного времени равен 0, обработка переходит на этап S596. На этапе S596, модуль 512 установки опорного изображения получает индекс информации, устанавливающий опорное изображение длительного времени, подаваемый из модуля 511 декодирования без потерь.

На этапе S597, модуль 512 установки опорного изображения определяет информацию, устанавливающую опорное изображение длительного времени, для которой выделен полученный индекс, среди содержащейся информации, устанавливающей опорное изображение длительного времени, включенной в SPS, в качестве информации, устанавливающей опорное изображение длительного времени текущего среза. Кроме того, модуль 512 установки опорного изображения определяет информацию, устанавливающую опорное изображение длительного времени, подаваемую из модуля 511 декодирования без потерь, в качестве информации, устанавливающей опорное изображение длительного времени также для текущего среза. Затем модуль 512 установки опорного изображения подает информацию, устанавливающую опорное изображение длительного времени текущего среза, в модуль 146 компенсации движения, и обработка заканчивается.

После окончания обработки генерирования флаг копирования RPS, флаг копирования длительного времени и информацию, устанавливающую опорное изображение, содержащуюся в модуле 512 установки опорного изображения, восстанавливают во флаг копирования RPS, включенный в SPS, флаг копирования длительного времени, и в информацию, устанавливающую опорное изображение.

Как описано выше, во время установки другого флага копирования, когда любую одну из RPS основного изображения и информации, устанавливающей опорное изображение длительного времени, используют для изображения расширения, необходимо установить с избыточностью ту, которая используется. Таким образом, улучшается эффективность кодирования.

Здесь, поскольку любое одно из RPS основного изображения и информации, устанавливающей опорное изображение длительного времени, используется для изображения расширения, например, возникают случаи, в которых опорное изображение для изображения расширения устанавливают в режиме ref _idx_framework. В этом случае, поскольку основное изображение используется в качестве опорного изображения длительного времени для изображения расширения, даже когда RPS основного изображения идентичен RPS изображения расширения, информация, устанавливающая опорное изображение длительного времени основного изображения отличается от информации, устанавливающей опорное изображение длительного времени изображения расширения.

Кроме того, в этом случае, количество опорных изображений длительного времени изображения расширения больше, чем у основного изображения, и размер запоминающего устройства 44 (141) кадра увеличивается. Таким образом, некоторые опорные изображения длительного времени расширенного изображения считаются удаленными, для уменьшения размера, другое опорное изображение, кроме основного изображения, для которого возможно прогнозирование высокой точности, удаляют. Таким образом, в этом случае, информация, устанавливающая опорное изображение длительного времени основного изображения отличается от информации, устанавливающей опорное изображение длительного времени изображения расширения.

Кроме того, поскольку разрешающая способность изображения расширения выше, чем разрешающая способность основного изображения, также возникают случаи, в которых удаляют опорное изображение либо короткого времени, или длительного времени изображения расширения, для уменьшения размера запоминающего устройства 44 (141) кадра. В этом случае, информация, устанавливающая опорное изображение либо короткого времени или длительного времени основного изображения, отличается от информации, устанавливающей опорное изображение либо короткого времени или длительного времени изображения расширения.

Кроме того, поскольку прогнозирование высокой точности, вероятно, выполняется на основе основного изображения, когда основное изображение используется в качестве опорного изображения, также возникают случаи, в которых размер запоминающего устройства 44 (141) кадра уменьшают путем удаления опорного изображения либо для короткого времени, или длительного времени изображения расширения. В этом случае, информация, устанавливающая опорное изображение либо короткого времени, или длительного времени основного изображения, отличается от информации, устанавливающей опорное изображение либо короткого времени, или длительного времени изображения расширения.

Как описано выше, когда опорное изображение для изображения расширения устанавливают в режим ref_ idx_framework, информация, устанавливающая опорное изображение длительного времени основного изображения, отличается от информации, устанавливающей опорное изображение длительного времени изображения расширения.

Таким образом, избыточная установка RPS может быть предотвращена так, что вместо отдельной установки флага копирования в RPS и информации, устанавливающей опорное изображение длительного времени, флаг копирования устанавливают равным 0, делая недействительным флаг копирования для информации, устанавливающей опорное изображение длительного времени в режиме ref_idx_framework. Этот случай будет описан ниже, как третий пример третьего варианта осуществления. Далее третий пример третьего варианта осуществления называется "временем использования режима установки".

(Примерный синтаксис VPS)

На фиг. 86 показана схема, иллюстрирующая примерный синтаксис расширения (vps_extension) VPS в третьем варианте осуществления.

Кроме того, синтаксис, исключающий расширение VPS для VPS в третьем варианте осуществления, аналогичен в VPS в первом и втором вариантах осуществления.

Как представлено в 4-ой строке на фиг. 86, флаг AVC (avc_base_layer_flag), обозначающий, является или нет схема кодирования основного изображения схемой AVC, установлен для расширения VPS. Флаг AVC равен 1, когда схема кодирования основного изображения представляет собой схему AVC, и равен 0, когда схема кодирования основного изображения представляет собой схему HEVC.

Кроме того, как представлено в 7-ой строке, установка информации режима (scalavility_mask), обозначающая тип режима установки, специфичный для масштабируемой функции, используемой, как режим установки опорного изображения для изображения расширения, установлена для расширения VPS. Например, информация режима установки равна 1, когда режим ref_idx_framework используется, как режим установки опорного изображения для изображения расширения.

Как описано выше, информация, обозначающая, является или нет режим установки опорного изображения для изображения расширения режимом ref_idx_framework, установлена для VPS, как информация режима установки. Таким образом, становится возможным сделать недействительным флаг копирования для информации, устанавливающей опорное изображение длительного времени, используя информацию режима установки.

(Третий пример синтаксиса потока расширения SPS)

На фиг. 87 показана схема, иллюстрирующая примерный синтаксис SPS, установленный модулем 431 установки на фиг. 66, во время использования режима установки.

Как представлено в 3-ей строке на фиг. 87, флаг копирования (inter_layer_copy_flag) установлен в SPS потока расширения, аналогично примеру на фиг. 68. Кроме того, как представлено в 4-ой - 8-ой строках, информация, относящаяся к RPS, установлена для SPS, аналогично примеру на фиг. 68.

Кроме того, как представлено в 9-ой - 17-ой строках, когда флаг копирования равен 0 или когда информация режима установки равна 1, информация, относящаяся к информации, устанавливающей опорное изображение длительного времени, установлена в SPS, аналогично примеру на фиг. 68. Другими словами, хотя флаг копирования равен 1, когда информация режима установки равна 1, флаг копирования делают недействительным, и информация, относящаяся к информации установки опорного изображения длительного времени, установлена в SPS.

(Третий пример синтаксиса заголовка среза потока расширения)

На фиг. 88 показана схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения во время использования режима установки.

Как представлено в 5-ой строке на фиг. 88, когда флаг копирования соответствующего среза отличается от флага копирования, включенного в SPS, флаг копирования установлен в заголовке среза потока расширения, аналогично примеру на фиг. 69. Кроме того, как представлено в 6-ой - 12-ой строках на фиг. 88, аналогично примеру фиг. 69, когда флаг копирования соответствующего среза равен 0, установлены флаг RPS и RPS или индекс RPS.

Кроме того, как показано в 13-ой - 16-ой строках на фиг. 88, когда флаг длительного времени равен 1, когда флаг копирования равен 0, или когда информация режима установки равна 1, установлена информация установления опорного изображения для длительного времени.

(Описание третьего примера обработки устройства кодирования)

Обработка масштабируемого кодирования во время использования режима установки аналогична обработке масштабируемого кодирования на фиг. 71 за исключением обработки установки SPS и обработки установки флага копирования. Таким образом, далее продолжается описание обработки установки SPS и обработки установки флага копирования.

На фиг. 89 показана блок-схема последовательности операций для описания обработки установки SPS во время использования режима установки.

Обработка на этапах S611 - S613 на фиг. 89 аналогична обработке на этапах S501 - S503 на фиг. 82, за исключением того, что флаг копирования RPS заменен флагом копирования, и, таким образом, его описание исключено.

После обработки на этапе S613 или когда определяют, что флаг копирования равен 1 на этапе S612, обработка переходит на этап S614.

На этапе S614, модуль 431 установки определяет, равен или нет флаг копирования 0, или равна или нет 1 информация режима установки, установленная для VPS.

Когда определяют на этапе S614, что флаг копирования равен 0, или информация режима установки равна 1, обработка переходит на этап S615. Обработка на этапах S615 - S617 аналогична обработке на этапах S384 - S386, на фиг. 72, и, таким образом, ее описание здесь исключено.

В то же время, когда определяют на этапе S614, что флаг копирования не равен 0 или когда информация режима установки не равна 1, то есть, когда флаг копирования равен 1, и информация режима установки равна 0, обработка заканчивается.

На фиг. 90 показана блок-схема последовательности операций для описания обработки установки флага копирования во время использования режима установки. Обработку установки флага копирования выполняют, например, в модулях срезов.

Обработка на этапах S631 и S632, на фиг. 90, аналогична обработке на этапах S390 и S391, на фиг. 73, и, таким образом, ее описание здесь исключено.

На этапе S633 модуль 453 установки опорного изображения на фиг. 67 определяет, равна или нет 1 информация режима установки, установленного для VPS, подаваемая из модуля 431 установки. Когда определяют, что информация режима установки равна 1 на этапе S633, на этапе S634, модуль 453 установки опорного изображения определяет, является или нет RPS изображения расширения идентичным RPS основного изображения.

Когда определяют, что RPS изображения расширения идентичен RPS основного изображения на этапе S634, на этапе S635, модуль 453 установки опорного изображения устанавливает флаг копирования в 1, и обработка переходит на этап S640.

В то же время, когда определяют, что RPS изображения расширения не идентичен RPS основного изображения на этапе S634, на этапе S636, модуль 453 установки опорного изображения устанавливает флаг копирования в 0, и обработка переходит на этап S640.

Кроме того, когда определяют, что информация режима установки не равна 1 на этапе S633, то есть, когда информация режима установки равна 0, обработка переходит на этап S637. Обработка на этапах S637 - S639 аналогична обработке на этапах S392, S393 и S396, на фиг. 73, и, таким образом, ее описание здесь исключено. После этапов S638 или S639, обработка переходит на этап S640.

На этапе S640, модуль 453 установки опорного изображения определяет, является или нет флаг копирования SPS, подаваемой из модуля 431 установки, идентичным установленному флагу копирования. Когда определяют, что флаг копирования SPS идентичен установленному флагу копирования на этапе S640, обработка переходит на этап S642.

В то же время, когда определяют, что флаг копирования SPS не идентичен установленному флагу копирования на этапе S640, на этапе S641, модуль 453 установки опорного изображения подает установленный флаг копирования в модуль 451 кодирования без потерь, и обработка переходит на этап S642.

На этапе S642, модуль 453 установки опорного изображения определяет, равен или нет установленный флаг копирования 1. Когда определяют, что установленный флаг копирования равен 1 на этапе S642, на этапе S643, модуль 453 установки опорного изображения определяет, равна или нет 1 информация режима установки.

Когда определяют, что информация режима установки не равна 1 на этапе S643, то есть, когда информация режима установки равна 0, обработка заканчивается. В то же время, когда определяют, что информация режима установки равна 1 на этапе S643, обработка переходит на этап S649.

Кроме того, когда определяют, что установленный флаг копирования не равен 1 на этапе S642, то есть, когда установленный флаг копирования равен 0, обработка переходит на этап S644. Обработка на этапах S644 - S650 аналогична обработке на этапах S399 - S405 по фиг. 73, и, таким образом, ее описание исключено.

Как описано выше, во время использования режима установки, когда информация режима установки равна 1, флаг копирования для информации, устанавливающей опорное изображения длительного времени делают недействительным, и, таким образом, становится возможным установить флаг копирования, в соответствии с тем, является или ли RPS основного изображения идентичным RPS изображения расширения. Таким образом, поскольку информация режима установки равна 1, когда информация, устанавливающая опорное изображение для длительного времени основного изображения, отличается от информации, устанавливающей опорное изображение для длительного времени изображения расширения, флаг копирования устанавливают в 1, и, таким образом, RPS может совместно использоваться между основным изображением и изображением расширения. В результате, улучшается эффективность кодирования.

(Описание третьего примера обработки устройства декодирования)

Обработка масштабируемого декодирования во время использования режима установки аналогична обработке масштабируемого декодирования во время установки общего флага копирования, за исключением обработки выделения SPS и обработки генерирования. Таким образом, следующее описание будет продолжено для обработки выделения SPS и обработки генерирования.

На фиг. 91 показана блок-схема последовательности операций для описания обработки выделения SPS во время использования режима установки.

Обработка на этапах S671 - S673 на фиг. 91 аналогична обработке этапов на этапах S451 - S453, на фиг. 78, и, таким образом, ее описание исключено.

После обработки на этапе S673 или когда определяют, что флаг копирования равен 1 на этапе S672, обработка переходит на этап S674.

На этапе S674, модуль 512 установки опорного изображения определяет, равен или нет 0 флаг копирования, включенный в SPS, подаваемый из модуля 111 выделения, или равна ли 1 информация режима установки, включенная в VPS.

Когда на этапе S674 определяют, что флаг копирования равен 0, или информация режима установки равна 1, обработка переходит на этап S675. Обработка на этапах S675 - S677 аналогична обработке на этапах S454 - S456, на фиг. 78, и, таким образом, ее описание здесь исключено.

В то же время, когда определяют на этапе S674, что флаг копирования не равен 0, и информация режима установки не равна 1, то есть, когда флаг копирования равен 1, и информация режима установки равна 0, обработка заканчивается.

На фиг. 92 показана блок-схема последовательности операций, для описания обработки генерирования во время использования режима установки. Обработку генерирования выполняют, например, в модулях срезов.

Обработка на этапах S691 и S692, на фиг. 92, аналогична обработке этапов S471 и S472 на фиг. 79, и, таким образом, ее описание здесь исключено. Обработка на этапах S693 - S700 аналогична обработке на этапах S585 - S592, на фиг. 85, за исключением того, что флаг копирования RPS заменен флагом копирования, и, таким образом, ее описание здесь исключено.

На этапе S701, модуль 512 установки опорного изображения определяет, равна или нет 1 информация режима установки, включенная в VPS, установленный модулем 92 разделения. Когда определяют, что информация режима установки не равна 1 на этапе S701, то есть, когда информация режима установки равна 0, обработка переходит на этап S702.

Обработка на этапах S702 - S706 аналогична обработке на этапах S593 - S597, на фиг. 85, за исключением того, что флаг копирования длительного времени заменен флагом копирования, и, таким образом, его описание исключено.

В то же время, когда определяют, что информация режима установки равна 1 на этапе S701, обработка переходит на этап S705.

Кроме того, в представленном выше описании предполагается, что схема кодирования основного изображения представляет собой схему HEVC, но может представлять собой другую схему кодирования, чем схема HEVC, такую как схема AVC. В этом случае, трудно совместно использовать информацию, устанавливающую опорное изображение для основного изображения, и информацию, устанавливающую опорное изображение, для изображения расширения. Таким образом, флаг копирования может быть установлен только, когда схема кодирования основного изображения идентична схеме кодирования изображения расширения, и информация, устанавливающая опорное изображение основного изображения, и информация, устанавливающая опорное изображение для изображения расширения, могут совместно использоваться.

Этот случай будет описан ниже, как четвертый пример третьего варианта осуществления. Здесь будет описан пример во время установки общего флага копирования, но то же относится ко времени установки другого флага копирования или ко времени использования режима установки. Ниже четвертый пример третьего варианта осуществления называется "временем установки общего флага копирования на основе схемы кодирования".

(Четвертый пример синтаксиса SPS потока расширения)

На фиг. 93 показана схема, иллюстрирующая пример синтаксиса SPS, установленного модулем 431 установки на фиг. 66 во время установки общего флага копирования, на основе схемы кодирования.

Как представлено во 2-ой и 3-ей строках на фиг. 93, когда флаг AVC (avc_base_layer_flag), установленный для расширения VPS на фиг. 86, равен 0, то есть, когда схема кодирования не является схемой AVC, флаг копирования устанавливают в SPS. Кроме того, как представлено в 4-ой и 14-ой строках, когда флаг AVC равен 1 или когда флаг копирования равен 0, аналогично SPS основного потока, информация, относящаяся к RPS, и информация, относящаяся к информации, устанавливающей опорное изображения длительного времени, установлена в SPS.

(Описание четвертого примера обработки устройства кодирования)

Обработка масштабируемого кодирования во время установки общего флага копирования, основанная на схеме кодирования, аналогична обработке масштабируемого кодирования на фиг. 71, за исключением обработки установки SPS и обработки установки флага копирования.

Обработка установки SPS во время установки общего флага копирования, основанная на схеме кодирования, аналогична обработке установки SPS на фиг. 72, за исключением того, что модуль 431 установки определяет, равен или нет 1 флаг AVC, установленный в VPS, перед обработкой установки SPS на фиг. 72. Когда определяют, что флаг AVC не равен 1, выполняют обработку установки SPS на фиг. 72, и когда определяют, что флаг AVC равен 0, обработка переходит на этап S383.

Кроме того, обработка установки флага копирования во время установки общего флага копирования, основанная на схеме кодирования, аналогична обработке установки флага копирования на фиг. 73, за исключением того, что модуль 453 установки опорного изображения определяет, равен или нет 1 флаг AVC, установленный в VPS, подаваемый из модуля 431 установки, перед обработкой установки флага копирования на фиг. 73. Когда определяют, что флаг AVC не равен 1, обработка установки флага копирования на фиг. 73 выполняется, и когда определяют, что флаг AVC равен 1, обработка переходит на этап S399.

(Описание четвертого примера обработки устройства декодирования)

Обработка масштабируемого декодирования во время установки общего флага копирования, основанная на схеме кодирования, аналогична обработке масштабируемого декодирования во время установки общего флага копирования, за исключением обработки выделения SPS и обработки генерирования.

Обработка выделения SPS во время установки общего флага копирования, основанная на схеме кодирования, аналогична обработке выделения SPS на фиг. 78, за исключением того, что модуль 512 установки опорного изображения определяет, равен или нет 1 флаг AVC, включенный в VPS, выделенный модулем 92 разделения, перед обработкой выделения SPS на фиг. 78. Когда определяют, что флаг AVC не равен 1, выполняется обработка выделения SPS на фиг. 78, и когда определяют, что флаг AVC равен 0, обработка переходит на этап S453.

Кроме того, обработка генерирования во время установки общего флага копирования, основанная схеме кодирования, аналогична обработке генерирования на фиг. 79 за исключением того, что модуль 512 установки опорного изображения определяет, равен или нет 1 флаг AVC перед обработкой генерирования на фиг. 79. Когда определяют, что флаг AVC не равен 1, выполняется обработка генерирования на фиг. 79, и когда определяют, что флаг AVC равен 1, обработка переходит на этап S476.

<Четвертый вариант осуществления>

(Примерная конфигурация устройства кодирования по четвертому варианту осуществления)

На фиг. 94 показана блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования, в соответствии с четвертым вариантом осуществления настоящей технологии.

Среди компонентов, представленных на фиг. 94, те же компоненты, что и на фиг. 6, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация устройства 530 кодирования на фиг. 94 отличается от конфигурации на фиг. 6 тем, что модуль 531 кодирования расширения установлен вместо модуля 12 кодирования расширения. Устройство 530 кодирования совместно использует, по меньшей мере, часть RPS между основным изображением и изображением расширения.

В частности, изображение расширения вводят снаружи в модуль 531 кодирования расширения устройства 530 кодирования. Модуль 531 кодирования расширения кодирует изображение расширения, в соответствии со схемой, которая соответствует схеме HEVC.

Кроме того, модуль 531 кодирования расширения устанавливает флаг копирования частичного RPS, как информацию генерирования, устанавливающую опорное изображение (информацию генерирования опорного изображения), используя RPS основного изображения, подаваемый из модуля 11 основного кодирования. Затем модуль 531 кодирования расширения добавляет флаг копирования частичного RPS и т.п. к результату кодирования и генерирует кодированные данные. Кроме того, флаг копирования частичного RPS представляет собой флаг, обозначающий, используется или нет, по меньшей мере, часть RPS основного изображения, в качестве RPS изображения расширения.

Модуль 531 кодирования расширения подает кодированный поток, включающий в себя кодированные данные, SPS, PPS и т.п., к модулю 13 комбинирования, в качестве потока расширения.

Здесь устройство 530 кодирования передает кодированный поток для всех уровней, но может передавать только основной поток, если необходимо.

(Пример конфигурации модуля кодирования расширения)

На фиг. 95 показана блок-схема, иллюстрирующая пример конфигурации модуля 531 кодирования расширения по фиг. 94.

Модуль 531 кодирования расширения по фиг. 95 включает в себя модуль 551 установки и модуль 552 кодирования.

Модуль 551 установки модуля 531 кодирования расширения устанавливает набор параметра, включающий в себя флаг копирования частичного RPS, такой как SPS или PPS, если необходимо. Модуль 551 установки подает установленный набор параметра в модуль 552 кодирования.

Модуль 552 кодирования принимает изображение расширения модуля кадра, вводимого снаружи, в качестве входного сигнала, и кодирует изображение расширения, в соответствии со схемой, которая соответствует схеме HEVC. Кроме того, модуль 552 кодирования устанавливает флаг копирования частичного RPS на основе RPS, используемого во время кодирования, и RPS, подаваемого из модуля 11 основного кодирования.

Модуль 552 кодирования генерирует кодированные данные путем добавления частичного флага копирования RPS и т.п., к результату кодирования на основе установленного флага копирования частичного RPS и флага копирования частичного RPS, включенного в SPS, подаваемый из модуля 551 установки. Затем модуль 552 кодирования генерирует поток расширения на основе кодированных данных и набора параметра, подаваемого из модуля 551 установки, и подает сгенерированный поток расширения в модуль 13 комбинирования на фиг. 94.

(Пример конфигурации модуля кодирования)

На фиг. 96 показана блок-схема, иллюстрирующая пример конфигурации модуля 552 кодирования на фиг. 95.

Среди компонентов, представленных на фиг. 96, те же компоненты, что и на фиг. 14, обозначены теми же номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 552 кодирования на фиг. 96 отличается от конфигурации на фиг. 14, за исключением того, что модуль 571 кодирования без потерь, буфер 452 накопления и модуль 572 установки опорного изображения установлены вместо модуля 36 кодирования без потерь, буфера 37 накопления и модуля 50 установки опорного изображения.

Модуль 571 кодирования без потерь получает информацию режима прогнозирования внутри кадра из модуля 46 прогнозирования внутри кадра. Кроме того, модуль 571 кодирования без потерь получает информацию режима прогнозирования между кадрами, вектор движения и т.п., подаваемые из модуля 47 прогнозирования/компенсации движения. Кроме того, модуль 571 кодирования без потерь получает флаг RPS, флаг копирования частичного RPS и т.п. из модуля 572 установки опорного изображения. Кроме того, модуль 571 кодирования без потерь получает информацию фильтра смещения фильтра 42 адаптивного смещения, и получает коэффициент фильтра из адаптивного фильтра 43 контура.

Модуль 571 кодирования без потерь выполняет кодирование без потерь квантованных коэффициентов, подаваемых из модуля 35 квантования. Кроме того, модуль 571 кодирования без потерь выполняет кодирование без потерь либо информации режима прогнозирования внутри кадра, или информации режима прогнозирования между кадрами, вектора движения, флага RPS, флага копирования частичного RPS, информации фильтра смещения и коэффициента фильтра, в качестве информации кодирования. Модуль 571 кодирования без потерь добавляет информацию кодирования, кодированную без потерь, к коэффициентам, кодированным без потерь, и генерирует кодированные данные. Модуль 571 кодирования без потерь подает кодированные данные для их накопления в буфере 452 накопления.

Модуль 572 установки опорного изображения сравнивает RPS, подаваемый из модуля 47 прогнозирования/компенсации движения, с RPS, сохраненным в опорном буфере 49, и устанавливает флаг копирования частичного RPS. Затем, когда установленный флаг копирования частичного RPS отличается от флага копирования частичного RPS, включенного в SPS, подаваемого из модуля 551 установки на фиг. 95, модуль 572 установки опорного изображения подает установленный флаг копирования частичного RPS в модуль 571 кодирования без потерь.

Кроме того, модуль 572 установки опорного изображения генерирует RPS для флага копирования частичного RPS на основе RPS, подаваемого из модуля 47 прогнозирования/компенсации движения, RPS основного изображения и флага копирования частичного RPS. Затем модуль 572 установки опорного изображения сравнивает сгенерированный RPS для флага копирования частичного RPS с RPS для флага копирования частичного RPS, включенного в SPS, устанавливает флаг RPS и подает флаг RPS в модуль 571 кодирования без потерь. Кроме того, модуль 572 установки опорного изображения подает сгенерированный RPS для флага копирования частичного RPS в модуль 571 кодирования без потерь на основе флага RPS или подает индекс, устанавливающий RPS, для флага копирования частичного RPS, включенный в SPS, который идентичен соответствующему RPS, в модуль 571 кодирования без потерь.

(Первый пример синтаксиса SPS потока расширения)

На фиг. 97 показана схема, иллюстрирующая примерный синтаксис SPS, установленного модулем 551 установки на фиг. 95.

Как представлено в 3-ей строке на фиг. 97, флаг копирования частичного RPS (inter_layer_prediction_flag) установлен в SPS потока расширения. Флаг копирования частичного RPS равен 1, когда, по меньшей мере, часть RPS основного изображения используется, как RPS изображения расширения, и в 0, когда все RPS основного изображения не используются, как RPS изображения расширения.

Кроме того, как представлено в 4-ой строке, аналогично SPS основного потока, устанавливают количество (num_short_term_ref_pic_sets) RPS, включенных в SPS. Кроме того, как представлено в 5-ой и 6-ой строках, устанавливают RPS (shrot_term_ref_pic_set (i, inter_layer_prediction_flag) для установленного флага копирования частичного RPS в SPS. Кроме того, как представлено в 7-ой - 13-ой строках, аналогично RPS основного потока, устанавливают информацию, относящуюся к информации, устанавливающей опорное изображение длительного времени.

(Первый пример синтаксиса заголовка среза потока расширения)

На фиг. 98 представлена схема, иллюстрирующая примерный синтаксис заголовка среза потока расширения.

Как представлено в 5-ой строке на фиг. 98, когда флаг копирования частичного RPS соответствующего среза отличается от флага копирования частичного RPS, включенного в SPS, флаг копирования частичного RPS устанавливают в заголовок среза потока расширения. Как представлено в 6-ой строке, флаг RPS устанавливают аналогично заголовку среза основного потока.

Кроме того, как представлено в 7-ой и 8-ой строках, когда флаг RPS равен 0, устанавливают RPS флага копирования частичного RPS соответствующего среза. Как представлено в 9-ой и 10-ой строках, когда флаг RPS равен 1, установлен индекс RPS для флага копирования частичного RPS, включенный в SPS, который идентичен RPS для флага копирования частичного RPS соответствующего среза. Кроме того, как представлено в 11-ой и 12-ой строках, аналогично заголовку среза основного потока, информацию, устанавливающую опорное изображение длительного времени, устанавливают в соответствии с флагом длительного времени.

(Первый пример синтаксиса RPS)

На фиг. 99 показана схема, иллюстрирующая примерный синтаксис RPS для флага копирования частичного RPS.

Как представлено в 3-ей строке на фиг. 99, опорную информацию (inter_ref_pic_set_prediction_flag) устанавливают для RPS для флага копирования частичного RPS. Здесь опорная информация обозначает присутствие или отсутствие ссылки между разными уровнями, кроме, чем между одними и теми же уровнями. Другими словами, когда опорная информация равна 1, опорная информация обозначает, что RPS предыдущего изображения или основного изображения используется, как RPS изображения расширения. В то же время, когда опорная информация равна 0, опорная информация обозначает, что RPS предыдущего изображения и основного изображения не используется, как RPS изображения расширения.

Как представлено в 4-ой - 10-ой строках, когда опорная информация равна 1, и флаг копирования частичного RPS равен 0, то есть, когда RPS предыдущего изображения используется как RPS расширенного изображения, устанавливают информацию, устанавливающую предыдущее изображение (delta_idx_minus1), знак (delta_rps_sign) и абсолютное значение (abs_delta_rps_minus1).

Кроме того, как представлено в 11-ой - 14-ой строках, когда опорная информация равна 1, устанавливают флаг (used_by_curr_pic_lt_flag (used_by_curr_pic_flag)), и когда флаг (used_by_curr_pic_flag) равен 0, дополнительно устанавливают флаг (use_delta_flag). В то же время, как представлено в 15-ой - 25-ой строках, когда опорная информация равна 0, например, устанавливают информацию, обозначающую количество опорных изображений или POC.

Таким образом, когда опорная информация равна 1, информацию, устанавливающую предыдущее изображение (delta_idx_minus1), знак (delta_rps_sign) и абсолютное значение (abs_delta_rps_minus1), устанавливают в RPS для случая, когда флаг копирования частичного RPS равен 0. Кроме того, устанавливают флаг (used_by_curr_pic_lt_flag) и флаг (use_delta_flag), в соответствии с флагом (used_by_curr_pic_flag). Когда опорная информация равна, например, 0, число, обозначающее количество опорных изображений или POC, устанавливают для RPS, для случая, когда флаг копирования частичного RPS равен 0.

В то же время, для RPS, для случая, когда флаг копирования частичного RPS равен 1, установлен флаг (used_by_curr_pic_flag), и флаг (use_delta_flag) устанавливают в соответствии с флагом (used_by_curr_pic_flag).

Другими словами, когда флаг копирования частичного RPS равен 1, поскольку изображение опорного назначения RPS зафиксировано, как основное изображение для того же времени, информация, устанавливающая основное изображение, не установлена. Кроме того, в этом случае, поскольку, по меньшей мере, часть RPS основного изображения используется, как RPS изображения расширения без изменений, знак (delta_rps_sign) и абсолютное значение (abs_delta_rps_minus1), относящееся к разности RPS, также не устанавливают. В результате улучшается эффективность кодирования.

Кроме того, когда флаг копирования частичного RPS равен 1, установлен флаг (used_by_curr_pic_flag) (информация использования). Таким образом, возможно обозначить, используется или нет RPS опорного изображения, как RPS изображения расширения для каждого опорного изображения основного изображения.

Кроме того, когда флаг копирования частичного RPS равен 1, опорная информация обязательно равна 1, и, таким образом, отсутствует случай, когда опорная информация равна 0.

(Описание первого примера обработки устройства кодирования)

Обработка масштабируемого кодирования устройства 530 кодирования на фиг. 94 аналогична обработке масштабируемого кодирования на фиг. 71, за исключением обработки установки SPS и обработки установки флага копирования. Таким образом, дальнейшее описание будет продолжено для обработки установки SPS и обработки установки флага копирования.

На фиг. 100 показана блок-схема последовательности операций для описания обработки установки SPS устройства 530 кодирования.

На этапе S721, на фиг. 100, модуль 551 установки на фиг. 95 устанавливает флаг копирования частичного RPS в SPS. На этапе S722, модуль 551 установки определяет, равен или нет 1 флаг копирования частичного RPS. Когда определяют, что флаг копирования частичного RPS равен 1 на этапе S722, на этапе S723, модуль 551 установки устанавливает RPS для случая, когда флаг копирования частичного RPS равен 1 для SPS по числу (num_short_term_ref_pic_sets) RPS.

В частности, модуль 551 установки устанавливает RPS для флага копирования частичного RPS, включая в себя 1, используемую, как опорная информация, и флаг (used_by_curr_pic_lt_flag) для SPS по числу (num_short_term_ref_pic_sets) RPS. Кроме того, когда флаг (used_by_curr_pic_flag) равен 0, флаг (use_delta_flag) также устанавливают для RPS для флага копирования частичного RPS.

В то же время, когда определяют, что флаг копирования частичного RPS не равен 1 на этапе S722, то есть, когда флаг копирования частичного RPS равен 0, обработка переходит на этап S724. На этапе S724, модуль 551 установки устанавливает RPS для случая, когда флаг копирования частичного RPS равен 0, в SPS по количеству (num_short_term_ref_pic_sets) RPS.

В частности, модуль 551 установки устанавливает RPS для флага копирования частичного RPS, который включает в себя опорную информацию, включает в себя информацию, устанавливающую предыдущее изображения (delta_idx_minus1), знак (delta_rps_sign), абсолютное значение (abs_delta_rps_minus1) и флаг (used_by_curr_pic_flag), когда опорная информация равна 1, и включает в себя информацию, обозначающую количество опорных изображений или POC и т.п., когда опорная информация равна 0 в SPS по количеству (num_short_term_ref_pic_sets) RPS. Кроме того, когда флаг (used_by_curr_pic_flag) равен 0, флаг (use_delta_flag)также устанавливают в RPS для флага копирования частичного RPS.

После обработки на этапе S723 или S724, обработка переходит на этап S725. Обработка на этапах S725 - S727 аналогична обработке на этапах S384 - S386 на фиг. 72, и, таким образом, ее описание исключено.

На фиг. 101 показана блок-схема последовательности операций для описания деталей обработки установки флага копирования устройства 530 кодирования. Обработку установки флага копирования выполняют, например, в модулях срезов.

Обработка на этапах, S741 и S742, на фиг. 101, аналогична обработке на этапах S390 и S391, на фиг. 73, за исключением того, что информация, устанавливающая опорное изображение, заменяется RPS, и, таким образом, ее описание здесь исключено.

На этапе S743, модуль 572 установки опорного изображения определяет, включены или нет все RPS изображения расширения в RPS основного изображения. Когда определяют, что все RPS изображения расширения включены в RPS основного изображения на этапе S743, на этапе S744, модуль 572 установки опорного изображения устанавливает флаг копирования частичного RPS в 1.

Кроме того, модуль 572 установки опорного изображения генерирует RPS изображения расширения для случая, когда флаг копирования частичного RPS равен 1, на основе RPS изображения расширения и RPS основного изображения.

В частности, модуль 572 установки опорного изображения генерирует RPS для случая, когда флаг копирования частичного RPS равен 1, в котором среди опорных изображений, установленных RPS основного изображения, флаг (used_by_curr_pic_flag) того же опорного изображения, что и опорное изображение, установленное RPS для изображения расширения, установлен в 1, и флаг (used_by_curr_pic_flag) другого опорного изображения установлен в 0.

Затем, на этапе S745, модуль 572 установки опорного изображения определяет, равен или нет 1 флаг копирования частичного RPS для SPS, подаваемого из модуля 551 установки на фиг. 95. Когда определяют, что флаг копирования частичного RPS равен 1 на этапе S745, обработка переходит на этап S746.

На этапе S746, модуль 572 установки опорного изображения определяет, является или нет RPS в SPS для случая, когда флаг копирования частичного RPS равен 1, идентичным RPS изображения расширения для случая, когда флаг копирования частичного RPS равен 1. Когда определяют, что RPS в SPS идентичен RPS изображения расширения на этапе S746, обработка переходит на этап S747.

На этапе S747, модуль 572 установки опорного изображения подает 1, используемую, как флаг RPS, и индекс RPS в SPS для случая, когда флаг копирования частичного RPS равен 1, который идентичен RPS изображения расширения, в модуль 571 кодирования без потерь, и обработка заканчивается.

В то же время, когда определяют, что флаг копирования частичного RPS не равен 1 на этапе S745, то есть, когда флаг копирования частичного RPS равен 0, обработка переходит на этап S748. На этапе S748, модуль 572 установки опорного изображения подает 0, используемый, как установленный флаг копирования частичного RPS, в модуль 571 кодирования без потерь, и обработка переходит на этап S749.

Кроме того, когда определяют, что RPS в SPS идентичен RPS изображения расширения на этапе S746, обработка переходит на этап S749.

На этапе S749, модуль 572 установки опорного изображения подает 0, используемый, как флаг RPS и RPS, для случая, когда флаг копирования частичного RPS равен 1, в модуль 571 кодирования без потерь, и обработка заканчивается.

В то же время, когда определяют, что, по меньшей мере, часть RPS изображения расширения не включена в RPS основного изображения на этапе S743, на этапе S750, модуль 572 установки опорного изображения устанавливает флаг копирования частичного RPS в 0. Кроме того, модуль 572 установки опорного изображения генерирует RPS для изображения расширения, для случая, когда флаг копирования частичного RPS равен 0 на основе RPS изображения расширения и RPS предыдущего изображения.

На этапе S751, модуль 572 установки опорного изображения 572 определяет, равен или нет 0 флаг копирования частичного RPS для SPS, поданного из модуля 551 установки.

Когда определяют, что флаг копирования частичного RPS в SPS равен 0 на этапе S751, обработка переходит на этап S752. В то же время, когда определяют, что флаг копирования частичного RPS в SPS не равен 0 на этапе S751, то есть, когда определяют, что флаг копирования частичного RPS в SPS равен 1, обработка переходит на этап S754.

Обработка на этапах S752 - S755 аналогична обработке на этапах S746 - S749, за исключением того, что RPS для случая, когда флаг копирования частичного RPS равен 1, заменен RPS для случая, когда флаг копирования частичного RPS равен 0, и, таким образом, ее описание исключено.

Как описано выше, устройство 530 кодирования устанавливает флаг копирования частичного RPS. Таким образом, даже когда RPS основного изображения не является идеально идентичным RPS изображения расширения, если RPS изображения расширения включен в RPS основного изображения, RPS может совместно использоваться между основным уровнем и уровнем расширения. В результате, возможно уменьшить количество информации потока расширения и улучшить эффективность кодирования.

Кроме того, устройство 530 кодирования устанавливает флаг (used_by_curr_pic_flag) и, таким образом, может обозначать часть RPS, совместно используемую основным уровнем и уровнем расширения.

(Примерная конфигурация устройства декодирования в четвертом варианте осуществления)

На фиг. 102 показана блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования в соответствии с четвертым вариантом осуществления настоящего раскрытия, которое декодирует кодированный поток для всех уровней, передаваемых из устройства 530 кодирования на фиг. 94.

Среди компонентов, показанных на фиг. 102, те же компоненты, что и на фиг. 29, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация устройства 590 декодирования по фиг. 102 отличается от конфигурации устройства 90 декодирования на фиг. 29 тем, что модуль 591 декодирования расширения установлен вместо модуля 94 декодирования расширения.

Модуль 591 декодирования расширения устройства 590 декодирования декодирует поток расширения, подаваемый из модуля 92 разделения, в соответствии со схемой, которая соответствует схеме HEVC, и генерируют изображение расширения. В это время модуль 591 декодирования расширения обращается к RPS основного изображения, подаваемого из модуля 93 основного декодирования, флагу копирования частичного RPS, включенного в SPS или к заголовку среза, и т.п. Модуль 591 декодирования расширения выводит сгенерированное изображение расширения.

(Примерная конфигурация модуля декодирования расширения)

На фиг. 103 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 591 декодирования расширения на фиг. 102.

Среди компонентов, показанных на фиг. 103, те же компоненты, что и на фиг. 30, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 591 декодирования расширения на фиг. 103 отличается от конфигурации модуля 94 декодирования расширения на фиг. 30 тем, что модуль 611 декодирования установлен вместо модуля 112 декодирования.

Модуль 611 декодирования модуля 591 декодирования расширения декодирует кодированные данные, переданные из модуля 111 выделения, в соответствии со схемой, которая соответствует схеме HEVC, со ссылкой на RPS основного изображения, подаваемого из модуля 93 основного декодирования на фиг. 102, и флаг копирования частичного RPS, включенный в SPS, или заголовок среза, подаваемый из модуля 111 выделения. Модуль 611 декодирования выводит изображение, полученное в результате декодирования, как изображение расширения.

(Пример конфигурации модуля декодирования)

На фиг. 104 показана блок-схема, иллюстрирующая примерную конфигурацию модуля 611 декодирования по фиг. 103.

Среди компонентов, показанных на фиг. 104, те же компоненты, что и на фиг. 31, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет, соответственно, исключено.

Конфигурация модуля 611 декодирования на фиг. 104 отличается от конфигурации модуля 112 декодирования на фиг. 31 тем, что модуль 631 декодирования без потерь установлен вместо модуля 132 декодирования без потерь, и модуль 632 установки опорного изображения установлен вместо модуля 145 установки опорного изображения.

Модуль 631 декодирования без потерь модуля 611 декодирования выполняет декодирование без потерь для кодированных данных, подаваемых из буфера 131 накопления, и получает квантованные коэффициенты и информацию кодирования. Модуль 631 декодирования без потерь подает квантованные коэффициенты в модуль 133 обратного квантования. Кроме того, модуль 631 декодирования без потерь подает информацию режима прогнозирования внутри кадра, используемую, как информация кодирования, и т.п., в модуль 143 прогнозирования внутри кадра, и подает вектор движения, информацию режима прогнозирования между кадрами и т.п. в модуль 146 компенсации движения.

Кроме того, модуль 631 декодирования без потерь подает флаг копирования частичного RPS, флаг RPS, RPS для флага копирования частичного RPS или индекс RPS, и т.п., используемые как информация кодирования, в модуль 632 установки опорного изображения. Кроме того, модуль 631 декодирования без потерь подает информацию режима прогнозирования внутри кадра или информацию режима прогнозирования между кадрами, используемую, как информация кодирования, в переключатель 147. Модуль 631 декодирования без потерь подает информацию фильтра смещения, используемую, как информация кодирования, в фильтр 137 адаптивного смещения, и подает коэффициент фильтра в адаптивный фильтр 138 контура.

Модуль 632 установки опорного изображения содержит флаг копирования частичного RPS, включенный в SPS, подаваемый из модуля 111 выделения на фиг. 103, и RPS для флага копирования частичного RPS. Когда флаг копирования частичного RPS и RPS для флага копирования частичного RPS подают в модуль 631 декодирования без потерь, модуль 632 установки опорного изображения обновляет содержащийся флаг копирования частичного RPS и RPS для флага копирования частичного RPS.

Затем модуль 632 установки опорного изображения считывает RPS основного изображения в опорном буфере 144 на основе содержащегося флага копирования частичного RPS. Кроме того, модуль 632 установки опорного изображения получает содержащуюся RPS для флага копирования частичного RPS или RPS для флага копирования частичного RPS, содержащегося индекса, подаваемого из модуля 631 декодирования без потерь, на основе флага RPS, подаваемого из модуля 631 декодирования без потерь.

Когда флаг копирования частичного RPS равен 1, модуль 632 установки опорного изображения определяет, по меньшей мере, часть RPS основного изображения, как RPS текущего среза, на основе RPS основного изображения и RPS для случая, когда флаг копирования частичного RPS равен 1. В то же время, когда флаг копирования частичного RPS равен 0, модуль 632 установки опорного изображения определяет RPS для случая, когда флаг копирования частичного RPS равен 0, как RPS текущего среза.

(Описание первого примера обработки устройства декодирования)

Обработка масштабируемого декодирования устройства 590 декодирования на фиг. 102 аналогична обработке масштабируемого декодирования устройства 470 декодирования, за исключением обработки выделения SPS и обработки генерирования. Таким образом, следующее описание будет продолжено для обработки выделения SPS и обработки генерирования.

На фиг. 105 показана блок-схема последовательности операций для описания деталей обработки выделения SPS устройства 590 декодирования.

На этапе S771, на фиг. 105, модуль 632 установки опорного изображения на фиг. 104 выделяет флаг копирования частичного RPS из SPS и содержит выделенный флаг копирования частичного RPS.

На этапе S772, модуль установки 632 опорного изображения определяет, равен или нет 1 флаг копирования частичного RPS. Когда определяют, что флаг копирования частичного RPS равен 1 на этапе S772, на этапе S773, модуль 632 установки опорного изображения выделяет RPS для случая, когда флаг копирования частичного RPS равен 1 из SPS по количеству (num_short_term_ref_pic_sets) RPS, и содержит выделенные RPS.

В то же время, когда определяют, что флаг копирования частичного RPS не равен 1 на этапе S772, то есть, когда флаг копирования частичного RPS равен 0, обработка переходит на этап S774. На этапе S774, модуль 632 установки опорного изображения выделяет RPS для случая, когда флаг копирования частичного RPS равен 0 из SPS по количеству (num_short_term_ref_pic_sets) RPS и содержит выделенные RPS.

После обработки на этапе S773 или S774, обработка переходит на этап S775. Обработка на этапах S775 - S777 аналогична обработке на этапах S454 - S456, на фиг. 78, и, таким образом, ее описание исключено.

На фиг. 106 показана блок-схема последовательности операций для описания деталей обработки генерирования устройства 590 декодирования. Обработку генерирования выполняют, например, в модулях срезов.

Обработка на этапах S800 - S802 на фиг. 106 аналогична обработке на этапах S471 - S473, на фиг. 79, за исключением того, что флаг копирования заменен флагом копирования частичного RPS, и, таким образом, ее описание исключено.

Когда определяют, что флаг копирования частичного RPS равен 1, на этапе S802, на этапе S803, модуль 632 установки опорного изображения считывает RPS основного изображения из опорного буфера 144.

На этапе S804, модуль 632 установки опорного изображения определяет, равен или нет 1 флаг RPS, подаваемый из модуля 631 декодирования без потерь.

Когда определяют, что флаг RPS равен 1 на этапе S804, на этапе S805, модуль 632 установки опорного изображения получает индекс RPS, поданный из модуля 631 декодирования без потерь.

На этапе S806, модуль 632 установки опорного изображения определяет RPS текущего среза из RPS основного изображения на основе RPS для случая, когда флаг копирования частичного RPS равен 1 и в котором полученный индекс выделяют среди содержащихся RPS. В частности, модуль 632 установки опорного изображения определяет только информацию, устанавливающую опорное изображение, в которой флаг (used_by_curr_pic_lt_flag), включенный в RPS для случая, когда флаг копирования частичного RPS равен 1 среди RPS основного изображения, равен 1, как RPS текущего среза. Затем обработка заканчивается.

В то же время, когда определяют, что флаг RPS не равен 1 на этапе S804, то есть, когда флаг RPS равен 0, на этапе S807, модуль 632 установки опорного изображения получает RPS для случая, когда флаг копирования частичного RPS равен 1, который подают из модуля 631 декодирования без потерь. На основе RPS обновляют RPS для флага копирования частичного RPS, включенного в SPS, содержащийся в модуле 632установки опорного изображения.

На этапе S808, модуль 632 установки опорного изображения определяет RPS текущего среза из RPS основного изображения на основе обновленного RPS для случая, когда флаг копирования частичного RPS равен 1, аналогично этапу S806. Затем обработка заканчивается.

В то же время, когда определяют, что флаг копирования частичного RPS не равен 1 на этапе S802, то есть, когда флаг копирования частичного RPS равен 0, обработка переходит на этап S809. Обработка на этапах S809, S810 и на этапе S812 аналогична обработке на этапах S804, S805 и S807, за исключением того, что RPS для случая, когда флаг копирования частичного RPS равен 1, заменяют RPS для случая, когда флаг копирования частичного RPS равен 0, и, таким образом, его описание исключено.

После обработки на этапе S810, на этапе S811, модуль 632 установки опорного изображения определяет RPS для случая, когда флаг копирования частичного RPS равен 0 и в котором полученный индекс выделяют среди содержащихся RPS, как RPS текущего среза. Затем обработка заканчивается.

В то же время, после обработки на этапе S812, на этапе S813, модуль 632 установки опорного изображения определяет обновленный RPS для случая, когда флаг копирования частичного RPS равен 0, как RPS текущего среза. Затем обработка заканчивается.

Кроме того, после того, как обработка генерирования закончится, флаг копирования частичного RPS и RPS, содержащегося в модуле 632установки опорного изображения, восстанавливают во флаг копирования частичного RPS и RPS, включенный в SPS.

Как описано выше, устройство 590 декодирования генерирует RPS изображения расширения, используя флаг копирования частичного RPS. Таким образом, даже когда RPS основного изображения не идеально идентичен RPS изображения расширения, если RPS изображения расширения включен в RPS основного изображения, возможно совместно использовать RPS между основным уровнем и уровнем расширения, и декодировать поток расширения с улучшенной эффективностью кодирования.

Кроме того, устройство 590 декодирования принимает флаг (used_by_curr_pic_flag) и, таким образом, может распознать часть RPS, совместно используемую основным уровнем и уровнем расширения.

Кроме того, в представленном выше описании, RPS устанавливают так, чтобы можно было различать RPS для случая, когда флаг копирования частичного RPS равен 1, и RPS для случая, когда флаг копирования частичного RPS равен 0, но может быть установлен без возможности различения. Такой случай будет описан ниже, как второй пример четвертого варианта осуществления. Далее второй пример четвертого варианта осуществления называется "временем установки общего RPS".

(Второй пример синтаксиса RPS)

На фиг. 107 показана схема, иллюстрирующая примерный синтаксис RPS во время установки общего RPS.

Во время установки общего RPS RPS на фиг. 107 устанавливают, как RPS для флага копирования частичного RPS для SPS на фиг. 97 или заголовка среза на фиг. 98.

В RPS на фиг. 107, как представлено в 3-ей строке, устанавливают опорную информацию (inter_ref_pic_set_prediction_flag), аналогично примеру на фиг. 99. Кроме того, как представлено в 4-ой и 5-ой строках, когда опорная информация равна 1, флаг копирования частичного RPS устанавливают в RPS. Другими словами, когда опорная информация равна 0, флаг копирования частичного RPS обязательно равен 0, и, таким образом, только, когда опорная информация равна 1, устанавливают флаг копирования частичного RPS.

Кроме того, как представлено в 6-ой - 11-ой строках, когда флаг копирования частичного RPS равен 0, то есть, когда опорная информация равна 1, и флаг копирования частичного RPS равен 0, предыдущую информацию, устанавливающую изображение (delta_idx_minus1), знак (delta_rps_sign) и абсолютное значение (abs_delta_rps_minus1) устанавливают в RPS, аналогично примеру на фиг. 99.

Кроме того, как представлено в 12-ой - 15-ой строках, когда опорная информация равна 1, аналогично примеру на фиг. 99, флаг (used_by_curr_pic_flag) и флаг (use_delta_flag), в соответствии с флагом (used_by_curr_pic_flag), устанавливают в RPS.

Кроме того, как представлено в 16-ой - 27-ой строках, когда опорная информация равна 0, например, информацию, обозначающую количество опорных изображений или POC, устанавливают для RPS, аналогично примеру на фиг. 99.

(Описание второго примера обработки устройства кодирования)

Обработка масштабируемого кодирования во время установки общего RPS, аналогична обработке масштабируемого кодирования на фиг. 71, за исключением обработки установки SPS и обработки установки флага копирования. Таким образом, следующее описание будет продолжено для обработки установки SPS и обработки установки флага копирования.

На фиг. 108 показана блок-схема последовательности операций, описывающая обработку установки SPS во время установки общего RPS.

На этапе S831, на фиг. 108, модуль 551 установки по фиг. 95 устанавливает флаг копирования частичного RPS в SPS. На этапе S832, модуль 551 установки устанавливает RPS в SPS по количеству (num_short_term_ref_pic_sets) RPS. В частности, модуль 551 установки устанавливает RPS, в котором установлена опорная информация, флаг копирования частичного RPS устанавливают, когда опорная информация равна 1, и информацию в соответствии с опорной информацией и флагом копирования частичного RPS устанавливают в SPS по количеству (num_short_term_ref_pic_sets) RPS.

Обработка на этапах S833 - S835 аналогична обработке на этапах S384 - S386, на фиг. 72, и, таким образом, ее описание исключено.

На фиг. 109 показана блок-схема последовательности операций для описания деталей обработки установки флага копирования во время установки общего RPS. Обработку установки флага копирования выполняют, например, в модулях срезов.

Обработка на этапах S851 - S855, на фиг. 109, аналогична обработке на этапах S741 - S744 и S750, на фиг. 101, и, таким образом, ее описание исключено.

После обработки на этапах S854 или S855, обработка переходит на этап S856. На этапе S856, модуль 572 установки опорного изображения определяет, является или нет идентичным флаг копирования частичного RPS для SPS, переданного из модуля 551 установки по фиг. 95, флагу копирования частичного RPS, установленному на этапе S854 или этапе S855.

Когда определяют, что флаги копирования частичного RPS идентичны друг другу на этапе S856, на этапе S857, модуль 572 установки опорного изображения определяет, является или нет RPS для SPS идентичным RPS изображения расширения. Когда определяют, что RPS SPS идентичен RPS изображения расширения, на этапе S857, обработка переходит на этап S858.

На этапе S858, модуль 572 установки опорного изображения подает 1, используемую, как флаг RPS, и индекс RPS в модуль 571 кодирования без потерь, и обработка заканчивается.

В то же время, когда определяют, что флаги копирования частичного RPS не идентичны друг другу на этапе S856, на этапе S859, модуль 572 установки опорного изображения подает установленный флаг копирования частичного RPS в модуль 571 кодирования без потерь, и обработка переходит на этап S860.

Кроме того, когда определяют, что RPS в SPS не идентичен RPS изображения расширения на этапе S857, обработка переходит на этап S860.

На этапе S860, модуль 572 установки опорного изображения передает 0, используемый, как флаг RPS, и RPS в модуль 571 кодирования без потерь, и обработка заканчивается.

(Описание второго примера обработки устройства декодирования)

Обработка масштабируемого декодирования во время установки общего RPS аналогична обработке масштабируемого декодирования устройства 470 декодирования, за исключением обработки выделения SPS и обработки генерирования. Таким образом, следующее описание будет продолжено для обработки выделения SPS и обработки генерирования.

На фиг. 110 показана блок-схема последовательности операций для описания обработки выделения SPS во время установки общего RPS.

На этапе S881, на фиг. 110, модуль 632 установки опорного изображения, на фиг. 104, выделяет флаг копирования частичного RPS из SPS, и содержит выделенный флаг копирования частичного RPS. На этапе S882, модуль 632 установки опорного изображения выделяет RPS из SPS и содержит выделенный RPS.

Обработка на этапах S883 - S885 аналогична обработке на этапах S454 - S456, на фиг. 78, и, таким образом, ее описание исключено.

Обработка генерирования во время установки общего RPS аналогична обработке генерирования по фиг. 106, за исключением того, что RPS для случая, когда флаг копирования частичного RPS равен 1, и RPS для случая, когда флаг копирования частичного RPS равен 0, заменены RPS.

Кроме того, в четвертом варианте осуществления, аналогично третьему варианту осуществления, другая схема кодирования, чем схема HEVC, такая как схема AVC, может использоваться, как схема кодирования основного изображения. В этом случае, только когда схема кодирования основного изображения идентична схеме кодирования изображения расширения, флаг копирования частичного RPS установлен, и, по меньшей мере, часть RPS совместно используется основным изображением и изображением расширения.

<Применение для кодирования многообзорного изображения и декодирования многообзорного изображения>

Описанная выше последовательность обработки может применяться для кодирования многообзорного изображения и декодирования многообзорного изображения. На фиг. 111 представлен пример схемы кодирования многообзорного изображения.

Как представлено на фиг. 111, многообзорное изображение включает в себя изображения множества видов, и изображение определенного вида среди множества видов обозначено, как изображение основного вида. Изображение каждого вида, другого, чем изображение основного вида, рассматривается, как изображение неосновного вида. Когда выполняют кодирование многообзорного изображения, используя масштабируемую функцию, изображение основного вида кодируют, как изображение основного уровня, и изображение неосновного вида кодируют, как изображение расширения.

Когда выполняют кодирование многообзорного изображения на фиг. 111, может быть получена разность параметра квантования в каждом виде (одном и тот же виде).

(1) основной вид:

(1-1) dQP (base view), = Current_CU_QP (base view) - LCU_QP (base view)

(1-2) dQP (base view), = Current_CU_QP (base view) - Previsous_CU_QP (base view)

(1-3) dQP (base view), = Current_CU_QP (base view) - Slice_QP (base view)

(2) "не основной вид":

(2-1) dQP (non-base view), = Current_CU_QP (non-base view) - LCU_QP (non-base view)

(2-2) dQP (non-base view), = CurrentQP (non-base view) - PrevisousQP (non-base view)

(2-3) dQP (non-base view), = Current_CU_QP (non-base view) - Slice_QP (non-base view)

Когда выполняют кодирование многообзорного изображения, разность параметра квантования может быть получена в каждом виде (в другом виде).

(3) основной вид/не основной вид:

(3-1) dQP (inter-view) = Slice_QP (base view) - Slice_QP (non-base view)

(3-2) dQP (inter-view) = LCU_QP (base view) - LCU_QP (non-base view)

(4) не основной вид/не основной вид:

(4-1) dQP (inter-view) = Slice_QP (non-base view i) - Slice_QP (non-base view j),

(4-2) dQP (inter-view) = LCU_QP (non-base view i) - LCU_QP (non-base view j).

В этом случае, (1) - (4) могут быть скомбинированы и могут использоваться. Например, в неосновном виде, рассматривается технология (комбинация 3-1 и 2-3) получения разностей параметров квантования между основным видом и неосновным видом на уровне среза или технология (комбинация 3-2 и 2-1) получения разностей параметров квантования между основным видом и неосновным видом на уровне LCU. Как описано выше, поскольку разность применяется многократно, даже когда выполняют многообзорное кодирование, эффективность кодирования может быть улучшена.

Аналогично описанной выше технологии, для каждого dQP может быть установлен флаг, идентифицирующий присутствует или нет dQP, имеющий ненулевое значение.

<Другой пример кодирования масштабируемой функции>

На фиг. 112 представлен другой пример кодирования масштабируемой функции.

Как представлено на фиг. 112, при кодировании масштабируемой функции, разность параметра квантования может быть получена на каждом уровне (на том же уровне).

(1) основной уровень:

(1-1) dQP(base layer) = Current_CU_QP(base layer) - LCU_QP(base layer)

(1-2) dQP(base layer) = Current_CU_QP(base layer) - Previsous_CU_QP(base layer)

(1-3) dQP(base layer) = Current_CU_QP(base layer) - Slice_QP(base layer)

(2) не основной уровень:

(2-1) dQP(non-base layer) = Current_CU_QP(non-base layer) - LCU_QP(non-base layer)

(2-2) dQP(non-base layer) = CurrentQP(non-base layer) - PrevisousQP(non-base layer)

(2-3) dQP(non-base layer) = Current_CU_QP(non-base layer) - Slice_QP(non-base layer)

Кроме того, разность параметра квантования может быть получена в каждом уровне (в другом уровне):

(3) основной уровень/не основной уровень:

(3-1) dQP(inter-layer) = Slice_QP(base layer) - Slice_QP(non-base layer)

(3-2) dQP(inter-layer) = LCU_QP(base layer) - LCU_QP(non-base layer)

(4) не основной уровень/не основной уровень:

(4-1) dQP(inter-layer) = Slice_QP(non-base layer i) - Slice_QP(non-base layer j)

(4-2) dQP(inter-layer) = LCU_QP(non-base layer i) - LCU_QP(non-base layer j)

В этом случае, (1) - (4) могут быть скомбинированы и могут использоваться. Например, в не основном уровне, рассматривается технология (комбинация 3-1 и 2-3) получения разностей параметров квантования между основным уровнем и не основным уровнем на уровне среза или технология (комбинация 3-2 и 2-1) получения разностей параметров квантования между основным уровнем и не основным уровнем на уровне LCU. Как описано выше, поскольку разность многократно применяется, даже когда выполняют масштабируемое кодирование, эффективность кодирования может быть улучшена.

Аналогично описанной выше технологии, флаг, идентифицирующий, присутствует или нет dQP, имеющий ненулевое значение, может быть установлен для каждого dQP.

<Пятый вариант осуществления>

(Описание компьютера, в котором применяется настоящая технология)

Описанная выше последовательность обработки может исполняться аппаратными или программными средствами. Когда последовательность обработки выполняется программным средством, программа, конфигурирующая программное средство, установлена в компьютер. Здесь примеры компьютера включают в себя компьютер, встроенный в специализированные аппаратные средства, и персональный компьютер общего назначения, который включает в себя различные программы, установленные в нем, и который выполнен с возможностью исполнения различных видов функций.

Hа фиг. 113 показана блок-схема, иллюстрирующая примерную конфигурацию аппаратных средств компьютера, который выполняет описанную выше последовательность обработки с использованием программы.

В компьютере центральное процессорное устройство (CPU) 801, постоянное запоминающее устройство (ROM) 802 и оперативное запоминающее устройство (RAM) 803 соединены друг с другом через шину 804.

Интерфейс 805 ввода-вывода также соединен с шиной 804. Модуль 806 ввода, модуль 807 вывода, модуль 808 накопителя, модуль 809 передачи данных и привод 810 соединены с интерфейсом 805 ввода-вывода.

Модуль 806 ввода включает в себя клавиатуру, мышь, микрофон и т.п. Модуль 807 вывода включает в себя дисплей, громкоговоритель и т.п. Модуль 808 накопителя включает в себя жесткий диск, энергонезависимое запоминающее устройство и т.п. Модуль 809 передачи данных включает в себя сетевой интерфейс. Привод 810 выполняет привод съемного носителя 811 записи, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше конфигурацию, CPU 801 выполняет описанную выше последовательность обработки, например, путем загрузки программы, сохраненной в модуле 808 сохранения в RAM 803, через интерфейс 805 ввода-вывода и шину 804, и выполняет эту программу.

Например, программа, выполняемая компьютером (CPU 801), может быть записана на съемный носитель 811 записи, как пакетный носитель записи, и т.п., и может быть предоставлена. Кроме того, программа может быть предоставлена через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть (LAN), Интернет или цифровая спутниковая широковещательная передача.

В компьютере 811 съемный носитель записи устанавливают в привод 810, и затем программа может быть установлена в модуле 808 накопителя через интерфейс 805 ввода-вывода. Кроме того, программа может быть принята модулем 809 передачи данных через проводную или беспроводную среду передачи данных и затем установлена в модуле 808 накопителя. Кроме того, программа может быть заранее установлена в ROM 802 или в модуле 808 накопителя.

Кроме того, программа может представлять собой программу, в которой обработка выполняется хронологически в порядке, описанном в данном описании, или может представлять собой программу, в которой обработка выполняется параллельно или в необходимые моменты времени, такие как моменты времени вызова.

<Шестой вариант осуществления>

(Примерная конфигурация телевизионного устройства)

На фиг. 114 схематически показана конфигурация телевизионного устройства, в котором применяется настоящая технология. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908, и модуль 909 внешнего I/F. Телевизионное устройство 900, кроме того, включает в себя модуль 910 управления, модуль 911 I/F пользователя и т.п.

Тюнер 902 настраивается на требуемый канал сигнала широковещательной передачи, принятого антенной 901, выполняет демодуляцию и выводит полученный кодированный поток битов в демультиплексор 903.

Демультиплексор 903 выделяет пакеты видео- или аудиоданных программы – цели просмотра из кодированного потока битов, и выводит данные выделенных пакетов в декодер 904. Демультиплексор 903 предоставляет пакеты данных, такие как электронная программа передач (EPG) в модуль 910 управления. Кроме того, когда выполняется скремблирование, выполняют дескремблирование, используя демультиплексор и т.п.

Декодер 904 выполняет обработку декодирования, состоящую в декодировании пакетов, и выводит видеоданные и аудиоданные, сгенерированные обработкой декодирования, в модуль 905 обработки видеосигнала и модуль 907 обработки аудиосигнала, соответственно.

Модуль 905 обработки видеосигнала выполняет обработку удаления шумов или обработку видеоданных, в соответствии с установками пользователя, для видеоданных. Модуль 905 обработки видеосигнала генерирует видеоданные программы, которая должна отображаться в модуле 906 дисплея, данные изображения, в соответствии с обработкой на основе приложения, предоставляемые через сеть, и т.п. Модуль 905 обработки видеосигнала генерирует видеоданные для отображения, например, экрана меню, используемого для выбора элемента, и обеспечивает наложение видеоданных на видеоданные программы. Модуль 905 обработки видеосигнала генерирует сигнал управления на основе видеоданных, генерируемых, как описано выше, и управляет модулем 906 дисплея.

Модуль 906 дисплея выполняет управление устройством дисплея (например, устройством жидкокристаллического дисплея и т.п.) на основе сигнала управления, предоставляемого из модуля 905 обработки видеосигнала, и обеспечивает отображение видеопрограммы и т.п.

Модуль 907 обработки аудиосигнала выполняет определенную обработку, такую как обработка удаления шумов, для аудиоданных, выполняет обработку цифро-аналогового (D/A) преобразования и обработку усиления для обработанных аудиоданных, и предоставляет полученные в результате данные в громкоговоритель 908 для вывода звука.

Модуль 909 внешнего I/F представляет собой интерфейс для соединения с внешним устройством или сетью, и выполняет передачу и прием данных, таких как видеоданные или аудиоданные.

Модуль 911 модуля I/F пользователя соединен с модулем 910 управления. Модуль 911 I/F пользователя включает в себя переключатель операций, модуль приема сигнала дистанционного управления и т.п., и предоставляет сигнал операции, в соответствии с операцией пользователя, в модуль 910 управления.

Модуль 910 управления включает в себя CPU, запоминающее устройство и т.п. В запоминающем устройстве содержится программа, выполняемая CPU, различного вида данные, необходимые, когда CPU выполняет обработку, данные EPG, данные, получаемые через сеть, и т.п. Программу, содержащуюся в запоминающем устройстве, считывают и выполняют с помощью CPU в определенные моменты времени, такие как моменты времени, в которые активизируется телевизионное устройство 900. CPU исполняет программу, и управляет соответствующими модулями таким образом, что телевизионным устройством 900 управляют в соответствии с операцией пользователя.

В телевизионном устройстве 900 предусмотрена шина 912, которая соединяет тюнер 902, демультиплексор 903, модуль 905 обработки видеосигнала, модуль 907 обработки аудиосигнала, модуль 909 внешнего I/F и т.п., с модулем 910 управления.

В телевизионном устройстве, имеющем описанную выше конфигурацию, в декодере 904 предусмотрена функция устройства декодирования (способа декодирования), в соответствии с настоящим раскрытием. Таким образом, становится возможным совместно использовать или прогнозировать информацию, относящуюся к опорному изображению, для изображения, имеющего иерархическую структуру.

<Седьмой вариант осуществления>

(Примерная конфигурация мобильного телефона)

На фиг. 115 схематично иллюстрируется конфигурация мобильного телефона, в котором применяется настоящая технология. Мобильный телефон 920 включает в себя модуль 922 передачи данных, голосовой кодек 923, модуль 926 камеры, модуль 927 обработки изображения, модуль 928 мультиплексирования/разделения, модуль 929 записи/воспроизведения, модуль 930 дисплея и модуль 931 управления. Эти модули соединены друг с другом через шину 933.

Кроме того, антенна 921 соединена с модулем 922 передачи данных, и громкоговоритель 924, и микрофон 925 соединены с голосовым кодеком 923. Кроме того, модуль 932 операций соединен с модулем 931 управления.

Мобильный телефон 920 выполняет различного рода операций, такие как передача и прием голосового сигнала, передача и прием электронной почты или данных изображения, съемка изображения или запись данных в различных режимах, таких как режим голосового вызова и режим передачи данных.

В режиме голосового вызова голосовой сигнал, генерируемый микрофоном 925, преобразуют в голосовые данные через голосовой кодек 923, сжимают и затем передают в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты голосовых данных, и генерирует сигнал передачи. Кроме того, модуль 922 передачи данных предоставляет сигнал передачи в антенну 921 таким образом, что сигнал передачи передают в базовую станцию (не показана). Кроме того, модуль 922 передачи данных выполняет обработку усиления, обработку преобразования частоты и обработку демодуляции сигнала приема, принятого через антенну 921, и предоставляет полученные голосовые данные в голосовой кодек 923. Голосовой кодек 923 распаковывает голосовые данные, преобразует сжатые данные в аналоговой голосовой сигнал и выводит аналоговый голосовой сигнал в громкоговоритель 924.

В режиме передачи данных, когда выполняется передача почты, модуль 931 управления принимает текстовые данные, вводимые при выполнении операций с модулем 932 операций, и обеспечивает отображение вводимого текста в модуле 930 дисплея. Кроме того, модуль 931 управления генерирует данные почты, например, на основе инструкции пользователя, подаваемой через модуль 932 операций, и предоставляет данные почты в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты для данных почты и передает полученный сигнал передачи через антенну 921. Кроме того, модуль 922 передачи данных выполняет, например, обработку усиления, обработку преобразования частоты и обработку демодуляции сигнала приема, принимаемого через антенну 921, и восстанавливает данные почты. Данные почты предоставляют в модуль 930 дисплея таким образом, что отображается содержание почты.

Мобильный телефон 920 может сохранять принятые данные почты на носителе записи через модуль 929 записи/воспроизведения. Носитель записи представляет собой произвольный носитель записи с возможностью перезаписи. Примеры носителя записи включают в себя полупроводниковое запоминающее устройство, такое как RAM или внутреннее запоминающее устройство флэш, жесткий диск, магнитный диск, магнитооптический диск, оптический диск и съемный носитель, такой как запоминающее устройство на универсальной последовательной шине (USB) или карта памяти.

В режиме передачи данных, когда передают данные изображения, данные изображения, генерируемые через модуль 926 камеры, подают в модуль 927 обработки изображения. Модуль 927 обработки изображения выполняет обработку кодирования, состоящую в кодировании данных изображения, и генерирует кодированные данные.

Модуль 928 мультиплексирования/разделения мультиплексирует кодированные данные, сгенерированные через модуль 927 обработки изображения, и голосовые данные, предоставляемые из голосового кодека 923, в соответствии с определенной схемой, и предоставляет полученные в результате данные в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты для мультиплексированных данных, и передает полученный сигнал передачи через антенну 921. Кроме того, модуль 922 передачи данных выполняет, например, обработку усиления, обработку преобразования частоты и обработку демодуляции для принятого сигнала, принятого через антенну 921, и восстанавливает мультиплексированные данные. Мультиплексированные данные передают в модуль 928 мультиплексирования/разделения. Модуль 928 мультиплексирования/разделения разделяет мультиплексированные данные, и предоставляет кодированные данные и голосовые данные в модуль 927 обработки изображения и в голосовой кодек 923, соответственно. Модуль 927 обработки изображения выполняет обработку декодирования, состоящую в декодировании кодированных данных, и генерирует данные изображения. Данные изображения предоставляют в модуль 930 дисплея таким образом, что отображается принятое изображение. Голосовой кодек 923 преобразует голосовые данные в аналоговый голосовой сигнал, подает аналоговый голосовой сигнал в громкоговоритель 924 и выводит принятый голос.

В мобильном телефоне, имеющем описанную выше конфигурацию, в модуле 927 обработки изображения предусмотрена функция устройства кодирования и устройства декодирования (способ кодирования и способ декодирования), в соответствии с настоящим раскрытием. Таким образом, становится возможным совместно использовать или прогнозировать информацию, относящуюся к опорному изображению, для изображения, имеющего иерархическую структуру.

<Восьмой вариант осуществления>

(Примерная конфигурация устройства записи/воспроизведения)

На фиг. 116 иллюстрируется схематичная конфигурация устройства записи/воспроизведения, в котором применяется настоящая технология. Устройство 940 записи/воспроизведения записывает, например, аудиоданные и видеоданные принятой программы широковещательной передачи на носителе записи, и записанные данные предоставляют пользователю в моменты времени, в соответствии с инструкцией пользователя. Кроме того, устройство 940 записи/воспроизведения может получать, например, аудиоданные или видеоданные из другого устройства и обеспечивать запись 940 полученных данных на носителе записи. Кроме того, устройство записи/воспроизведения декодирует и выводит аудиоданные или видеоданные, записанные на носителе записи, таким образом, что отображение изображения или вывод звука могут быть выполнены в устройстве монитора и т.п.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, модуль 942 внешнего I/F, кодер 943, модуль 944 привода жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, модуль 948 отображения на экране (OSD), модуль 949 управления, и модуль 950 I/F пользователя.

Тюнер 941 настраивается на требуемый канал из сигнала широковещательной передачи, принятого через антенну (не показана). Тюнер 941 демодулирует сигнал приема требуемого канала, и выводит полученный кодированный поток битов в селектор 946.

Модуль 942 внешнего I/F выполнен, по меньшей мере, с одним интерфейсом IEEE 1394, сетевым интерфейсом, интерфейсом USB, интерфейсом запоминающего устройства флэш и т.п. Модуль 942 внешнего I/F представляет собой интерфейс для подключения к внешнему устройству, сети, карте памяти и т.п. и принимает данные, такие как видеоданные или аудиоданные, предназначенные для записи.

Кодер 943 кодирует некодированные видеоданные или аудиоданные, предоставленные из модуля 942 внешнего I/F, в соответствии с определенной схемой, и выводит кодированный поток битов в селектор 946.

Модуль 944 HDD записывает данные содержания, такие как видеоданные или звук, различного рода программы и другие данные на внутренний жесткий диск, и считывает записанные данные с жесткого диска во время воспроизведения и т.п.

Привод 945 диска записывает сигнал на установленный оптический диск, и воспроизводит сигнал с оптического диска. Примеры оптического диска включают в себя диск DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.) и диск Blu-ray (зарегистрированный товарный знак).

Когда записывают видеоизображение или звук, селектор 946 выбирает либо кодированный поток битов, предоставляемый из тюнера 941, или кодированный поток битов, предоставляемый из кодера 943, и предоставляет выбранный кодированный поток битов либо в модуль 944 HDD, либо в привод 945 диска. Кроме того, когда воспроизводят видеоизображение или звук, селектор 946 предоставляет кодированный поток битов, выводимый из модуля 944 HDD, или из привода 945 диска, в декодер 947.

Декодер 947 выполняет обработку декодирования, состоящую в декодировании кодированного потока битов. Декодер 947 предоставляет видеоданные, генерируемые путем выполнения обработки декодирования, в модуль 948 OSD. Кроме того, декодер 947 выводит аудиоданные, генерируемые путем выполнения обработки декодирования.

Модуль 948 OSD генерирует видеоданные, используемые для отображения, например, экран меню используется, например, для выбора пункта, и выводит видеоданные для их наложения на видеоданные, выводимые из декодера 947.

Модуль 950 I/F пользователя подключен к модулю 949 управления. Модуль 950 I/F пользователя включает в себя переключатель операции, модуль приема сигнала дистанционного управления и т.п., и предоставляет сигнал операции в соответствии с операцией пользователя в модуль 949 управления.

Модуль 949 управления выполнен с CPU, запоминающим устройством и т.п. В запоминающем устройстве содержится программа, выполняемая CPU, и различного вида данные, необходимые, когда CPU выполняет обработку. Программу, сохраненную в запоминающем устройстве, считывают и выполняют, используя CPU, в определенные моменты времени, такие как моменты времени, в которое активируется устройство 940 записи/воспроизведения. CPU исполняет программу и управляет соответствующими модулями таким образом, что устройство 940 записи/воспроизведений работает в соответствии с операцией пользователя.

В устройстве записи/воспроизведения, имеющем описанную выше конфигурацию, в декодере 947 предусмотрена функция устройства декодирования (способа декодирования), в соответствии с настоящим раскрытием. Таким образом, становится возможным совместно использовать или прогнозировать информацию, относящуюся к опорному изображению, для изображения, имеющего иерархическую структуру.

<Девятый вариант осуществления>

(Пример конфигурации устройства формирования изображения)

На фиг. 117 иллюстрируется схематичная конфигурация устройства формирования изображения, в котором используется настоящая технология. Устройство 960 формирования изображения фотографирует субъект и обеспечивает отображение изображения субъекта в модуле дисплея или записывает данные изображения на носителе записи.

Устройство 960 формирования изображения включает в себя оптический блок 961, модуль 962 формирования изображения, модуль 963 обработки сигналов камеры, модуль 964 обработки данных изображения, модуль 965 дисплея, модуль 966 внешнего I/F, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD, и модуль 970 управления. Кроме того, модуль 971 I/F пользователя соединен с модулем 970 управления. Кроме того, модуль 964 обработки данных изображения, модуль 966 внешнего I/F, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD, модуль 970 управления и т.п. соединены друг с другом через шину 972.

Оптический блок 961 выполнен с линзами фокусирования, механизмом диафрагмы и т.п. Оптический блок 961 формирует оптическое изображение субъекта в плоскости формирования изображения модуля 962 формирования изображения. Модуль 962 формирования изображения выполнен с датчиком изображения CCD или датчиком изображения CMOS, и генерирует электрический сигнал в соответствии с оптическим изображением, полученным в результате фотоэлектрического преобразования, и предоставляет этот электрический сигнал в модуль 963 обработки сигналов камеры.

Модуль 963 обработки сигналов камеры выполняет различного рода обработку сигнала камеры, такую как коррекция изгиба характеристики передачи уровня яркости, гамма-коррекция и коррекция цветов для электрического сигнала, предоставляемого из модуля 962 формирования изображения. Модуль 963 обработки сигналов камеры предоставляет данные изображения, которые были подвергнуты обработке сигнала камеры, в модуль 964 обработки данных изображения.

Модуль 964 обработки данных изображения выполняет обработку кодирования, состоящую в кодировании данных изображения, предоставляемых из модуля 963 обработки сигналов камеры. Модуль 964 обработки данных изображения предоставляет кодированные данные, генерируемые в результате выполнения обработки кодирования в модуль 966 внешнего I/F, или в привод 968 носителя информации. Кроме того, модуль 964 обработки данных изображения выполняет обработку декодирования, состоящую в декодировании кодированных данных, предоставляемых из модуля 966 внешнего I/F или из привода 968 носителя информации. Модуль 964 обработки данных изображения предоставляет данные изображения, сгенерированные в результате выполнения обработки декодирования, в модуль 965 дисплея. Кроме того, модуль 964 обработки данных изображения выполняет обработку, состоящую в предоставлении данных изображения, предоставляемых из модуля 963 обработки сигналов камеры, в модуль 965 дисплея, или предоставляет данные дисплея, полученные из модуля 969 OSD, в модуль 965 дисплея для наложения на данные изображения.

Модуль 969 OSD генерирует экран меню, включающий в себя символ, текст или схему, или данные отображения, такие как пиктограмма, и выводит сгенерированный экран меню или данные отображения в модуль 964 обработки данных изображения.

Модуль 966 внешнего I/F выполнен, например, с разъемом I/O USB и т.п., и его соединяют с принтером, когда печатают изображение. Кроме того, привод подключают к модулю 966 внешнего I/F, в соответствии с необходимостью, устанавливают съемный носитель информации, такой как магнитный диск или оптический диск, соответственно, и компьютерную программу, считываемую со съемного носителя информации, устанавливают, в соответствии с необходимостью. Кроме того, модуль 966 внешнего I/F включает в себя сетевой интерфейс, подключенный к определенной сети, такой как LAN или Интернет. Модуль 970 управления может считывать кодированные данные с привода 968 носителя информации, например, в соответствии с инструкцией, подаваемой через модуль 971 I/F пользователя, и предоставляет считанные кодированные данные в другое устройство, подключенное через сеть, через модуль 966 внешнего I/F. Кроме того, модуль 970 управления может получать кодированные данные или данные изображения, предоставляемые из другого устройства через сеть, через модуль 966 внешнего I/F, и предоставляет полученные кодированные данные или данные изображения в модуль 964 обработки данных изображения.

В качестве носителя записи, привод которого осуществляется приводом 968 носителя записи, например, может использоваться произвольный съемный носитель записи с возможностью считывания/перезаписи, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, носитель записи может представлять собой устройство, работающее с магнитной лентой, диском, или карту памяти, независимо от типа съемного носителя записи. Конечно, носитель записи может представлять собой бесконтактную карту с интегральной схемой (IC) и т.п.

Кроме того, привод 968 носителя записи может быть интегрирован с носителем записи, для конфигурирования стационарного носителя записи, такого как внутренний HDD или твердотельный привод (SSD).

Модуль 970 управления выполнен с CPU. В модуле 967 запоминающего устройства содержится программа, выполняемая модулем 970 управления, различного вида данные, необходимые, когда модуль 970 управления выполняет обработку, и т.п. Программу, сохраненную в модуле 967 запоминающего устройства, считывают и исполняют с помощью модуля 970 управления в определенные моменты времени, такие как моменты времени, в которые активируется устройство 960 формирования изображения. Модуль 970 управления исполняет программу, и управляет соответствующими модулями таким образом, что устройство 960 формирования изображения работает в соответствии с операцией пользователя.

В устройстве формирования изображения, имеющем описанную выше конфигурацию, в модуле 964 обработки данных изображения предусмотрена функция устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), в соответствии с настоящим раскрытием. Таким образом, становится возможным совместно использовать или прогнозировать информацию, относящуюся к опорному изображению для изображения, имеющего иерархическую структуру.

<Применение масштабируемого кодирования>

(Первая система)

Далее будут описаны конкретные примеры применения масштабируемых кодированных данных, генерируемых в результате масштабируемого кодирования, которое представляет собой кодирование с использованием масштабируемой функции. Масштабируемое кодирование используется для выбора данных, предназначенных для передачи, например, как представлено на фиг. 118.

В системе 1000 передачи данных, показанной на фиг. 118, сервер 1002 предоставления считывает масштабируемые кодированные данные, сохраненные в модуле 1001 сохранения масштабируемых кодированных данных, и подает масштабируемые кодированные данные в устройства терминалов, такие как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 и мобильный телефон 1007, через сеть 1003.

В это время сервер 1002 предоставления выбирает соответствующие кодированные данные высокого качества в соответствии с возможностями устройств терминалов или средой передачи данных, и передает выбранные кодированные данные высокого качества. Хотя сервер 1002 предоставления передает ненужные данные высокого качества, устройство терминала не обязательно получает изображение высокого качества, и может возникнуть задержка или переполнение. Кроме того, полоса передачи может быть занята без необходимости, и нагрузка на устройство терминала может быть увеличена без необходимости. С другой стороны, хотя сервер 1002 предоставления передает ненужные данные низкого качества, устройство терминала вряд ли получает изображение достаточного качества. Таким образом, сервер 1002 предоставления считывает масштабируемые кодированные данные, сохраненные в модуле 1001 сохранения масштабируемых кодированных данных, как кодированные данные с качеством, которое соответствует возможностям устройства терминала или среды передачи данных, и затем передает считанные данные.

Например, модуль 1001 сохранения масштабируемых кодированных данных, как предполагается, сохраняет масштабируемые кодированные данные (BL + EL) 1011, которые кодированы, используя масштабируемое кодирование. Данные (BL + EL) 1011 после масштабируемого кодирования представляют собой кодированные данные, включающие в себя как основной уровень, так и уровень расширения, и как изображение основного уровня, так и изображение уровня расширения могут быть получены путем декодирования масштабируемых кодированных данных (BL + EL) 1011.

Сервер 1002 предоставления выбирает соответствующий уровень, который соответствует возможностям устройства терминала, в который были переданы эти данные, или среды передачи данных, и считывает данные выбранного уровня. Например, для персонального компьютера 1004 или планшетного устройства 1006, имеющих высокие возможности обработки, сервер 1002 предоставления считывает кодированные данные (BL + EL) 1011, масштабируемые до высокого качества, из модуля 1001 сохранения масштабируемых кодированных данных, и передает масштабируемые кодированные данные (BL + EL) 1011 без изменения. С другой стороны, например, для AV устройства 1005 или мобильного телефона 1007, имеющего низкую возможность обработки, сервер 1002 предоставления выделяет данные основного уровня из масштабируемых кодированных данных (BL + EL) 1011 и передает масштабируемые кодированные данные (BL) 1012, которые представляют собой то же содержание, что и у масштабируемых кодированных данных (BL + EL) 1011, но более низкого качества, чем у масштабируемых кодированных данных (BL + EL) 1011.

Как описано выше, количество данных можно легко регулировать, используя масштабируемые кодированные данные, и, таким образом возможно предотвратить возникновение задержки или переполнение и предотвратить ненужное увеличение нагрузки устройства терминала или среды передачи данных. Кроме того, масштабируемые кодированные данные (BL + EL) 1011 уменьшают в соответствии с избыточностью между уровнями, и, таким образом, становится возможным уменьшить количество данных, так, что их становится меньше, чем у отдельных данных, используемых в качестве кодированных данных каждого уровня. Таким образом, становится возможным более эффективно использовать область памяти модуля 1001 накопителя масштабируемых кодированных данных.

Кроме того, различные устройства, такие как персональный компьютер 1004, мобильный телефон 1007 могут применяться, как устройство терминала, и, таким образом, характеристики аппаратных средств устройств терминала отличаются в соответствии с каждым устройством. Кроме того, поскольку различные приложения могут выполняться в устройствах терминала, программное обеспечение имеет различные возможности. Кроме того, все сети линии передачи данных, включая в себя одну или обе кабельную сеть и беспроводную сеть, такую как Интернет или LAN (локальная вычислительная сеть), могут применяться, как сеть 1003, используемая, как среда передачи данных, и, таким образом, обеспечиваются различные возможности передачи данных. Кроме того, могут быть выполнены изменения при использовании другой передачи данных и т.п.

В этом отношении сервер 1002 предоставления может быть выполнен с возможностью выполнять обмен данными с устройством терминала, используемым как место назначения передачи данных перед началом передачи данных, и получать информацию, относящуюся к возможностям устройства терминала, такую как характеристики аппаратных средств устройства терминала или рабочие способности приложения (программного обеспечения), исполняемого устройством терминала, и информацию, относящуюся к среде передачи данных, такую как доступная полоса пропускания сети 1003. Затем сервер 1002 предоставления может выбирать соответствующий уровень на основе полученной информации.

Кроме того, выделение уровня может быть выполнено в устройстве терминала. Например, персональный компьютер 1004 может декодировать передаваемые масштабируемые кодированные данные (BL + EL) 1011 и отображать изображение основного уровня или изображение уровня расширения. Кроме того, например, персональный компьютер 1004 может выделять масштабируемые кодированные данные (BL) 1012 основного уровня из передаваемых масштабируемых кодированных данных (BL + EL) 1011, сохранять масштабируемые кодированные данные (BL) 1012 основного уровня, передать масштабируемые кодированные данные (BL) 1012 основного уровня в другое устройство, декодировать масштабируемые кодированные данные (BL) 1012 основного уровня и отображать изображение основного уровня.

Конечно, количество модулей 1001 накопителя масштабируемых кодированных данных, количество серверов 1002 предоставления, количество сетей 1003 и количество устройств терминала является произвольным. Приведенное выше описание было представлено в связи с примером, в котором сервер 1002 предоставления передает данные в устройства терминала, но пример приложения не ограничен этим примером. Система 1000 передачи данных может применяться для любой системы, в которой когда кодированные данные, генерируемые с использованием масштабируемого кодирования, передают в устройство терминала, соответствующий уровень выбирают в соответствии с возможностью устройства терминала или среды передачи данных, и кодированные данные передают.

(Вторая система)

Масштабируемое кодирование используют для передачи, используя множество сред передачи данных, например, как представлено на фиг. 119.

В системе 1100 передачи данных, показанной на фиг. 119, станция 1101 широковещательной передачи передает масштабируемые кодированные данные (BL) 1121 основного уровня через наземную широковещательную передачу 1111. Кроме того, станция 1101 широковещательной передачи передает масштабируемые кодированные данные (EL) 1122 уровня расширения (например, разделяет на пакеты масштабируемые кодированные данные (EL) 1122 и затем передает полученные в результате пакеты), через произвольную сеть 1112, выполненную с сетью передачи данных, включающую в себя одну или обе из проводной сети и беспроводной сети.

Устройство 1102 терминала имеет функцию приема, состоящую в приеме наземной широковещательной передачи 1111, передаваемой в широковещательном режиме станцией 1101 широковещательной передачи, и принимает масштабируемые кодированные данные (BL) 1121 основного уровня, передаваемые через наземную широковещательную передачу 1111. Устройство 1102 терминала дополнительно имеет функцию передачи данных, состоящую в выполнении передачи данных через сеть 1112, и принимает масштабируемые кодированные данные (EL) 1122 уровня расширения, передаваемые через сеть 1112.

Устройство 1102 терминала декодирует масштабируемые кодированные данные (BL) 1121 основного уровня, полученные через наземную широковещательную передачу 1111, например, в соответствии с инструкцией пользователя и т.п., получает изображение основного уровня, сохраняет полученное изображение и передает полученное изображение в другое устройство.

Кроме того, устройство 1102 терминала комбинирует масштабируемые кодированные данные (BL) 1121 основного уровня, полученные через наземную широковещательную передачу 1111 с масштабируемыми кодированными данными (EL) 1122 уровня расширения, полученными через сеть, 1112, например, в соответствии с инструкцией пользователя и т.п., получает масштабируемые кодированные данные (BL + EL), декодирует масштабируемые кодированные данные (BL + EL) для получения изображения уровня расширения, сохраняет полученное изображение и передает полученное изображение в другое устройство.

Как описано выше, возможно передавать масштабируемые кодированные данные соответствующих уровней, например, через другой носитель передачи данных. Таким образом, возможно распределять нагрузку и при этом возможно предотвращать возникновение задержки или переполнения.

Кроме того, возможно выбирать среду передачи данных, используемую для передачи, для каждого уровня, в соответствии с ситуацией. Например, масштабируемые кодированные данные (BL) 1121 основного уровня, имеющие относительное большое количество данных, могут быть переданы через среду передачи данных, имеющую большую полосу пропускания, и масштабируемые кодированные данные (EL) 1122 уровня расширения, имеющие относительное малое количество данных, могут быть переданы через среду передачи данных, имеющую малую полосу пропускания. Кроме того, например, среду передачи данных для передачи масштабируемых кодированных данных (EL) 1122 уровня расширения, можно переключить между сетью 1112 и наземной широковещательной передачей 1111, в соответствии с доступной полосой пропускания сети 1112. Конечно, то же применимо к данным произвольного уровня.

Поскольку управление выполняется, как описано выше, возможно дополнительно снизить увеличение нагрузки при передаче данных.

Конечно, количество уровней является произвольным, и количество сред передачи данных, используемых для передачи, также является произвольным. Кроме того, количество устройств 1102 терминала, используемых, как место назначения предоставления данных, также является произвольным. Представленное выше описание было представлено в связи с примером широковещательной передачи из станции 1101 широковещательной передачи, и пример применения не ограничен этим примером. Система 1100 передачи данных может применяться к любой системе, в которой кодированные данные, генерируемые с использованием масштабируемого кодирования, разделяют на две или больше части в модулях уровней и передают через множество линий.

(Третья система)

Масштабируемое кодирование используется для сохранения кодированных данных, например, как представлено на фиг. 120.

В системе 1200 формирования изображений, представленной на фиг. 120, устройство 1201 формирования изображения фотографирует субъект 1211, выполняет масштабируемое кодирование для полученных данных изображения и предоставляет масштабируемые кодированные данные (BL + EL) 1221 в устройство 1202 сохранения масштабируемых кодированных данных.

Устройство 1202 накопитель масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL + EL) 1221, предоставляемые из устройства 1201 формирования изображения с качеством, соответствующем ситуации. Например, в нормальное время, устройство 1202 накопитель масштабируемых кодированных данных выделяет данные основного уровня из масштабируемых кодированных данных (BL + EL) 1221, и сохраняет выделенные данные, как масштабируемые кодированные данные (BL) 1222 основного уровня, имеющие малое количество данных низкого качества. С другой стороны, например, во время наблюдения, устройство 1202 – накопитель сохраняет масштабируемые кодированные данных (BL + EL) 1221, имеющие большое количество данных с высоким качеством без изменения.

В соответствии с этим, устройство 1202 накопитель масштабируемых кодированных данных может сохранять изображение с высоким качеством только, когда это необходимо, и, таким образом, возможно предотвратить увеличение количества данных и улучшить эффективность использования области памяти, при предотвращении снижения значения изображения, вызванного ухудшением качества.

Например, устройство 1201 формирования изображения представляет собой камеру мониторинга. Когда цель отслеживания (например, злоумышленник) не представлена в снятом изображении (в нормальное время), содержание снимаемого изображения, вероятно, будет неполным, и, таким образом, уменьшение количества данных получает приоритет, и данные изображения (масштабируемые кодированные данные) сохраняют с низким качеством. С другой стороны, когда цель мониторинга появляется в снятом изображении, в виде субъекта 1211 (во время наблюдения), содержание снятого изображения, вероятно, должно быть постоянным, и, таким образом, приоритет получает качество изображения, и данные изображения (масштабируемые кодированные данные) сохраняют с высоким качеством.

Может быть определено, является ли время нормальным временем или временем наблюдения, например, путем анализа изображения через устройство 1202 накопитель масштабируемых кодированных данных. Кроме того, устройство 1201 формирования изображения может выполнять определение и передавать результат определения в устройство 1202 накопитель масштабируемых кодированных данных.

Кроме того, критерий определения, является ли время нормальным временем или временем наблюдения, является произвольным, и содержание изображения, используемого, как критерий определения, является произвольным. Конечно, другое условие, кроме содержания изображения, может составлять критерий определения. Например, переключение может быть выполнено в соответствии с магнитудой или формой колебаний записанного звука, переключение может выполняться через определенные интервалы времени, или переключение может выполняться в соответствии с внешней инструкцией, такой как инструкция пользователя.

Приведенное выше описание было представлено в связи с примером, в котором переключение выполняют между двумя состояниями нормального времени и времени наблюдения, но количество состояний является произвольным. Например, переключение может быть выполнено между тремя или больше состояниями, такими как нормальное время, время наблюдения низкого уровня, время наблюдения, время наблюдения высокого уровня и т.п. Здесь, верхний предел количества состояний, между которыми выполняют переключение, зависит от количества уровней масштабируемых кодированных данных.

Кроме того, устройство 1201 формирования изображения может определять количество уровней для масштабируемого кодирования, в соответствии с состоянием. Например, в нормальное время, устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL) 1222 основного уровня, имеющие малое количество данных с низким качеством, и предоставлять масштабируемые кодированные данные (BL) 1222 основного уровня в устройство 1202 накопитель масштабируемых кодированных данных. Кроме того, например, во время наблюдения, устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL + EL) 1221 основного уровня, имеющего большое количество данных с высоким качеством, и предоставлять масштабируемые кодированные данные (BL + EL) 1221 основного уровня в устройство 1202 накопитель масштабируемых кодированных данных.

Представленное выше описание было представлено в связи с примером камеры мониторинга, но назначение системы 1200 формирования изображений является произвольным и не ограничено камерой мониторинга.

В настоящем описании далее будет представлен пример, в котором различного вида информацию, такую как информация, устанавливающая опорное изображение, и информация генерирования взвешивания, мультиплексируют в кодированный поток и передают со стороны кодирования на сторону декодирования. Однако, технология передачи информации не ограничена этим примером. Например, информация может быть передана или записана, как отдельные данные, ассоциированные с кодированным потоком битов, без мультиплексирования в кодированный поток битов. Здесь термин "ассоциированный" означает, что изображение (или часть изображения, такая как срез или блок), включенное в поток битов, может быть связано с информацией, соответствующей изображению во время декодирования. Другими словами, информация может быть передана через путь передачи данных, отличный от изображения (или потока битов). Кроме того, информация может быть записана на носителе записи (или в другую область записи на том же носителе записи), отличном от изображения (или потока битов). Кроме того, информация и изображение (или поток битов) могут быть ассоциированы друг с другом, например, в произвольных модулях, таких как в модули из множества кадров, в модулях кадров или в модулях части кадра.

Представленная технология может применяться в устройстве кодирования или устройстве декодирования, используемом, когда поток битов, сжатый в результате ортогонального преобразования, такого как дискретное косинусное преобразование (DCT) и компенсация движения, как в MPEG или H.26x, принимают через сетевую среду передачи данных, такую как спутниковая широковещательная передача, кабельное телевидение, Интернет или мобильный телефон, или обрабатывают на носителе информации, таком как оптический диск, магнитный диск или память типа флэш.

Кроме того, в данном описании будет представлен пример, в котором кодирование и декодирование выполняют в соответствии со схемой, соответствующей схеме HEVC, но применение настоящей технологии не ограничено этим примером. Настоящая технология может применяться в устройстве кодирования и в устройстве декодирования в любой другой схеме, если только устройство кодирования устанавливает иерархию для изображения, которое в настоящее время должно быть кодировано, и кодирует изображение, используя прогнозирование между кадрами, такое как основное изображение, и изображение расширения, во взаимно-однозначном соответствии друг с другом, как при пространственной масштабируемости или масштабируемости SNR, и устройство декодирования выполняет соответствующую операцию.

Кроме того, вариант осуществления настоящей технологии не ограничен описанными выше вариантами осуществления, и различные изменения могут быть выполнены в пределах объема, не отходя от сущности настоящего раскрытия.

Например, настоящая технология может иметь "облачную" вычислительную конфигурацию, в которой функция разделяется и совместно обрабатывается множеством устройств через сеть.

Этапы, описанные выше со ссылкой на блок-схему последовательности операций, могут выполняться отдельным устройством или могут быть разделены и выполняться множеством устройств.

Кроме того, когда множество этапов обработки включено в один этап, множество этапов обработки, включенных в один этап, может быть выполнено одним устройством или может быть разделено и выполнено множеством устройств.

Кроме того, первый вариант осуществления может быть скомбинирован со вторым вариантом осуществления. В этом случае информацию, устанавливающую опорное изображение, и взвешивающую информацию разделяют или прогнозируют между уровнями.

Настоящая технология может также иметь следующие конфигурации.

(1) Устройство кодирования, включающее в себя:

модуль установки, который устанавливает информацию генерировании опорного изображения, используемую для генерирования информации первого опорного изображения, используя информацию первого опорного изображения, применяемую, как опорная информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения;

модуль кодирования, который кодирует первое масштабируемое изображение, используя первое опорное изображение, и генерирует кодированные данные; и

модуль передачи, который передает кодированные данные, генерируемые модулем кодирования, и информацию генерирования опорного изображения, установленную модулем установки.

(2) Устройство кодирования по п. (1),

в котором модуль установки устанавливает информацию, обозначающую, что информация второго опорного изображения используется, как информация первого опорного изображения, в качестве информации генерирования опорного изображения, когда информация первого опорного изображения идентична информации второго опорного изображения.

(3) Устройство кодирования по (1) или (2),

в котором модуль установки устанавливает разность между информацией первого опорного изображения и информацией второго опорного изображения, и информацией, обозначающей, что информацию первого опорного изображения прогнозируют из информации второго опорного изображения и разности, в качестве информации генерирования опорного изображения, когда информация первого опорного изображения не идентична информации второго опорного изображения.

(4) Устройство кодирования по любому одному из (1) - (3),

в котором модуль передачи передает информацию, устанавливающую первый уровень.

(5) Устройство кодирования по (2),

в котором информация первого опорного изображения представляет собой информацию, устанавливающую первое опорное изображение, и

информация второго опорного изображения представляет собой информацию, устанавливающую второе опорное изображение.

(6) Устройство кодирования по (5),

в котором модуль установки устанавливает информацию генерирования опорного изображения в единицах наборов параметра последовательности (SPS).

(7) Устройство кодирования по (5) или (6),

в котором, когда информация, устанавливающая первое опорное изображение, используется, как информация, устанавливающая первое опорное изображение для короткого времени, идентична информации, устанавливающей второе опорное изображение, используемой, как информация, устанавливающая второе опорное изображение для короткого времени, модуль установки устанавливает информацию, обозначающую, что информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение для короткого времени, как информацию генерирования опорного изображения для короткого времени, и

когда информация, устанавливающая первое опорное изображение длительного времени, идентична информации, устанавливающей второе опорное изображение длительного времени, модуль установки устанавливает информацию, обозначающую, что информация, устанавливающая второе опорное изображение для длительного времени, используется, как информация, устанавливающая первое опорное изображение для длительного времени, как информация генерирования опорного изображения для длительного времени.

(8) Устройство кодирования по (5) или (6),

в котором модуль установки устанавливает информацию, обозначающую, что информация, устанавливающая второе опорное изображение, используется, как информация, устанавливающая первое опорное изображение, как информация генерировании опорного изображения, на основе режима установки первого опорного изображения, когда информация, устанавливающая первое опорное изображение, используется, как информация, устанавливающая первое опорное изображение для короткого времени, идентична информации, устанавливающей второе опорное изображение, используемое как информация, устанавливающая второе опорное изображение для короткого времени.

(9) Устройство кодирования по любому одному из (5) - (8),

в котором модуль установки устанавливает информацию генерирования опорного изображения на основе схемы кодирования второго масштабируемого изображения.

(10) Устройство кодирования по (5) или (6),

в котором модуль установки устанавливает информацию, обозначающую, что некоторая информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение для короткого времени, в качестве информации генерирования опорного изображения, когда вся информация, устанавливающая первое опорное изображение, используемая, как информация, устанавливающая первое опорное изображение для короткого времени, включена в информацию, устанавливающая второе опорное изображение, используемую, как информация, устанавливающая второе опорное изображение для короткого времени.

(11) Устройство кодирования по (10),

в котором модуль установки устанавливает информацию использования, обозначающую, что информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение для короткого времени, для каждого второго опорного изображения, когда вся информация, устанавливающая первое опорное изображение для короткого времени, включена в информацию, устанавливающую второе опорное изображение для короткого времени, и

модуль передачи передает информацию использования, установленную модулем установки.

(12) Устройство кодирования по любому одному из (1) - (4), дополнительно включающее в себя,

модуль обработки взвешивания, который взвешивает первое опорное изображение, используя взвешивающую информацию, включающую в себя коэффициент взвешивания,

в котором информация первого опорного изображения представляет собой взвешивающую информацию первого опорного изображения,

информация второго опорного изображения представляет собой взвешивающую информацию второго опорного изображения, и

модуль кодирования кодирует первое масштабируемое изображение, используя первое опорное изображение, взвешенное модулем обработки взвешивания.

(13) Устройство кодирования по (12),

в котором модуль обработки взвешивания взвешивает первое опорное изображение, когда взвешивают второе опорное изображение.

(14) Способ кодирования, выполняемый устройством кодирования, включающий в себя:

этап установки, состоящий в установке информации генерировании опорного изображения, используемой для генерирования информации первого опорного изображения, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информации, относящаяся ко второму опорному изображению второго масштабируемого изображения;

этап кодирования, состоящий в кодировании первого масштабируемого изображения, используя первое опорное изображение, и генерировании кодированных данных; и

этап передачи, состоящий в передаче кодированных данных, сгенерированных на этапе кодирования, и информации генерирования опорного изображения, установленной на этапе установки.

(15) Устройство декодирования, включающее в себя:

модуль приема, который принимает информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, используемую, как информация, относящаяся к первому опорному изображению, используемому, когда кодируют первое масштабируемое изображение для изображения, имеющего иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и кодированные данные первого масштабируемого изображения;

модуль генерирования, который генерирует информацию первого опорного изображения, используя информацию генерирования опорного изображения; и

модуль декодирования, который декодирует кодированные данные первого масштабируемого изображения, используя первое опорное изображение на основе первой информации опорного изображения, генерируемой модулем генерирования.

(16) Устройство декодирования по (15),

в котором модуль приема принимает информацию, обозначающую, что информация второго опорного изображения используется, как информация первого опорного изображения, в качестве информации генерирования опорного изображения, и

модуль генерирования генерирует информацию второго опорного изображения, как информацию первого опорного изображения на основе информации генерирования опорного изображения, принятой модулем приема.

(17) Устройство декодирования по (15) или (16),

в котором модуль приема принимает разность между информацией первого опорного изображения и информацией второго опорного изображения и информацией, обозначающей, что информация первого опорного изображения прогнозируется из информации второго опорного изображения и разности, в качестве информации генерирования опорного изображения, и

модуль генерирования добавляет информацию второго опорного изображения к разности, принятой модулем приема, на основе информации, принятой модулем приема, и генерирует значение суммы, полученное в результате, как информацию первого опорного изображения.

(18) Устройство декодирования по любому из (15) - (17),

в котором модуль приема принимает информацию, устанавливающую первый уровень, и

модуль генерирования генерирует информацию первого опорного изображения на основе информации, устанавливающей первый уровень, принятый модулем приема.

(19) Устройство декодирования по (16),

в котором информация первого опорного изображения представляет собой информацию, устанавливающую первое опорное изображение, и

информация второго опорного изображения представляет собой информацию, устанавливающую второе опорное изображение.

(20) Устройство декодирования по (19),

в котором модуль приема принимает информацию генерирования опорного изображения, установленную в модулях наборов параметра последовательности (SPS).

(21) Устройство декодирования по (19) или (20),

в котором модуль приема принимает информацию генерирования опорного изображения для короткого времени, обозначающую, что информация, устанавливающая второе опорное изображение, используемая, как информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение, используемая, как информация, устанавливающая первое опорное изображение для короткого времени, и информация генерирования опорного изображения для длительного времени, обозначающая, что информация, устанавливающая второе опорное изображение для длительного времени, используется, как информация, устанавливающая первое опорное изображение для длительного времени,

Модуль генерирования генерирует информацию, устанавливающую второе опорное изображение для короткого времени, в качестве информации, устанавливающей первое опорное изображение для короткого времени, на основе информации генерирования опорного изображения для короткого времени, принятой модулем приема, и генерирует информацию, устанавливающую второе опорное изображение для длительного времени, в качестве информации, устанавливающей первое опорное изображение для длительного времени, на основе информации генерирования опорного изображения для длительного времени, принятой модулем приема.

(22) Устройство декодирования по (19) или (20),

в котором модуль приема принимает информацию, обозначающую, что информация, устанавливающая второе опорное изображение, используемая, как информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение, используемая, как информация, устанавливающая первое опорное изображение для короткого времени, установленная на основе режима установки первого опорного изображения, в качестве информации генерирования опорного изображения, и

модуль генерирования генерирует информацию, устанавливающую второе опорное изображение для короткого времени, в качестве информации, устанавливающей первое опорное изображение для короткого времени, на основе информации генерирования опорного изображения, принимаемой модулем приема, и генерирует информацию, устанавливающую второе опорное изображения для длительного времени, в качестве информации, устанавливающей первое опорное изображение для длительного времени, на основе информации генерирования опорного изображения и режима установки.

(23) Устройство декодирования по любому одному из (19) - (22),

в котором модуль приема принимает информацию генерирования опорного изображения, установленную на основе схемы кодирования второго масштабируемого изображения.

(24) Устройство декодирования по (19) или (20),

в котором модуль приема принимает информацию, обозначающую, что некоторая информация, устанавливающая второе опорное изображение, используемая, как информация, устанавливающая второе опорное изображение для короткого времени, используется, как информация, устанавливающая первое опорное изображение, используемая, как информация, устанавливающая первое опорное изображение для короткого времени, в качестве информации генерирования опорного изображения,

модуль генерирования генерирует некоторую информацию, устанавливающую второе опорное изображение для короткого времени, в качестве информации, устанавливающей первое опорное изображение для короткого времени, на основе информации генерирования опорного изображения, принимаемой модулем приема.

(25) Устройство декодирования по (24),

в котором модуль приема принимает информацию использования, обозначающую, что информация, устанавливающая второе опорное изображение для короткого времени, используется, как информации, устанавливающей первое опорное изображение для короткого времени для каждого второго опорного изображения, и

модуль генерирования генерирует некоторую информацию, устанавливающую второе опорное изображение для короткого времени, в качестве первой информации, устанавливающей опорное изображения для короткого времени, на основе информации генерирования опорного изображения и информации использования, принятой модулем приема.

(26) Устройство декодирования по любому из (15) - (18), дополнительно включающее в себя,

модуль обработки взвешивания, который взвешивает первое опорного изображения, используя взвешивающую информацию, включающую в себя взвешивающий коэффициент,

в котором информация первого опорного изображения представляет собой взвешивающую информацию первого опорного изображения,

информация второго опорного изображения представляет собой взвешивающую информацию второго опорного изображения,

модуль обработки взвешивания взвешивает первое опорное изображение, используя информацию первого опорного изображения, генерируемую модулем генерирования, и

модуль декодирования декодирует кодированные данные первого масштабируемого изображения, используя первое опорное изображение, взвешенное модулем обработки взвешивания.

(27) Устройство декодирования по (26),

в котором модуль обработки взвешивания взвешивает первое опорное изображение, когда взвешивают второе опорное изображение.

(28) Способ декодирования, выполняемый устройством декодирования, включающий в себя:

этап приема, состоящий в приеме информации генерирования опорного изображения, используемой для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, которая используется, как информация, относящаяся к первому опорному изображению, используемая, когда кодируют первое масштабируемое изображение изображения, имеющее иерархическую структуру, и информацию второго опорного изображения, используемую, как информация, относящаяся ко второму опорному изображению второго масштабируемого изображения, и кодированные данные первого масштабируемого изображения;

этап генерирования, состоящий в генерировании информации первого опорного изображения, используя информацию генерирования опорного изображения; и

этап декодирования, состоящий в декодировании кодированных данных первого масштабируемого изображения, используя первое опорное изображение, на основе первой информации опорного изображения, генерируемой на этапе генерирования.

СПИСОК НОМЕРОВ ССЫЛОЧНЫХ ПОЗИЦИЙ

10 Устройство кодирования

14 Модуль передачи

33 Модуль операций

50 Модуль установки опорного изображения

90 Устройство декодирования

91 Модуль приема

135 Модуль суммирования

163 Модуль генерирования

180 Устройство кодирования

221 Модуль прогнозирования/компенсации движения

223 Модуль установки веса

280 Устройство декодирования

323 Модуль компенсации движения

354 Модуль генерирования

Изобретение относится к области декодирования данных изображений. Технический результат заключается в повышении эффективности декодирования данных изображений. Технический результат достигается за счет: приема информации генерирования опорного изображения, используемой для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, которая используется как информация, относящаяся к первому опорному изображению, используемому при условии, что кодируют первое изображение первого слоя, и информацию второго опорного изображения, которая используется как информация, относящаяся ко второму опорному изображению второго изображения второго слоя, и кодированных данных первого изображения в первом слое; генерирования информации первого опорного изображения, используя информацию генерирования опорного изображения; и декодирования кодированных данных первого изображения, используя первое опорное изображение, на основе первой информации опорного изображения, генерируемой на этапе генерирования. 2 н. и 12 з.п. ф-лы, 120 ил.

1. Устройство декодирования, содержащее:

модуль приема, который принимает информацию генерирования опорного изображения, используемую для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, используемую как информацию, относящуюся к первому опорному изображению, используемому при условии, что кодируют первое изображение первого слоя, и информацию второго опорного изображения, используемую как информацию, относящуюся ко второму опорному изображению второго изображения второго слоя, и кодированные данные первого изображения в первом слое;

модуль генерирования, который генерирует информацию первого опорного изображения, используя информацию генерирования опорного изображения; и

модуль декодирования, который декодирует кодированные данные первого изображения в первом слое, используя первое опорное изображение на основе первой информации опорного изображения, генерируемой модулем генерирования.

2. Устройство декодирования по п. 1,

в котором модуль приема принимает информацию, обозначающую, что информация второго опорного изображения используется, как информация первого опорного изображения, в качестве информации генерирования опорного изображения, и

модуль генерирования генерирует информацию второго опорного изображения, как информацию первого опорного изображения на основе информации генерирования опорного изображения, принятой модулем приема.

3. Устройство декодирования по п. 2, в котором модуль приема принимает информацию генерирования опорного изображения, установленную в модулях набора параметра последовательности (SPS).

4. Устройство декодирования по п. 2, в котором модуль приема принимает информацию генерирования опорного изображения, установленную в модулях заголовка среза.

5. Устройство декодирования по п. 1,

в котором информация первого опорного изображения представляет собой информацию, устанавливающую первое опорное изображение первого среза в первом изображении, и

информация второго опорного изображения представляет собой информацию, устанавливающую второе опорное изображение второго среза во втором изображении, размещенном совместно с первым срезом.

6. Устройство декодирования по п. 1,

в котором модуль приема принимает разность между информацией первого опорного изображения и информацией второго опорного изображения и информацией, обозначающей, что информация первого опорного изображения прогнозируется из информации второго опорного изображения и разности, в качестве информации генерирования опорного изображения, и

модуль генерирования добавляет информацию второго опорного изображения к разности, принятой модулем приема, на основе информации, принятой модулем приема, и генерирует значение суммы, полученное в результате, как информацию первого опорного изображения.

7. Устройство декодирования по п. 1,

в котором модуль приема принимает информацию, устанавливающую первый уровень, и

модуль генерирования генерирует информацию первого опорного изображения на основе информации, устанавливающей первый уровень, принятый модулем приема.

8. Способ декодирования, выполняемый устройством декодирования, содержащий:

этап приема, состоящий в приеме информации генерирования опорного изображения, используемой для генерирования информации первого опорного изображения, генерируемой, используя информацию первого опорного изображения, которая используется как информация, относящаяся к первому опорному изображению, используемому при условии, что кодируют первое изображение первого слоя, и информацию второго опорного изображения, используемую как информацию, относящуюся ко второму опорному изображению второго изображения второго слоя, и кодированных данных первого изображения в первом слое;

этап генерирования, состоящий в генерировании информации первого опорного изображения, используя информацию генерирования опорного изображения; и

этап декодирования, состоящий в декодировании кодированных данных первого изображения, используя первое опорное изображение, на основе первой информации опорного изображения, генерируемой на этапе генерирования.

9. Способ декодирования по п. 8,

в котором на этапе приема принимают информацию, обозначающую, что информация второго опорного изображения используется, как информация первого опорного изображения, в качестве информации генерирования опорного изображения, и

на этапе генерирования генерируют информацию второго опорного изображения, как информацию первого опорного изображения на основе информации генерирования опорного изображения, принятой модулем приема.

10. Способ декодирования по п. 8, в котором на этапе приема принимают информацию генерирования опорного изображения, установленную в модулях набора параметра последовательности (SPS).

11. Способ декодирования по п. 8, в котором на этапе приема принимают информацию генерирования опорного изображения, установленную в модулях заголовка среза.

12. Способ декодирования по п. 8,

в котором информация первого опорного изображения представляет собой информацию, устанавливающую первое опорное изображение первого среза в первом изображении, и

информация второго опорного изображения представляет собой информацию, устанавливающую второе опорное изображение второго среза во втором изображении, размещенном совместно с первым срезом.

13. Способ декодирования по п. 8,

в котором на этапе приема принимают разность между информацией первого опорного изображения и информацией второго опорного изображения и информацией, обозначающей, что информация первого опорного изображения прогнозируется из информации второго опорного изображения и разности, в качестве информации генерирования опорного изображения, и

на этапе генерирования добавляют информацию второго опорного изображения к разности, принятой на этапе приема, на основе принятой информации, и генерируют значение суммы, полученное в результате, как информацию первого опорного изображения.

14. Способ декодирования по п. 8,

в котором на этапе приема принимают информацию, устанавливающую первый уровень, и

на этапе генерирования генерируют информацию первого опорного изображения на основе информации, устанавливающей первый уровень, принятый модулем приема.