УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2018 года по МПК H04N19/127 H04N19/70 H04N19/33 H04N21/462 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу декодирования изображения и, в частности, относится к устройству и к способу декодирования изображения, выполненными с возможностью распознавания рабочей характеристики, необходимой для более точного декодирования.

Уровень техники

В последние годы для дополнительного улучшении эффективности кодирования по сравнению со стандартами MPEG 4 Part10 (Усовершенствованное кодирование видеоданных, ниже называется "AVC"), Объединенная группа взаимодействия в области кодирования видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации Сектора стандартизации в области телекоммуникаций Международного союза по телекоммуникациям (ITU-T) и Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC) проводит стандартизацию схемы кодирования, называемой Высокоэффективным кодированием видеоданных (HEVC) (например, см. Непатентную литературу 1).

В HEVS возможно декодировать только область, декодирование которой необходимо с помощью приложения, используя мозаичную структуру. Для того чтобы обозначить тот факт, что область элемента мозаичного изображения может быть независимо декодирована, вторая и более поздние версии (включая в себя MV-HEVC, SHVC, Range Ext. и т.п.) HEVC поддерживаются мозаичными наборами SEI с ограничением движения.

Список литературы

Патентная литература

Непатентная литература

[Непатентная литература 1] Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary-J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013.

Сущность изобретения

Техническая задача

Однако в качестве информации на уровне, который используется, как ссылка для определения, может ли декодер декодировать поток, и емкости буфера, определены только значение всего потока или значение модуля уровня.

Поэтому даже в приложении, которое декодирует только часть всего изображения, определение, возможно ли декодирование, выполняют, принимая в качестве нагрузки, случай, когда декодируют весь экран. В соответствии с этим, возникает проблема, состоящая в том, что требуется ненужный декодер высокого уровня. Кроме того, существует проблема, связанная с приложениями, которые поставляют с излишними соответствующими ограничениями.

Настоящее раскрытие было выполнено с учетом описанных выше проблем и позволяет распознавать рабочие характеристики, необходимые для более точного декодирования.

Решение задачи

Аспект настоящей технологии направлен на устройство декодирования изображения, включающее в себя: модуль получения, выполненный с возможностью получения кодированных данных для данных изображения, и декодирования информации определения нагрузки для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения; модуль управления, выполненный с возможностью управления декодированием кодированных данных, полученных с помощью модуля получения, на основе информации определения нагрузки декодирования, с помощью модуля получения; и модуль декодирования, выполненный с возможностью декодирования кодированных данных, полученных модулем получения, под управлением модуля управления.

Частичная область может быть независимо декодируемой.

Информация определения нагрузки декодирования может включать в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

Информация определения нагрузки декодирования может включать в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей размер частичной области.

Информация определения нагрузки декодирования может включать в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей длину в вертикальном направлении, и информацией, обозначающей длину в горизонтальном направлении частичной области.

Информация определения нагрузки декодирования может быть включена в дополнительную информацию расширения (SEI) независимо декодируемой частичной области.

Данные изображения могут включать в себя множество уровней, и информация определения нагрузки декодирования множества уровней может быть включена в SEI.

Информация определения нагрузки декодирования может включать в себя информацию, обозначающую размер частичной области, используемой в качестве ссылки, и уровень, обозначающий величину нагрузки при обработке декодирования частичной области.

Частичная область может представлять собой элемент мозаичного изображения.

Частичная область может представлять собой набор из множества элементов мозаичного изображения.

Информация определения нагрузки декодирования может включать в себя информацию для определения максимальной величины нагрузки при обработке декодирования среди множества частичных областей, включенных в изображение данных изображения, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

Информация определения нагрузки декодирования может включать в себя информацию для определения величины нагрузки, общей во множестве частичных областей, включенных в изображение данных изображения, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

Когда множество частичных областей, включенных в изображение, имеют L-образную форму, величина нагрузки может быть определена для прямоугольной области, включая в себя L-образную форму.

Модуль получения может дополнительно получать информацию, обозначающую, установлена ли информация определения нагрузки декодирования, и когда полученная информация обозначает, что информация определения нагрузки декодирования установлена, получает информацию определения нагрузки декодирования.

Аспект настоящей технологии представляет собой способ декодирования изображения, включающий в себя: получают кодированные данные данных изображения и декодируют информацию определения нагрузки декодирования для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения; управляют декодированием полученных кодированных данных на основе полученной информации определения нагрузки декодирования; и декодируют полученные кодированные данные в соответствии с управлением.

В аспекте настоящей технологии, получают кодированные данные для данных изображения и информацию определения нагрузки для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения; декодированием полученных кодированных данных управляют на основе полученной информации определения нагрузки декодирования; и полученные кодированные данные декодируют в соответствии с управлением.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием можно кодировать и декодировать изображение. В частности, можно более точно распознавать рабочие характеристики, необходимые для декодирования.

Краткое описание чертежей

На фиг. 1 показана схема, описывающая примерную конфигурацию модуля кодирования.

На фиг. 2 показана схема, иллюстрирующая пример многоуровневой схемы кодирования изображения.

На фиг. 3 показана схема для описания примера пространственного масштабируемого кодирования.

На фиг. 4 показана схема для описания примера временного масштабируемого кодирования.

На фиг. 5 показана схема для описания примера масштабируемого кодирования по отношению сигнал-шум.

На фиг. 6 показана схема, описывающая примерное приложение, которое выполняет частичное отображение.

На фиг. 7 показана схема, описывающая другое примерное приложение, которое выполняет частичное отображение.

На фиг. 8 показана схема, описывающая примерный способ определения нагрузки декодирования, в которой применяется настоящая технология.

На фиг. 9 показана схема, иллюстрирующая пример расширения MCTS SEI.

На фиг. 10 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 11 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 12 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 13 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 14 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 15 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 16 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 17 показана схема, представляющая общий обзор MCTS SEI.

На фиг. 18 показана схема, иллюстрирующая пример передачи синтаксиса для каждого ROI.

На фиг. 19 показана схема, иллюстрирующая пример расширения MCTS SEI.

На фиг. 20 показана схема, иллюстрирующая примерный синтаксис MCTS SEI.

На фиг. 21 показана схема, иллюстрирующая пример расширения MCTS SEI.

На фиг. 22 показана схема, описывающая состояние отображения параметра.

На фиг. 23 показана схема, описывающая элементы синтаксиса.

На фиг. 24 показана схема, иллюстрирующая пример расширения MCTS SEI.

На фиг. 25 показана схема, описывающая состояние отображения параметра.

На фиг. 26 показана схема, описывающая элементы синтаксиса.

На фиг. 27 показана блок-схема, поясняющая основной пример конфигурации устройства кодирования изображения.

На фиг. 28 показана блок-схема, поясняющая основной пример конфигурации модуля кодирования изображения основного уровня.

На фиг. 29 показана блок-схема, поясняющая основной пример конфигурации модуля кодирования изображения уровня расширения.

На фиг. 30 показана блок-схема, поясняющая основной пример конфигурации модуля генерирования информации заголовка.

На фиг. 31 показана блок-схема последовательности операций, описывающая примерный поток обработки кодирования изображения.

На фиг. 32 показана блок-схема последовательности операций, описывающая примерный поток обработки кодирования основного уровня.

На фиг. 33 показана блок-схема последовательности операций, описывающая примерный поток обработки кодирования уровня расширения.

На фиг. 34 показана блок-схема последовательности операций, описывающая примерный поток обработок генерирования информации заголовка.

На фиг. 35 показана блок-схема, поясняющая основной пример конфигурации устройства декодирования изображения.

На фиг. 36 показана блок-схема, поясняющая основной пример конфигурации модуля декодирования изображения основного уровня.

На фиг. 37 показана блок-схема, поясняющая основной пример конфигурации модуля декодирования изображения уровня расширения.

На фиг. 38 показана блок-схема, поясняющая примерную конфигурацию модуля анализа информации заголовка.

На фиг. 39 показана блок-схема последовательности операций, описывающая примерный поток обработки декодирования изображения.

На фиг. 40 показана блок-схема последовательности операций, описывающая примерный поток обработки анализа информации заголовка.

На фиг. 41 показана блок-схема последовательности операций, описывающая примерный поток обработки декодирования основного уровня.

На фиг. 42 показана блок-схема последовательности операций, описывающая примерный поток обработки декодирования уровня расширения.

На фиг. 43 показана схема, иллюстрирующая пример схемы кодирования многообзорного изображения.

На фиг. 44 показана схема, иллюстрирующая основной пример конфигурации устройство кодирования многообзорного изображения, в котором применяется настоящая технология.

На фиг. 45 показана схема, иллюстрирующая основной пример конфигурации устройства декодирования многообзорного изображения, в котором применяется настоящая технология.

На фиг. 46 показана блок-схема, поясняющая пример основной конфигурации компьютера.

На фиг. 47 показана блок-схема, поясняющая пример схематической конфигурации телевизионного устройства.

На фиг. 48 показана блок-схема, поясняющая пример схематической конфигурации мобильного телефона.

На фиг. 49 показана блок-схема, поясняющая примерную схематическую конфигурацию устройства записи и воспроизведения.

На фиг. 50 показана блок-схема, поясняющая примерную схематическую конфигурацию устройства формирования изображения.

На фиг. 51 показана блок-схема, поясняющая пример использования масштабируемого кодирования.

На фиг. 52 показана блок-схема, поясняющая другой пример использования масштабируемого кодирования.

На фиг. 53 показана блок-схема, поясняющая еще один другой пример использования масштабируемого кодирования.

На фиг. 54 показана блок-схема, поясняющая пример схематической конфигурации видеосистемы.

На фиг. 55 показана блок-схема, поясняющая пример схематической конфигурации видеопроцессора.

На фиг. 56 показана блок-схема, поясняющая другой пример схематической конфигурации видеопроцессора.

Подробное описание изобретения

Далее будут описаны аспекты (ниже называются "вариантами осуществления") для воплощения настоящего раскрытия. Описание будет представлено в следующем порядке.

1. Первый вариант осуществления (определение нагрузки декодирования частичного изображения)

2. Второй вариант осуществления (устройство кодирования изображения)

3. Третий вариант осуществления (устройство декодирования изображения)

4. Четвертый вариант осуществления (устройство кодирования изображения множественного обзора и устройство декодирования изображения множественного обзора)

5. Пятый вариант осуществления (компьютер)

6. Шестой вариант осуществления (пример приложения)

7. Седьмой вариант осуществления (пример приложения масштабируемого кодирования)

8. Восьмой вариант осуществления (набор, модуль, блок и процессор)

1. Первый вариант осуществления

Ход стандартизации кодирования изображения

В последние годы широкое распространение получили устройства, в которых выполняют цифровую обработку информация изображения, и в данном случае, для передачи и накопления информации с высокой эффективностью, используются избыточность, специфичную для информации изображения, и выполняют кодирование сжатия изображения, используя схему кодирования, в которой используется дискретное косинусное преобразование и компенсация движения для сжатия. В качестве примера схемы кодирования можно представить схему Группы экспертов в области движущихся изображений (MPEG).

В частности, MPEG2 (ISO/IEC 13818-2) представляет собой стандарт, который определен, как схема кодирования изображения общего назначения, и она, в общем, поддерживает, как изображение перемежающегося сканирования, так и изображение последовательного сканирования, а также изображение со стандартным разрешением и изображение с высокой четкостью. Например, MPEG2 в настоящее время широко используется для широкого диапазона приложений, включающих в себя профессиональные приложения и приложения для потребителя. Когда используется схема сжатия MPEG2, например, изображение сканирования с перемежением, имеющее стандартное разрешение 720×480 пикселей, может занимать количество кода (скорость битов) 4-8 Мбит/с. Кроме того, когда используется схема сжатия MPEG2, например, изображение сканирования с перемежением, имеющее высокое разрешение 1920×1088 пикселей, может занимать количество кода (скорость битов) 18-22 Мбит/с. Поэтому возможно воплотить высокую степень сжатия и хорошее качество изображения.

MPEG2, в основном, разработан для кодирования изображения с высоким качеством, пригодного для широковещательной передачи, но не соответствует требованию меньшего количества кода (скорости битов), чем MPEG1, то есть схемы кодирования с большей степенью сжатия. С учетом быстрого распространения мобильных терминалов предполагается, что потребности в такой схеме кодирования повысятся в будущем. В соответствии с этим, были стандартизированы схемы кодирования MPEG4. Стандарт схем кодирования изображения был одобрен, как международный стандарт ISO/IEC14496-2 в декабре 1998 г.

Кроме того, в последние годы, для исходного назначения кодирования изображения для телевизионных конференций был принят стандарт, называемый H.26L (ITU-T (Сектор стандартизации в области телекоммуникаций Международного союза по телекоммуникациям) Q6/16 VCEG (Группа экспертов кодирования видеоданных)). Известно, что H.26L требует большего количества расчетов для кодирования и декодирования, чем схемы кодирования предшествующего уровня техники, такие как MPEG2 или MPEG4, но имеет более высокую эффективность кодирования. Кроме того, в настоящее время, как часть действий MPEG4, на основе H.26L, стандартизация, в которой также встроены функции, не поддерживаемые H.26L, для воплощения более высокой эффективности кодирования, выполняется как Объединенная модель кодирования видеоданных с улучшенной степенью сжатия.

В перечне стандартов Н.264 и MPEG 4 Part10 (Усовершенствованное кодирование видеоданных, ниже называется "AVC") стали международными стандартами в марте 2003 г.

Кроме того, в качестве расширений H.264/AVC, в феврале 2005 была закончена стандартизация Расширения диапазона четкости воспроизведения (FRExt), включающая в себя инструменты кодирования, необходимые для профессионального использования, такие как RGB, 4:2:2, или 4:4:4, и 8×8, DCT или матрица квантования, определенная в MPEG 2. Поэтому, когда используется H.264/AVC, схема кодирования также позволяет соответственно представлять шумы пленки, включенные в кинофильм, и используется для широкого диапазона приложений, таких как Blu-ray Disc (товарный знак).

Однако, в последние годы, повышается потребность в кодировании с более высокой степенью сжатия, включающем в себя сжатие изображения размером приблизительно 4000×2000 пикселей, что в четыре раза больше, чем у изображения высокой четкости, или доставки изображений высокой четкости в среде, имеющей ограниченную пропускную способность передачи, такой как Интернет. Поэтому в описанном выше VCEG в составе ITU-T продолжается исследование эффективности кодирования.

Поэтому, в настоящее время, для того, что дополнительно повысить эффективность кодирования по сравнению с обеспечиваемым AVC кодированием видеоданных Объединенной группы взаимодействия (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и Международной организации по Стандартизации/Международной электротехнической комиссии (ISO/IEC), продолжается стандартизация схемы кодирования, называемой высокоэффективное кодирование видеоданных (HEVC). В качестве стандарта HEVC, проект, разработанный в комитете, который представляет собой проект спецификации, был выработан в январе 2013 г. (например, см. Непатентную литературу 1).

Схема кодирования

Далее будет описана настоящая технология с примерами приложений кодирования и декодирования изображения с соответствии со схемой высокоэффективного кодирования видеоданных (HEVC).

Модуль кодирования

В схеме Усовершенствованного кодирования видеоданных (AVC) определена многоуровневая структура макроблоков и подмакроблоков. Однако макроблок размером 16×16 пикселей не является оптимальным для большого кадра изображения, предусмотренного в схеме кодирования следующего поколения сверхвысокой четкости (UHD, 4000 пикселей × 2000 пикселей).

С другой стороны, в схеме HEVC, как представлено на фиг. 1, определен модуль кодирования (CU).

CU также называется блоком дерева кодирования (СТВ) и представляет собой частичную область изображения модуля изображения, который используется аналогично, как макроблок, в схеме AVC. Последний имеет фиксированный размер 16×16 пикселей. С другой стороны, предыдущий имеет размер, который не является фиксированным, но обозначен в информации сжатия изображений, в соответствующих последовательностях.

Например, в наборе параметра последовательности (SPS), обозначенном в кодированных данных, предназначенных для вывода, определены максимальный размер (наибольший модуль кодирования (LCU)) и минимальный размер (наименьший модуль кодирования (SCU)) для CU.

В каждом LCU, в диапазоне, равном или больше чем размер SCU, когда установлен флаг разделения split_flag=1, модуль может быть разделен на CU, имеющие малый размер. Например, на фиг. 1 LCU имеет размер 128 и максимальный уровень глубины 5. Когда значение split_flag установлено равным "1", CU, имеющий размер 2N×2N, разделяют на следующий самый низкий уровень CU, имеющий размер N×N.

Кроме того, CU разделяют на модуль прогнозирования (PU), который представляет собой область (частичная область изображения модуля изображения), используемая, как модуль обработки при прогнозировании внутри кадра или между кадрами, и разделяют на модуль преобразования (TU)), который представляет собой область (частичную область изображения модуля изображения), используемую как модуль обработки при ортогональном преобразовании. В настоящее время в схеме HEVC возможно использовать ортогональное преобразование с размером 16×16 и 32×32, в дополнение к 4×4 и 8×8.

В схеме кодирования, в которой определен CU и выполняется различная обработка в модулях CU, в качестве схемы HEVC, описанной выше, макроблок в схеме AVC, можно рассматривать, как соответствующий LCU, и блок (подблок) можно рассматривать, как соответствующий CU. Кроме того, блок компенсации движения в схеме AVC можно рассматривать, как соответствующий PU. Однако, поскольку CU имеет многоуровневую структуру, LCU самого верхнего уровня имеет размер, который, в общем, установлен быть большим, чем макроблок схемы AVC, например, 128×128 пикселей.

В соответствии с этим, как представлено ниже, LCU может включать в себя макроблок в схеме AVC, и CU может включать в себя блок (подблок) в схеме AVC. Таким образом, термин "блок", используемый в следующем описании, относится к любой частичной области в изображении и имеет размер, форму, характеристику и т.п., которые не ограничены. Другими словами, "блок" включает в себя любую область (модуль обработки), например, TU, PU, SCU, CU, LCU, подблок, макроблок или срез. Само собой разумеется, что частичная область (модуль обработки), другая, чем эти, также включена. Когда существует потребность ограничить размер, будет соответствующим образом описан модуль обработки и т.п.

Кроме того, в данном описании, модуль дерева кодирования (CTU) представляет собой модуль, включающий в себя параметр, когда выполняют обработку в блоке дерева кодирования (СТВ) для LCU (максимальное количество CU) и его основания (уровня) LCU. Кроме того, модуль кодирования (CU) для CTU представляет собой модуль, включающий в себя параметр, когда выполняют обработку в блоке кодирования (СВ) и в его CU основания (уровне).

Выбор режима

В то же время в схемах кодирования AVC и HEVC для достижения более высокой эффективности кодирования важно выбрать соответствующий режим прогнозирования.

В качестве примера такой схемы выбора, можно представить способ, воплощенный в ссылочном программном обеспечении (раскрытом в http://iphome.hhi.de/suehring/tml/index.htm) для H.264/MPEG-4 AVC, называемом объединенной моделью (JM).

В JM возможно выбрать способ определения двух режимов, режим высокой сложности и режим малой сложности, которые будут описаны ниже. В обоих случаях рассчитывают значение функции стоимости каждого режима прогнозирования, и режим прогнозирования, минимизирующий значение, выбирают, как оптимальный режим для блока или макроблока.

Функция стоимости в режиме высокой сложности представлена, как следующее Уравнение (1).

Уравнение 1

Здесь, Ω обозначает общий набор режимов кандидатов для кодирования блока или макроблока, и D обозначает разность энергии между декодируемым изображением и входным изображением, когда выполняют кодирование в режиме прогнозирования. λ обозначает неопределенный умножитель Лагранжа, представленный, как функция параметра квантования. R обозначает общее количество кодов, когда выполняют кодирование в режиме, включающем в себя коэффициент ортогонального преобразования.

Таким образом, когда выполняют кодирование в режиме высокой сложности, для расчета параметров D и R, необходимо выполнить предварительную обработку кодирования один раз во всех режимах кандидатах. Поэтому, необходимо большое количество расчетов.

Функция стоимости в режиме низкой сложности представлена, как в следующем Уравнении (2).

Уравнение 2

Здесь D обозначает разность энергии между изображением прогнозирования и входным изображением, в отличие из режима высокой сложности. QP2Quant (QP) предусмотрена, как функция параметра QP квантования. HeaderBit обозначает количество кода информации, принадлежащего заголовку в векторе движения или в режиме, не имеющем коэффициент ортогонального преобразования.

Таким образом, в режиме малой сложности необходимо выполнять обработку прогнозирования в соответствующих режимах - кандидатах, но нет необходимости выполнять его для декодированного изображения. Поэтому, нет необходимости выполнять обработку кодирования. По этой причине может быть воплощено меньшее количество расчетов, чем в режиме высокой сложности.

Многоуровневое кодирование

В частности, схемы кодирования изображения, такие как MPEG2 и AVC, описанные выше, имеют функцию масштабируемости. Масштабируемое кодирование (многоуровневое кодирование) относится к схеме, в которой изображение разделяют на множество уровней (многоуровневое изображение), и выполняют кодирование для каждого уровня. На фиг. 2 представлена схема, иллюстрирующая пример схемы кодирования многоуровневого изображения.

Как представлено на фиг. 2, при разделении изображения на уровни, используя заданный параметр, имеющий функцию масштабируемости, как опорную функцию, одно изображение разделяют на множество уровней (многоуровневое изображение). Таким образом, многоуровневое изображение (иерархическое изображение) включает в себя изображение из множества уровней, заданные значения параметра которых отличаются друг от друга. Множество уровней многоуровневого изображения включает в себя основной уровень, в котором выполняются кодирование и декодирование, используя только изображение его собственного уровня, без использования изображения другого уровня, и неосновной уровень (также называемый "уровнем расширения"), в котором кодирование и декодирование выполняют, используя изображение другого уровня. Неосновной уровень может использовать изображение основного уровня или может использовать изображение другого неосновного уровня.

В общем, неосновной уровень включает в себя данные (разностные данные) для разностного изображения между его собственным изображением и изображением другого уровня таким образом, что уменьшается избыточность. Например, когда одно изображение разделяют на два уровня, основной уровень и неосновной уровень (также называемый "уровнем расширения"), может быть получено изображение, имеющее более низкое качество, чем исходное изображение, когда используются только данные основного уровня. Поэтому, когда данные основного уровня и данные неосновного уровня синтезируют, может быть получено исходное изображение (то есть, изображение высокого качества).

Когда изображение разделяют на много уровней, таким образом, возможно легко получить изображение с различными уровнями качества, в соответствии с обстоятельствами. Например, в терминалы, имеющие низкую способность обработки, такие как мобильный телефон, передают информацию сжатия изображения только для основного уровня, и воспроизводят движущееся изображение, имеющее низкое пространственное и временное разрешение или имеющее низкое качество изображения, и в терминалы, имеющие высокую способность обработки, такие как телевизионный приемник или персональный компьютер, передают информацию сжатия изображений уровня расширения, в дополнение к основному уровню, и движущееся изображение, имеющее высокое пространственное и временное разрешение или высокое качество изображения воспроизводят, таким образом, что не выполняется обработка транскодирования, и информация сжатия изображения может быть передана из сервера в соответствии с возможностями терминала или сети.

Масштабируемый параметр

При таком кодировании многоуровневого изображения и декодировании многоуровневого изображения (масштабируемое кодирование и масштабируемое декодирование), параметр, имеющий функцию масштабируемости, является произвольным. Например, пространственное разрешение, представленное на фиг. 3, можно использовать, как его параметр (пространственная масштабируемость). При пространственной масштабируемости разрешение изображения отличается для каждого уровня. Таким образом, как представлено на фиг. 3, каждое изображение разделяют на два уровня, и могут быть получены основной уровень, имеющий более низкое пространственное разрешение, чем исходное изображение, и уровень расширения, в котором выполняют синтез с изображением основного уровня, и исходное изображение (исходное пространственное разрешение). При этом понятно, что количество уровней представляет собой только пример, и изображение можно разделять на уровни, используя любое количество уровней.

Кроме того, в качестве параметра, позволяющего такое свойство масштабируемости, также можно применять другой пример, например, временное разрешение (временная масштабируемость), как представлено на фиг. 4. При временной масштабируемости частота кадров отличается для каждого уровня. Таким образом, в данном случае, как представлено на фиг. 4, изображение разделяют на уровни, имеющие разные частоты кадров, и когда уровень, имеющий высокую частоту кадров, добавляют к уровню, имеющему низкую частоту кадров, может быть получено движущееся изображение, имеющее более высокую частоту кадров, и когда суммируют все уровни, может быть получено исходное движущееся изображение (исходная частота кадров). Количество уровней представляет собой только пример, и изображение может быть разделено на любое количество уровней.

Кроме того, в качестве параметра, позволяющего обеспечить такое свойство масштабируемости, в другом примере, например, как представлено на фиг. 5, можно применять отношение сигнал-шум (SNR) (масштабируемость SNR). При масштабируемости SNR значение SNR является различным для каждого уровня. Таким образом, в этом случае, как представлено фиг. 5, каждое изображение разделяют на два уровня, основной уровень, имеющий более низкое значение SNR, чем у исходного изображения, и уровень расширения, который может быть синтезирован с изображением основного уровня для получения исходного изображения (исходное SNR). Таким образом, в информации сжатия изображений основного уровня передают информацию об изображении с низким PSNR, и к нему добавляют информацию сжатия изображений уровня расширения. Поэтому возможно реконструировать изображение с высоким значением PSNR. При этом понятно, что количество уровней представляет собой только пример, и изображение может быть разделено на любое количество уровней.

При этом понятно, что параметр, обеспечивающий возможность такого свойства масштабирования, может представлять собой другой параметр, чем в описанном выше примере. Например, при масштабируемости по глубине битов, основной уровень представляет собой изображение из 8 битов, к нему добавляют уровень расширения, и, таким образом, получают изображение глубиной 10 битов.

Кроме того, при масштабируемости по цветности, основной уровень представляет собой компонентное изображение формата 4:2:0, нему добавляют уровень расширения, и, таким образом, получают компонентное изображение в формате 4:2:2.

Определение структуры и уровня мозаичного изображения

В HEVC возможно декодировать только область, декодирование которой является необходимым, используя приложение, в котором применяется структура мозаичного изображения. Для того, чтобы обозначить тот факт, что область мозаичного изображения может быть независимо декодированной, поддерживается вторая и более поздние версии (включая в себя MV-HEVC, SHVC, расширение диапазона и т.п.) для HEVC в поддерживаемых наборах SEI с ограничением движения мозаичного изображения.

Примеры приложения

Ниже будут описаны примеры приложения, в которых применяется настоящая технология.

В системе, сконфигурированной для предоставления изображения из сервера в терминал, как, например, показано на фиг. 6, существует приложение, в котором один экран разделен на множество экранов, и доставку выполняют, во время переключения области отображения. Кроме того, например, как представлено в виде примера на фиг. 7, существует приложение, в котором выбирают частичную область, предназначенную для отображения (доставки), для выбора соотношения размеров или разрешения изображения.

В приложении на фиг. 6 частичные изображения разделены на сегменты из всего изображения, используя элемент мозаичного изображения, в качестве модуля при кодировании и декодировании изображения, и подают в терминалы. Положения сегментированных частичных изображений во всем изображении могут быть обозначены, например, пользователем терминала. Поэтому в терминале возможно отображать частичные изображения в требуемом положении всего изображения. Например, в услуге, такой как спортивная широковещательная передача, из сервера подают изображения, снятые под большим углом и т.п., и получают путем захвата изображения для всего мероприятия, все поле и т.п. с фокусировкой на желательной части (например, на любимом игроке, на тренере, перед голом, скамейке и сидениях для зрителей) для пользователя, частичное изображение может быть сегментировано и загружено (или может выполняться потоковая передача), и отображаться в терминале. Таким образом, пользователь терминала может фокусироваться на желательной части всего изображения.

В приложении, показанном на фиг. 7, путем простого выбора элемента мозаичного изображения, разрешение отображаемого изображения может быть установлено на HD или размер кинотеатра.

Однако в качестве информации об уровне, который используется в качестве опорного для определения, может ли декодер декодировать поток, и емкости буфера, определено только значение всего потока или значение модуля уровня.

Поэтому, даже в случае приложения, которое декодирует только часть всего изображения, выполняют определение, возможно ли декодирование, предполагая нагрузку, когда декодируют весь экран. В соответствии с этим, возникает проблема необходимости использования декодера чрезмерно высокого уровня. Кроме того, возникает проблема, связанная с приложениями, которые доставляют так, что они, соответственно, чрезмерно ограничены.

Поэтому устанавливают информацию определения нагрузки, предназначенную для определения величины нагрузки при обработке декодирования, независимо от декодируемой частичной области изображения данных изображения, которые должны быть кодированы, и передают декодированную информацию определения нагрузки. Например, информацию определения декодирования нагрузки передают со стороны кодирования на сторону декодирования вместе с кодированными данными для данных изображения.

Таким образом, декодер может распознавать необходимые рабочие характеристики для декодирования частичной области, в соответствии с информацией определения нагрузки декодирования, и определять, возможно ли декодирование. Таким образом, возможно, более точно распознать требуемые рабочие характеристики для декодирования. Поэтому возможно выбрать декодер, имеющий соответствующую рабочую характеристику для данных изображения. Поэтому возможно предотвратить возникновение ситуации, в которой применяется декодер, имеющий чрезмерно высокий уровень в отношении нагрузки декодирования данных изображения. Кроме того, возможно предотвратить доставку чрезмерно ограниченного приложения.

Установка информации определения нагрузки декодирования

Информация определения нагрузки декодирования определена в соответствии, например, с фиг. 8. Например, как представлено в позиции А на фиг. 8, информация определения нагрузки декодирования для определения величины нагрузки при обработке декодирования частичной области может быть установлена для независимо декодируемой частичной области одного уровня. В примере, показанном в позиции А на фиг. 8, уровень 4.0 установлен для декодирования всего изображения одного уровня, и уровень 2.0 установлен для декодирования независимо декодированного элемента мозаичного изображения (частичная область) изображения.

Кроме того, например, как представлено в позиции В на фиг. 8, информация определения нагрузки декодирования может быть установлена для независимо декодируемой частичной области каждого уровня изображения, включающего в себя множество уровней. В примере в позиции В на фиг. 8 уровень 5.0 установлен для декодирования изображения всех уровней, и уровень 4.0 установлен для декодирования всего изображение основного уровня (уровень 0). Кроме того, уровень 2.0 установлен для декодирования независимо декодируемого элемента мозаичного изображения (частичная область) изображения основного уровня (уровень 0). Кроме того, уровень 4.0 установлен для декодирования (то есть декодирования элемента мозаичного изображения основного уровня (уровень 0), на который была сделана ссылка, и элемента мозаичного изображения уровня расширения (уровень 1), который ссылается на него) элемента мозаичного изображения, который обращается только к независимо декодируемому элементу мозаичного изображения для изображения основного уровня (уровень 0) изображения уровня расширения (уровень 1).

Кроме того, например, как представлено в позиции С на фиг. 8, информация определения нагрузки декодирования может быть установлена для всего изображения уровня, обращающегося только к независимо декодируемой частичной области и к частичной области, к которой обращаются. Таким образом, сторона, которая обращается к независимо декодируемому элементу мозаичного изображения (частичная область) может представлять собой все изображение, вместо частичной области. В примере, в позиции С на фиг. 8, в основном, установлен тот же уровень, как в примере в позиции В на фиг. 8. Однако в примере в позиции В на фиг. 8, уровень установлен для декодирования элемента мозаичного изображения, который обращается только к независимо декодируемым элементом мозаичного изображения для изображения основного уровня (уровень 0) в изображении уровня расширения (уровень 1). Однако в примере, в позиции С на фиг. 8, в качестве альтернативы, уровень 4.0 установлен для декодирования (то есть, декодирования элемента мозаичного изображения основного уровня (уровень 0), предназначенного для ссылки, и всего изображения уровня расширения (уровень 1), которое обращается к нему) все изображение уровня расширения (уровень 1), сопрягающееся только с независимо декодируемым элементом мозаичного изображения для изображения основного уровня (уровень 0).

Кроме того, в этом случае, для идентификации частичной области (элемента мозаичного изображения) (его положения), на которую ссылается все изображения уровня расширения (уровень 1), информация положения элемента мозаичного изображения основного уровня (уровень 0), используемого, как опорный источник, может быть ассоциирована с (может быть отображена на) всеми изображениями уровня расширения (уровень 1), используемыми в качестве опорного источника. В примере, в позиции С на фиг. 8, координаты того же положения элемента мозаичного изображения основного уровня (уровень 0) отображают на координаты верхнего левого угла всего изображения уровня расширения (уровень 1).

Параметр, определенный уровнем

Следует отметить, что параметр, определенный уровнем, включает в себя максимальное количество пикселей (MaxLumaPs), максимальную емкость буфера (МахСРВ Size), максимальное количество пикселей (MaxLumaSr) изображения в секунду, максимальную скорость битов (MaxBR) изображения и т.п.

Декодирование информации определения нагрузки

Определение величины нагрузки, необходимой для декодирования, выполняется путем расширения, например, вспомогательной информации улучшения набора мозаичного изображения с ограничением движения (MCTS SEI).

Например, как в описано в синтаксисе в позиции А на фиг. 9, в MCTS SEI, как в информации определения нагрузки декодирования, для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области, может быть установлен уровень (mcts_level_idc [i]), обозначающий величину нагрузки при обработке декодирования частичной области. Здесь "i" обозначает набор (также называемый "набором мозаичного изображения"), который представляет собой частичную область, состоящую из отдельного элемента мозаичного изображения или множества таких элементов мозаичного изображения. Таким образом, в примере, показанном в позиции А на фиг. 9, значение информации уровня (mcts_level _idc), необходимое для декодирования, установлено для каждого набора. В этом случае семантика может быть такая, как описана, например, со ссылкой на позицию В на фиг. 9.

В MCTS SEI, независимо декодируемая частичная область установлена для каждого прямоугольного набора. Например, когда верхняя левая заштрихованная часть в позиции А на фиг. 10 представляет собой независимо декодируемую частичную область, частичная область установлена для каждого набора в MCTS SEI, как представлено в позиции В на фиг. 10. Кроме того, как показано в позиции С на фиг. 10, элемент мозаичного изображения, включенный в набор, может перекрывать другой набор. Количество пикселей частичной области может быть рассчитано по количеству пикселей каждого набора, например, как представлено в качестве примера в позиции D на фиг. 10.

Кроме того, например, как в описанном синтаксисе в позиции А на фиг. 11, в MCTS SEI, в качестве информации определения нагрузки декодирования, для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области множества уровней, может быть установлен уровень (mcts_level _idc [i] [j]), обозначающий величину нагрузки при обработке декодирования частичной области каждого уровня. Здесь "i" обозначает набор, и "j" обозначает уровень. Таким образом, в примере в позиции А на фиг. 11, значение информации уровня (mcts_level _idc), необходимое для декодирования, установлено для каждого набора и для каждого уровня. В этом случае, семантика может быть описана, как, например, со ссылкой на позицию В на фиг. 11.

Кроме того, например, как в описанном синтаксисе А на фиг. 12, в MCTS SEI, в качестве информации определения нагрузки декодирования, для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области, может быть установлена информация (maxLumaPS_in_set [i]), обозначающая размер частичной области. Здесь "i" обозначает набор. Таким образом, в примере, показанном в позиции А на фиг. 12, значение информации (maxLumaPS_in_set), обозначающее размер набора (частичной области) установлено для каждого набора. В этом случае семантика может быть описана, как, например, в позиции В на фиг. 12.

Кроме того, например, как в описанном синтаксисе в позиции А на фиг. 13, в MCTS SEI, в качестве информации определения нагрузки декодирования, для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области, может быть установлена информация (mcts_height_in_luma_samples [i]), обозначающая длину в вертикальном направлении, и информация (mcts_width_in_luma_samples [i]), обозначающая длину в горизонтальном направлении частичной области. Здесь "i" обозначает набор. Таким образом, в примере, в позиции А на фиг. 13, значение информации (mcts_height_in_luma_samples), обозначающее длину в вертикальном направлении, и значение информации (mcts_width_in_luma_samples), обозначающее длину в горизонтальном направлении набора (частичная область) установлены для каждого набора. В этом случае, семантика может быть такой, как описана, например, со ссылкой на позицию В на фиг. 13.

Кроме того, например, как в синтаксисе, описанном со ссылкой на фиг. 14, в MCTS SEI, в качестве информации определения нагрузки декодирования, для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области, может быть установлен параметр (mcts_hrd_parameters) опорного виртуального декодера, выполненного с возможностью декодирования частичной области.

В этом случае, например, как в описанном синтаксисе в позиции А на фиг. 15, в качестве параметра (mcts_hrd_parameters) опорного виртуального декодера, может быть установлена максимальная входная скорость битов (mcts_bit_rate_value_minus1) и емкость буфера (mcts_cpb_size_value_minus1) виртуального опорного декодера. В этом случае семантика может быть такой, как описана, например, со ссылкой на позицию В на фиг. 15.

Кроме того, например, как представлено в позиции А на фиг. 16, в дополнение к расширению MCTS SEI, описанному выше, в наборе параметра последовательности (SPS) может быть установлена информация (mcts_present_flag), обозначающая, установлена ли информация определения нагрузки декодирования, описанная выше, в MCTS SEI. В этом случае семантика может быть такой, как описана, например, со ссылкой на позицию В на фиг. 16.

Кроме того, например, как представлено в позиции А на фиг. 17, в наборе параметра последовательности (SPS), вместо информации, обозначающей, установлена ли информация определения нагрузки декодирования, может быть установлена та же информация определения нагрузки декодирования, как и информация определения нагрузки декодирования, установленная в MCTS в SEI. В этом случае семантика может быть такой, как описана, например, в позиции В на фиг. 17.

Кроме того, информация, установленная в наборе параметра последовательности (SPS), может быть установлена в наборе видеопараметра (VPS), вместо набора параметра последовательности (SPS).

Само собой разумеется, что способ установки информации определения нагрузки декодирования является произвольным, и он не ограничен описанным выше примером. Кроме того, описанное выше множество способов может быть скомбинировано. Кроме того, описанный выше способ может быть скомбинирован с другими способами.

Как описано выше, когда установлена информация определения нагрузки декодирования для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области, возможно более точно распознать рабочую характеристику, необходимую для декодирования, на основе информации определения нагрузки декодирования. Кроме того, когда информацию определения нагрузки декодирования передают на сторону декодирования, возможно более точно распознать рабочую характеристику, необходимую для декодирования, даже на стороне декодирования.

Адаптация к DASH

Например, в случае использования DASH, как представлено на фиг. 6, предпочтительно, чтобы определенное количество областей мозаичного изображения были перемещены и воспроизведены. Однако, когда все частичные изображения (комбинация элементов мозаичного изображения), предназначенные для воспроизведения, будут зарегистрированы, как набор элемента мозаичного изображения (tile_set), и для них будет установлена информация определения нагрузки декодирования, существует вероятность, что количество информации увеличится, когда количество наборов элемента мозаичного изображения велико.

Например, как представлено на фиг. 18, когда воспроизводят (отображают) частичное изображение (набор элемента мозаичного изображения) размером 2×2 элемента мозаичного изображения, если положение частичного изображения перемещается (когда часть, предназначенная для отображения всего изображения, изменяется), отображаются (воспроизводятся) все частичные изображения (наборы элемента мозаичного изображения) во время ее движения. Количество таких частичных изображений может стать огромным, как показано в уравнении с правой стороны на чертеже. В соответствии с этим, когда информация определения нагрузки декодирования установлена для всех таких частичных изображений, существует вероятность, что количество информации станет непрактично большим. Кроме того, существует вероятность, что избыточность при декодировании информации нагрузки каждого набора элемента мозаичного изображения, в этом случае станет чрезвычайно высокой. Таким образом, существует вероятность, что количество ненужной информации будет увеличено.

Здесь, например, расширяют MCTS SEI, и устанавливают информацию нагрузки декодирования, информацию, обозначающую размер частичного изображения, используемую в качестве ссылки, и уровень, обозначающий величину нагрузки при обработке декодирования частичного изображения. Таким образом, информацию, по которой возможно выполнить оценку величины нагрузки при обработке декодирования, в соответствии с размером частичного изображения, сохраняют в MCTS SEI.

Поэтому, например, когда ссылаются на такую информацию (когда размер области, предназначенной для декодирования, сравним по размеру с частичным изображением, используемым как ссылка на нее), возможно более точно распознать величину нагрузки при обработке декодирования области.

Здесь размер частичного изображения, используемого в качестве ссылки, может быть обозначен любой информацией, и может быть обозначен, например, в единицах элементов мозаичного изображения, полученных в результате однородного разделения всего изображения. Кроме того, количество размеров, используемых в качестве его ссылки, может быть произвольным, но предпочтительно, чтобы количество размеров было многочисленным для более точного распознавания величины нагрузки при обработке декодирования. Кроме того, величина нагрузки при обработке декодирования может быть обозначена любой информацией и может быть обозначена, например, информацией уровня (уровень).

В частности, в существующем ROI, предполагается, что приложение может обозначать любое положение, или другими словами, абсолютно необходимо, чтобы была определена некоторая область (ROI).

Однако приложение, такое как потоковая передача мозаичного изображения, в соответствии с DASH, имеет концепцию сегментирования и отображения области, выбранной пользователем (также включая в себя переключение потока, имеющего разное разрешение). Таким образом, поскольку пользователь может произвольно определять область, предназначенную для выбора, предполагается, что все элементы мозаичного изображения представляют собой независимо декодируемые элементы мозаичного изображения и, кроме того, они равномерно разделены, и предполагается, что количество элементов мозаичных изображений, которое должно быть выбрано для воспроизведения, отличается в соответствии с возможностью (уровнем) устройства, так, чтобы соответствовали операции наиболее распространенной услуги.

Поэтому, предположения приложения в отношении существующего ROI и предположения приложения для потоковой передачи элемента мозаичного изображения DASH имеют несколько разные направления.

В соответствии с этим, режим приложения вводят таким образом, что уровень модуля области (элемента мозаичного изображения), декодируемого приложением, может быть определен в то время, как удовлетворяются оба предположения в одном SEI, и информация, которая должна быть определена, может изменяться для каждого режима, для расширения.

Например, концепция режима определена для каждого приложения, для изменения информации, изменяемой в соответствии с необходимостью. Например, установлен режим DASH. Поэтому, определяют, что режим DASH == "однородное разделение и независимость всех элементов мозаичного изображения". Таким образом, в режиме DASH предполагается, что экран более однородно разделяют на элементы мозаичного изображения (uniform_spacing_flag=1@PPS). Кроме того, предполагается, что отдельные элементы мозаичного изображения могут быть независимо декодированы.

Поэтому, в режиме DASH, количество элементов мозаичного изображения, предназначенных для одновременного декодирования, и информация уровня, соответствующая им, описаны (определены). Например, на фиг. 19, в качестве количества элементов мозаичного изображения, предназначенных для одновременного декодирования, установлены три случая, 4, 12 и 30. Информация уровня (информация нагрузки декодирования) установлена для каждого из трех случаев.

Таким образом, можно более соответствующим образом установить информацию нагрузки декодирования для обоих приложений, описанных выше.

На фиг. 20 иллюстрируется пример расширения (примерный синтаксис) MCTS SEI в этом случае. В примере на фиг. 20 режим (mcts_mode) приложения установлен во 2-ом ряду сверху. Поэтому, как описано в 4-ом ряду сверху, когда режим представляет собой режим (режим для текущего приложения ROI) приложения для существующего ROI (mcts_mode==0), информация нагрузки декодирования установлена для каждого независимо декодируемого частичного изображения, аналогично каждому примеру, описанному выше. Например, информация уровня (mcts_level _idc [i]), необходимая для декодирования, установлена в 13-ом ряду сверху.

Кроме того, когда режим приложения представляет собой режим DASH (режим для приложения DASH) (mcts_mode==1), установлены количество элементов мозаичного изображения области, предназначенной для одновременного декодирования, и информация уровня, соответствующая ей. Например, в 17-ом ряду сверху установлена информация идентификации (mcts_id [i]) области. В следующем ряду установлена информация (num_of_tiles_minus1 [i]), обозначающая количество элементов мозаичного изображения, включенных в область, обозначенную информацией идентификации. Кроме того, в следующем ряду, установлена информация уровня (mcts_level _idc [i]), необходимая для декодирования области.

Здесь "i" обозначает набор. Таким образом, в примере на фиг. 20 значение информации уровня (mcts_level _idc), необходимое для декодирования, значения информации идентификации (mcts_id), и значение информации (num_of_tiles_minus1), обозначающее количество элементов мозаичного изображения, включенных в область, обозначенную информацией идентификации, установлено для каждого набора.

Когда информация нагрузки декодирования установлена, как описано выше, возможно распознать рабочие характеристики, необходимые для более точного декодирования, в соответствии с размером (количеством элементов мозаичного изображения) области, предназначенной для декодирования, на основе информации нагрузки декодирования. Кроме того, когда информацию определения нагрузки декодирования передают на сторону декодирования, возможно более точно распознать рабочие характеристики, необходимые для декодирования, в соответствии с размером (количеством элементов мозаичного изображения) области, предназначенной для декодирования, даже на стороне декодирования.

Другой пример 1 установки набора информации нагрузки декодирования

Прямоугольный набор мозаичного изображения был описан выше. В этом случае, например, когда MCTS (независимо декодированной группы элемента мозаичного изображения (частичная область)), как предполагается, имеет форму "L", необходимо определить два набора, набор элемента мозаичного изображения, в котором определено вертикальное направление, обозначающее часть вертикальной линии буквы "L", в качестве продольного направления, и элемент мозаичного изображения, в котором горизонтальное направление, обозначающее часть горизонтальной линии буквы "L", определен, как продольное направление.

Кроме того, было описано выше, в качестве информации определения нагрузки декодирования, установлено значение информации (mcts_level _idc [i]), обозначающей уровень (уровень, необходимый для декодирования), обозначающий величину нагрузки при обработке декодирования частичной области для каждого прямоугольного набора. Таким образом, в этом случае, в частичной области L-образной формы, необходимо установить две части информации (mcts_level _idc [i]), обозначающие уровень, необходимый для декодирования. Таким образом, понятно, что возможно выполнять обработку для случая, в котором уровни, необходимые для наборов декодирования, являются разными. Однако, когда уровни, необходимые для наборов декодирования, являются одинаковыми, они становятся избыточными и существует вероятность снижения эффективности кодирования.

Поэтому, один уровень может быть установлен для независимо декодируемой частичной области, а не для каждого набора. Независимо декодируемый набор может представлять собой независимо декодируемую частичную область. Таким образом, общий уровень может быть определен для множества независимо декодируемых частичных областей. Примерный синтаксис в этом случае описан в позиции А на фиг. 21. Кроме того, пример семантики в этом случае описан в позиции В на фиг. 21.

В примере в позиции А на фиг. 21, в 3-ьем ряду сверху, установлена информация (each_tile_one_tile_set_flag), обозначающая, формируют ли все элементы мозаичного изображения независимо декодируемый набор. В 4-м ряду сверху информация (mcts_level _idc_present_flag), обозначающая включена ли информация (mcts_level _idc), обозначающая уровень, необходимый для декодирования, установлена в наборах элемента мозаичного изображения с ограничением движения, определенных в сообщении SEI.

Поэтому в 5-м ряду сверху, когда определяют, что все элементы мозаичного изображения не формируют уникально декодируемый набор (! each_tile_one_tile_set_flag), в контуре с 7-го ряда по 16-ый ряд сверху, выполняют установки для каждого набора, и уровень (mcts_level _idc), необходимый для декодирования, установлен в 18-м ряду сверху, другом, чем в контуре.

Таким образом, как представлено в примере на фиг. 22, когда все элементы мозаичного изображения могут быть независимо декодированы, устанавливают набор, в котором назначена "0" информация идентификации (mcts_id [0]), и набор, в котором назначена "1" информация идентификации (mcts_id [1]), расположенные рядом друг с другом, и уровни, необходимые для декодирования наборов, являются одинаковыми, информация уровня (mcts_level _idc [i]) не установлена для каждого набора, но может быть установлена информация уровня (mcts_level _idc) общая для обоих наборов.

Таким образом, только одна (общая) часть информации уровня может быть установлена для множества независимо декодируемых частичных областей (например, частичных областей, необходимых для представления множества наборов). Поэтому, возможно уменьшить избыточность и повысить эффективность кодирования.

Кроме того, в HEVC, описанном в Непатентной литературе 1, предполагается, что уровень определен во всем модуле изображения (изображение), и определение параметра уровня также выполняется во всем модуле изображения (изображения). Поэтому, когда уровень определен в модуле частичной области, описанном выше, также выполняется определение параметра уровня для частичной области, и это определение может быть назначено (может быть выполнено отображение параметра) для определения уровня всего модуля изображения (изображения).

Например, когда независимо декодируемая частичная область имеет прямоугольную форму, определен параметр уровня для частичной области. Определение уровня всего модуля изображения (изображение) может быть заменено определением. Кроме того, например, когда независимо декодируемая частичная область имеет форму буквы "L", установлен прямоугольник, включающий в себя L-образную частичную область, определен параметр уровня для прямоугольной области, и определение уровня всего модуля изображения (изображение) может быть заменено определением.

Например, на фиг. 22, когда независимо декодируемая частичная область включает в себя набор информации идентификации (mcts_id [0]) и набор информации идентификации (mcts_id [1]), установлена прямоугольная область, включающая в себя оба набора, и назначается для изображения (модуля определения параметра уровня). Таким образом, размер W прямоугольной области в горизонтальном направлении оценивают, как pic_width_in_luma_samples, размер H прямоугольной области в вертикальном направлении оценивают, как pic_height_in_luma_samples, размер W×H прямоугольной области оценивают, как PicSizeInSamplesY, и может быть определен параметр уровня для прямоугольной области.

Таким образом, значение параметра, определенного для прямоугольной области, может быть отображено на параметр, определенный в модуле изображения. Поэтому, когда выполняется такое отображение параметра, возможно использовать более соответствующее определение для независимо декодируемой частичной области.

В частности, когда все элементы мозаичного изображения могут быть независимо декодированы, возможно, установить уровень (mcts_level _idc [i]), необходимый для декодирования частичной области, в соответствии с размером частичной области. В этом случае, размер частичной области может быть представлен количеством элементов мозаичного изображения (количеством рядов) в вертикальном направлении и количеством элементов мозаичного изображения (количеством столбцов) в горизонтальном направлении частичной области. Здесь "i" обозначает количество взаимосвязей соответствия между размером и уровнем частичной области.

В примере, показанном в позиции А на фиг. 21, в цикле из 20-ого ряда на 28-ой ряд сверху, ассоциированы размер и уровень частичной области. В этом цикле установлена информация (num_mc_tile_columns_minusl [i]), обозначающая количество элементов мозаичного изображения частичной области в вертикальном направлении (24-ый ряд сверху), и установлена информация (num_mc_tile_rows_minus1 [i]), обозначающая количество элементов мозаичного изображения частичной области в горизонтальном направлении (25-ый ряд сверху).

Например, на фиг. 23, в "0"-м соотношении взаимного соответствия, в котором установлена информация идентификации (mcts_level _id [0]), частичная область размером 2×2 элемента мозаичного изображения ассоциирована с уровнем (meta_level _idc [0]). Таким образом, в соотношении взаимного соответствия значение информации (num_mc_tile_columns_minus1[0]), обозначающее количество элементов мозаичного изображения частичной области в вертикальном направлении, установлено в "1", и информация (num_mc_tile_rows_minus1[0]), обозначающая количество элементов мозаичного изображения частичной области в горизонтальном направлении, установлена в "1". Когда установлена такая информация, в дополнение к тому факту, что количество элементов мозаичного изображения частичной области, соответствующих уровню (meta_level _idc [0]), равно 4, также показана форма (прямоугольник из двух вертикальных элементов × два горизонтальных элемента мозаичных изображений) частичной области.

Например, на фиг. 23, в "1"-м соотношении взаимного соответствия, в котором установлена информация идентификации (mcts_level _id[1]), частичная область размером 4×4 элемента мозаичного изображения ассоциирована с уровнем (meta_level _idc[1]). Таким образом, в соотношении взаимного соответствия значение информации (num_mc_tile_columns_minus1[1]), обозначающее количество элементов мозаичного изображения частичной области в вертикальном направлении, установлено равным "3", и информация (num_mc_tile_rows_minus1[1]), обозначающая количество элементов мозаичного изображения частичной области в горизонтальном направлении, установлена равной "3". Когда такая информация установлена, в дополнение к тому факту, что количество элементов мозаичного изображения частичной области, соответствующих уровню (meta_level _idc [1]), равно 16, также показана форма (прямоугольник из четырех вертикальных элементов мозаичного изображения × четыре горизонтальных элемента мозаичного изображения) частичной области.

Таким образом, возможно повысить удобство ассоциирования информации для частичной области с уровнем. Например, терминал, выполненный с возможностью получения и отображения его частичного изображения, определяет, является ли частичная область длинной по горизонтали, на основе информации. Когда частичная область является длинной по горизонтали, возможно отрегулировать соотношение размеров отображаемого изображения, таким образом, чтобы более просто происходило отображение с использованием вставки черных полос сверху и снизу.

Другой пример 2 установки информации определения набора нагрузки декодирования

Когда все элементы мозаичного изображения могут быть независимо декодируемыми, может быть установлено максимальное значение (max_level _idc) для уровня модуля элемента мозаичного изображения в изображении. Таким образом, один элемент мозаичного изображения установлен, как один набор, может быть установлено максимальное значение в изображении набора уровня для каждого набора. Примерный синтаксис в этом случае описан со ссылкой на позицию А на фиг. 24. Кроме того, пример семантики в этом случае описан в позиции В на фиг. 24.

В примере, показанном в позиции А на фиг. 24, в 21-м ряду вверху, установлено максимальное значение (max_level _idc) уровня изображения. Как показано в примере на фиг. 26, уровень представляет собой уровень, который установлен для набора, составленного из одного элемента мозаичного изображения. Например, на фиг. 26, максимальное значение уровня, установленное для каждого набора из 60 наборов (60 элементов мозаичного изображения) в общем, включающих в себя 6 вертикальных наборов (6 элементов мозаичного изображения) × 10 горизонтальных наборов (10 элементов мозаичного изображения) в изображении установлено, как max_level _idc.

Количество элементов мозаичного изображения, сегментированных из всего изображения, определяется в соответствии с приложением. Хотя количество элементов мозаичного изображения, соответствующих каждому уровню, не определено полностью, приложение может достаточно точно определять количество элементов мозаичного изображения, которые могут быть сегментированы (может выполнять обработку, такую как декодирование), на основе максимального значения (max_level _idc) уровня.

Таким образом, вместо полного определения количества элементов мозаичного изображения, соответствующих каждому уровню, когда только максимальное значение (max_level _idc) уровня установлено для каждого набора (то есть для каждого элемента мозаичного изображения), составленного из одного элемента мозаичного изображения, установлено в изображении, приложение может управлять количеством сегментированных элементов мозаичного изображения на основе установки таким образом, что обработка, такая как декодирование, происходит без ошибки.

Поэтому, таким образом, по сравнению со случаем, когда полностью определено количество элементов мозаичного изображения, соответствующих каждому уровню, синтаксис всех элементов мозаичного изображения может быть упрощен, и нагрузка, связанная с обработкой, может быть уменьшена. Кроме того, по сравнению со случаем, когда количество элементов мозаичного изображения, соответствующих каждому уровню, полностью определено, количество информации, предназначенной для передачи, может быть уменьшено, и эффективность кодирования может быть повышена.

Кроме того, как показано на примере в позиции А на фиг. 24, в 17-м ряду сверху, установлен уровень (mcts_level_idc[i]) для каждой частичной области. Таким образом, как показано в примере в позиции А на фиг. 25, когда существуют два независимо декодируемых набора, набор, в котором назначена информация идентификации (mcts_id[0]), и набор, в котором назначена информация идентификации (mcts_id[1]), возможно установить уровень (mcts_level _idc[i]) для каждого набора.

В этом случае прямоугольная область, включающая в себя набор, установлена для каждого набора, и может быть назначена для каждого изображения (модуль определения параметра уровня). Например, в позиции А на фиг. 25, установлена прямоугольная область, включающая в себя набор информации идентификации (mcts_id [0]), размер W прямоугольной области в горизонтальном направлении оценивают, как pic_width_in_luma_samples, размер H прямоугольной области в вертикальном направлении оценивают, как pic_height_in_luma_samples, размер W×H прямоугольной области оценивают, как PicSizeInSamplesY, и может быть определен параметр уровня для прямоугольной области. Аналогично установлена прямоугольная область, включающая в себя набор информации идентификации (mcts_id [1]), размер W прямоугольной области в горизонтальном направлении оценивают, как pic_width_in_luma_samples, размер H прямоугольной области в вертикальном направлении оценивают, как pic_height_in_luma_samples, размер W×H прямоугольной области оценивают как PicSizeInSamplesY, и может быть определен параметр уровня для прямоугольной области.

Таким образом, на значение параметра, определенное для каждой прямоугольной области, может быть отображен параметр, определенный в модуле изображения. Поэтому, когда выполняют такое отображение параметра, возможно использовать более соответствующее определение для каждой независимо деклодируемой частичной области.

Кроме того, когда формируют независимо декодируемую частичную область из множества прямоугольных областей, может быть установлен прямоугольник, включающий в себя все такие прямоугольные области. Например, в позиции В на фиг. 25, набор информации идентификации (mcts_id [0]) включает в себя две прямоугольные области, установлена прямоугольная область, включающая в себя все из наборов, размер W прямоугольной области в горизонтальном направлении оценивают, как pic_width_in_luma_samples, размер H прямоугольной области в вертикальном направлении оценивают, как pic_height_in_luma_samples, размер W×H прямоугольной области оценивают, как PicSizeInSamplesY, и может быть определен параметр уровня для прямоугольной области.

Таким образом, даже когда независимо декодируемая частичная область сформирована из множества прямоугольных областей, на значение параметра, определенного для прямоугольной области, может быть отображен параметр, определенный в модуле изображения. Поэтому, когда выполняют такое отображение параметра, возможно использовать более соответствующее определение частичной области, даже если независимо декодируемая частичная область сформирована из множества прямоугольных областей.

2. Второй вариант осуществления

Устройство кодирования изображения

Далее будет описано устройство, выполненное с возможностью воплощения настоящей технологии, описанной выше, и его способ. На фиг. 27 показана схема, иллюстрирующая устройство кодирования изображения, которое представляет собой аспект устройства обработки изображений, в котором применяется настоящая технология. Устройство 100 кодирования изображения, представленное на фиг. 27, представляет собой устройство, выполненное с возможностью выполнения многоуровневого кодирования изображения (масштабируемого кодирования). Как представлено на фиг. 27, устройство 100 кодирования изображения включает в себя модуль 101 кодирования изображения основного уровня, модуль 102 кодирования изображения уровня расширения, модуль 103 мультиплексирования и модуль 104 управления.

Модуль 101 кодирования изображения основного уровня кодирует изображение основного уровня и генерирует поток кодирования изображения основного уровня. Модуль 102 кодирования изображения уровня расширения кодирует изображение уровня расширения и генерирует поток кодирования изображения уровня расширения. Модуль 103 мультиплексирования мультиплексирует поток кодирования изображения основного уровня, генерируемый в модуле 101 кодирования изображения основного уровня, и поток кодирования изображения уровня расширения, генерируемый в модуле 102 кодирования изображения уровня расширения, и генерирует поток кодирования многоуровневого изображения. Модуль 103 мультиплексирования передает сгенерированный поток кодирования многоуровневого изображения на сторону декодирования.

Модуль 104 управления выполняет установки, относящиеся ко всем данным изображения, управляет модулем 101 кодирования изображения основного уровня, и модулем 102 кодирования изображения уровня расширения на основе установок, и, таким образом, управляет кодированием каждого из уровней. Кроме того, модуль 104 управления генерирует набор видеопараметра (VPS), используя установки, подает этот параметр в модуль 103 мультиплексирования, и передает этот параметр на сторону декодирования. В этом случае набор видеопараметра может быть передан так, что он будет включен в поток кодирования многоуровневого изображения или может быть передан, как данные, отдельные от потока кодирования многоуровневого изображения.

Кроме того, когда информация определения нагрузки декодирования или информация, обозначающая, установлена ли информация нагрузки декодирования, установлена в наборе видеопараметра (VPS), модуль 104 управления собирает информацию определения нагрузки декодирования и т.п. из модуля 101 кодирования изображения основного уровня, и модуля 102 кодирования изображения уровня расширения, и устанавливает информацию определения нагрузки декодирования или информацию, обозначающую, установлена ли информация определения нагрузки декодирования в наборе видеопараметра (VPS) на основе информации.

Кроме того, модуль 101 кодирования изображения основного уровня и модуль 102 кодирования изображения уровня расширения могут выполнять обмен информацией нагрузки декодирования, которая представляет собой информацию о величине нагрузки обработки декодирования, друг с другом. Например, как представлено на примере на фиг. 11, когда установлена информация определения нагрузки декодирования для множества уровней, модуль кодирования уровня собирает информацию, относящуюся к нагрузке декодирования других уровней.

Модуль кодирования изображения основного уровня

На фиг. 28 показана блок-схема, иллюстрирующая основной пример конфигурации модуля 101 кодирования изображения основного уровня по фиг. 27. Как представлено на фиг. .28, модуль 101 кодирования изображения основного уровня включает в себя модуль 111 A/D преобразования, буфер 112 изменения компоновки экрана, модуль 113 расчетов, модуль 114 ортогонального преобразования, модуль 115 квантования, модуль 116 обратимого кодирования, буфер 117 накопления, модуль 118 обратного квантования и модуль 119 обратного ортогонального преобразования. Кроме того, модуль 101 кодирования изображения основного уровня включает в себя модуль 120 расчетов, контурный фильтр 121, запоминающее устройство 122 кадра, модуль 123 выбора, модуль 124 прогнозирования внутри кадра, модуль 125 прогнозирования между кадрами, модуль 126 выбора изображения прогнозирования и модуль 127 управления скоростью.

Модуль 111 A/D преобразования выполняет A/D преобразование данных входного изображения (информации изображения основного уровня) и подает, и сохраняет преобразованные данные изображения (цифровые данные) в буфере 112 изменения компоновки экрана. Буфер 112 изменения компоновки экрана выполняет изменение компоновки изображения кадров из сохраненного порядка отображения, в соответствии с порядком кадров для кодирования, в зависимости от группы изображений (GOP), и подает изображение, порядок кадров которого был изменен, в модуль 113 расчетов. Кроме того, буфер 112 изменения компоновки экрана подает изображение, в котором порядок кадра был изменен, в модуль 124 прогнозирования внутри кадра и в модуль 125 прогнозирования между кадрами.

Модуль 113 расчетов вычитает изображение прогнозирования, подаваемое из модуля 124 прогнозирования внутри кадра или модуля 125 прогнозирования между кадрами, из модуля выбора 126 изображения прогнозирования, из изображения, считываемого из буфера 112 изменения компоновки экрана, и выводит его информацию разности в модуль 114 ортогонального преобразования. Например, в изображении, в котором выполняется кодирование внутри кадра, модуль 113 расчетов вычитает изображение прогнозирования, подаваемое из модуля 124 прогнозирования внутри кадра, из изображения, считываемого из буфера 112 изменения компоновки экрана. Кроме того, например, в изображении, в котором выполняется кодирование между кадрами, модуль 113 расчетов вычитает изображение прогнозирования, подаваемое из модуля 125 прогнозирования между кадрами, из изображения, считываемого из буфера 112 изменения компоновки экрана.

Модуль 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва разностной информации, подаваемой из модуля 113 расчетов. Модуль 114 ортогонального преобразования подает его коэффициент преобразования в модуль 115 квантования.

Модуль 115 квантования квантует коэффициент преобразования, поданный из модуля 114 ортогонального преобразования. Модуль 115 квантования устанавливает параметры квантования на основе информации о целевом значении величины кода, подаваемого из модуля 127 управления скоростью, и выполняет его квантование. Модуль 115 квантования подает квантованный коэффициент преобразования в модуль 116 реверсивного кодирования.

Модуль 116 реверсивного кодирования кодирует коэффициент преобразования, квантованный в модуле 115 квантования, используя произвольную схему кодирования. Поскольку данные коэффициента квантуют под управлением модуля 127 управления скоростью, величина кода становится целевым значением (или аппроксимирует целевое значение), установленное модулем 127 управления скоростью.

Кроме того, модуль 116 реверсивного кодирования получает информацию, обозначающую режим прогнозирования внутри кадра, из модуля 124 прогнозирования внутри кадра, и получает информацию, обозначающую режим прогнозирования между кадрами, или информацию дифференциального вектора движения из модуля 125 прогнозирования между кадрами. Кроме того, модуль 116 реверсивного кодирования соответствующим образом генерирует модуль уровня абстракции сети (NAL) основного уровня, включающего в себя набор параметра последовательности (SPS), набор параметров изображения (PPS) и т.п.

Модуль 116 реверсивного кодирования кодирует различные части информации, используя произвольную схему кодирования, и устанавливает информацию, как часть кодированных данных (также называется "потоком кодирования") (мультиплексирует). Модуль 116 реверсивного кодирования подает и накапливает кодированные данные, полученные путем кодирования, в буфер 117 накопления.

Примеры схемы кодирования модуля 116 реверсивного кодирования включают в себя кодирование переменной длины и арифметическое кодирование. Примеры кодирования переменной длины включают в себя адаптивное к контексту кодирование переменной длины, (CAVLC), определенное в схеме Н.264 или в схеме AVC. Примеры арифметического кодирования включают в себя адаптивное к контексту двоичное арифметическое кодирование (САВАС).

Буфер 117 накопления временно содержит поток кодирования (поток кодирования основного уровня), подаваемый из модуля 116 реверсивного кодирования. Буфер 117 накопления выводит содержащийся в нем поток кодирования основного уровня в модуль 103 мультиплексирования (фиг. 27) в заданные моменты времени. Таким образом, буфер 117 накопления также используется, как модуль передачи, выполненный с возможностью передачи потока кодирования основного уровня.

Кроме того, коэффициент преобразования, квантованный в модуле 115 квантования, также подают в модуль 118 обратного квантования. Модуль 118 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования, используя способ, соответствующий квантованию, с помощью модуля 115 квантования. Модуль 118 обратного квантования подает полученный коэффициент преобразования в модуль 119 обратного ортогонального преобразования.

Модуль 119 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, переданного из модуля 118 обратного квантования, используя способ, соответствующий обработке ортогонального преобразования, выполняемой модулем 114 ортогонального преобразования. Выход после обратного ортогонального преобразования (восстановленная разностная информация) поступает в модуль 120 расчетов.

Модуль 120 расчетов суммирует изображение прогнозирования из модуля 124 прогнозирования внутри кадра или модуля 125 прогнозирования между кадрами через модуль 126 выбора изображения прогнозирования с восстановленной разностной информацией, которая представляет собой результат обратного ортогонального преобразования, поданный из модуля 119 обратного ортогонального преобразования, и получает локально декодированное изображение (декодированное изображение). Декодированное изображение подают в контурный фильтр 121 или в запоминающее устройство 122 кадра.

Контурный фильтр 121 включает в себя фильтр удаления блоков, контурный фильтр адаптации и т.п., и выполняет соответствующую обработку фильтрации для реконструированного изображения, подаваемого из модуля 120 расчетов. Например, контурный фильтр 121 выполняет обработку фильтра удаления блоков для реконструированного изображения и, таким образом, удаляет искажение блоков реконструированного изображения. Кроме того, например, контурный фильтр 121 выполняет обработку контурного фильтра для результата обработки фильтра удаления блоков (реконструированное изображение, в котором было удалено искажение блоков), используя фильтр Винера, для улучшения качества изображения. Контурный фильтр 121 подает результат обработки фильтра (ниже также называется "декодируемым изображением") в запоминающее устройство 122 кадра.

Кроме того, контурный фильтр 121 может дополнительно выполнять любую другую обработку фильтра для реконструированного изображения. Кроме того, контурный фильтр 121 может подавать информацию о коэффициенте фильтра и т.п., используемом при обработке фильтра, в модуль 116 реверсивного кодирования, в соответствии с необходимостью, и может кодировать информацию.

В запоминающем устройстве 122 кадра содержится подаваемое декодируемое изображение, и оно передает сохраненное декодируемое изображение в модуль 123 выбора, как опорное изображение, в заданные моменты времени.

Более конкретно, в запоминающем устройстве 122 кадра содержится реконструированное изображение, переданное из модуля 120 расчетов, и декодированное изображение, переданное из контурного фильтра 121. Запоминающее устройство 122 кадра подает сохраненное реконструированное изображение в модуль 124 прогнозирования внутри кадра через модуль 123 выбора, в заданные моменты времени или на основе запроса, поступающего снаружи, например, из модуля 124 прогнозирования внутри кадров. Кроме того, запоминающее устройство 122 кадра подает сохраненное декодированное изображение в модуль 125 прогнозирования между кадрами через модуль 123 выбора, в заданные моменты времени или на основе запроса, поступающего снаружи, например, из модуля 125 прогнозирования между кадрами.

Модуль 123 выбора выбирает место назначения подачи опорного изображения, подаваемого из запоминающего устройства 122 кадра. Например, при прогнозировании внутри кадров, модуль 123 выбора подает опорное изображение (значение пикселя в текущем изображении или декодированное изображение основного уровня), подаваемое из запоминающего устройства 122 кадра, в модуль 124 прогнозирования внутри кадра. Кроме того, например, при прогнозировании между кадрами, модуль 123 выбора подает другое опорное изображение (декодированное изображение, чем текущее изображение уровня расширения или декодированное изображение основного уровня), подаваемое из запоминающего устройства 122 кадра, в модуль 125 прогнозирования между кадрами.

Модуль 124 прогнозирования внутри кадра выполняет обработку прогнозирования для текущего изображения, которое представляет собой изображение кадров, представляющих собой цели обработки, и генерирует изображение прогнозирования. Модуль 124 прогнозирования внутри кадра выполняет обработку прогнозирования для каждого заданного блока (используя блок в качестве модуля обработки). Таким образом, модуль 124 прогнозирования внутри кадров генерирует изображение прогнозирования текущего блока, который представляет собой цель обработки текущего изображения. В этом случае модуль 124 прогнозирования внутри кадра выполняет обработку прогнозирования (прогнозирование на экране (также называется "прогнозированием внутри кадра")), используя реконструированное изображение, подаваемое из запоминающего устройства 122 кадра, через модуль 123 выбора, в качестве опорного изображения. Таким образом, модуль 124 прогнозирования внутри кадра генерирует изображение прогнозирования, используя значение пикселя на внешней кромке текущего блока, включенного в реконструированное изображение. Периферийное значение пикселя, используемое при прогнозировании внутри кадра, представляет собой значение пикселя для пикселя, который был обработан, текущего изображения. При прогнозировании внутри кадра (то есть в способе генерирования изображения прогнозирования), множество способов (также называются "режимами прогнозирования внутри кадра") подготавливают заранее в качестве кандидатов. Модуль 124 прогнозирования внутри кадра выполняет прогнозирование внутри кадра во множестве режимов прогнозирования внутри кадров, подготовленных заранее.

Модуль 124 прогнозирования внутри кадра генерирует изображение прогнозирования во всех режимах прогнозирования внутри кадров, используемых в качестве кандидатов, выполняет оценку значения функции стоимости каждого прогнозируемого изображения, используя входное изображение, подаваемое из буфера 112 изменения компоновки экрана, и выбирает оптимальный режим. Когда будет выбран оптимальный режим прогнозирования внутри кадров, модуль 124 прогнозирования внутри кадра подает изображение прогнозирования, сгенерированное в оптимальном режиме, в модуль 126 выбора изображения прогнозирования.

Кроме того, как описано выше, модуль 124 прогнозирования внутри кадра соответствующим образом подает информацию режима прогнозирования внутри кадра, обозначающую используемый режим прогнозирования внутри кадра и т.п., в модуль 116 реверсивного кодирования, и кодирует ее.

Модуль 125 прогнозирования между кадрами выполняет обработку прогнозирования для текущего изображения и генерирует изображение прогнозирования. Модуль 125 прогнозирования между кадрами выполняет обработку прогнозирования для каждого заданного блока (используя блок в качестве модуля обработки). Таким образом, модуль 125 прогнозирования между кадрами генерирует изображение прогнозирования текущего блока, который представляет собой цель обработки текущего изображения. В этом случае модуль 125 прогнозирования между кадрами выполняет обработку прогнозирования, используя данные изображения для входного изображения, подаваемого из буфера 112 изменения компоновки экрана, и данные изображения декодированного изображения, подаваемого из запоминающего устройства 122 кадра, в качестве опорного изображения. Декодируемое изображение представляет собой изображение (другое изображение, чем текущее изображение) кадров, которые обрабатывают перед текущим изображением. Таким образом, модуль 125 прогнозирования между кадрами выполняет обработку прогнозирования (прогнозирование между экранами (также называется "прогнозированием между кадрами")), состоящую в генерировании изображения прогнозирования, используя другое изображение.

Прогнозирование между кадрами выполняют, используя прогнозирование движения и компенсацию движения. Более конкретно, модуль 125 прогнозирования между кадрами использует входное изображение и опорное изображение, выполняет прогнозирование движения для текущего блока и детектирует вектор движения. Поэтому модуль 125 прогнозирования между кадрами использует опорное изображение, выполняет обработку компенсации движения, в соответствии с детектированным вектором движения, и генерирует изображение прогнозирования (информацию изображения прогнозирования между кадрами) для текущего блока. При прогнозировании между кадрами (то есть, в способе генерирования изображения прогнозирования), заранее подготавливают множество способов (также называются "режимами прогнозирования между кадрами") в качестве кандидатов. Модуль 125 прогнозирования между кадрами выполняет такое прогнозирование между кадрами во множестве подготовленных заранее режимов прогнозирования между кадрами.

Модуль 125 прогнозирования между кадрами генерирует изображение прогнозирования во всех режимах прогнозирования между кадрами, используемых в качестве кандидатов. Модуль 125 прогнозирования между кадрами использует входное изображение, подаваемое из буфера 112 изменения компоновки экрана, и информацию сгенерированного разностного вектора движения, выполняет оценку значения функции стоимости каждого прогнозируемого изображения и выбирает оптимальный режим. Когда выбран оптимальный режим прогнозирования между кадрами, модуль 125 прогнозирования между кадрами подает изображение прогнозирования, сгенерированное в оптимальном режиме, в модуль 126 выбора изображения прогнозирования.

Когда декодируют информацию, обозначающую используемый режим прогнозирования между кадрами, или кодированные данные, модуль 125 прогнозирования между кадрами подает информацию, необходимую для выполнения обработки в режиме прогнозирования между кадрами и т.п., в модуль 116 реверсивного кодирования, и кодирует ее. В качестве необходимой информации можно представить, например, информацию сгенерированного разностного вектора движения или флаг, обозначающий индекс прогнозируемого вектора движения, в качестве прогнозируемой информации вектора движения.

Модуль 126 выбора изображения прогнозирования выбирает источник подачи изображения прогнозирования, переданного в модуль 113 расчетов или в модуль 120 расчетов. Например, при кодировании внутри кадра, модуль 126 выбора изображения прогнозирования выбирает модуль 124 прогнозирования внутри кадра, в качестве источника подачи изображения прогнозирования, и подает изображение прогнозирования, переданное из модуля 124 прогнозирования внутри кадра, в модуль 113 расчетов или в модуль 120 расчетов. Кроме того, например, при кодировании между кадрами, модуль 126 выбора изображения прогнозирования выбирает модуль 125 прогнозирования между кадрами, в качестве источника подачи изображения прогнозирования, и подает изображение прогнозирования, переданное из модуля 125 прогнозирования между кадрами, в модуль 113 расчетов или в модуль 120 расчетов.

Модуль 127 управления скоростью управляет скоростью операции квантования модуля 115 квантования на основе количества кодов кодированных данных, накопленных в буфере 117 накопления, таким образом, что не возникает переполнение или потеря значимости.

Кроме того, запоминающее устройство 122 кадров подает сохраненное декодированное изображение основного уровня в модуль 102 кодирования изображения уровня расширения.

Кроме того, как представлено на фиг. 28, модуль 101 кодирования изображения основного уровня дополнительное включает в себя модуль 128 генерирования информации заголовка.

Модуль 128 генерирования информации заголовка генерирует информацию заголовка, такую как набор параметра последовательности (SPS) или MCTS SEI. В этом случае, как описано в первом варианте осуществления, модуль 128 генерирования информации заголовка выполняет обработку установки информации определения нагрузки декодирования для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области. Например, модуль 128 генерирования информации заголовка может получать информацию, относящуюся к декодированию заголовка основного уровня, из модуля 116 реверсивного кодирования и может генерировать декодированную информацию определения нагрузки независимо декодируемой частичной области основного уровня на основе информации, относящейся к нагрузке декодирования. Кроме того, модуль 128 генерирования информации заголовка может получать, например, информацию, относящуюся к нагрузке декодирования уровня расширения, из модуля 102 кодирования изображения уровня расширения, и может генерировать информацию определения нагрузки декодирования независимо декодируемой частичной области уровня расширения на основе информации, относящейся к нагрузке декодирования.

Кроме того, модуль 128 генерирования информации заголовка может подавать информацию определения нагрузки декодирования и т.п. в модуль 104 управления, и обеспечивать возможность выполнения установок для информации определения нагрузки декодирования в наборе видеопараметра.

Модуль кодирования изображения уровня расширения

На фиг. 29 показана блок-схема, поясняющая основной пример конфигурации модуля 102 кодирования изображения уровня расширения по фиг. 27. Как пояснялось со ссылкой на фиг. 29, модуль 102 кодирования изображения уровня расширения, в основном, имеет ту же самую конфигурацию, как и модуля 101 кодирования изображения основного уровня по фиг. 28.

Таким образом, как пояснялось со ссылкой на фиг. 29, модуль 102 кодирования изображения уровня расширения включает в себя модуль 131 A/D преобразования, буфер 132 изменения компоновки экрана, модуль 133 расчетов, модуль 134 ортогонального преобразования, модуль 135 квантования, модуль 136 обратимого кодирования, буфер 137 накопления, модуль 138 обратного квантования и модуль 139 обратного ортогонального преобразования. Кроме того, модуль 102 кодирования изображения уровня расширения включает в себя модуль 140 расчетов, контурный фильтр 141, запоминающее устройство 142 кадра, модуль 143 выбора, модуль 144 прогнозирования внутри кадра, модуль 145 прогнозирования между кадрами, модуль 146 выбора изображения прогнозирования и модуль 147 управления скоростью.

От модуля 131 A/D преобразования до модуля 147 управления скоростью соответствуют и выполняют ту же обработку, что и от модуля 111 A/D преобразования до модуля 127 управления скоростью на фиг. 28. Однако соответствующие модули модуля 102 кодирования изображения в уровне расширения выполняют обработку кодирования информации изображения уровня расширения, вместо основного уровня. Поэтому, когда описывают обработку, выполняемую модулем 131 A/D преобразования - модулем 147 управления скоростью, можно применять представленное выше описание от модуля 111 A/D преобразования до модуля 127 управления скоростью на фиг. 28. Однако в этом случае необходимо, чтобы данные, предназначенные для обработки, были, скорее, данными уровня расширения, чем данными основного уровня. Кроме того, необходимо соответствующим образом заменять модуль Обработки входного источника или место назначения вывода данных, которые соответствуют модулю обработки, среди модуля 131 A/D преобразования - модуля 147 управления скоростью, и считывать их.

Модуль 102 кодирования изображения уровня расширения дополнительно включает в себя модуль 148 генерирования информации заголовка.

Модуль 148 генерирования информации заголовка соответствует модулю 128 генерирования информации заголовка на фиг. 28 и выполняет ту же обработку, что и модуль 128 генерирования информации заголовка. Однако модуль 148 генерирования информации заголовка выполняет обработку скорее уровня расширения, чем основного уровня.

В качестве альтернативы, когда информация определения нагрузки декодирования уровня расширения также формируется в модуле 128 генерирования информации заголовка основного уровня, модуль 148 генерирования информации заголовка уровня расширения может быть исключен.

Модуль генерирования информации заголовка

На фиг. 30 показана схема, иллюстрирующая примерную конфигурацию функциональных блоков модуля 128 генерирования информации заголовка на фиг. 28. В модуле 128 генерирования информации заголовка, например, когда выполняется программа, считываемая CPU из ROM и т.п., используя RAM, выполняется описанная выше обработка, и, таким образом, воплощаются различные функциональные блоки, представленные на фиг. 30.

Как показано на фиг. 30, модуль 128 генерирования информации заголовка включает в себя модуль 151 получения информации, относящейся к нагрузке декодирования, модуль 152 генерирования MCTS SEI и модуль 153 генерирования SPS.

Модуль 151 получения информации, относящейся к нагрузке декодирования, получает информацию о нагрузке при обработке декодирования, которая используется для генерирования информации определения нагрузки декодирования независимо декодируемой частичной области. По мере того, как она используется для генерирования информации определения нагрузки декодирования, может использоваться любое содержание информации о нагрузке обработки декодирования.

Как описано в первом варианте осуществления, модуль 152 генерирования MCTS SEI генерирует MCTS SEI, включающее в себя информацию определения нагрузки декодирования, независимо от декодируемой частичной области. Таким образом, модуль 152 генерирования MCTS SEI устанавливает информацию определения нагрузки декодирования для независимо декодируемой частичной области в MCTS SEI. Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования. Кроме того, когда уровень определен в модуле частичной области, модуль 152 генерирования MCTS SEI также определяет параметр уровня для частичной области, как описано в первом варианте осуществления. Определение может быть назначено (выполнено отображение параметра) для определения уровня модуля всего изображения (изображения).

Как описано в первом варианте осуществления, модуль 153 генерирования SPS генерирует набор параметра последовательности (SPS), включающий в себя информацию определения нагрузки декодирования независимо декодируемой частичной области или информацию, обозначающую, установлена ли информация определения нагрузки декодирования независимо декодируемой частичной области в MCTS SEI (также называется совместно "информацией определения нагрузки декодирования"). Таким образом, модуль 153 генерирования SPS устанавливает информацию определения нагрузки декодирования независимо декодируемой частичной области в наборе параметра последовательности (SPS). Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования.

Кроме того, как описано в первом варианте осуществления, информация определения нагрузки декодирования независимо декодируемой частичной области установлена только в MCTS SEI, и эта информация может не быть установлена в наборе параметра последовательности (SPS). В этом случае, модуль 153 генерирования SPS может быть исключен.

Поток обработки кодирования изображения

Далее будет описан поток обработки, выполняемой устройством 100 кодирования изображения, описанным выше. Вначале, со ссылкой на блок-схему последовательности операций, показанную на фиг. 31, будет описан примерный поток обработки кодирования изображения.

Когда начинается обработка кодирования изображения, модуль 104 управления устройством 100 кодирования изображения выполняет установку всего масштабируемого кодирования на этапе S101.

На этапе S102, модуль 104 управления управляет соответствующими модулями от модуля 101 кодирования изображения основного уровня до модуля 103 мультиплексирования, в соответствии с установками, выполненными на этапе S101.

На этапе S103, модуль 104 управления генерирует набор видео параметров (VPS), применяя установки, выполненные на этапе S101.

На этапе S104, модуль 101 кодирования изображения основного уровня кодирует данные изображения основного уровня.

На этапе S105 модуль 102 кодирования изображения уровня расширения кодирует данные изображения уровня расширения.

На этапе S106 модуль 103 мультиплексирования мультиплексирует поток кодирования изображения основного уровня, генерируемый на этапе S104, и поток кодирования изображения уровня расширения, генерируемый на этапе S105 (то есть потоки битов уровней), и генерирует поток кодирования многоуровневого изображения одной системы. Кроме того, модуль 103 мультиплексирования включает набор видеопараметра (VPS), сгенерированный на этапе S103, в поток кодирования многоуровневого изображения, в соответствии с необходимостью. Модуль 103 мультиплексирования выводит поток кодирования многоуровневого изображения и передает этот поток на сторону декодирования.

Когда обработка на этапе S106 заканчивается, устройство 100 кодирования изображения заканчивает обработку кодирования изображения. Одно изображение обрабатывается при такой обработке кодирования изображения. Поэтому устройство 100 кодирования изображения многократно выполняет такую обработку кодирования изображения для каждого изображения данных многоуровневого движущегося изображения. Однако обработка, которая не обязательно выполняется для каждого изображения, например, обработка на этапах S101-S103, соответствующим образом исключена.

Поток обработки кодирования основного уровня

Затем, на этапе S104, на фиг. 31, со ссылкой на блок-схему последовательности операций на фиг. 32, будет описан пример потока обработки кодирования основного уровня, выполняемой модулем 101 кодирования изображения основного уровня.

Когда начинается обработка кодирования основного уровня, модуль 111 A/D преобразования модуля 101 кодирования изображения основного уровня выполняет A/D преобразование изображения кадров (изображений) входного движущегося изображения на этапе S121.

На этапе S122 в буфере 112 изменения компоновки экрана сохраняется изображение, для которого было выполнено A/D преобразование на этапе S121, и выполняется изменение компоновки в соответствии с порядком кодирования из порядка отображения изображений.

На этапе S123, модуль 124 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра в режиме прогнозирования внутри кадра.

На этапе S124 модуль 125 прогнозирования между кадрами выполняет обработку прогнозирования между кадрами, в которой выполняется прогнозирование движения или компенсация движения в режиме прогнозирования между кадрами.

На этапе S125 модуль 126 выбора изображения прогнозирования выбирает изображение прогнозирования на основе значения функции стоимости и т.п. Таким образом, модуль 126 выбора изображения прогнозирования выбирает любое изображение прогнозирования, сгенерированное при прогнозировании внутри кадра на этапе S123, и изображение прогнозирования, сгенерированное путем прогнозирования между кадрами на этапе S124.

На этапе S126 модуль 113 расчетов рассчитывает разность между входным изображением, порядок кадра которого был изменен при обработке на этапе S122, и прогнозируемое изображение, выбранное при обработке на этапе S125. Таким образом, модуль 113 расчетов генерирует данные изображения в виде разностного изображения между входным изображением и прогнозируемым изображением. Данные разностного изображения, полученные таким образом, имеют меньшее количество данных, чем данные исходного изображения. Поэтому, по сравнению со случаем, когда изображение кодируют непосредственно, возможно сжать количество данных.

На этапе S127 модуль 114 ортогонального преобразования выполняет ортогональное преобразование данных изображения разностного изображения, сгенерированного при обработке на этапе S126.

На этапе S128 модуль 115 квантования использует параметр квантования, рассчитанный модулем 127 управления скоростью, и квантует коэффициент ортогонального преобразования, полученный при обработке на этапе S127.

На этапе S129 модуль 118 обратного квантования выполняет обратное квантование коэффициента (также называется "коэффициентом квантования"), сгенерированного и квантованного при обработке на этапе S128, используя характеристику, соответствующую характеристике модуля 115 квантования.

На этапе S130 модуль 119 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента ортогонального преобразования, полученного при обработке на этапе S129.

На этапе S131 модуль 120 расчетов добавляет прогнозируемое изображение, выбранное при обработке на этапе S125, к разностному изображению, восстановленному при обработке на этапе S130, и, таким образом, генерирует данные изображения реконструированного изображения.

На этапе S132 контурный фильтр 121 выполняет обработку контурного фильтра для данных изображения реконструированного изображения, генерируемого при обработке на этапе S131. Поэтому, удаляются блочные искажения реконструированного изображения и т.п.

На этапе S133 запоминающее устройство 122 кадра сохраняет данные, такие как декодированное изображение (декодированное изображение основного уровня), полученные при обработке на этапе S132, или реконструированное изображение, полученное при обработке на этапе S131.

На этапе S134 модуль 116 реверсивного кодирования кодирует коэффициент, полученный и квантованный при обработке на этапе S128. Таким образом, реверсивное кодирование, такое как кодирование переменной длины или арифметическое кодирование, выполняют для данных, соответствующих разностному изображению.

Кроме того, в этом случае, модуль 116 реверсивного кодирования кодирует информацию о режиме прогнозирования прогнозируемого изображения, выбранного при обработке на этапе S125, и добавляет разностное изображение к кодированным данным, полученным в результате кодирования. Таким образом, модуль 116 реверсивного кодирования также кодирует оптимальную информацию режима прогнозирования внутри кадра, подаваемую из модуля 124 прогнозирования внутри кадра, или информацию, соответствующую оптимальному режиму прогнозирования между кадрами, подаваемую из модуля 125 прогнозирования между кадрами, и добавляет результат к кодированным данным.

На этапе S135 модуль 128 генерирования информации заголовка генерирует информацию заголовка различных нулевых модулей и т.п. Генерируемую информацию заголовка подают в модуль 116 обратимого кодирования и добавляют к кодированным данным.

На этапе S136 буфер 117 накопления накапливает кодированные данные (поток кодирования изображения основного уровня), полученные при обработке на этапе S134 и на этапе S135. Поток кодирования изображения основного уровня, накопленный в буфере 117 накопления, соответствующим образом считывают, подают в модуль 103 мультиплексирования, мультиплексируют с потоком кодирования изображения уровня расширения и затем передают на сторону декодирования через путь передачи или носитель записи.

На этапе S137, модуль 127 управления скоростью управляет скоростью операции квантования модуля 115 квантования на основе количества кода (количества генерируемых кодов) кодированных данных, накопленных в буфере 117 накопления при обработке на этапе S136 так, чтобы не возникали переполнение или потеря значимости. Кроме того, модуль 127 управления скоростью подает информацию о параметре квантования в модуль 115 квантования.

Когда обработка на этапе S137 заканчивается, обработка кодирования основного уровня заканчивается, и обработка возвращается на фиг. 31.

Поток обработки кодирования уровня расширения

Затем, на этапе S105 на фиг. 31 будет описан примерный поток обработки кодирования уровня расширения, выполняемой модулем 102 кодирования изображения уровня, со ссылкой на блок-схему последовательности операций на фиг. 33.

Соответствующая обработка (этапы S141-S157) обработки кодирования уровня расширения соответствует соответствующей обработке (этапы S121-S137) при обработке кодирования основного уровня и выполняются, в основном, таким же образом, как и эта обработка. В то время как обработка кодирования основного уровня выполняется на основном уровне, соответствующая обработка (этапы S141-S157) кодирования уровня расширения выполняется на уровне расширения.

Кроме того, когда информация определения нагрузки декодирования независимо декодируемой частичной области установлена только в основном уровне, установка информации определения нагрузки декодирования может быть исключена на этапе S155.

Когда обработка на этапе S157 заканчивается, обработка кодирования уровня расширения заканчивается, и обработка возвращается на фиг. 31.

Поток обработки генерирования заголовка

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 34, будет описан примерный поток обработки генерирования заголовка, выполняемой на этапе S135 на фиг. 32.

Когда начинается обработка генерирования заголовка, модуль 128 генерирования информации заголовка генерирует различные части информации заголовка, например, набор параметра последовательности (SPS), SEI, набор параметра изображения (PPS) и заголовок среза (SliceHeader), на этапе S161.

На этапе S162 модуль 151 получения информации, относящейся к нагрузке декодирования, получает информацию, относящуюся к нагрузке декодирования, которая представляет собой информацию о нагрузке при обработке декодирования частичной области, необходимой для генерирования информации определения нагрузки декодирования независимо декодируемой частичной области. Кроме того, когда устанавливают информацию определения нагрузки декодирования уровня расширения, также получают соответствующую информацию нагрузки декодирования из уровня расширения. Если только оно используется для генерирования информации определения нагрузки декодирования, может использоваться любое содержание соответствующей информации нагрузки декодирования.

На этапе S163 модуль 152 генерирования MCTS SEI устанавливает информацию определения нагрузки декодирования частичной области в MCTS SEI независимо декодируемой частичной области, генерируемой на этапе S161. Например, модуль 152 генерирования MCTS SEI устанавливает информацию определения нагрузки декодирования, как описано со ссылкой на синтаксисы на фиг. 9-26 в первом варианте осуществления.

Например, как представлено на фиг. 10, когда независимо декодируемая частичная область включает в себя множество наборов (множество элементов мозаичного изображения), модуль 152 генерирования MCTS SEI использует информацию, относящуюся к нагрузке декодирования каждого элемента мозаичного изображения, и устанавливает информацию, относящуюся к нагрузке декодирования, для каждого набора. Кроме того, модуль 152 генерирования MCTS SEI может использовать информацию, относящуюся к нагрузке декодирования, каждого элемента мозаичного изображения, и устанавливать информацию определения нагрузки декодирования всей частичной области.

Кроме того, когда существует множество независимо декодируемых частичных областей, модуль 152 генерирования MCTS SEI может устанавливать информацию определения нагрузки декодирования для каждой частичной области. Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования.

На этапе S164 модуль 153 установки SPS устанавливает информацию определения нагрузки декодирования независимо декодируемой частичной области, или информацию (также называется "информацией по определению нагрузки декодирования"), обозначающую, установлена ли информация определения нагрузки декодирования частичной области в MCTS SEI, в наборе параметра последовательности (SPS), сгенерированной на этапе S161. Содержание информации по определению нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования.

Когда заканчивается обработка на этапе S164, обработка генерирования информации заголовка заканчивается, и обработка возвращается на фиг. 32.

Кроме того, как описано в первом варианте осуществления, информация определения нагрузки декодирования независимо декодируемой частичной области установлена только в MCTS SEI, и эта информация не может быть установлена в наборе параметра последовательности (SPS). В этом случае обработка на этапе S164 может быть исключена.

Кроме того, на этапе S163, когда уровень определен в модуле частичной области, модуль 152 генерирования MCTS SEI также определяет параметр уровня для частичной области, как описано в первом варианте осуществления. Определение может быть назначено для определения уровня всего модуля изображения (изображение) (выполняется отображение параметра).

Информация заголовка, установленная, как описано выше, поступает в модуль 116 обратимого кодирования и включена в кодированные данные.

Когда соответствующую обработку выполняют таким образом, устройство 100 кодирования изображения может более точно распознать рабочую характеристику, необходимую для декодирования.

Кроме того, когда информация определения нагрузки декодирования независимо декодируемой частичной области установлена на уровне расширения, модуль 148 генерирования информации заголовка может быть выполнен, как описано со ссылкой на блок-схему последовательности операций на фиг. 34. С другой стороны, когда информация определения нагрузки декодирования не установлена, может выполняться только обработка на этапе S161 на фиг. 34.

3. Третий вариант осуществления

Устройство декодирования изображения

Далее будет описано декодирование кодированных данных, которые были кодированы, как описано выше. На фиг. 35 показана блок-схема, иллюстрирующая пример основной конфигурации устройства декодирования изображения, соответствующего устройству 100 кодирования изображения, которое представляет собой аспект устройства обработки изображений, в котором применяется настоящая технология. Устройство 200 декодирования изображения, представленное на фиг. 35, декодирует кодированные данные, сгенерированные устройством 100 кодирования изображения, используя способ декодирования, соответствующий способу кодирования (то есть, иерархически декодирует кодированные данные, которые были иерархически кодированы). Как показано на фиг. 35, устройство 200 декодирования изображения включает в себя модуль 201 демультиплексирования, модуль 202 декодирования изображения основного уровня, модуль 203 декодирования изображения уровня расширения и модуль 204 управления.

Модуль 201 демультиплексирования принимает поток кодирования многоуровневого изображения, в котором мультиплексированы поток кодирования изображения основного уровня и поток кодирования изображения уровня расширения, передаваемые со стороны кодирования, демультиплексируют принятый поток и выделяет поток кодирования изображения основного уровня и поток кодирования изображения уровня расширения. Модуль 202 декодирования изображения основного уровня декодирует поток кодирования изображения основного уровня, выделенный модулем 201 демультиплексирования, и получает изображение основного уровня. Модуль 203 декодирования изображения уровня расширения декодирует поток кодирования изображения уровня расширения, выделенный модулем 201 демультиплексирования, и получает изображение уровня расширения.

Модуль 204 управления анализирует набор видеопараметра (VPS), подаваемый из модуля 201 демультиплексирования, и управляет модулем 202 декодирования изображения основного уровня и модулем 203 декодирования изображения уровня расширения на основе информации (управляет кодированием каждого из уровней).

Кроме того, модуль 204 управления получает результат анализа информации определения нагрузки декодирования в информации заголовка из модуля 202 декодирования изображения основного уровня и модуля 203 декодирования изображения уровня расширения и управляет операциями соответствующих модулей обработки устройства 200 декодирования изображения в соответствии с результатом анализа.

Модуль декодирования изображения основного уровня

На фиг. 36 показана блок-схема, иллюстрирующая основной пример конфигурации модуля 202 декодирования изображения основного уровня на фиг. 35. Как представлено на фиг. 36, модуль 202 декодирования изображения основного уровня включает в себя буфер 211 накопления, модуль 212 обратимого декодирования, модуль 213 обратного квантования, модуль 214 обратного ортогонального преобразования, модуль 215 расчетов, контурный фильтр 216, буфер 217 изменения компоновки экрана и модуль 218 D/A преобразования. Кроме того, модуль 202 декодирования изображения основного уровня включает в себя запоминающее устройство 219 кадра, модуль 220 выбора, модуль 221 прогнозирования внутри кадра, модуль 222 прогнозирования между кадрами и модуль 223 выбора изображения прогнозирования.

Буфер 211 накопления также используется, как модуль приема, выполненный с возможностью приема передаваемых кодированных данных (поток кодирования изображения основного уровня, подаваемый из модуля 201 демультиплексирования). Буфер 211 накопления принимает и накапливает переданные кодированные данные и подает эти кодированные данные в модуль 212 обратимого декодирования в заданные моменты времени. Информацию, необходимую для декодирования, такую как информация режима прогнозирования, добавляют к кодированным данным.

Модуль 212 обратимого декодирования декодирует информацию, которая поступает из буфера 211 накопления и была кодирована модулем 116 обратимого кодирования, используя схему декодирования, соответствующую схеме кодирования. Модуль 212 обратимого декодирования подает квантованные данные коэффициента разностного изображения, полученного в результате декодирования, в модуль 213 обратного квантования.

Кроме того, модуль 212 обратимого декодирования определяет, был ли выбран режим прогнозирования внутри кадров или режим прогнозирования между кадрами в качестве оптимального режима прогнозирования, и подает информацию об оптимальном режиме прогнозирования в режиме, который определен, как выбранный между модулем 221 прогнозирования внутри кадра и модулем 222 прогнозирования между кадрами. Таким образом, например, когда режим прогнозирования внутри кадра выбран, как оптимальный режим прогнозирования на стороне кодирования, информацию об оптимальном режиме прогнозирования (информацию о режиме прогнозирования внутри кадров) подают в модуль 221 прогнозирования внутри кадров. Кроме того, например, когда режим прогнозирования между кадрами выбран, как оптимальный режим прогнозирования на стороне кодирования, информацию об оптимальном режиме прогнозирования (информацию о режиме прогнозирования между кадрами) подают в модуль 222 прогнозирования между кадрами.

Кроме того, модуль 212 обратимого декодирования выделяет информацию, необходимую для обратного квантования, например, матрицу квантования или параметр квантования, из кодированных данных и подает эту информацию в модуль 213 обратного квантования.

Модуль 213 обратного квантования выполняет обратное квантование квантованных данных коэффициента, полученных в результате декодирования модуля 212 обратимого декодирования, используя схему, соответствующую схеме квантования модуля 115 квантования. Кроме того, модуль 213 обратного квантования является тем же модулем обработки, что и модуль 118 обратного квантования. Модуль 213 обратного квантования подает полученные данные коэффициента (коэффициента ортогонального преобразования) в модуль 214 обратного ортогонального преобразования.

Модуль 214 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента ортогонального преобразования, переданного из модуля 213 обратного квантования, используя схему, соответствующую схеме ортогонального преобразования модуля 114 ортогонального преобразования, в соответствии с необходимостью. Кроме того, модуль 214 обратного ортогонального преобразования представляет собой тот же модуль обработки, что и модуль 119 обратного ортогонального преобразования.

В соответствии с обработкой обратного ортогонального преобразования, восстанавливаются данные изображения для разностного изображения. Восстановленные данные изображения для разностного изображения соответствуют данным изображения разностного изображения перед выполнением ортогонального преобразования на стороне кодирования. В дальнейшем восстановленные данные изображения для разностного изображения, полученные в результате обработки обратного ортогонального преобразования в модуле 214 обратного ортогонального преобразования, также называются "декодированными остаточными данными". Модуль 214 обратного ортогонального преобразования подает декодированные остаточные данные в модуль 215 расчетов. Кроме того, данные изображения для прогнозируемого изображения подают из модуля 221 прогнозирования внутри кадра или модуля 222 прогнозирования между кадрами в модуль 215 расчетов через модуль 223 выбора прогнозируемого изображения.

Модуль 215 расчетов использует декодированные остаточные данные и данные изображения прогнозируемого изображения и получает данные изображения реконструированного изображения, которое представляет собой сумму разностного изображения и прогнозируемого изображения. Реконструированное изображение соответствует входному изображению перед вычитанием прогнозируемого изображения в модуле 113 расчетов. Модуль 215 расчетов подает реконструированное изображение в контурный фильтр 216.

Контурный фильтр 216 соответствующим образом выполняет обработку контурного фильтра, включая в себя обработку фильтра удаления блоков или обработку адаптивного контурного фильтра для переданного реконструированного изображения, и генерирует декодированное изображение. Например, контурный фильтр 216 выполняет обработку фильтра удаления блоков для реконструированного изображения и, таким образом, удаляет искажение блоков. Кроме того, например, контурный фильтр 216 выполняет обработку контурного фильтра для результата обработки фильтра удаления блоков (реконструированное изображение, в котором было удалено искажение блоков), используя фильтр Винера, для улучшения качества изображения.

Кроме того, тип обработки фильтра, выполняемой контурным фильтром 216, является произвольным, и может выполняться другая обработка фильтра, кроме описанной выше обработки. Кроме того, контурный фильтр 216 может выполнять обработку фильтра, используя коэффициент фильтра, подаваемый из устройства кодирования изображения. Кроме того, в контурном фильтре 216 может быть исключена такая обработка фильтра, и он может выводить входные данные без обработки фильтра.

Контурный фильтр 216 подает декодированное изображение (или реконструированное изображение), которое представляет собой результат обработки фильтра, в буфер 217 изменения компоновки экрана и в запоминающее устройство 219 кадра.

Буфер 217 изменения компоновки экрана изменяет компоновку кадров декодированного изображения. Таким образом, буфер 217 изменения компоновки экрана изменяет компоновку изображения кадров, компоновка которых была изменена на порядок кодирования в буфере 112 изменения компоновки экрана, в соответствии с исходным порядком отображения. Таким образом, буфер 217 изменения компоновки экрана сохраняет данные изображения декодированного изображения кадров, подаваемых в порядке кодирования в этом порядке, считывает данные изображения декодированного изображения кадров, сохраненных в порядке кодирования, и подает результат в модуль 218 D/A преобразования в порядке отображения. Модуль 218 D/A преобразования выполняет D/A преобразование декодированного изображения (цифровые данные) кадров, подаваемых из буфера 217 изменения компоновки экрана, и выводит, и отображает результат на дисплее (не показан) как аналоговые данные.

Запоминающее устройство 219 кадра сохраняет переданное декодированное изображение и подает сохраненное декодированное изображение в модуль 221 прогнозирования внутри кадра или в модуль 222 прогнозирования между кадрами через модуль 220 выбора, как опорное изображение, в заданные моменты времени или на основе запроса извне, такого как модуля 221 прогнозирования внутри кадров или модуля 222 прогнозирования между кадрами.

Информация о режиме прогнозирования внутри кадра и т.п. соответствующим образом поступает в модуль прогнозирования 221 внутри кадра из модуля 212 обратимого декодирования. Модуль 221 прогнозирования внутри кадра выполняет прогнозирование внутри кадра в режиме прогнозирования внутри кадра (оптимальный режим прогнозирования внутри кадра), используемом в модуле 124 прогнозирования внутри кадра, и генерирует прогнозируемое изображение. В этом случае модуль 221 прогнозирования внутри кадра выполняет прогнозирование внутри кадра, используя данные изображения реконструированного изображения, подаваемого из запоминающего устройства 219 кадра через модуль 220 выбора. Таким образом, модуль 221 прогнозирования внутри кадра использует реконструированное изображение, как опорное изображение (периферийный пиксель). Модуль 221 прогнозирования внутри кадра подает сгенерированное изображение прогнозирования в модуль 223 выбора изображения прогнозирования.

Оптимальную информацию режима прогнозирования, информацию движения и т.п. соответствующим образом подают в модуль 222 прогнозирования между кадрами из модуля 212 обратимого декодирования. Модуль 222 прогнозирования между кадрами выполняет прогнозирование между кадрами, используя декодированное изображение (опорное изображение), полученное из запоминающего устройства 219 кадра в режиме прогнозирования между кадрами (оптимальный режим прогнозирования между кадрами), обозначенном информацией режима оптимального прогнозирования, полученной из модуля 212 обратимого декодирования, и генерирует изображение прогнозирования.

Модуль 223 выбора изображения прогнозирования подает прогнозируемое изображение, поданное из модуля 221 прогнозирования внутри кадров, или прогнозируемое изображение, поданное из модуля 222 прогнозирования между кадрами, в модуль 215 расчетов. Поэтому в модуле 215 расчетов прогнозируемое изображение и декодированные остаточные данные (информацию разностного изображении) из модуля 214 обратного ортогонального преобразования суммируют для получения реконструированного изображения.

Кроме того, запоминающее устройство 219 кадров подает сохраненное декодированное изображение основного уровня в модуль 203 декодирования изображения уровня расширения.

Модуль 202 декодирования изображения основного уровня дополнительно включает в себя модуль 224 анализа информации заголовка. Модуль 224 анализа информации заголовка получает информацию заголовка, выделенную из потока кодирования модулем 212 обратимого декодирования, и анализирует эту информацию. Например, модуль 224 анализа информации заголовка анализирует информацию определения нагрузки декодирования, включенную в информацию заголовка. Модуль 224 анализа информации заголовка подает информацию, обозначающую результат анализа, в модуль 204 управления.

Модуль декодирования изображения уровня расширения

На фиг. 37 показана блок-схема, иллюстрирующая основной пример конфигурации модуля 203 декодирования изображения уровня расширения по фиг. 35. Как представлено на фиг. 37, модуль 203 декодирования изображения уровня расширения включает в себя, в основном, ту же конфигурацию, что и модуль 202 декодирования изображения основного уровня по фиг. 36.

Таким образом, как представлено на фиг. 37, модуль 203 декодирования изображения уровня расширения включает в себя буфер 231 накопления, модуль 232 обратимого декодирования, модуль 233 обратного квантования, модуль 234 обратного ортогонального преобразования, модуль 235 расчетов, контурный фильтр 236, буфер 237 изменения компоновки экрана и модуль 238 D/A преобразования. Кроме того, модуль 203 декодирования изображения уровня расширения включает в себя запоминающее устройство 239 кадра, модуль 240 выбора, модуль 241 прогнозирования внутри кадра, модуль 242 прогнозирования между кадрами и модуль 243 выбора изображения прогнозирования.

Буфер 231 накопления - модуль 243 выбора изображения прогнозирования соответствуют и выполняют ту же обработку, что и буфер 211 накопления - модуль 223 выбора изображения прогнозирования на фиг. 36. Однако соответствующие модули в модуле 203 декодирования изображения уровня расширения выполняют обработку информации кодирования изображения уровня расширения вместо основного уровня. Поэтому, при описании обработки буфера 231 накопления - модуля 243 выбора прогнозируемого изображения может применяться представленное выше описание буфера 211 накопления - модуля 223 выбора изображения прогнозирования по фиг. 36. Однако в этом случае необходимо, чтобы данные, предназначенные для обработки, представляли собой данные уровня расширения, а не данные основного уровня. Кроме того, необходимо соответствующим образом заменять модуль обработки входного источника или источника выходных данных соответствующим модулем обработки модуля 203 декодирования изображения уровня расширения и считывать их.

Кроме того, запоминающее устройство 239 кадра получает декодированное изображение основного уровня, подаваемое из модуля 202 декодирования изображения основного уровня, и сохраняет это изображение, например, как долгосрочный опорный кадр. Декодированное изображение основного уровня используется, как опорное изображение, например, для прогнозирования между уровнями при обработке прогнозирования, выполняемой модулем 241 прогнозирования внутри кадра или модулем 242 прогнозирования между кадрами.

Модуль 203 декодирования изображения уровня расширения дополнительно включает в себя модуль 244 анализа информации заголовка.

Модуль 232 обратимого декодирования получает информацию заголовка, такую как набор параметра последовательности (SPS) или MCTS SEI из потока кодирования изображения уровня расширения. Существует возможность декодирования информации определения нагрузки независимо декодируемой частичной области, включенной в информацию заголовка. Модуль 232 обратимого декодирования подает информацию заголовка в модуль 244 анализа информации заголовка.

Модуль 244 анализа информации заголовка анализирует информацию определения нагрузки декодирования независимо декодируемой частичной области, включенной в подаваемую информацию заголовка, и подает результат анализа в модуль 204 управления.

Кроме того, когда информация определения нагрузки декодирования установлена только в основном уровне, модуль 244 анализа информации заголовка уровня расширения может быть исключен.

Модуль анализа информации заголовка

На фиг. 38 показана схема, иллюстрирующая примерную конфигурацию функциональных блоков модуля 224 анализа информации заголовка по фиг. 36. В модуле 224 анализа информации заголовка, например, когда выполняется программа, считываемая CPU из ROM и т.п., используя RAM, выполняется описанная выше обработка и, таким образом, воплощаются различные блоки функции, представленные на фиг. 38.

Как представлено на фиг. 38, модуль 224 анализа информации заголовка включает в себя модуль 251 получения информации заголовка, модуль 252 анализа SPS, модуль 253 анализа MCTS SEI, модуль 254 установления уровня и модуль 255 предоставления.

Модуль 251 получения информации заголовка получает различные части информации заголовка, подаваемой из модуля 212 обратимого декодирования. Модуль 252 анализа SPS анализирует набор параметра последовательности (SPS), получаемый, как информация заголовка модулем 251 получения информации заголовка. Как описано в первом варианте осуществления, информация определения нагрузки декодирования независимо декодируемой частичной области включена в набор параметра последовательности (SPS). Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования.

Модуль 253 анализа MCTS SEI анализирует MCTS SEI, полученную, как информация заголовка, с помощью модуля 251 получения информации заголовка. Как описано в первом варианте осуществления, MCTS SEI включает в себя информацию определения нагрузки декодирования независимо декодируемой частичной области. Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования.

Модуль 254 установления уровня устанавливает уровень, необходимый для декодирования независимо декодируемой частичной области, на основе результата анализа модуля 252 анализа SPS и MCTS SEI. Модуль 255 предоставления предоставляет уровень, установленный модулем 254 установления уровня, или информацию о нагрузке обработки декодирования, соответствующей уровню, в модуль 104 управления.

Кроме того, как описано в первом варианте осуществления, когда на параметр, определенный в заданной области, включающей в себя частичную область, отображают определение уровня модуля всего изображения (изображение), модуль 254 установления уровня или модуль 255 предоставления могут использовать параметр отображения, когда устанавливают уровень, или когда интерпретируют уровень.

Кроме того, как описано в первом варианте осуществления, информацию определения нагрузки декодирования независимо декодируемой частичной области устанавливают только в MCTS SEI, и эта информация не может быть установлена в наборе параметра последовательности (SPS). В этом случае модуль 252 анализа SPS может быть исключен.

Поток обработки декодирования изображения

Далее будет описан поток обработки, выполняемой устройством 200 декодирования изображения, описанным выше. Вначале, со ссылкой на блок-схему последовательности операций, представленную на фиг. 39, будет описан пример потока обработки декодирования изображения.

Когда начинается обработка декодирования изображения, на этапе S201, модуль 201 демультиплексирования устройства 200 декодирования изображения демультиплексируют многоуровневый поток кодирования изображения, передаваемый со стороны кодирования, для каждого уровня.

На этапе S202, модуль 212 обратимого декодирования выделяет информацию заголовка, включающую в себя информацию определения нагрузки декодирования, из потока кодирования изображения основного уровня, выделенного при обработке на этапе S201.

В качестве альтернативы, например, когда информация определения нагрузки декодирования также включена в уровень расширения, модуль 232 обратимого декодирования выполняет аналогичную обработку и выделяет информацию заголовка уровня расширения.

На этапе S203 модуль 224 анализа информации заголовка анализирует информацию заголовка, выделенную на этапе S202, и устанавливает уровень, необходимый для декодирования, из информации определения нагрузки декодирования.

На этапе S204 модуль 204 управления определяет, является ли поток кодирования декодируемым на основе результата анализа на этапе S203. Когда определяют, что поток кодирования является декодируемым, обработка переходит на этап S205.

На этапе S205 модуль 202 декодирования изображения основного уровня декодирует поток кодирования изображения основного уровня. На этапе S206 модуль 203 декодирования изображения уровня расширения декодирует поток кодирования изображения уровня расширения.

Когда заканчивается обработка на этапе S206, заканчивается обработка декодирования изображения.

С другой стороны, на этапе S204, когда определяют, что поток кодирования не является декодируемым, обработка переходит на этап S207. В этом случае, на этапе S207 модуль 204 управления выполняет обработку ошибки, которая представляет собой заданную обработку, когда невозможно выполнить нормальное декодирование.

Обработка ошибки может представлять собой любую обработку. Например, декодирование может быть принудительно закончено (включая в себя приостановку или паузу), или пользователю может быть представлено предупреждение, такое как изображение или звук. Кроме того, например, другой поток кодирования, имеющий более низкий уровень, может быть повторно получен, и декодирование может быть повторно запущено. Кроме того, например, может быть допущено возникновение беспорядка в декодируемом изображении, и поток кодирования может быть принудительно декодирован.

Когда обработка на этапе S207 заканчивается, заканчивается обработка декодирования изображения.

Поток обработки анализа информации заголовка

Далее, со ссылкой на блок-схему последовательности операций на фиг. 40, будет описан примерный поток обработки анализа информации заголовка, выполняемой на этапе S203, на фиг. 39.

Когда начинается обработка анализа информации заголовка, модуль 252 анализа SPS определяет, выполняется ли ссылка на набор параметров последовательности (SPS), на этапе S211. Когда информация по определению нагрузки декодирования независимо декодируемой частичной области включена в набор параметра последовательности (SPS), полученный, как информация заголовка, и определяют, что была сделана ссылка на набор параметров последовательности (SPS), обработка переходит на этап S212.

На этапе S212 модуль 252 анализа SPS анализирует информацию по определению нагрузки декодирования независимо декодируемой частичной области, включенной в набор параметра последовательности (SPS). Содержание информации по определению нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования. Когда анализ заканчивается, обработка переходит на этап S213. С другой стороны, на этапе S211, когда информация по определению нагрузки декодирования независимо декодируемой частичной области не включена в набор параметра последовательности (SPS), и определяют, что на набор параметров последовательности (SPS) не была сделана ссылка, обработка переходит на этап S213.

На этапе S213 модуль 253 анализа MCTS SEI определяет, была ли сделана ссылка на MCTS SEI. Когда информация определения нагрузки декодирования независимо декодируемой частичной области установлена в MCTS SEI, полученной, как информация заголовка, и определяют, что была сделана ссылка на MCTS SEI, обработка переходит на этап S214.

На этапе S214 модуль 253 анализа MCTS SEI анализирует информацию определения нагрузки декодирования независимо декодируемой частичной области, включенной в MCTS SEI. Содержание информации определения нагрузки декодирования является произвольным. Например, в первом варианте осуществления, любая одна или больше из различных частей информации, описанных со ссылкой на фиг. 9-26, может быть включена в информацию определения нагрузки декодирования. Когда анализ заканчивается, обработка переходит на этап S215. С другой стороны, на этапе S213, когда информация определения нагрузки декодирования независимо декодируемой частичной области не установлена в MCTS SEI, и определяют, что ссылка на MCTS SEI не была сделана, обработка переходит на этап S215.

На этапе S215 модуль 254 установления уровня устанавливает уровень, необходимый для декодирования, на основе анализа результата на этапах S212 и S214.

На этапе S216 модуль 255 предоставления предоставляет информацию, обозначающую уровень, необходимый для декодирования, установленный на этапе S215, в модуль 104 управления.

Когда обработка на этапе S216 заканчивается, обработка анализа информации заголовка заканчивается, и обработка возвращается на фиг. 39.

Кроме того, как описано в первом варианте осуществления, когда параметр, определенный в заданной области, включающей в себя частичную область, отображают с определением уровня всего модуля изображения (изображения), модуль 254 установления уровня или модуль 255 предоставления могут использовать параметр отображения при обработке на этапе S215 или на этапе S216.

Кроме того, как описано в первом варианте осуществления, информация определения нагрузки декодирования независимо декодируемой частичной области установлена только в MCTS SEI, и эта информация не может быть установлена в наборе параметра последовательности (SPS). В этом случае обработка на этапах S211 и S212 может быть исключена.

Поток обработки декодирования основного уровня

Когда декодирование возможно, в соответствии с результатом определения возможно ли декодирование на основе информации определения нагрузки декодирования, описанной выше, обработка декодирования основного уровня выполняется на этапе S205 на фиг. 39. Примерный поток обработки декодирования основного уровня будет описан со ссылкой на блок-схему последовательности операций на фиг. 41.

Когда начинается обработка декодирования основного уровня, на этапе S221, буфер 211 накопления модуля 202 декодирования изображения основного уровня накапливает переданный поток кодирования основного уровня. На этапе S222 модуль 212 обратимого декодирования декодирует поток кодирования основного уровня, переданный из буфера 211 накопления. Таким образом, декодируют данные изображения, такие как срез I, срез Ρ и срез В, кодированные модулем 116 обратимого кодирования. В этом случае также декодируют различные части информации, другие, чем данные изображения, включенные в поток битов, такие как информация заголовка.

На этапе S223 модуль 213 обратного квантования выполняет обратное квантование квантованного коэффициента, полученного при обработке на этапе S222.

На этапе S224 модуль 214 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента, который был обратно квантован на этапе S223.

На этапе S225 модуль 221 прогнозирования внутри кадров и модуль 222 прогнозирования между кадрами выполняют обработку прогнозирования и генерируют прогнозируемое изображение. Таким образом, обработка прогнозирования выполняется в режиме прогнозирования, который определен в модуле 212 обратимого декодирования, применяемого, когда выполняется кодирование. Более конкретно, например, когда применяется прогнозирование внутри кадров, когда выполняют кодирование, модуль 221 прогнозирования внутри кадра генерирует изображение прогнозирования в режиме прогнозирования внутри кадров, который установлен, как оптимальный, когда выполняют кодирование. Кроме того, например, когда применяется прогнозирование между кадрами, когда выполняют кодирование, модуль 222 прогнозирования между кадрами генерирует прогнозируемое изображение в режиме прогнозирования между кадрами, который установлен, как оптимальный при выполнении кодирования.

На этапе S226 модуль 215 расчетов добавляет изображение прогнозирования, генерируемое на этапе S226, к разностному изображению, полученному при обратном ортогональном преобразовании на этапе S225. Поэтому, получают данные изображения реконструированного изображения.

На этапе S227 контурный фильтр 216 соответствующим образом выполняет обработку контурного фильтра, включающую в себя обработку фильтра удаления блоков или обработку адаптивного контурного фильтра для данных изображения реконструированного изображения, полученных при обработке на этапе S227.

На этапе S228 буфер 217 изменения компоновки экрана изменяет компоновку кадров реконструированного изображения, для которого была выполнена обработка фильтра на этапе S227. Таким образом, порядок кадров, компоновка которых была изменена при выполнении кодирования, изменяют на исходный порядок отображения.

На этапе S229 модуль 218 D/A преобразования выполняет D/A преобразование изображения, порядок кадров которого был изменен на этапе S228. Изображение выводят на дисплей (не показан), и изображение отображают.

На этапе S230 запоминающее устройство 219 кадра сохраняет данные, такие как декодированное изображение, полученное при обработке на этапе S227. или реконструированное изображение, полученное при обработке на этапе S226.

Когда обработка на этапе S230 заканчивается, обработка декодирования основного уровня заканчивается, и обработка возвращается на фиг. 39.

Поток обработки декодирования уровня расширения

Аналогично обработке декодирования основного уровня, когда декодирование возможно в соответствии с результатом определения, возможно ли декодирование на основе информации определения нагрузки декодирования, описанной выше, обработку декодирования уровня расширения выполняют на этапе S206 на фиг. 39. Примерный поток обработки декодирования уровня расширения будет описан со ссылкой на блок-схему последовательности операций на фиг. 42.

Соответствующая обработка (этапы S241-S250) обработки декодирования уровня расширения соответствует соответствующей обработке (этапы S221-S230) при обработке декодирования основного уровня на фиг. 41, и выполняется, в принципе, таким же образом, как и эта обработка. В то время как соответствующая обработка (этапы S221-S230) при обработке декодирования основного уровня выполняется на основном уровне, соответствующая обработка (этапы S241-S250) при обработке декодирования уровня расширения выполняется на уровне расширения.

Когда обработка на этапе S250 заканчивается, обработка декодирования уровня расширения заканчивается, и обработка возвращается на фиг. 39.

Когда соответствующую обработку выполняют таким образом, если устройство 200 декодирования изображения включает в себя информацию определения нагрузки декодирования независимо декодируемой частичной области, возможно более точно распознать рабочую характеристику, необходимую для декодирования.

Область применения настоящей технологии включает в себя применение во всех устройствах кодирования изображения и устройствах декодирования изображения, выполненных с возможностью кодирования и декодирования частичных изображений.

Кроме того, настоящая технология может применяться в устройстве кодирования изображения и устройстве декодирования изображения, используемых для приема информации изображения (потока битов), сжатой, используя компенсацию движения и ортогональное преобразование, такое как дискретное косинусное преобразование, аналогично, например, MPEG или Н.26х, используя спутниковую широковещательную передачу, кабельное телевидение, Интернет или сетевую среду, такую как мобильный телефон. Кроме того, настоящая технология может применяться в устройстве кодирования изображения и устройстве декодирования изображения, используя выполнение обработки в устройстве накопителя, таком как оптические и магнитные диски и запоминающее устройство типа флэш.

4. Четвертый вариант осуществления

Приложение для кодирования многообзорного изображения и декодирования многообзорного изображения

Описанная выше последовательность обработки может применяться для кодирования многообзорного изображения и декодирования многообзорного изображения. На фиг. 43 представлен пример схемы кодирования многообзорного изображения.

Как представлено на фиг. 43, многообзорное изображение включает в себя изображения, имеющие множество видов. Множество видов многообзорного изображения включают в себя основной вид, для которого выполняется кодирование/декодирование, используя только изображение с его собственным видом, без использования информации других видов, и изображения неосновного вида, для которых выполняется кодирование/декодирование, используя информацию других видов. При кодировании/декодировании неосновного вида может использоваться информация основного вида, и может использоваться информация другого неосновного вида.

Таким образом, взаимосвязь по ссылке между видами при кодировании и декодировании многообзорного изображения аналогична взаимосвязи по ссылке между уровнями при кодировании и декодировании многоуровневого изображения. Поэтому при кодировании и декодировании многообзорного изображения на фиг. 43 может применяться представленный выше способ. Таким образом, аналогично многообзорному изображению, возможно более точно распознать рабочую характеристику, необходимую для декодирования.

Устройство кодирования многообзорного изображения

На фиг. 44 представлена схема, иллюстрирующая устройство кодирования многообзорного изображения, которое выполняет описанное выше кодирование многообзорного изображения. Как представлено на фиг. 44, устройство 600 кодирования многообзорного изображения имеет модуль 601 кодирования, модуль 602 кодирования и модуль 603 мультиплексирования.

Модуль 601 кодирования кодирует изображение основного вида для генерирования кодированного потока изображения основного вида. Модуль 602 кодирования кодирует изображение неосновного вида для генерирования кодированного потока изображения неосновного вида. Модуль 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, генерируемый модулем 601 кодирования, и кодированный поток изображения неосновного вида, генерируемый модулем 602 кодирования для генерирования кодированного потока многообзорного изображения.

Модуль 101 кодирования изображения основного уровня может применяться, как модуль 601 кодирования устройства 600 кодирования многообзорного изображения, и модуль 102 кодирования изображения уровня расширения может применяться, как модуль 602 кодирования. Таким образом, становится возможным более точно распознавать рабочие характеристики, необходимые для декодирования.

Устройство декодирования многообзорного изображения

На фиг. 45 показана схема, иллюстрирующая устройство декодирования многообзорного изображения, которое выполняет описанное выше декодирование многообзорного изображения. Как представлено на фиг. 45, устройство 610 декодирования многообзорного изображения имеет модуль 611 демультиплексирования, модуль 612 декодирования и другой модуль 613 декодирования.

Модуль 611 демультиплексирования демультиплексирует кодированный поток многообзорного изображения, полученный путем мультиплексирования кодированного потока изображения основного вида и кодированного потока изображения неосновного вида для выделения кодированного потока изображения основного вида и кодированного потока изображения неосновного вида. Модуль 612 декодирования декодирует кодированный поток изображения основного вида, выделенный модулем 611 демультиплексирования, для получения изображения основного вида. Модуль 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный модулем 611 демультиплексирования, для получения изображения неосновного вида.

Модуль 202 декодирования изображения основного уровня может применяться, как модуль 612 декодирования устройства 610 декодирования многообзорного изображения, и модуль 203 декодирования изображения уровня расширения может применяться, как модуль 613 декодирования. Таким образом, возможно более точно распознавать рабочую характеристику, необходимую для декодирования.

5. Пятый вариант осуществления

Компьютер

Описанная выше последовательность обработки также может быть выполнена с помощью аппаратных средств и может также быть выполнена с использованием программного обеспечения. Когда последовательность обработки выполняется программным обеспечением, программу программного обеспечения устанавливают в компьютер. Здесь компьютер включает в себя компьютер, встроенный в специализированное аппаратное обеспечение, и, например, персональный компьютер общего назначения, выполненный с возможностью выполнения различных функций путем установки различных программ.

На фиг. 46 показана блок-схема, представляющая пример конфигурации аппаратных средств компьютера, выполняющего описанную выше последовательность обработки, в соответствии с программой.

В компьютере 800, представленном на фиг. 46, центральное процессорное устройство (CPU) 801, постоянное запоминающее устройство (ROM) 802 и оперативное запоминающее устройство (RAM) 803 взаимно соединены через шину 804.

Интерфейс 810 ввода и вывода также соединен с шиной 804. Модуль 811 ввода, модуль 812 вывода, модуль 813 накопителя, модуль 814 передачи данных и привод 815 соединены с интерфейсом 810 ввода и вывода.

Модуль 811 ввода сформирован, например, из клавиатуры, "мыши", микрофона, сенсорной панели или терминала ввода. Модуль 812 вывода сформирован, например, из дисплея, громкоговорителя или терминала вывода. Модуль 813 накопителя сформирован, например, из жесткого диска, диска RAM или энергонезависимого запоминающего устройства. Модуль 814 передачи данных сформирован, например, как сетевой интерфейс. Привод 815 выполняет привод съемного носителя 821 информации, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше конфигурацию, например, CPU 801 выполняет описанную выше обработку путем загрузки программы, сохраненной в модуле 813 накопителя, в RAM 803 через интерфейс 810 ввода и вывода и шину 804 и выполняет программу. В RAM 803 также соответствующим образом записывают данные, необходимые CPU 801 для выполнения различной обработки.

Например, программа, выполняемая компьютером (CPU 801), может быть записана на съемном носителе 821 информации, таком как применяемый пакетный носитель информации. В этом случае, путем установки съемного носителя 821 информации в привод 815, программа может быть установлена в модуле 813 накопителя через интерфейс 810 ввода и вывода.

Программа также может быть передана через проводную или беспроводную среду передачи, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача. В таком случае программа может быть принята модулем

814 передачи данных для установки в модуле 813 накопителя.

Кроме того, программа также может быть установлена заранее в ROM 802 или в модуле 813 накопителя.

Программы, выполняемые компьютером, могут представлять собой программы, которые обрабатываются хронологически в порядке, описанном в настоящем описании, или могут представлять собой программы, которые обрабатываются в необходимые моменты времени, например, параллельно или по вызову.

В настоящем описании этапы, описывающие программу, записанную на носителе информации, включают в себя не только обработку, которая выполняется хронологически в описанном порядке, но также и обработку, которая выполняется параллельно или индивидуально, но не хронологически.

В настоящем описании система означает набор из множества составляющих элементов (устройства, модули (компоненты) и т.п.), и все эти составляющие элементы могут быть включены или могут не быть включены в один корпус. В соответствии с этим, множество устройств, размещенных в отдельных корпусах и соединенных через сеть, и одно устройство, в котором размещены множество модулей в одном корпусе, все представляют собой систему.

Конфигурация, описанная выше, как одно устройство (или модуль обработки), может быть разделена и может быть выполнена, как множество устройств (или модулей обработки). В отличие от этого, конфигурация, описанная выше, как множество устройств (или модулей обработки), может быть собрана из и выполнена, как одно устройство (или модуль обработки). Другие конфигурации, кроме описанных выше конфигураций, конечно, могут быть добавлены к конфигурациям устройств (или модулям обработки). Кроме того, если только конфигурации или операции, по существу, являются такими же во всей системе, части конфигураций определенных устройств (или модулей обработки) могут быть включены в конфигурации других устройств (или других модулей обработки).

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время как настоящее раскрытие, конечно, не ограничено представленными выше примерами. Специалист в данной области техники может обнаружить различные модификации и изменения в пределах объема приложенной формулы изобретения, и при этом следует понимать, что они, естественно, попадают в пределы технического объема настоящего раскрытия.

Например, в настоящей технологии, возможно реализовать конфигурацию "облачных" вычислений, в которой одна функция распределена и обрабатывается совместно множеством устройств через сети.

Каждый этап, описанный в представленных выше блок-схемах последовательности операций, может быть выполнен одним устройством и также может быть распределен и может выполняться множеством устройств.

Когда множество обработок включено в один этап, множество обработок, включенных в один этап, может быть выполнено одним устройством и может также быть распределено и выполняться множеством устройств.

Устройство кодирования изображения и устройство декодирования изображения, в соответствии с представленными выше вариантами осуществления, могут применяться в различных электронных устройствах, таких как передатчик или приемник в спутниковой широковещательной передаче, в проводной многоадресной передаче, такой как кабельное телевидение или Интернет, и при подаче в терминал, используя систему сотовой связи, устройство записи, записывающее изображение на носителе записи, таком как оптический диск, магнитный диск или память типа флэш, или устройство воспроизведения, воспроизводящее изображение с носителя сохранения. Ниже будут описаны четыре примера применения.

6. Шестой вариант осуществления

Первый пример применения: телевизионный приемник

На фиг. 47 показана блок-схема, иллюстрирующая пример схематичной конфигурации телевизионного устройства, в котором применяются описанные выше варианты осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908, модуль 909 внешнего интерфейса (I/F), модуль 910 управления, модуль 911 интерфейса пользователя (I/F) и шину 912.

Тюнер 902 выделяет сигнал требуемого канала из сигнала широковещательной передачи, принятого через антенну 901, и демодулирует выделенный сигнал. Тюнер 902 затем выводит кодированный поток битов, полученный посредством демодуляции, в демультиплексор 903. Таким образом, в телевизионном устройстве 900, тюнер 902 используется, как модуль передачи, выполненный с возможностью приема потока кодирования, в котором закодировано изображение.

Демультиплексор 903 демультиплексирует видеопоток и аудиопоток программы - цели просмотра из кодированного потока битов и выводит демультиплексированные потоки в декодер 904. Демультиплексор 903 выделяет вспомогательные данные, такие как электронная программа передач (EPG), из кодированного потока битов и подает выделенные данные в модуль 910 управления. Кроме того, когда кодированный поток битов скремблирован, демультиплексор 903 может выполнять дескремблирование.

Декодер 904 декодирует видеопоток и аудиопоток, выводимые из демультиплексора 903. Декодер 904 выводит видеоданные, сгенерированные при обработке декодирования, в модуль 905 обработки видеосигнала. Декодер 904 выводит аудиоданные, сгенерированные в результате обработки декодирования, в модуль 907 обработки аудиосигнала.

Модуль 905 обработки видеосигнала воспроизводит видеоданные, вводимые из декодера 904, и обеспечивает отображение видеоизображения в модуле 906 дисплея. Кроме того, модуль 905 обработки видеосигнала может обеспечить отображение экрана приложения, подаваемого через сеть, в модуле 906 дисплея. Кроме того, модуль 905 обработки видеосигнала может выполнить дополнительную обработку, например, удаление шумов, для видеоданных, в соответствии с установками. Кроме того, модуль 905 обработки видеосигнала может генерировать изображение графического интерфейса пользователя (GUI), например, меню, кнопку или курсор, и накладывать сгенерированное изображение на выходное изображение.

Модуль 906 дисплея управляется сигналом управления, подаваемым из модуля 905 обработки видеосигнала, и отображает видеоизображение или изображение на плоскости отображения видеоизображения устройства дисплея (например, жидкокристаллического дисплея, плазменного дисплея или дисплея на основе органической электролюминесценции (OELD) (дисплей органической EL)).

Модуль 907 обработки аудиосигнала выполняет обработку воспроизведения, такую как D/A преобразование и усиление для аудиоданных, выводимых из декодера 904, и обеспечивает вывод звука через громкоговоритель 908. Кроме того, модуль 907 обработки аудиосигнала может выполнять дополнительную обработку, такую как устранение шумов для аудиоданных.

Модуль 909 внешнего интерфейса представляет собой интерфейс, который соединяет телевизионное устройство 900 и внешнее устройство или сеть. Например, видеопоток или аудиопоток, принятый через модуль 909 внешнего интерфейса, может быть декодирован декодером 904. Таким образом, в телевизионном устройстве 900, модуль 909 внешнего интерфейса используется, как модуль передачи, выполненный с возможностью приема потока кодирования, в котором закодировано изображение.

Модуль 910 управления включает в себя процессор, такой как CPU, и запоминающие устройства, такие как RAM и ROM. В запоминающих устройствах содержатся программы, выполняемые CPU, данные программы, данные EPG, данные, полученные через сеть, и т.п. Программы, сохраняемые в запоминающих устройствах, считывают и выполняют с помощью CPU, например, когда включают телевизионное устройство 900. CPU управляет операцией телевизионного устройства 900, например, в соответствии с сигналом операции, вводимым через модуль 911 интерфейса пользователя, при выполнении программы.

Модуль 911 интерфейса пользователя соединен с модулем 910 управления. Модуль 911 интерфейса пользователя включает в себя, например, кнопку и переключатель, используемые пользователем для управления телевизионным устройством 900, и модуль приема сигнала дистанционного управления. Модуль 911 интерфейса пользователя детектирует операцию пользователя через такой компонент, генерирует сигнал операции и выводит сгенерированный сигнал операции в модуль 910 управления.

Шина 912 соединяет друг с другом тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 907 обработки аудиосигнала, модуль 909 внешнего интерфейса и модуль 910 управления.

В телевизионном устройстве 900, выполненном таким образом, декодер 904 имеет функции устройства 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. В соответствии с этим, возможно более точно распознавать рабочие характеристики, необходимые для декодирования изображения в телевизионном устройстве 900.

Второй пример применения: мобильный телефон

На фиг. 48 представлена примерная схематичная конфигурация мобильного телефона, в котором применяется описанный выше вариант осуществления. Мобильный телефон 920 включает в себя антенну 921, модуль 922 передачи данных, аудиокодек 923, громкоговоритель 924, микрофон 925, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 демультиплексирования, модуль 929 записи и воспроизведения, модуль 930 дисплея, модуль 931 управления, модуль 932 операций и шину 933.

Антенна 921 соединена с модулем 922 передачи данных. Громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Модуль 932 операций соединен с модулем 931 управления. Шина 933 соединяет друг с другом модуль 922 передачи данных, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 демультиплексирования, модуль 929 записи и воспроизведения, модуль 930 дисплея и модуль 931 управления.

Мобильный телефон 920 выполняет операции, такие как передача и прием аудиосигналов, передача и прием электронной почты или данных изображения, съемка изображений и запись данных в различных режимах операций, таких как режим голосового вызова, режим передачи данных, режим фотографирования и режим видеофона.

В режиме голосового вызова аналоговый звуковой сигнал, генерируемый микрофоном 925, поступает в аудиокодек 923. Аудиокодек 923 преобразует аналоговый звуковой сигнал в аудиоданные и выполняет A/D преобразование и сжатие преобразованных аудиоданных. Поэтому, аудиокодек 923 выводит сжатые аудиоданные в модуль 922 передачи данных. Модуль 922 передачи данных кодирует и модулируют аудиоданные, и генерирует сигнал передачи. Поэтому, модуль 922 передачи данных передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Кроме того, модуль 922 передачи данных усиливает беспроводный сигнал, принятый через антенну 921, выполняет для него преобразование частоты, и получает принятый сигнал. Поэтому, модуль 922 передачи данных демодулирует и декодирует принятый сигнал для генерирования аудиоданных, и выводит сгенерированные аудиоданные в аудиокодек 923. Аудиокодек 923 расширяет аудиоданные и выполняет для них D/A преобразование, и генерирует аналоговый звуковой сигнал. Поэтому аудиокодек 923 подает сгенерированный звуковой сигнал в громкоговоритель 924 и обеспечивает вывод звука.

Кроме того, в режиме передачи данных, например, модуль 931 управления генерирует текстовые данные для электронной почты, в соответствии с операцией пользователя, через модуль 932 операций. Кроме того, модуль 931 управления обеспечивает отображение текста на модуле 930 дисплея. Кроме того, модуль 931 управления генерирует данные электронной почты через инструкцию передачи, выводимую пользователя через модуль 932 операций, и выводит сгенерированные данные электронной почты в модуль 922 передачи данных. Модуль 922 передачи данных кодирует и модулирует данные электронной почты и генерирует сигнал передачи. Поэтому модуль 922 передачи данных передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Кроме того, модуль 922 передачи данных усиливает беспроводный сигнал, принятый через антенну 921, выполняет для него преобразование частоты и получает принятый сигнал. Поэтому модуль 922 передачи данных демодулирует и декодирует принятый сигнал, восстанавливает данные электронной почты и выводит восстановленные данные электронной почты в модуль 931 управления. Модуль 931 управления обеспечивает отображение содержания электронной почты в модуле 930 дисплея и подает данные электронной почты в модуль 929 записи и воспроизведения, и обеспечивает запись этих данных на носителе информации.

Модуль 929 записи и воспроизведения включает в себя произвольный носитель сохранения, выполненный с возможностью считывания и записи. Например, носитель сохранения может представлять собой встроенный носитель сохранения, такой как RAM или запоминающее устройство флэш, или внешний носитель сохранения, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство с универсальной последовательной шиной (USB) или карта памяти.

Кроме того, в режиме фотографирования, например, модуль 926 камеры снимает изображение субъекта, генерирует данные изображения и выводит сгенерированные данные изображения в модуль 927 обработки изображений. Модуль 927 обработки изображений кодирует данные изображения, вводимые из модуля 926 камеры, подает поток кодирования в модуль 929 записи и воспроизведения, и обеспечивает запись этого потока на носителе сохранения.

Кроме того, в режиме отображения изображения, модуль 929 записи и воспроизведения считывает поток кодирования, записанный на носителе сохранения, и выводит считанный поток в модуль 927 обработки изображений. Модуль 927 обработки изображений декодирует поток кодирования, вводимый из модуля 929 записи и воспроизведения, подает данные изображения в модуль 930 дисплея и обеспечивает отображение изображения.

Кроме того, в режиме телефона с функцией телевизионного приемника, например, модуль 928 демультиплексирования мультиплексирует видеопоток, кодированный 927 модулем обработки изображений, и аудиопоток, вводимый из аудиокодека 923, и выводит мультиплексный поток в модуль 922 передачи данных. Модуль 922 передачи данных кодирует и модулирует поток, и генерирует сигнал передачи. Поэтому модуль 922 передачи данных передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Кроме того, модуль 922 передачи данных усиливает беспроводный сигнал, принятый через антенну 921, выполняет для него преобразование частоты и получает принятый сигнал. Кодированный поток битов может быть включен в сигнал передачи и в принятый сигнал. Поэтому модуль 922 передачи данных демодулирует и декодирует принятый сигнал, восстанавливает поток и выводит восстановленный поток в модуль 928 демультиплексирования. Модуль 928 демультиплексирования разделяет видеопоток и аудиопоток из входного потока, и выводит видеопоток в модуль 927 обработки изображений и аудиопоток в аудиокодек 923. Модуль 927 обработки изображений декодирует видеопоток и генерирует видеоданные. Видеоданные подают в модуль 930 дисплея, и последовательность изображений отображают в модуле 930 дисплея. Аудиокодек 923 расширяет аудиопоток и выполняет его D/A преобразование, и генерирует аналоговый звуковой сигнал. Поэтому аудиокодек 923 подает сгенерированный звуковой сигнал в громкоговоритель 924 и обеспечивает вывод звука.

В мобильном телефоне 920, выполненном таким образом, модуль 927 обработки изображений имеет функции устройства 100 кодирования изображения или устройства 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. В соответствии с этим, возможно более точно распознать рабочую характеристику, необходимую для декодирования в мобильном телефоне 920.

Третий пример применения: устройство записи и воспроизведения

На фиг. 49 иллюстрируется примерная схематичная конфигурация устройства записи и воспроизведения, в котором применяется описанный выше вариант осуществления. Устройство 940 записи и воспроизведения кодирует, например, принятые аудиоданные и видеоданные программы широковещательной передачи и записывает результат на носителе записи. Кроме того, устройство 940 записи и воспроизведения может кодировать аудиоданные и видеоданные, полученные, например, из другого устройства, и записывать результат на носителе записи. Кроме того, устройство 940 записи и воспроизведения воспроизводит данные, записанные на носителе записи, через монитор и громкоговоритель, в соответствии, например, с инструкцией пользователя. В этом случае устройство 940 записи и воспроизведения декодирует аудиоданные и видеоданные.

Устройство 940 записи и воспроизведения включает в себя тюнер 941, модуль 942 внешнего интерфейса (I/F), кодер 943, привод 944 жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, устройство 948 отображения на экране (OSD), модуль 949 управления и модуль 950 интерфейса (I/F) пользователя.

Тюнер 941 выделяет сигнал требуемого канала из сигнала широковещательной передачи, принятого через антенну (не показана), и демодулирует выделенный сигнал. Поэтому тюнер 941 выводит поток битов кодирования, полученный путем демодуляции в селекторе 946. Таким образом, тюнер 941 используется, как модуль передачи в устройстве 940 записи и воспроизведения.

Модуль 942 внешнего интерфейса представляет собой интерфейс, который соединяет устройство 940 записи и воспроизведения и внешнее устройство или сеть. Модуль 942 внешнего интерфейса может представлять собой, например, интерфейс Института инженеров по электротехнике и электронике (IEEE) 1394, сетевой интерфейс, интерфейс USB или интерфейс запоминающего устройства флэш. Например, видеоданные и аудиоданные, принятые через модуль 942 внешнего интерфейса, вводят в кодер 943. Таким образом, модуль 942 внешнего интерфейса используется, как модуль передачи в устройстве 940 записи и воспроизведения.

Когда видеоданные и аудиоданные, выводимые из модуля 942 внешнего интерфейса, не кодированы, кодер 943 кодирует видеоданные и аудиоданные. Поэтому кодер 943 выводит поток битов кодирования в селектор 946.

HDD 944 записывает поток битов кодирования, в котором сжаты данные содержания, такие как видеоданные и аудиоданные, различные программы и другие данные, на внутренний жесткий диск. Кроме того, когда воспроизводят видеоизображение и звук, HDD 944 считывает эти данные с жесткого диска.

Привод 945 диска записывает и считывает данные на установленном носителе записи. Носитель записи, установленный в привод 945 диска, может представлять собой, например, цифровой универсальный диск (DVD) (такой как DVD-Video, оперативное запоминающее устройство на DVD (DVD-RAM), DVD с возможностью записи (DVD-R), DVD с возможностью перезаписи (DVD-RW), DVD + возможность записи (DVD+R), и DVD + возможность перезаписи (DVD+RW)) или диск Blu-ray (зарегистрированный товарный знак).

Когда записывают видеоданные и аудиоданные, селектор 946 выбирает поток битов кодирования, вводимый из тюнера 941 или кодера 943, и выводит выбранный поток битов кодирования в HDD 944 или в привод 945 диска. Кроме того, когда воспроизводят видео- и аудиоданные, селектор 946 выводит поток битов кодирования, подаваемый из HDD 944 или из привода 945 диска, в декодер 947.

Декодер 947 декодирует поток битов кодирования и генерирует видеоданные и аудиоданные. Поэтому декодер 947 выводит сгенерированные видеоданные в OSD 948. Кроме того, декодер 947 выводит сгенерированные аудиоданные во внешний громкоговоритель.

OSD 948 воспроизводит видеоданные, вводимые из декодера 947, и отображает видеоизображение. Кроме того, OSD 948 может накладывать изображение GUI, например, меню, кнопки или курсора, на видеоизображение, предназначенное для отображения.

Модуль 949 управления включает в себя процессор, такой как CPU и запоминающие устройства, такие как RAM и ROM. Запоминающие устройства содержат программы, выполняемые CPU, данные программы и т.п. Программы, содержащие в запоминающих устройствах, считываются и выполняются CPU, например, когда включают устройство 940 записи и воспроизведения. CPU управляет операцией устройства 940 записи и воспроизведения, например, в соответствии с сигналом операции, подаваемым через модуль 950 интерфейса пользователя, при выполнении программы.

Модуль 950 интерфейса пользователя соединен с модулем 949 управления. Модуль 950 интерфейса пользователя включает в себя, например, кнопку и переключатель, используемый пользователем для управления устройством 940 записи и воспроизведения, и модуль приема сигнала дистанционного управления. Модуль 950 интерфейса пользователя детектирует операцию пользователя через такой компонент, генерирует сигнал операции и выводит сгенерированный сигнал операции в модуль 949 управления.

В устройстве 940 записи и воспроизведения, выполненном таким образом, кодер 943 имеет функции устройства 100 кодирования изображения, в соответствии с описанным выше вариантом осуществления. Кроме того, декодер 947 имеет функции устройства 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. В соответствии с этим, возможно более точно распознать рабочую характеристику, необходимую для декодирования изображения в устройстве 940 записи и воспроизведения.

Четвертый пример применения: устройство формирования изображения

На фиг. 50 иллюстрируется пример схематичной конфигурации устройства формирования изображения, в котором применяется описанный выше вариант осуществления. Устройство 960 формирования изображения генерирует снятое изображение субъекта, кодирует данные изображения и записывает эти данные на носителе записи.

Устройство 960 формирования изображения включает в себя оптический блок 961, модуль 962 формирования изображения, модуль 963 обработки сигналов, модуль 964 обработки изображений, модуль 965 дисплея, модуль 966 внешнего интерфейса (I/F), модуль 967 памяти, привод 968 носителя, OSD 969, модуль 970 управления, модуль 971 интерфейса (I/F) пользователя и шину 972.

Оптический блок 961 соединен с модулем 962 формирования изображения. Модуль 962 формирования изображения соединен с модулем 963 обработки сигналов. Модуль 965 дисплея соединен с модулем 964 обработки изображений. Модуль 971 интерфейса пользователя соединен с модулем 970 управления. Шина 972 соединяет модуль 964 обработки изображений, модуль 966 внешнего интерфейса, модуль 967 памяти, привод 968 носителя, OSD 969 и модуль 970 управления друг с другом.

Оптический блок 961 включает в себя линзы фокусирования и механизм диафрагмы. Оптический блок 961 обеспечивает формирование оптического изображения субъекта, которое будет сформировано на плоскости формирования изображения модуля 962 формирования изображения. Модуль 962 формирования изображения включает в себя датчик изображения, такой как прибор с зарядовой связью (CCD) или комплементарный металлооксидный полупроводник (CMOS), и преобразует оптическое изображение, сформированное на оптической плоскости, и сигнал изображения, такой как электрический сигнал, в результате фотоэлектрического преобразования. Поэтому модуль 962 формирования изображения выводит сигнал изображения в модуль 963 обработки сигналов.

Модуль 963 обработки сигналов выполняет различную обработку сигнала камеры, такую как коррекция ступенек, гамма-коррекция и коррекция цветов для сигнала изображения, вводимого из модуля 962 формирования изображения. Модуль 963 обработки сигналов выводит данные изображения после обработки сигнала камеры в модуль 964 обработки изображений.

Модуль 964 обработки изображений кодирует данные изображения, подаваемые из модуля 963 обработки сигналов, и генерирует кодированные данные. Поэтому модуль 964 обработки изображений выводит сгенерированные кодированные данные в модуль 966 внешнего интерфейса или в привод 968 носителя. Кроме того, модуль 964 обработки изображений декодирует кодированные данные, вводимые из модуля 966 внешнего интерфейса или из привода 968 носителя, и генерирует данные изображения. Поэтому модуль 964 обработки изображений выводит сгенерированные данные изображения в модуль 965 дисплея. Кроме того, модуль 964 обработки изображений может выводить данные изображения, подаваемые из модуля 963 обработки сигналов, и может обеспечивать отображение изображения в модуле 965 дисплея. Кроме того, модуль 964 обработки изображений может накладывать изображение, предназначенное для вывода в модуль 965 дисплея, на данные отображения, полученные из OSD 969.

OSD 969 генерирует изображение GUI, например, меню, кнопки или курсор, и выводит сгенерированное изображение в модуль 964 обработки изображений.

Модуль 966 внешнего интерфейса выполнен, например, как терминал ввода и вывода USB. Модуль 966 внешнего интерфейса соединяет устройство 960 формирования изображения и принтер, например, когда выполняется печать изображения. Кроме того, привод соединяют с модулем 966 внешнего интерфейса, в соответствии с необходимостью. Съемный носитель, например, магнитный диск или оптический диск, установлен в приводе, и программа, считываемая со съемного носителя, может быть установлена в устройство 960 формирования изображения. Кроме того, модуль 966 внешнего интерфейса может быть выполнен, как сетевой интерфейс, который соединен с сетью, такой как LAN или Интернет. Таким образом, модуль 966 внешнего интерфейса используется, как модуль передачи в устройстве 960 формирования изображения.

Носитель записи, установленный в приводе 968 носителя, может представлять собой любой съемный носитель, выполненный с возможностью считывания и записи, например, магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, носитель записи может быть установлен постоянно в приводе 968 носителя, и может быть сконфигурирован непортативный модуль сохранения, такой, как например, встроенный привод жесткого диска или твердотельный привод (SSD).

Модуль 970 управления включает в себя процессор, такой как CPU, и запоминающие устройства, такие как RAM и ROM. В запоминающих устройствах содержатся программы, выполняемые CPU, данные программы и т.п. Программы, сохраняемые в запоминающих устройствах, считывают и выполняют CPU, например, когда включают устройство 960 формирования изображения. CPU управляет работой устройства 960 формирования изображения, например, в соответствии с сигналом операции, вводимым из модуля 971 интерфейса пользователя, при выполнении программы.

Модуль 971 интерфейса пользователя соединен с модулем 970 управления. Модуль 971 интерфейса пользователя включает в себя, например, кнопку и переключатель, используемый пользователем для операций с устройством 960 формирования изображения и т.п. Модуль 971 интерфейса пользователя детектирует операцию пользователя через такой компонент, генерирует сигнал операции и выводит сгенерированный сигнал операции в модуль 970 управления.

В устройстве 960 формирования изображения, выполненном таким образом, модуль 964 обработки изображений имеет функции устройства 100 кодирования изображения и устройства 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. В соответствии с этим, возможно более точно распознать рабочую характеристику, необходимую для декодирования в устройстве 960 формирования изображения.

7. Седьмой вариант осуществления

Пример применения масштабируемого кодирования: первая система

Далее будет подробно описан пример использования данных, кодированных с масштабированием, которые кодированы с масштабированием (многоуровневое кодирование (изображения)). Масштабируемое кодирование используется для выбора данных, предназначенных для передачи, например, как представлено в виде примера на фиг. 51.

В системе 1000 передачи данных, представленной на фиг. 51, сервер 1002 доставки считывает данные кодированные с масштабированием, сохраненные в модуле 1001 сохранения данных кодированных с масштабированием, и подает эти данные в устройство терминала, такое как персональный компьютер 1004, AV инструмент 1005, планшетное устройство 1006 или мобильный телефон 1007 через сеть 1003.

В этом случае сервер 1002 распределения выбирает и передает кодированные данные соответствующего качества, в соответствии с возможностью устройства терминала, средой передачи данных и т.п. Даже когда сервер 1002 распределения передает данные с излишне высоким качеством, может быть не только невозможно получить изображение с высоким качеством изображения в устройстве терминала, но может быть вызвана задержка или переполнение. Кроме того, возникает проблема ненужного использования полосы пропускания при передаче данных и ненужного увеличения нагрузки на устройство терминала. С другой стороны, даже когда сервер 1002 распределения передает данные с излишне низким качеством, возникает такая проблема, что изображение с достаточным качеством изображения не будет получено в устройстве терминала. Поэтому сервер 1002 распределения соответствующим образом считывает данные, кодированные с масштабированием, сохраненные в модуле 1001 сохранения данных, кодированных с масштабированием, как кодированные данные соответствующего качества, и передает эти данные, в соответствии с возможностями устройства терминала, средой передачи данных и т.п.

Например, модуль 1001 сохранения данных, кодированных с масштабированием, сохраняет данные 1011, кодированные с масштабированием (BL+EL), которые были кодированы с масштабированием. Данные 1011, кодированные с масштабированием (BL+EL), представляют собой кодированные данные, включающие в себя, как основной уровень, так и уровень расширения, и данные, из которых, в результате декодирования, может быть получено, как изображение основного уровня, так и изображение уровня расширения.

Сервер 1002 доставки выбирает соответствующий уровень, в соответствии с возможностью устройства терминала, выполненного для передачи данных, средой передачи данных и т.п., и считывает данные уровня. Например, сервер 1002 доставки считывает данные 1011, кодированные с масштабированием (BL+EL) высокого качества, из модуля 1001 сохранения данных, кодированных с масштабированием, для персонального компьютера 1004 или планшетного устройства 1006, имеющего высокую способность для обработки, и передает эти данные без изменения. С другой стороны, например, сервер 1002 доставки выделяет данные основного уровня из данных 1011, кодированных с масштабированием (BL+EL) для AV инструмента 1005 или мобильного телефона 1007, имеющего низкую способность к обработке, и передает эти данные, как данные 1012, кодированные с масштабированием (BL), которые имеют то же содержание, что и данные 1011, кодированные с масштабированием (BL+EL), но имеют более низкое качество, чем у данных 1011, кодированных с масштабированием (BL+EL).

Когда используются такие данные, кодированные с масштабированием, поскольку возможно легко регулировать количество данных, возможно предотвращать задержку или переполнение, и предотвращать увеличение ненужной нагрузки в устройстве терминала или в среде передачи данных. Кроме того, поскольку избыточность между уровнями уменьшается, возможно уменьшить количество данных в данных 1011, кодированных с масштабированием (BL+EL), по сравнению со случаем, когда кодированные данные каждого уровня установлены, как отдельные данные. Поэтому, возможно с более высокой эффективностью использовать область сохранения модуля 1001 сохранения данных, кодированных с масштабированием.

Кроме того, аналогично персональному компьютеру 1004, в мобильном телефоне 1007, поскольку различные устройства могут применяться в устройстве терминала, рабочие характеристики аппаратных средств устройства терминала отличаются в соответствии с устройством. Кроме того, поскольку существуют различные приложения, которые выполняются устройством терминала, возможности их программного обеспечения будут разными. Кроме того, в качестве сети 1003, используемой, как среда передачи данных, может применяться любая сеть, предоставляющая канал передачи данных, включающая в себя, например, любую или обе из проводной и беспроводной передачи данных, Интернет или локальной вычислительной сети (LAN), и их возможности передачи данных будут разными. Кроме того, возможности могут изменяться в соответствии с другими передачами данных и т.п.

Поэтому перед началом передачи данных сервер 1002 доставки может выполнять передачу данных с устройством терминала, используемым как место назначения передачи данных, и может получать информацию о возможностях устройства терминала, такого как рабочая характеристика аппаратных средств устройства терминала или рабочая характеристика приложения (программного обеспечения), выполняемого устройством терминала, и информацию о среде передачи данных, такую как доступная полоса пропускания сети 1003. Поэтому сервер 1002 доставки может выбирать соответствующий уровень на основе информации, полученной в нем.

Кроме того, выделение уровня может выполняться в устройстве терминала. Например, персональный компьютер 1004 может декодировать переданные данные 1011, кодированные с масштабированием (BL+EL), отображать изображение основного уровня, или отображать изображение уровня расширения. Кроме того, например, после выделения данных 1012, кодированных с масштабированием (BL) основного уровня из переданных данных 1011, кодированных с масштабированием (BL+EL), персональный компьютер 1004 может сохранять их, передавать в другое устройство, декодировать их и отображать изображение основного уровня.

Само собой разумеется, что модуль 1001 сохранения данных, кодированных с масштабированием, сервер 1002 доставки, сеть 1003 и количество устройств терминала являются произвольными. Кроме того, в то время как выше был описан пример, в котором сервер 1002 доставки передает данные в устройство терминала, пример использования не ограничен этим. Система 1000 передачи данных может применяться к любой системе, если только эта система выбирает и передает соответствующий уровень, в соответствии с возможностью устройства терминала, средой передачи данных и т.п., когда кодированные данные, которые кодируют с масштабированием, передают в устройство терминала.

Поэтому, аналогично приложению для многоуровневого кодирования и многоуровневого декодирования, описанных выше со ссылкой на фиг. 1-42, когда настоящая технология применяется в системе 1000 передачи данных на фиг. 51, возможно получить те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Пример применения кодирования с масштабированием: вторая система

Кроме того, кодирование с масштабированием используется для передачи через множество сред передачи данных, например, как представлено в примере на фиг. 52.

В системе 1100 передачи данных, показанной на фиг. 52, станция 1101 широковещательной передачи передает данные, кодированные с масштабированием, основного уровня (BL) 1121 через наземную широковещательную передачу 1111. Кроме того, станция 1101 широковещательной передачи передает данные, кодированные с масштабированием, уровня 1122 расширения (EL) через любую сеть 1112, сформированную в любой из или в обеих из проводной и беспроводной сетях передачи данных (например, данные преобразуют в пакеты и передают).

Устройство 1102 терминала включает в себя функцию приема наземной широковещательной передачи 1111, которая представляет собой широковещательную передачу из станции 1101 широковещательной передачи, и принимает данные, кодированные с масштабированием основного уровня 1121 (BL), переданного из наземной широковещательной передачи 1111. Кроме того, устройство 1102 терминала дополнительно включает в себя функцию передачи данных, состоящую в выполнении передачи данных через сеть 1112, и принимает данные, кодированные с масштабированием, уровня 1122 расширения (EL), передаваемые через сеть 1112.

Устройство 1102 терминала декодирует данные, кодированные с масштабированием основного уровня 1121 (BL), полученные через наземную широковещательную передачу 1111, в соответствии, например, с инструкцией пользователя, получает и сохраняет изображение основного уровня и передает результат в другое устройство.

Кроме того, устройство 1102 терминала синтезирует данные, кодированные с масштабированием, основного уровня 1121 (BL), полученные через наземную широковещательную передачу 1111, и данные, кодированные с масштабированием, уровня 1122 расширения (EL), полученные через сеть 1112, в соответствии, например, с инструкцией пользователя, получает данные, кодированные с масштабированием (B+EL), декодирует эти данные, получает и сохраняет изображение уровня расширения и передает результат в другое устройство.

Как описано выше, данные, кодированные с масштабированием, могут быть переданы через, например, среду передачи данных, разную для каждого уровня. Поэтому возможно доставлять нагрузку и предотвращать возникновение задержки или переполнения.

Кроме того, в соответствии с обстоятельствами, среда передачи данных, используемая для передачи данных, может быть выбрана для каждого уровня. Например, данные, кодированные с масштабированием, основного уровня 1121 (BL), имеющие относительно большое количество данных, могут быть переданы через среду передачи данных, имеющую широкую полосу пропускания, и данные, кодированные с масштабированием, уровня расширения 1122 (EL), имеющие относительно малое количество данных, могут быть переданы через среду передачи данных, имеющую узкую полосу пропускания. Кроме того, например, среда передачи данных для передачи данных, кодированных с масштабированием, уровня 1122 расширения (EL), могут быть переключены на сеть 1112 или на наземную широковещательную передачу 1111, в соответствии с доступной полосой пропускания сети 1112. Само собой разумеется, что это выполняется аналогично для данных любого уровня.

Когда выполняют управление, таким образом, возможно дополнительно предотвратить увеличение нагрузки при передаче данных.

Само собой разумеется, что количество уровней является произвольным, и количество сред передачи данных, используемых для передачи данных, также является произвольным. Кроме того, количество устройств 1102 терминала, используемых как место назначения при доставке данных, также является произвольным. Кроме того, в то время как пример широковещательной передачи из станции 1101 широковещательной передачи был описан выше, пример использования не ограничен этим. Система 1100 передачи данных может применяться в любой системе, если только система разделяет кодированные данные, которые кодированы с масштабированием, на множество частей данных, используя уровень в качестве модуля, и передает эти данные через множество линий.

Поэтому, аналогично варианту применения для многоуровневого кодирования и многоуровневого декодирования, описанных выше со ссылкой на фиг. 1-42, когда настоящая технология применяется в системе 1100 передачи данных на фиг. 43, описанной выше, возможно получить те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Пример применения кодирования с масштабированием: третья система

Кроме того, кодирование с масштабированием используется для сохранения кодированных данных, например, как представлено на примере на фиг. 53.

В системе 1200 формирования изображений, показанной на фиг. 53, устройство 1201 формирования изображения выполняет кодирование с масштабированием данных изображения, полученных путем съемки изображения субъекта 1211, и подает результат в устройство 1202 сохранения данных, кодированных с масштабированием, как данные 1221, кодированные с масштабированием (BL+EL).

Устройство 1202 сохранения данных, кодированных с масштабированием, сохраняет данные 1221, кодированные с масштабированием (BL+EL), подаваемые из устройства 1201 формирования изображения, с качеством, соответствующим обстоятельствам. Например, в нормальное время, устройство 1202 сохранения данных, кодированных с масштабированием, выделяет данные основного уровня из данных 1221, кодированных с масштабированием (BL+EL), и сохраняет их, как данные, кодированные с масштабированием, основного уровня 1222 (BL), имеющие малое количество данных с низким качеством. С другой стороны, например, во время повышенного внимания, устройство 1202 сохранения данных, кодированных с масштабированием, непосредственно сохраняет данные 1221, кодированные с масштабированием (BL+EL), имеющие большое количество данных, с высоким качеством.

Таким образом, поскольку устройство 1202 сохранения данных, кодированных с масштабированием, сохраняет данные с высоким качеством изображения только, в соответствии с необходимостью, возможно предотвратить увеличение количества данных и возможно увеличить эффективность использования области сохранения при предотвращении снижения значения изображения из-за деградации качества изображения.

Например, устройство 1201 формирования изображения представляет собой камеру наблюдения. Когда цель слеживания отсутствует (например, нарушитель) в снятом изображении (в нормальное время), поскольку содержание снятого изображения, весьма вероятно, будет неважным, уменьшение количества данных имеет приоритет, и данные изображения (данные, кодированные с масштабированием) сохраняют с низким качеством. С другой стороны, когда цель отслеживания представлена в снятом изображении в виде субъекта 1211 (во время повышенного внимания), поскольку содержание снятого изображения, весьма вероятно, будет важным, качество изображения имеет приоритет, и данные изображения (данные, кодированные с масштабированием) сохраняют с высоким качеством.

Кроме того, устройство 1202 сохранения данных, кодированных с масштабированием, может определять нормальное время и время с повышенным вниманием, например, анализируя изображение. В качестве альтернативы, устройство 1201 формирования изображения может выполнять определение и может передавать результат определения в устройство 1202 сохранения данных, кодированных с масштабированием.

Кроме того, ссылка на определение нормального времени и времени повышенного внимания, является произвольной, и содержание изображения, используемого в качестве ссылки при определении, является произвольным. Само собой разумеется, что другие состояния, кроме содержания изображения, можно установить, как ссылку для определения. Например, ссылка для определения может переключаться в соответствии с величиной, формой колебаний и т.п. записанного звука, может переключаться через заданные интервалы времени или может переключаться в соответствии с инструкцией, поступающей снаружи, такой как инструкция пользователя.

Кроме того, в то время как выше был описан пример, в котором два состояния переключаются в нормальное время и во время повышенного внимания, количество состояний является произвольным. Например, можно переключать три или больше состояния, такие как нормальное время, время незначительного внимания, время повышенного внимания и время значительно повышенного внимания. Однако максимальное количество состояний, между которыми выполняют переключение, зависит от количества уровней данных, кодированных с масштабированием.

Кроме того, устройство 1201 формирования изображения может определять количество уровней при кодировании с масштабированием, в соответствии с состоянием. Например, в нормальное время, устройство 1201 формирования изображения может генерировать данные, кодированные с масштабированием, основного уровня 1222 (BL), имеющие малое количество данных с низким качеством, и может подавать сгенерированные данные в устройство 1202 сохранения данных, кодированных с масштабированием. Кроме того, например, во время повышенного внимания, устройство 1201 формирования изображения может генерировать данные 1221, кодированные с масштабированием (BL+EL) основного уровня, имеющего большое количество данных с высоким качеством, и может подавать сгенерированные данные в устройство 1202 сохранения данных, кодированных с масштабированием.

В то время как камера наблюдения была описана выше в качестве примера, применение системы 1200 формирования изображений является произвольным и не ограничено камерой наблюдения.

Поэтому, аналогично применению многоуровневого кодирования и многоуровневого декодирования, описанных выше со ссылкой на фиг. 1-42, когда настоящая технология применяется в системе 1200 формирования изображений на фиг. 53, возможно получать те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Кроме того, когда настоящая технология может применяться, например, для потоковой передачи HTTP, такой как MPEG-DASH, в соответствии с которой выбирают и используют данные среди множества заранее подготовленных частей кодированных данных, имеющих разные степени разрешения в модулях сегментов. Таким образом, информация о кодировании или декодировании может совместно использоваться между множеством частей кодированных данных.

8. Восьмой вариант осуществления

Другие примеры

Хотя примеры устройств, систем и т.п., в которых применяется настоящая технология, были описаны выше, настоящая технология не ограничена этим, и может быть воплощена, как любая конфигурация, установленная в устройствах или устройствах, составляющих системы, например, в процессорах, в системе с большой интегральной микросхемой (LSI), модулях, в которых используется множество процессоров, модулях, в которых используется множество модулей, в наборах, полученных путем дополнительного добавления других функций к модулям (то есть частичная конфигурация устройств), и т.п.

Видеонабор

Пример, в котором воплощена настоящая технология, как набор, будет описан со ссылкой на фиг. 54. На фиг. 54 иллюстрируется пример схематичной конфигурации видеонабора, в котором применяется настоящее раскрытие.

Поскольку электронные устройства постепенно становятся многофункциональными в последние годы, когда определенные конфигурации каждого устройства подготавливают для продажи, поставки и т.п. на стадии разработки и производства, возникают не только случаи, в которых конфигурацию такого устройства составляют, так, чтобы оно имело одну функцию, но также и множество случаев, в которых множество конфигураций, имеющих соответствующие функции, комбинируют и воплощают, как один набор с множеством функций.

Видеонабор 1300, представленный на фиг. 54, выполнен так, чтобы он быль многофункциональным, как описано выше, путем комбинирования устройств, имеющих функции кодирования и декодирования (которые могут иметь любую из этих или обе эти функции) изображений с устройствами, имеющими другие функции, относящиеся к представленным выше функциям.

Как показано на фиг. 54, видеонабор 1300 имеет группу модулей, включающую в себя видеомодуль 1311, внешнее запоминающее устройство 1312, модуль 1313 администрирования питанием, входной модуль 1314 и т.п., и устройства, имеющие соответствующие функции, такие как устройство 1321 соединения, камера 1322, сенсор 1323 и т.п.

Модуль выполнен в форме компонента, в котором собраны несколько функций взаимосвязанных, как компоненты, для обеспечения объединенной функции. Конкретная физическая конфигурация является произвольной; однако, рассматривается, что она представляет собой объединение, в котором, например, множество процессоров, каждый из которых имеет функции элементов электронной схемы, таких как резистор и конденсатор, и других устройств, расположены на печатной плате. Кроме того, при изготовлении нового модуля путем комбинирования модуля с другим модулем, также учитывается процессор и т.п.

В примере на фиг. 54, видеомодуль 1311 представляет собой комбинацию конфигураций с функциями, относящимися к обработке изображений, и имеет процессор приложения, видеопроцессор, широкополосный модем 1333 и RF модуль 1334.

Процессор представляет собой полупроводниковую схему, микросхему, интегрированную с конфигурацией, имеющей заданные функции, используя систему на кристалле (SoC), и также называется, например, системной большой интегральной схемой (LSI) и т.п. Конфигурация, имеющая заданную функцию, может представлять собой логическую схему (аппаратная конфигурация), может представлять собой, вместе с CPU, ROM и RAM, программу, которая выполняется, используя эти элементы (программная конфигурация), или может представлять собой комбинацию обеих конфигураций. Например, процессор может иметь логическую схему, CPU, ROM, RAM и т.п. и может реализовывать некоторые функции с логической схемой (аппаратная конфигурация), или может реализовывать другие функции с программой, выполняемой CPU (программная конфигурация).

Процессор 1331 приложения на фиг. 54 представляет собой процессор, который выполняет приложение, относящееся к обработке изображений. Приложение, выполняемое процессором 1331 приложения, может не только выполнять арифметическую обработку, но также может управлять конфигурацией, внутренней и внешней для видеомодуля 1311, например, видеопроцессором 1332, когда необходимо, для реализации заданных функций.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к (одному или обоим из) кодирования и декодирования изображений.

Широкополосный модем 1333 выполняет цифровую модуляцию данных (цифровой сигнал), передаваемых, используя проводную или беспроводную (или обе) широкополосную передачу данных, которая выполняется через широкополосную линию, такую как Интернет или общественная телефонная сеть, преобразует результат в аналоговый сигнал и демодулирует этот аналоговый сигнал, принятый используя широкополосную передачу данных, и преобразует этот результат в данные (цифровой сигнал). Широкополосный модем 1333 обрабатывает любую информацию, например, данные изображения, обрабатываемые видеопроцессором 1332, поток, в котором кодированы данные изображения, программу приложения или данные установки.

Модуль 1334 RF представляет собой модуль, который выполняет преобразование частоты, модуляцию и демодуляцию, усиление, обработку фильтрации и т.п. для радиочастотного (RF) сигнала, переданного и принятого через антенну. Например, RF модуль 1334 генерирует RF сигнал, выполняя преобразование частоты и т.п. для сигнала основной полосы пропускания, сгенерированного широкополосным модемом 1333. Кроме того, RF модуль 1334, например, генерирует широкополосный сигнал, выполняя преобразование частоты и т.п. для RF сигнала, принятого через входной модуль 1314.

Следует отметить, что, как обозначено пунктирной линией 1341 на фиг. 54, процессор 1331 приложения и видеопроцессор 1332 могут быть интегрированы так, что они составляют один процессор.

Внешнее запоминающее устройство 1312 представляет собой модуль, который предусмотрен за пределами видеомодуля 1311, имеющий устройство сохранения, используемое видеомодулем 1311. Устройство сохранения внешнего запоминающего устройства 1312 может быть реализовано с любой физической конфигурацией, но, в основном, используется, когда сохраняют большое количество данных для данных изображения в модулях кадров, и, таким образом, желательно реализовать устройство сохранения с относительно недорогостоящей и большой емкости полупроводниковой памятью, например, динамическое оперативное запоминающее устройство (DRAM).

Модуль 1313 администрирования питанием администрирует и управляет подачей питания в видеомодуль 1311 (каждый составляющий элемент внутри видеомодуля 1311).

Входной модуль 1314 представляет собой модуль, который обеспечивает для RF модуля 1334 функцию входного модуля (используется, как оконечная схема передачи и приема на стороне антенны). Входной модуль 1314 имеет, например, антенный модуль 1351, фильтр 1352 и модуль 1353 усиления, как представлено на фиг. 54.

Антенный модуль 1351 выполнен, как антенна, которая передает и принимает беспроводные сигналы, и ее периферийные устройства. Антенный модуль 1351 передает сигнал, подаваемый из модуля 1353 усиления, как радиосигнал, и подает принятый радиосигнал в фильтр 1352, как электрический сигнал (RF сигнал). Фильтр 1352 выполняет обработку фильтрации и т.п. RF сигнала, принятого через антенный модуль 1351, и подает обработанный RF сигнал в RF модуль 1334. Модуль 1353 усиления усиливает RF сигнал, переданный из RF модуля 1334, и подает этот сигнал в антенный модуль 1351.

Устройство 1321 соединения представляет собой модуль, имеющий функцию, относящуюся к соединению с внешней стороной. Физическая конфигурация устройства 1321 соединения является произвольной. Устройство 1321 соединения имеет, например, конфигурацию с другой функцией передачи данных, чем стандарт передачи данных, которому соответствует широкополосный модем 1333, внешний терминал ввода и вывода, и т.п.

Например, устройство 1321 соединения может иметь функцию передачи данных, которая основана на стандарте беспроводной передачи данных, таком как Bluetooth (зарегистрированный товарный знак), ШЕЕ 802.11 (например, Wireless Fidelity (Wi-Fi; зарегистрированный товарный знак), передача данных в ближнем поле (NFC), или Ассоциация по средствам передачи данных в инфракрасном диапазоне (IrDA), антенну, которая передает и принимает сигналы на основе этого стандарта, и т.п. Кроме того, устройство 1321 соединения может иметь, например, модуль, имеющий функцию передачи данных на основе стандарта проводной передачи данных, такого как Универсальная последовательная шина (USB), или мультимедийный интерфейс высокой четкости (HDMI; зарегистрированный товарный знак), или терминал на основе стандарта. Кроме того, устройство 1321 соединения может иметь, например, другую функцию передачи данных (сигнала) аналогового терминала ввода и вывода, и т.п.

Следует отметить, что устройство 1321 соединения может быть установлено так, чтобы оно включало в себя устройство, используемое как назначение передачи данных (сигнала). Например, устройство 1321 соединения может быть установлено так, чтобы оно имело привод (включая в себя привод не только съемного носителя информации, но также и жесткого диска, твердотельный привод (SSD), накопитель, подключаемый по сети (NAS), и т.п.), который считывает и записывает данные на носителе записи, таком как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство. Кроме того, устройство 1321 соединения может быть установлено так, чтобы оно имело устройство вывода изображения или звука (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию съемки субъекта и получения данных изображения субъекта. Данные изображения, полученные в результате съемки камерой 1322, подают, например, в видеопроцессор 1332 и кодируют в нем.

Датчик 1323 представляет собой модуль, имеющий произвольные функции восприятия, например, датчик звука, ультразвуковой датчик, датчик света, датчик освещенности, инфракрасный датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, датчик магнитной идентификации, датчик удара, датчик температуры и т.п. Данные, детектируемые датчиком 1323, подают, например, в процессор 1331 приложения, и используются приложением, и т.п.

Конфигурации, описанные в модулях, представленных выше, могут быть реализованы, как процессоры, или наоборот, конфигурации, описанные, как процессоры, могут быть реализованы как модули.

В видеонаборе 1300 с конфигурацией, описанной выше, может применяться настоящая технология в видеопроцессоре 1332, как будет описано ниже. Таким образом, видеонабор 1300 может быть воплощен, как набор, в котором применяется настоящая технология.

Пример конфигурации видеопроцессора

На фиг. 55 иллюстрируется пример схематичной конфигурации видеопроцессора 1332 (фиг. 54), в котором применяется настоящая технология.

В примере на фиг. 55 видеопроцессор 1332 имеет функцию приема входного видеосигнала и аудиосигнала и кодирования, используя заданную схему, и функцию декодирования кодированных видеоданных и аудиоданных, и воспроизведения и вывода видеосигнала и аудиосигнала.

Как показано на фиг. 55, видеопроцессор 1332 имеет модуль 1401 обработки входных видеоданных, первый модуль 1402 увеличения и уменьшения изображения, второй модуль 1403 увеличения и уменьшения изображения, модуль 1404 обработки вывода видеоданных, запоминающее устройство 1405 кадра и модуль 1406 управления запоминающим устройством. Кроме того, видеопроцессор 1332 имеет механизм 1407 кодирования/декодирования, буферы 1408А и 1408В элементарного потока видеоданных (ES) и буферы 1409А и 1409В ES аудиоданных. Кроме того, видеопроцессор 1332 имеет аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, демультиплексор (DMUX) 1413 и буфер 1414 потока.

Модуль 1401 обработки ввода видеоданных получает видеосигнал, вводимый, например, устройством 1321 соединения (фиг. 54), и преобразует этот сигнал в цифровые данные изображения. Первый модуль 1402 увеличения и уменьшения изображения выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. для данных изображения. Второй модуль 1403 увеличения и уменьшения изображения выполняет обработку увеличения или уменьшения изображения для данных изображения в соответствии с форматом места назначения, в котором выводят данные через модуль 1404 обработки вывода видеоданных, или выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. таким же образом, как и первый модуль 1402 увеличения или уменьшения изображения. Модуль 1404 обработки вывода видеоданных выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. для данных изображения, и выводит эти данные, например, в устройство 1321 соединения, как воспроизводимый видеосигнал.

Запоминающее устройство 1405 кадра представляет собой запоминающее устройство для данных изображения, совместно используемых модулем 1401 обработки входных видеоданных, первый модуль 1402 увеличения и уменьшения изображения, второй модуль 1403 увеличения и уменьшения изображения, модуль 1404 обработки вывода видеоданных, и механизм 1407 кодирования/декодирования. Запоминающее устройство 1405 кадра реализовано, как полупроводниковое запоминающее устройство, например, DRAM и т.п.

Модуль 1406 управления запоминающим устройством принимает сигнал синхронизации из механизма 1407 кодирования/декодирования и управляет доступом к запоминающему устройству 1405 кадра для записи и считывания, в соответствии с планом доступа к запоминающему устройству 1405 кадра, который записан в таблице 1406А администрирования доступом. Таблица 1406А администрирования доступом обновляется модулем 1406 управления запоминающим устройством, в соответствии с обработкой, выполняемой механизмом 1407 кодирования/декодирования, первым модулем 1402 увеличения и уменьшения изображения, вторым модулем 1403 увеличения и уменьшения изображения, и т.п.

Механизм 1407 кодирования/декодирования выполняет обработку кодирования данных изображения и обработку декодирования видеопотока, который представляет собой данные, полученные в результате кодирования данных изображения. Например, механизм 1407 кодирования/декодирования кодирует данные изображения, считанные из запоминающего устройства 1405 кадра, и последовательно записывает эти данные в буфер 1408A ES видеоданных, как видеопотоки. Кроме того, например, механизм 1407 кодирования/декодирования последовательно считывает видеопотоки из буфера 1408В ES видеоданных, и последовательно записывает эти данные в запоминающее устройство 1405 кадра, как данные изображения. Механизм 1407 кодирования/декодирования использует запоминающее устройство 1405 кадра в качестве рабочей области для такого кодирования и декодирования. Кроме того, механизм 1407 кодирования/декодирования выводит сигнал синхронизации в модуль 1406 управления запоминающим устройством в моменты времени, в которые, например, начинается обработка в каждом микроблоке.

Буфер 1408A ES видеоданных размещает в буфере видеопоток, сгенерированный механизмом 1407 кодирования/декодирования, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1408В ES видеоданных размещает в буфере видеопоток, подаваемый из демультиплексора (DMUX) 1413, и подает этот поток в механизм 1407 кодирования/декодирования.

Буфер 1409А ES видеоданных размещает в буфере аудиопоток, сгенерированный аудиокодером 1410, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1409В ES аудиоданных размещает в буфере аудиопоток, подаваемый из демультиплексора (DMUX) 1413, и подает этот поток в аудиодекодер 1411.

Аудиокодер 1410, например, выполняет цифровое преобразование аудиосигнала, подаваемого, например, из устройства 1321 соединения и т.п., и кодирует этот сигнал в заданной схеме, например, в аудиосхеме MPEG, в схеме AudioCode номер 3 (АС3) и т.п. Аудиокодер 1410 последовательно записывает аудиопотоки, которые представляют собой данные, полученные путем кодирования аудиосигналов, в буфере 1409A ES аудиоданных. Аудиодекодер 1411 декодирует аудиопоток, подаваемый из буфера ES 1409В аудиоданных, выполняет преобразование, например, в аналоговый сигнал и подает этот сигнал, например, в устройство 1321 соединения и т.п. как воспроизводимый аудиосигнал.

Мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток. Способ для такого мультиплексирования (то есть, формат потока битов, генерируемого в результате мультиплексирования), является произвольным. Кроме того, во время мультиплексирования, мультиплексор (MUX) 1412 также может добавлять заданную информацию заголовка и т.п. к потоку битов. То есть мультиплексор 1412 (MUX) может преобразовывать формат потока в результате мультиплексирования. Путем мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует потоки в поток транспортирования, который представляет собой поток битов в формате транспортирования. Кроме того, в результате мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует эти потоки в данные формата файла для записи (данные файла).

Демультиплексор (DMUX) 1413 демультиплексирует поток битов, полученный в результате мультиплексирования видеопотока и аудиопотока, используя способ, который соответствует мультиплексированию, выполняемому мультиплексором (MUX) 1412. То есть демультиплексор (DMUX) 1413 выделяет видеопоток и аудиопоток из потока битов, считанного из буфера 1414 потока (разделяет поток битов на видеопоток и аудиопоток). Демультиплексор (DMUX) 1413 может преобразовывать формат потока в результате демультиплексирования (обратное преобразование для преобразования, выполняемого мультиплексором (MUX) 1412). Например, демультиплексор (DMUX) 1413 может получать поток транспортирования, подаваемый, например, из устройства 1321 соединения, широкополосного модема 1333 и т.п. через буфер 1414 потока, и преобразует этот поток в видеопоток и аудиопоток путем демультиплексирования. Кроме того, например, демультиплексор (DMUX) 1413 может получать файл данных, считанный с различных носителей записи, с помощью, например, устройства 1321 соединения через буфер 1414 потока, и преобразовывать эти данные в видеопоток и аудиопоток путем демультиплексирования.

Буфер 1414 потока размещает в буфере потоки битов. Например, буфер 1414 потока размещает в буфере поток транспортирования, подаваемый из мультиплексора (MUX) 1412, и подает этот поток, например, в устройство 1321 соединения, широкополосный модем 1333 и т.п. в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Кроме того, например, буфер 1414 потока размещает в буфере данные файла, подаваемые из мультиплексора (MUX) 1412, и подает эти данные, например, в устройство 1321 соединения и т.п., в заданные моменты времени или на основе запроса, поступающего извне, и т.п., для обеспечения возможности записи данных на любой из различных видов носителей записи.

Кроме того, буфер 1414 потока размещает в буфере поток транспортирования, полученный, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п., и подает этот поток в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Кроме того, буфер 1414 потока размещает в буфере данные файла, считанные с любого из различных видов носителей записи, например, через устройство 1321 соединения и т.п., и подает эти данные в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего извне, и т.п.

Далее будет описан пример операции видеопроцессора 1332, имеющего такую конфигурацию. Например, видеосигнал, подаваемый в видеопроцессор 1332 из устройства 1321 соединения и т.п., преобразуют в цифровые данные изображения в заданном формате, таком как формат YCbCr 4:2:2, в модуле 1401 обработки входных видеоданных, и последовательно записывают в запоминающем устройстве 1405 кадра. Такие цифровые данные изображения считывают с помощью первого модуля 1402 увеличения и уменьшения изображения или второго модуля 1403 увеличения и уменьшения изображения, выполняют для них преобразование формата и обработку увеличения или уменьшения в заданном формате, таком как формат YCbCr 4:2:0, и затем их снова записывают в запоминающее устройство 1405 кадра. Такие данные изображения кодируют с помощью механизма 1407 кодирования/декодирования, и записывают в буфере 1408A ES видеоданных как видеопоток.

Кроме того, аудиосигнал, вводимый в видеопроцессор 1332 из устройства 1321 соединения, кодируют аудиокодером 1410, и затем записывают в буфер 1409А ES аудиоданных, как аудиопоток.

Видеопоток буфера 1408А ES видеоданных и аудиопоток буфера 1409А ES аудиоданных считывают и мультиплексируют с помощью мультиплексора (MUX) 1412, для преобразования в поток транспортирования, данные файла и т.п. Поток транспортирования, генерируемый мультиплексором (MUX) 1412, размещают в буфере 1414 потока, и затем выводят во внешнюю сеть, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п. Кроме того, данные файла, генерируемые мультиплексором (MUX) 1412, размещают в буфере 1414 потока, и выводят, например, в устройство 1321 соединения (фиг. 29) для записи на любой из различных видов носителей записи.

Кроме того, модуль потока транспортирования, подаваемый в видеопроцессор 1332 из внешней сети, например, через устройство 1321 соединения, широкополосный модем 1333 и т.п., размещают в буфере 1414 потока и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. Кроме того, например, данные файла, считываемые с любого из различных видов носителей записи через устройство 1321 соединения и подаваемые в видеопроцессор 1332, размещают в буфере потока 1414 и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. То есть, поток транспортирования или данные файла, подаваемые в видеопроцессор 1332, разделяют на видеопоток и аудиопоток с помощью демультиплексора (DMUX) 1413.

Аудиопоток подают в аудиодекодер 1411 через буфер 1409В ES аудиоданных для декодирования и воспроизводят аудиосигнал. Кроме того, видеопоток записывают в буфере 1408В ES видеоданных, затем последовательно считывают с помощью механизма 1407 кодирования/декодирования для декодирования и записывают в запоминающем устройстве 1405 кадра. Декодированные данные изображения подвергают обработке увеличения и уменьшения, используя второй модуль 1403 увеличения и уменьшения изображения, и записывают в запоминающем устройстве 1405 кадра. Затем декодированные данные изображения считывают с помощью модуля 1404 обработки вывода видеосигнала, подвергают преобразованию формата в заданный формат, такой как формат YCbCr 4:2:2, и дополнительно преобразуют в аналоговый сигнал, и видеосигнал воспроизводят для вывода.

Когда настоящую технологию применяют в видеопроцессоре 1332, выполненном таким образом, настоящая технология в соответствии с каждым вариантом осуществления, описанным выше, может применяться в механизме 1407 кодирования/декодирования. Таким образом, например, механизм 1407 кодирования/декодирования может иметь функции устройства 100 кодирования изображения и устройства 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. Таким образом, видеопроцессор 1332 может получать те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Кроме того, в механизме 1407 кодирования/декодирования настоящая технология (то есть, функции устройства кодирования изображения и устройства декодирования изображения, в соответствии с каждым вариантом осуществления, описанным выше) может быть воплощена любым из или обоими из аппаратных средств, такими как логическая схема, и программных средств, такими как встроенная программа.

Другой пример конфигурации видеопроцессора

На фиг. 56 иллюстрируются другие примеры схематичной конфигурации видеопроцессора 1332, в котором применяется настоящая технология. В случае примера на фиг. 56, видеопроцессор 1332 имеет функции кодирования и декодирования видеоданных в заданной схеме.

Более конкретно, как представлено на фиг. 56, видеопроцессор 1332 включает в себя модуль 1511 управления, интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображений и внутренне запоминающее устройство 1515. Видеопроцессор 1332 включает в себя механизм 1516 кодека, интерфейс 1517 запоминающего устройства, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX), сетевой интерфейс 1519 и видеоинтерфейс 1520.

Модуль 1511 управления управляет операцией каждого модуля обработки в видеопроцессоре 1332, таком как интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображений и механизм 1516 кодека.

Как представлено на фиг. 56, например, модуль 1511 управления включает в себя основное CPU 1531, вспомогательное CPU 1532 и системный контроллер 1533. Основное CPU 1531 выполняет программу и т.п., для управления операцией каждого модуля обработки в видеопроцессоре 1332. Основное CPU 1531 генерирует сигнал управления в соответствии с программой и т.п., и подает сигнал управления в каждый модуль обработки (то есть, управляет операцией каждого модуля обработки). Вспомогательное CPU 1532 используется, как вспомогательное устройство для основного CPU 1531. Например, вспомогательное CPU 1532 выполняет порожденную обработку или подпрограмму для программы, и т.п. выполняемой основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и вспомогательного CPU 1532, например, обозначает программы, выполняемые основным CPU 1531 и вспомогательным CPU 1532.

Интерфейс 1512 дисплея выводит данные изображения, например, в устройство 1321 соединения под управлением модуля 1511 управления. Например, интерфейс 1512 дисплея преобразует данные изображения, такие как цифровые данные, в аналоговый сигнал, и выводит данные изображения, как воспроизводимый видеосигнал, или данные изображения цифровых данных, в устройство монитора и т.п. устройства 1321 соединения.

Механизм 1513 дисплея выполняет различную обработку преобразования, такую как преобразование формата, преобразование размера и преобразование цветовой гаммы данных изображения для соответствия спецификации аппаратных средств устройства монитора, и т.п., отображающего изображение под управлением модуля 1511 управления.

Механизм 1514 обработки изображений выполняет заданную обработку изображений, такую как обработка фильтра, для данных изображения, например, для улучшения качества изображения под управлением модуля 1511 управления.

Внутреннее запоминающее устройство 1515 представляет собой запоминающее устройство, совместно используемое механизмом 1513 дисплея, механизмом 1514 обработки изображений и механизмом 1516 кодека, и предусмотренное внутри видеопроцессора 1332. Например, внутреннее запоминающее устройство 1515 используется для передачи и приема данных между механизмом 1513 дисплея, механизмом 1514 обработки изображений и механизмом 1516 кодека. Например, внутреннее запоминающее устройство 1515 сохраняет данные, подаваемые из механизма 1513 дисплея, механизма 1514 обработки изображений или механизма 1516 кодека, и подает эти данные в механизм 1513 дисплея, механизм 1514 обработки изображений или механизм 1516 кодека, в соответствии с необходимостью (например, в соответствии с запросом). Внутреннее запоминающее устройство 1515 может быть реализовано с использованием любого устройства сохранения, но во многих случаях внутреннее запоминающее устройство 1515, в общем, используется для сохранения данных с малым объемом, таких как параметры или данные изображения в единицах блоков. Поэтому, внутреннее запоминающее устройство 1515, предпочтительно, реализовано, например, на основе полупроводникового запоминающего устройства с относительно малой емкостью (по сравнению, например, с внешним запоминающим устройством 1312) и высокой скоростью отклика, такого как статическое оперативное запоминающее устройство (SRAM).

Механизм 1516 кодека выполняет обработку, относящуюся к кодированию или декодированию данных изображения. Можно использовать любые схемы кодирования и декодирования, которым соответствует механизм 1516 кодека, и количество схем может быть одна или множество. Например, механизм 1516 кодека может включать в себя функции кодека, в соответствии с множеством схем кодирования и декодирования, и может кодировать данные изображения, используя функцию кодека, выбранную из него, и декодировать кодированные данные.

В примере, представленном на фиг. 56, в качестве функциональных блоков обработки, относящихся к кодеку, включен механизм 1516 кодека, например, MPEG 2 video 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (масштабируемый) 1544, и HEVC/H.265 (многообзорный) 1545 и включает в себя MPEG-DASH 1551.

MPEG 2 video 1541 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме MPEG 2. AVC/H.264 1542 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме AVC. HEVC/H.265 1543 представляет собой функциональный блок, который кодирует или декодирует данные изображения в схеме HEVC. HEVC/H.265 (масштабируемый) 1544 представляет собой функциональный блок, который выполняет масштабируемое кодирование или масштабируемое декодирование данных изображения в схеме HEVC. HEVC/H.265 (многообзорный) 1545 представляет собой функциональный блок, который выполняет многообзорное кодирование или многообзорное декодирование данных изображения в схеме HEVC.

MPEG-DASH 1551 представляет собой функциональный блок, который передает и принимает данные изображения, используя схему MPEG - динамической адаптивной потоковой передачи по HTTP (MPEG-DASH). MPEG-DASH представляет собой технологию для выполнения потоковой передачи видеоданных, используя протокол передачи гипертекста (HTTP), и имеет характеристику, в соответствии с которой соответствующие данные выбирают среди множества ранее подготовленных частей кодированных данных, имеющих разное разрешение в модулях сегментов, и передают. MPEG-DASH 1551 генерирует поток, соответствующий стандарту, управляет передачей потока и т.п., и использует MPEG 2 Video 1541 в HEVC/H.265 (многообзорный) 1545, описанный выше, для кодирования и декодирования данных изображения.

Интерфейс 1517 запоминающего устройства представляет собой интерфейс для внешнего запоминающего устройства 1312. Данные, подаваемые из механизма 1514 обработки изображений или из механизма 1516 кодека, поступают во внешнее запоминающее устройство 1312 через интерфейс 1517 запоминающего устройства. Данные, считываемые из внешнего запоминающего устройства 1312, поступают в видеопроцессор 1332 (механизм 1514 обработки изображений или механизм 1516 кодека) через интерфейс 1517 запоминающего устройства.

Модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) мультиплексирует или демультиплексирует различного вида данные, относящиеся к изображениям, таким как данные изображения, видеосигналы и потоки битов кодированных данных. Можно использовать любые способы мультиплексирования и демультиплексирования. Например, во время мультиплексирования, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может собирать множество частей данных в одну часть данных и может также добавлять заданную информацию заголовка и т.п. к данным. Во время демультиплексирования модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) разделяет одну часть данных на множество частей данных и также может добавлять заданную информацию заголовка и т.п. к каждой из частей разделенных данных. Таким образом, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может преобразовывать формат данных, используя мультиплексирование и демультиплексирование. Например, модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) может преобразовывать данные в поток транспортирования, который представляет собой поток битов, в формат передачи или данные (данные файла) с форматом файла для записи путем мультиплексирования потока битов. Конечно, обратное преобразование также может быть выполнено, используя демультиплексирование.

Сетевой интерфейс 1519 представляет собой, например, интерфейс для широкополосного модема 1333, устройства 1321 соединения и т.п. Видеоинтерфейс 1520 представляет собой, например, интерфейс для устройства 1321 соединения, камеры 1322 и т.п.

Далее будет описан пример операции видеопроцессора 1332. Например, когда поток транспортирования принимают из внешней сети через устройство 1321 соединения, широкополосный модем 1333 и т.п., поток транспортирования подают в модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) через сетевой интерфейс 1519 для демультиплексирования и затем декодируют с помощью механизма 1516 кодека. Например, денные изображения, полученные в результате декодирования в механизме 1516 кодека, подвергают заданной обработке изображения в механизме 1514 обработки изображения, подвергают заданному преобразованию в механизме 1513 дисплея и подают, например, в устройство 1321 соединения через интерфейс 1512 дисплея, и затем изображение отображают на мониторе. Например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, повторно кодируют с помощью механизма 1516 кодека, мультиплексируют, используя модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) для преобразования в данные файла, выводят, например, в устройство 1321 соединения через видеоинтерфейс 1520, и записывают на различные носители записи.

Кроме того, например, данные файла кодированных данных, считываемые с носителя записи (не показан) с помощью устройства 1321 соединения и т.п., и полученные в результате кодирования данных изображения, подают в модуль 1518 мультиплексирования и демультиплексирования (MUX DMUX) через видеоинтерфейс 1520 для демультиплексирования и затем декодируют в механизме 1516 кодека. Данные изображения, полученные в результате декодирования в механизме 1516 кодека, подвергают заданной обработке изображений, используя механизм 1514 обработки изображений, подвергают заданному преобразованию в механизме 1513 дисплея и подают, например, в устройство 1321 соединения через интерфейс 1512 дисплея, и затем изображение отображают на мониторе. Например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, повторно кодируют в механизме 1516 кодека, мультиплексируют модулем 1518 мультиплексирования и демультиплексирования (MUX DMUX) для преобразования в поток транспортирования, подают, например, в устройство 1321 соединения или в широкополосный модем 1333 через сетевой интерфейс 1519 и передают в другое устройство (не показано).

Передача и прием данных изображения или других данных между модулями обработки в видеопроцессоре 1332 выполняется, используя, например, внутреннее запоминающее устройство 1515 или внешнее запоминающее устройство 1312. Модуль администрирования 1313 питанием управляет подачей питания, например, в модуль 1511 управления.

Когда настоящая технология применяется в видеопроцессоре 1332, выполненном таким образом, настоящая технология, в соответствии с каждым вариантом осуществления, описанным выше, может применяться в механизме 1516 кодека. Таким образом, например, механизм 1516 кодека может иметь функциональные блоки, которые реализуют устройство 100 кодирования изображения и устройство 200 декодирования изображения, в соответствии с описанным выше вариантом осуществления. Таким образом, видеопроцессор 1332 может получать те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Кроме того, в механизме 1516 кодека настоящая технология (то есть функции устройства кодирования изображения и устройства декодирования изображения, в соответствии с каждым вариантом осуществления, описанным выше) может быть воплощена, используя любое или оба из аппаратных средств, таких как логическая схема, и программных средств, таких как встроенная программа.

Две конфигурации видеопроцессора 1332 были представлены в качестве примеров, но конфигурация видеопроцессора 1332 является произвольной и может представлять собой другую конфигурацию, чем две конфигурации, описанные выше. Видеопроцессор 1332 может быть выполнен, как одиночная полупроводниковая микросхема или может быть выполнен, как множество полупроводниковых микросхем. Например, может использоваться 3-мерная многослойная LSI, в которой множество полупроводников размещены слоями. Видеопроцессор 1332 может быть реализован, используя множество LSI.

Примеры применения в устройствах

Видеонабор 1300 может быть встроен в различные устройства, которые обрабатывают данные изображения. Например, видеонабор 1300 может быть встроен в телевизионное устройство 900 (фиг. 47), мобильный телефон 920 (фиг. 48), устройство 940 записи и воспроизведения (фиг. 49), устройство 960 формирования изображения (фиг. 50) и т.п. В результате встраивания видеонабора 1300, устройство может получать те же преимущества, как и преимущества, описанные со ссылкой на фиг. 1-42.

Кроме того, видеонабор 1300 может быть встроен, например, в устройство терминала, такое как персональный компьютер 1004, AV инструмент 1005, планшетное устройство 1006 и мобильный телефон 1007 в системе 1000 передачи данных по фиг. 51, в станцию 1101 широковещательной передачи и в устройство 1102 терминала, в системе 1100 передачи данных на фиг. 52, и устройство 1201 формирования изображения, и в устройство 1202 сохранения данных, кодированных с масштабированием, в системе 1200 формирования изображений по фиг. 53. Когда видеонабор 1300 встроен, устройство может получать те же эффекты, которые были описаны выше со ссылкой на фиг. 1-42.

Часть каждой конфигурации описанного выше видеонабора 1300 может также быть воплощена, как конфигурация, в которой применяется настоящая технология, если только часть конфигурации включает в себя видеопроцессор 1332. Например, только видеопроцессор 1332 может быть воплощен, как видеопроцессор, в котором применяется настоящая технология. Например, видеомодуль 1331 или процессор, обозначенный пунктирной линией 1341, как описано выше, может быть воплощен, как процессор, модуль и т.п. в котором применяется настоящая технология. Кроме того, например, видеомодуль 1311, внешний модуль 1312, модуль администрирования 1313 питанием и входной модуль 1314 могут быть скомбинированы для воплощения, как видеомодуль 1361, в котором применяется настоящая технология. Возможно, получить те же преимущества, как и преимущества, описанные со ссылкой на фиг. 1-42, независимо от конфигурации.

Таким образом, любая конфигурация может быть встроена в различные устройства, обрабатывающие данные изображения, как в случае видеонабора 1300, если только конфигурация включает в себя видеопроцессор 1332. Например, видеопроцессор 1332, процессор, обозначенный пунктирной линией 1341, видеомодуль 1311, или видеомодуль 1361, могут быть встроены в телевизионное устройство 900 (фиг. 47), мобильный телефон 920 (фиг. 48), устройство 940 записи и воспроизведения (фиг. 49), устройство 960 формирования изображения (фиг. 50), устройства терминала, такие как персональный компьютер 1004, AV инструмент 1005, планшетное устройство 1006 и мобильный телефон 1007, в системе 1000 передачи данных по фиг. 51, в станции 1101 широковещательной передачи и в устройстве 1102 терминала, в системе 1100 передачи данных по фиг. 52, и в устройстве 1201 формирования изображения и в устройстве 1202 сохранения данных, кодированных с масштабированием в системе 1200 формирования изображений по фиг. 53. В результате встраивания любой конфигурации, в которой применяется настоящая технология, устройство может получать те же преимущества, что и преимущества, описанные со ссылкой на фиг. 1-42, как в видеонаборе 1300.

В настоящем описании были описаны примеры, в которых различные части информации мультиплексируют в потоке кодирования и передают со стороны кодирования на сторону декодирования. Однако способы передачи информации не ограничены этими примерами. Например, информация может быть передана или записана, как отдельные части данных, ассоциированные с битовым потоком кодирования, без мультиплексирования в битовом потоке кодирования. Здесь термин "ассоциированный" означает, что изображение (которое может представлять собой часть изображения, такого как срез или блок), обозначенное в битовом потоке, и информация, соответствующая изображению, могут быть соединены во время декодирования. Таким образом, информация может быть передана вдоль другого пути передачи, чем изображение (или битовый поток). Информация может быть записана на другой носитель записи (или в другой области записи того же носителя записи), чем изображение (или битовый поток). Кроме того, информация и изображение (или битовый поток) могут быть взаимно ассоциированы, например, в любой модуль, такой как множество кадров, один кадр или часть кадра.

Кроме того, настоящая технология также может быть выполнена так, как представлено ниже.

(1) Устройство кодирования изображения, включающее в себя:

модуль кодирования, выполненный с возможностью кодирования данных изображения;

модуль установки информации определения нагрузки декодирования, выполненный с возможностью установки информации определения нагрузки декодирования для определения величины нагрузки при обработке декодирования, независимо от декодируемой частичной области изображения данных изображения; и

модуль передачи, выполненный с возможностью передачи кодированных данных в данных изображения, сгенерированных модулем кодирования и декодирования, и информации определения нагрузки декодирования, установленной модулем установки информации определения нагрузки декодирования.

(2) Устройство кодирования изображения по любому из (1) и (3)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки по обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки обработки декодирования.

(3) Устройство кодирования изображения по любому одному из (1), (2) и (4)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей размер частичной области.

(4) Устройство кодирования изображения по любому одному из (1)-(3) и (5)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей длину в вертикальном направлении, и информацией, обозначающей длину в горизонтальном направлении частичной области.

(5) Устройство кодирования изображения по любому одному из (1)-(4) и (6)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей максимальную скорость входных битов и емкость буфера опорного виртуального декодера, выполненного с возможностью декодирования частичной области.

(6) Устройство кодирования изображения по любому одному из (1)-(5) и (7)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования, общей во множестве частичных областей.

(7) Устройство кодирования изображения по любому одному из (1)-(6) и (8)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения размера в вертикальном направлении и размера в горизонтальном направлении частичной области, соответствующей каждому уровню, обозначающему величину нагрузки обработки декодирования.

(8) Устройство кодирования изображения по любому одному из (1)-(7) и (9)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения максимального значения уровня, обозначающего величину нагрузки, при обработке декодирования в изображении.

(9) Устройство кодирования изображения по любому одному из (1)-(8) и (10)-(13),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с уровнем, обозначающим величину нагрузки обработки декодирования, и

в котором модуль установки информации определения нагрузки декодирования определяет параметр уровня для заданной области, включающий в себя частичную область, и назначает ее для определения модуля изображения.

(10) Устройство кодирования изображения по любому одному из (1)-(9) и (11)-(13),

в котором модуль установки информации определения нагрузки декодирования устанавливает информацию определения нагрузки декодирования для каждой из частичных областей во вспомогательной информации расширения (SEI) независимо декодируемой частичной области.

(11) Устройство кодирования изображения по любому одному из (1)-(10), (12) и (13),

в котором данные изображения включают в себя множество уровней, и

в котором модуль установки информации определения нагрузки декодирования устанавливает информацию определения нагрузки декодирования множества уровней в SEI.

(12) Устройство кодирования изображения по любому одному из (1)-(11) и (13),

в котором модуль установки информации определения нагрузки декодирования дополнительно устанавливает информацию, обозначающую, установлена ли информация определения нагрузки декодирования в SEI, или та же информация определения нагрузки декодирования, что и информация определения нагрузки декодирования, установлена в SEI, в наборе параметра последовательности (SPS).

(13) Устройство кодирования изображения по любому из (1)-(12),

в котором информация определения нагрузки декодирования включает в себя информацию, обозначающую размер частичной области, используемой, как ссылка, и уровень, обозначающий величину нагрузки при обработке декодирования частичной области.

(14) Способ кодирования изображений, включающий в себя:

кодируют данные изображения;

устанавливают информацию определения нагрузки декодирования для определения величины нагрузки при обработке декодирования независимо декодируемой частичной области изображения данных изображения; и

передают сгенерированные кодированные данные для данных изображения и установленную информацию определения нагрузки декодирования.

(15) Устройство декодирования изображения, включающее в себя:

модуль получения, выполненный с возможностью получения кодированных данных для данных изображения и декодирования информации определения нагрузки для определения величины нагрузки при обработке декодирования частичной области изображения в данных изображения, частичная область является независимо декодируемой;

модуль анализа, выполненный с возможностью анализа информации определения нагрузки декодирования, полученной модулем получения;

модуль управления, выполненный с возможностью управления декодированием кодированных данных, полученных с помощью модуля получения, на основе результата анализа информации определения нагрузки декодирования модулем получения; и

модуль декодирования, выполненный с возможностью декодирования кодированных данных, полученных модулем получения, под управлением модуля управления.

(16) Устройство декодирования изображения по любому из (15) и (17)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

(17) Устройство декодирования изображения по любому из (15), (16) и (18)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей размер частичной области.

(18) Устройство декодирования изображения по любому из (15)-(17) и (19)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей длину в вертикальном направлении; и информацией, обозначающей длину в горизонтальном направлении частичной области.

(19) Устройство декодирования изображения по любому одному из (15)-(18) и (20)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей максимальную входную битовую скорость и емкость буфера опорного виртуального декодера, выполненного с возможностью декодировать частичную область.

(20) Устройство декодирования изображения по любому из (15)-(19) и (21)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования, общей во множестве частичных областей.

(21) Устройство декодирования изображения по любому из (15)-(20) и (22)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения размера в вертикальном направлении и размера в горизонтальном направлении частичной области, соответствующей каждому уровню, обозначающему величину нагрузки обработки декодирования.

(22) Устройство декодирования изображения по любому из (15)-(21) и (23)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения максимального значения уровня, обозначающего величину нагрузки, при обработке декодирования в изображении.

(23) Устройство декодирования изображения по любому из (15)-(22) и (24)-(27),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с уровнем, обозначающим величину нагрузки обработки декодирования, и

в котором модуль управления управляет декодированием данных кодирования, используя параметр уровня, определенный для заданной области, включающей в себя частичную область, и назначенный для определения модуля изображения.

(24) Устройство декодирования изображения по любому одному из (15)-(23) и (25)-(27),

в котором модуль анализа анализирует информацию определения нагрузки декодирования, установленную для каждой из частичных областей во вспомогательной информации расширения (SEI), независимо декодируемой частичной области.

(25) Устройство декодирования изображения по любому одному из (15)-(24), (26) и (27),

в котором данные изображения включают в себя множество уровней, и

в котором модуль анализа анализирует информацию определения нагрузки декодирования множества уровней, установленных в SEI.

(26) Устройство декодирования изображения по любому одному из (15)-(25) и (27),

в котором модуль анализа дополнительно анализирует информацию, обозначающую, установлена ли информация определения нагрузки декодирования в SEI, или та же информация определения нагрузки декодирования, что и информация определения нагрузки декодирования, установленная в SEI, установлена в наборе параметра последовательности (SPS).

(27) Устройство декодирования изображения по любому из (15)-(26),

в котором информация определения нагрузки декодирования включает в себя информацию, обозначающую размер частичной области, используемой, как ссылка, и уровень, обозначающий величину нагрузки при обработке декодирования частичной области.

(28) Способ декодирования изображения, включающий в себя:

получают кодированные данные данных изображения и декодируют информацию определения нагрузки декодирования для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения;

управляют декодированием полученных кодированных данных на основе полученной информации определения нагрузки декодирования; и

декодируют полученные кодированные данные в соответствии с управлением.

(31) Устройство декодирования изображения, включающее в себя:

модуль получения, выполненный с возможностью получения кодированных данных для данных изображения, и декодирования информации определения нагрузки для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения;

модуль управления, выполненный с возможностью управления декодированием кодированных данных, полученных с помощью модуля получения, на основе информации определения нагрузки декодирования, с помощью модуля получения; и

модуль декодирования, выполненный с возможностью декодирования кодированных данных, полученных модулем получения, под управлением модуля управления.

(32) Устройство декодирования изображения по (31),

в котором частичная область является независимо декодируемой.

(33) Устройство декодирования изображения по (31) или (32),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

(34) Устройство декодирования изображения по любому из (31)-(33),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей размер частичной области.

(35) Устройство декодирования изображения по любому из (31)-(34),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки при обработке декодирования частичной области в соответствии с информацией, обозначающей длину в вертикальном направлении,' и информацией, обозначающей длину в горизонтальном направлении частичной области.

(36) Устройство декодирования изображения по любому из (31)-(35),

в котором информация определения нагрузки декодирования включена в дополнительную информацию расширения (SEI) независимо декодируемой частичной области.

(37) Устройство декодирования изображения по любому из (31)-36),

в котором данные изображения включают в себя множество уровней, и

в котором информация определения нагрузки декодирования множества уровней включена в SEL

(38) Устройство декодирования изображения по любому из (31)-(37),

в котором информация определения нагрузки декодирования включает в себя информацию, обозначающую размер частичной области, используемой в качестве ссылки, и уровень, обозначающий величину нагрузки при обработке декодирования частичной области.

(39) Устройство декодирования изображения по любому из (31)-(38),

в котором частичная область представляет собой элемент мозаичного изображения.

(40) Устройство декодирования изображения по любому из (31)-(39),

в котором частичная область представляет собой Набор из множества элементов мозаичного изображения.

(41) Устройство декодирования изображения по любому из (31)-(40),

в котором информация определения нагрузки декодирования включает в себя информацию для определения максимальной величины нагрузки при обработке декодирования среди множества частичных областей, включенных в изображение данных изображения, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

(42) Устройство декодирования изображения по любому из (31)-(41),

в котором информация определения нагрузки декодирования включает в себя информацию для определения величины нагрузки, общей во множестве частичных областей, включенных в изображение данных изображения, в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

(43) Устройство декодирования изображения по любому из (31)-(42),

в котором, когда множество частичных областей, включенных в изображение, имеют L-образную форму, величина нагрузки может быть определена для прямоугольной области, включая в себя L-образную форму.

(44) Устройство декодирования изображения по любому из (31)-(43),

в котором модуль получения дополнительно получает информацию, обозначающую, обозначающую, установлена ли информация определения нагрузки декодирования, и когда полученная информация обозначает, что информация определения нагрузки декодирования установлена, получает информацию определения нагрузки декодирования.

(45) Способ декодирования изображения, включающий в себя:

получают кодированные данные данных изображения и декодируют информацию определения нагрузки декодирования для определения величины нагрузки при обработке декодирования частичной области изображения данных изображения;

управляют декодированием полученных кодированных данных на основе полученной информации определения нагрузки декодирования; и

декодируют полученные кодированные данные в соответствии с управлением.

Список номеров ссылочных позиций

100 устройство кодирования изображения

101 модуль кодирования изображения основного уровня

102 модуль кодирования изображения уровня расширения

103 модуль мультиплексирования

104 модуль управления

128 модуль генерирования информации заголовка

148 модуль генерирования информации заголовка

151 модуль получения информации, относящейся к нагрузке декодирования

152 модуль генерирования MCTS SEI

153 модуль генерирования SPS

200 устройство декодирования изображения

201 модуль демультиплексирования

202 модуль декодирования изображения основного уровня

203 модуль декодирования изображения уровня расширения

204 модуль управления

224 модуль анализа информации заголовка

244 модуль анализа информации заголовка

251 модуль получения информации заголовка

252 модуль анализа SPS

253 модуль анализа MCTS SEI

254 модуль установления уровня

255 модуль предоставления.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности более точного распознавания рабочих характеристик, необходимых для декодирования. Устройство декодирования изображения содержит модуль управления, выполненный с возможностью управления декодированием кодированных данных, в которых изображение кодировано на основе информации, обозначающей размер частичной области изображения, и уровня, обозначающего нагрузку при обработке декодирования частичной области; и модуль декодирования, выполненный с возможностью декодирования кодированных данных под управлением модуля управления, в котором частичная область является независимо декодируемой областью изображения, которое меньше всего изображения, и со всем изображением связан соответствующий уровень, установленный для декодирования, который отличается от уровня, обозначающего нагрузку при обработке декодирования частичной области. 4 н. и 28 з.п. ф-лы, 56 ил.

1. Устройство декодирования изображения, содержащее:

модуль управления, выполненный с возможностью управления декодированием кодированных данных, в которых изображение кодировано на основе информации, обозначающей размер частичной области изображения, и уровня, обозначающего нагрузку при обработке декодирования частичной области; и

модуль декодирования, выполненный с возможностью декодирования кодированных данных под управлением модуля управления,

в котором частичная область является независимо декодируемой областью изображения, которое меньше всего изображения, и со всем изображением связан соответствующий уровень, установленный для декодирования, который отличается от уровня, обозначающего нагрузку при обработке декодирования частичной области.

2. Устройство декодирования изображения по п. 1,

в котором кодированные данные включают в себя данные изображения множества уровней, и в котором все изображение представляет собой целое изображение одного уровня множества уровней, и

в котором частичная область является независимо декодируемым элементом мозаичного изображения одного уровня.

3. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим нагрузку при обработке декодирования частичной области.

4. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей размер частичной области.

5. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей длину в вертикальном направлении, и информацией, обозначающей длину в горизонтальном направлении частичной области.

6. Устройство декодирования изображения по п. 1,

дополнительно содержащее модуль получения, выполненный с возможностью получения информации, обозначающей размер частичной области, и уровня, обозначающего величину нагрузки при обработке декодирования частичной области, в качестве информации определения нагрузки декодирования, обозначающей величину нагрузки при обработке декодирования частичной области,

в котором модуль управления управляет декодированием кодированных данных, используя информацию определения нагрузки декодирования, полученную модулем получения.

7. Устройство декодирования изображения по п. 6,

в котором модуль получения получает информацию нагрузки декодирования как вспомогательную информацию кодированных данных.

8. Устройство декодирования изображения по п. 7,

в котором модуль получения получает информацию нагрузки декодирования как вспомогательную информацию расширения (SEI) независимо декодируемой частичной области.

9. Устройство декодирования изображения по п. 8,

в котором кодированные данные включают в себя данные изображения множества уровней, и в котором модуль получения получает информацию об определении нагрузки декодирования множества уровней как SEI.

10. Устройство декодирования изображения по п. 1,

в котором частичная область представляет собой элемент мозаичного изображения.

11. Устройство декодирования изображения по п. 1,

в котором частичная область представляет собой набор из множества элементов мозаичного изображения.

12. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию для определения максимальной величины нагрузки при обработке декодирования среди множества частичных областей, включенных в изображение данных изображения, включенных в кодированные данные в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

13. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию для определения величины нагрузки, общей во множестве частичных областей, включенных в изображение данных изображения, включенных в кодированные данные в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

14. Устройство декодирования изображения по п. 13,

в котором, когда множество частичных областей, включенных в изображение, имеют L-образную форму, модуль управления управляет декодированием кодированных данных, используя информацию для определения величины нагрузки для прямоугольной области, включающей в себя L-образную форму.

15. Устройство декодирования изображения по п. 1,

в котором модуль управления управляет декодированием кодированных данных, используя информацию, обозначающую, установлена ли информация определения нагрузки декодирования.

16. Способ декодирования изображения, содержащий:

на основании информации, обозначающей размер частичной области изображения, и уровня, обозначающего нагрузку для обработки декодирования частичной области, управляют декодированием кодированных данных, в которых кодировано изображение; и

декодируют кодированные данные в соответствии с управлением,

в котором частичная область является независимо декодируемой областью изображения, которое меньше всего изображения, и со всем изображением связан соответствующий уровень, установленный для декодирования, который отличается от уровня, обозначающего нагрузку при обработке декодирования частичной области.

17. Устройство кодирования изображения, содержащее:

модуль кодирования, выполненный с возможностью кодирования изображения; и

модуль установки, выполненный с возможностью установки информации, обозначающей размер частичной области изображения, и уровня, обозначающего нагрузку при обработке декодирования частичной области,

в котором частичная область является независимо декодируемой областью изображения, которое меньше всего изображения, и со всем изображением связан соответствующий уровень, установленный для декодирования, который отличается от уровня, обозначающего нагрузку при обработке декодирования частичной области.

18. Устройство кодирования изображения по п. 17, в котором кодированные данные включают в себя данные изображения множества уровней, и в котором все изображение представляет собой целое изображение одного уровня множества уровней, и

в котором частичная область является независимо декодируемым элементом мозаичного изображения одного уровня.

19. Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с уровнем, обозначающим нагрузку при обработке декодирования частичной области.

20. Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей размер частичной области.

21 Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию для определения величины нагрузки при обработке декодирования частичной области, в соответствии с информацией, обозначающей длину в вертикальном направлении, и информацией, обозначающей длину в горизонтальном направлении частичной области.

22. Устройство кодирования изображения по п. 17, дополнительно содержащее модуль передачи, выполненный с возможностью передачи информации, обозначающей размер частичной области, и уровня, обозначающего величину нагрузки при обработке декодирования частичной области, в качестве информации определения нагрузки декодирования, обозначающей величину нагрузки при обработке декодирования частичной области.

23. Устройство кодирования изображения по п. 22,

в котором модуль передачи передает информацию определения нагрузки декодирования как вспомогательную информацию кодированных данных, в которых кодировано изображение, полученное модулем кодирования.

24. Устройство кодирования изображения по п. 23,

в котором модуль передачи передает информацию определения нагрузки декодирования как вспомогательную информацию расширения (SEI) независимо декодируемой частичной области.

25. Устройство кодирования изображения по п. 24, в котором кодированные данные включают в себя данные изображения множества уровней, и в котором модуль передачи передает информацию об определении нагрузки декодирования множества уровней как SEI.

26. Устройство кодирования изображения по п. 17, в котором частичная область представляет собой элемент мозаичного изображения.

27. Устройство кодирования изображения по п. 17, в котором частичная область представляет собой набор из множества элементов мозаичного изображения.

28. Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию для определения максимальной величины нагрузки при обработке декодирования среди множества частичных областей, включенных в изображение данных изображения, включенных в кодированные данные в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

29. Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию для определения величины нагрузки, общей во множестве частичных областей, включенных в изображение данных изображения, включенных в кодированные данные в соответствии с уровнем, обозначающим величину нагрузки при обработке декодирования.

30. Устройство кодирования изображения по п. 29,

в котором, когда множество частичных областей, включенных в изображение, имеют L-образную форму, модуль установки генерирует информацию для определения величины нагрузки для прямоугольной области, включающей в себя L-образную форму.

31. Устройство кодирования изображения по п. 17,

в котором модуль установки генерирует информацию, обозначающую, установлена ли информация определения нагрузки декодирования.

32. Способ кодирования изображений, содержащий:

кодируют изображение; и

устанавливают информацию, обозначающую размер частичной области изображения и уровня, обозначающего нагрузку для обработки декодирования частичной области,

в котором частичная область является независимо декодируемой областью изображения, которое меньше всего изображения, и со всем изображением связан соответствующий уровень, установленный для декодирования, который отличается от уровня, обозначающего нагрузку при обработке декодирования частичной области.