[Область техники]
[0001] Изобретение относится к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений, устройствам декодирования изображений и устройствам кодирования и декодирования изображений, в частности к способу кодирования изображений и способу декодирования изображений, каждый из которых использует описание буфера для точного определения картинки, которая должна быть сохранена в буфере, и список ссылок для точного определения картинки, на которую должна быть выполнена ссылка.
[Уровень техники]
[0002] Современные схемы кодирования видео, например MPEG-4 AVC/H.264 (см. Непатентная литература 1) и предстоящее HEVC (Высокоэффективное кодирование видео), выполняют кодирование изображения или видеоконтента с использованием предсказания между картинками из ранее кодированных или декодированных опорных картинок. Другими словами, схемы кодирования видео используют информационную избыточность по последовательным картинкам во времени. В схеме кодирования видео MPEG-4 AVC опорные картинки в буфере декодированных картинок (DPB) управляются либо с использованием предопределенной схемы "скользящего" окна для удаления прежних картинок в порядке кодирования из DPB, либо с явным использованием некоторого количества сигналов управления буфером в кодированном битовом потоке, чтобы управлять и удалять неиспользуемые опорные картинки.
[Список цитат]
[Непатентная литература]
[0003] [Непатентная литература 1]
ISO/IEC 14496-10 "MPEG-4 Part10 Advanced Video Coding"
[Сущность изобретения]
[Техническая проблема]
[0004] В способе кодирования изображений и способе декодирования изображений, которые применяют такие схемы кодирования видео, требуется дополнительное повышение эффективности кодирования и уменьшение объема вычислений.
[0005] Таким образом, настоящее изобретение предоставляет способ кодирования изображений или способ декодирования изображений, в которых можно повысить эффективность кодирования или можно уменьшить объем вычислений.
[Решение проблемы]
[0006] Способ кодирования изображений в соответствии с аспектом настоящего изобретения является способом кодирования изображений для генерирования кодированного битового потока путем кодирования изображения с использованием (i) описания буфера для точного определения картинки, которая должна быть сохранена в буфере, и (ii) списка ссылок для точного определения картинки, на которую должна быть выполнена ссылка, причем способ кодирования изображений содержит: запись в кодированный битовый поток информации задания описания буфера для задания описания буфера; построение списка ссылок по умолчанию, включающего в себя множество картинок, указанных в описании буфера; переупорядочение картинок, включенных в список ссылок по умолчанию; запись в кодированный битовый поток информации переупорядочения списка ссылок для указания подробностей переупорядочения; и кодирование изображения с использованием описания буфера и списка ссылок, полученного в результате переупорядочения, при этом в информации переупорядочения списка ссылок среди картинок точно определяется картинка, которая должна быть переупорядочена, с использованием индекса, который используется в другой обработке в способе кодирования изображений.
[0007] Эти общие и специфические особенности могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, например CD-ROM, или любого сочетания систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.
[Полезные результаты изобретения]
[0008] Настоящее изобретение может предоставить способ кодирования изображений или способ декодирования изображений, в которых можно повысить эффективность кодирования или можно уменьшить объем вычислений.
[Краткое описание чертежей]
[0009] Фиг. 1 показывает пример структуры выполнения ссылок на изображения.
Фиг. 2 показывает структуру кодированного битового потока.
Фиг. 3 - блок-схема устройства кодирования изображений в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 4 - блок-схема последовательности операций способа кодирования изображений в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 5 - блок-схема последовательности операций первого примера переупорядочения списка ссылок в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 6 - блок-схема последовательности операций второго примера переупорядочения списка ссылок в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 7 показывает структуру кодированного битового потока в соответствии с первым примером первого варианта осуществления настоящего изобретения.
Фиг. 8 показывает структуру кодированного битового потока в соответствии с первым примером первого варианта осуществления настоящего изобретения.
Фиг. 9 показывает структуру синтаксиса заголовка слайса в соответствии с первым примером первого варианта осуществления настоящего изобретения.
Фиг. 10 показывает структуру кодированного битового потока в соответствии со вторым примером первого варианта осуществления настоящего изобретения.
Фиг. 11 показывает структуру кодированного битового потока в соответствии со вторым примером первого варианта осуществления настоящего изобретения.
Фиг. 12 показывает структуру синтаксиса набора параметров последовательности в соответствии со вторым примером первого варианта осуществления настоящего изобретения.
Фиг. 13 показывает структуру синтаксиса заголовка слайса в соответствии со вторым примером первого варианта осуществления настоящего изобретения.
Фиг. 14 показывает структуру кодированного битового потока в соответствии с третьим примером первого варианта осуществления настоящего изобретения.
Фиг. 15 показывает структуру кодированного битового потока в соответствии с третьим примером первого варианта осуществления настоящего изобретения.
Фиг. 16 показывает структуру синтаксиса набора параметров последовательности в соответствии с третьим примером первого варианта осуществления настоящего изобретения.
Фиг. 17 показывает структуру синтаксиса заголовка слайса в соответствии с третьим примером первого варианта осуществления настоящего изобретения.
Фиг. 18 показывает структуру кодированного битового потока в соответствии с четвертым примером первого варианта осуществления настоящего изобретения.
Фиг. 19 показывает структуру синтаксиса набора параметров последовательности в соответствии с четвертым примером первого варианта осуществления настоящего изобретения.
Фиг. 20 показывает структуру синтаксиса набора параметров изображения в соответствии с четвертым вариантом осуществления настоящего изобретения.
Фиг. 21 показывает структуру синтаксиса заголовка слайса в соответствии с четвертым примером первого варианта осуществления настоящего изобретения.
Фиг. 22 показывает структуру кодированного битового потока в соответствии с пятым примером первого варианта осуществления настоящего изобретения.
Фиг. 23 показывает структуру синтаксиса набора параметров последовательности в соответствии с пятым примером первого варианта осуществления настоящего изобретения.
Фиг. 24 показывает структуру синтаксиса набора параметров изображения в соответствии с пятым вариантом осуществления настоящего изобретения.
Фиг. 25 показывает структуру синтаксиса заголовка слайса в соответствии с пятым примером первого варианта осуществления настоящего изобретения.
Фиг. 26 - блок-схема устройства декодирования изображений в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 27 - блок-схема последовательности операций способа декодирования изображений в соответствии с первым вариантом осуществления настоящего изобретения.
Фиг. 28 - блок-схема последовательности операций способа кодирования изображений в соответствии со вторым вариантом осуществления настоящего изобретения.
Фиг. 29 - блок-схема последовательности операций способа декодирования изображений в соответствии со вторым вариантом осуществления настоящего изобретения.
Фиг. 30 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.
Фиг. 31 показывает общую конфигурацию системы цифрового вещания.
Фиг. 32 показывает блок-схему, иллюстрирующую пример конфигурации телевизора.
Фиг. 33 показывает блок-схему, иллюстрирующую пример конфигурации блока воспроизведения/записи информации, который считывает и записывает информацию с носителя записи и на него, который является оптическим диском.
Фиг. 34 показывает пример конфигурации носителя записи, который является оптическим диском.
Фиг. 35A показывает пример сотового телефона.
Фиг. 35B - блок-схема, показывающая пример конфигурации сотового телефона.
Фиг. 36 иллюстрирует структуру мультиплексированных данных.
Фиг. 37 схематически показывает, как каждый поток мультиплексируется в мультиплексированные данные.
Фиг. 38 показывает подробнее, как видеопоток сохраняется в потоке пакетов PES.
Фиг. 39 показывает структуру пакетов TS и исходных пакетов в мультиплексированных данных.
Фиг. 40 показывает структуру данных PMT.
Фиг. 41 показывает внутреннюю структуру информации мультиплексированных данных.
Фиг. 42 показывает внутреннюю структуру информации атрибутов потока.
Фиг. 43 показывает этапы для идентификации видеоданных.
Фиг. 44 - блок-схема, показывающая пример конфигурации интегральной схемы для реализации способа кодирования движущегося изображения и способа декодирования движущегося изображения в соответствии с каждым из вариантов осуществления.
Фиг. 45 показывает конфигурацию для переключения между частотами возбуждения.
Фиг. 46 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.
Фиг. 47 показывает пример справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения.
Фиг. 48A - схема, показывающая пример конфигурации для совместного использования модуля блока обработки сигналов.
Фиг. 48B - схема, показывающая другой пример конфигурации для совместного использования модуля блока обработки сигналов.
[Описание вариантов осуществления]
[0010] (Основные сведения, образующие базис настоящего изобретения)
В последнее время разработки в схеме кодирования видео HEVC включают в себя внедрение управления DPB с использованием описаний буфера. Описание буфера задает картинки, которые сохраняются в DPB, вместо задания картинок, которые должны быть удалены из DPB. Другими словами, описание буфера является списком идентификаторов картинок, указывающих все опорные картинки, сохраненные в DPB. Каждый элемент в этом списке называется элементом буфера. Элемент буфера содержит идентификатор картинки, уникальный для каждой картинки, например номер счетчика последовательности изображения (POC), и дополнительную информацию картинки, например значение temporal_id.
[0011] Это описание буфера активируется в начале кодирования или декодирования картинки. Картинки, которые не включаются в активное описание буфера, удаляются из DPB. Выгоды этого описания буфера включают в себя повышенную устойчивость к потерям при передаче/доставке и упрощенную обработку несуществующих картинок.
[0012] В некоторых случаях множественные картинки в видеопоследовательности совместно используют одну и ту же структуру выполнения ссылок на изображения. Например, структура кодирования с малой задержкой использует периодическую структуру кластеризации, в которой одна и та же структура уровня периодически повторяется в единице из четырех картинок, как показано на фиг. 1. Эта повторяющаяся единица (здесь - четыре картинки) называется кластером.
[0013] В показанном на фиг. 1 примере номера картинок (с P0 по P12) указывают уникальный порядок кодирования и уникальный порядок отображения или вывода картинок. Картинки P0, P4, P8 и P12 составляют первый уровень картинок. Эти картинки кодируются с наивысшим качеством, например, путем применения наименее строгого квантования. Картинки P2, P6 и P10 составляют второй уровень. Эти картинки кодируются с меньшим качеством, нежели первый уровень. Картинки P1, P3, P5, P7, P9 и P11 составляют третий уровень. Эти картинки кодируются с самым низким качеством. В такой периодической структуре выполнения ссылок картинки, расположенные в одинаковом относительном положении в их кластерах (например, P1, P5 и P9), обычно используют одинаковую относительную структуру выполнения ссылок на изображения. Например, картинка P5 использует картинки P4 и P2 в качестве опорных картинок, тогда как картинка P9 использует картинки P8 и P6 в качестве опорных картинок.
[0014] Чтобы обеспечить периодические структуры кластеризации, например вышеприведенную структуру, возможным подходом является периодическая сигнализация описаний буфера. Это описание буфера точно определяет временные расстояния или положения опорных картинок относительно целевой картинки, которая должна быть кодирована или декодирована. Поступая таким образом можно точно определять опорные картинки, сохраненные в DPB. Например, это описание буфера сигнализируется один раз в наборе параметров изображения (PPS). На это описание буфера затем повторно ссылаются в заголовках слайса картинок, имеющих такое же относительное положение в кластере. Например, описание буфера, точно определяющее относительные положения {-1, -3}, может использоваться в P5 для точного определения {P4, P2} в качестве опорных картинок и посредством P9 для точного определения {P8, P6} в качестве опорных картинок.
[0015] Фиг. 2 показывает пример структуры сигнализации описания буфера в этом случае. Кодированный битовый поток 500, показанный на фиг. 2, включает в себя набор 501 параметров последовательности (SPS) (SPS0), множество наборов 502 параметров изображения (PPS) (PPS0 и PPS1) и множество данных 503 картинки. Каждые из данных 503 картинки включают в себя множество данных 535 слайса. Каждые из данных 535 слайса включают в себя заголовок 541 слайса и часть 542 данных слайса. Часть 542 данных слайса включает в себя множество данных 543 единицы кодирования (CU).
[0016] Каждый из PPS 502 включает в себя идентификатор 522 PPS (pps_id) и информацию 512 задания описания буфера (BD define). Информация 512 задания описания буфера указывает множество описаний 515 буфера (BD0-BDn). Каждое из описаний 515 буфера включает в себя множество элементов 515A буфера (BE0-BE2).
[0017] Таким образом, множество описаний 515 буфера задается с использованием информации 512 задания описания буфера в наборах 502 параметров изображения. Каждый из PPS 502 идентифицируется с помощью идентификатора 522 PPS, уникального для PPS.
[0018] Заголовок 541 слайса включает в себя информацию 533 выбора PPS (pps_select) и информацию 523 обновления описания буфера (BD update).
[0019] Информация 533 выбора PPS указывает PPS 502, на который ссылаются во время кодирования или декодирования слайса. В примере на фиг. 2 выполняется pps_select = 0, и выбирается PPS0, имеющий pps_id = 0.
[0020] Информация 523 обновления описания буфера включает в себя информацию, которая точно определяет описание буфера, выбранное из описаний 515 буфера. В примере на фиг. 2 выбирается описание BD1 буфера. Более того, информация 523 обновления описания буфера включает в себя информацию изменения описания буфера. Информация изменения описания буфера назначает идентификатор картинки выбранному элементу 515A буфера в выбранном описании 515 буфера. Здесь идентификатор картинки точно определяется либо с использованием его относительного положения, либо с использованием идентификатора, уникального для картинки. Уникальный для картинки идентификатор включает в себя, например, номер счетчика последовательности изображения (POC). В примере на фиг. 2 картинка P214, идентифицированная своим номером POC = 214, назначается элементу BE0 буфера в описании BD1 буфера. Это изменение применяется только к текущему целевому слайсу и не применяется к последующим слайсам.
[0021] В кодированном битовом потоке опорные картинки, используемые для процесса внешнего (inter-) предсказания единиц предсказания (блок N × N), идентифицируются с использованием опорных индексов. Все доступные опорные картинки и их ассоциированные опорные индексы описываются в списке ссылок. Когда используется бипредиктивное внешнее предсказание, два списка ссылок используются для описания двух групп опорных картинок и ассоциированных опорных индексов. Меньшие опорные индексы представляются меньшим количеством разрядов в кодированном битовом потоке по сравнению с большими опорными индексами. Поэтому путем назначения меньших опорных индексов часто используемым опорным картинкам достигается более высокая эффективность кодирования.
[0022] В начале кодирования или декодирования слайса список ссылок по умолчанию строится путем назначения индексов всем доступным опорным картинкам в соответствии с предопределенной схемой упорядочения. Устройство кодирования изображений может дополнительно переупорядочить опорные индексы, включенные в список ссылок по умолчанию, и записать информацию переупорядочения списка ссылок в заголовок слайса в кодированном битовом потоке. Переупорядоченный список ссылок применяется только к текущему целевому слайсу и не применяется к последующим слайсам.
[0023] Здесь информация переупорядочения списка ссылок (параметр) для описания переупорядочения списка ссылок использует разницы номеров картинки или разницы номеров POC для точного определения опорной картинки, которая должна быть переупорядочена в списке опорных картинок. В частности, значение разницы вычисляется либо между номером картинки (номером POC) текущего слайса (или картинки) и номером картинки (номером POC) опорной картинки, которая должна быть переупорядочена, либо между номером картинки (номером POC) опорной картинки, которая должна быть переупорядочена, и номером картинки (номером POC) ранее переупорядоченной опорной картинки. Значение разницы может быть положительным или отрицательным значением. Чтобы переупорядочить долгосрочную опорную картинку в списке опорных картинок, используется отдельный набор параметров, в котором долгосрочная опорная картинка идентифицируется с использованием абсолютного значения ее номера долгосрочной картинки.
[0024] В вышеприведенной методике информация переупорядочения списка ссылок использует номер картинки или номер POC для точного определения опорной картинки, которая должна быть переупорядочена. С другой стороны, набор доступных опорных картинок в DPB также уникально идентифицируется и полностью перечисляется в активном описании буфера. Авторы изобретения обнаружили, что легкодоступная информация в описании буфера не используется в информации переупорядочения списка опорных картинок. Таким образом, информация переупорядочения списка ссылок в вышеприведенной методике использует избыточную информацию.
[0025] Кроме того, авторы изобретения обнаружили, что вышеприведенная методика имеет проблему в том, что информация (параметры) для описания переупорядочения списка ссылок применяется только один раз в текущем слайсе, который должен быть кодирован или декодирован. Однако, как описано выше, множественные картинки в видеопоследовательности в некоторых случаях совместно используют одну и ту же структуру выполнения ссылок. Следовательно, информация для описания одного и того же процесса переупорядочения списка ссылок повторно сигнализируется в кодированном битовом потоке.
[0026] Таким образом, авторы изобретения обнаружили проблему снижения эффективности кодирования, которая обусловлена повторяющейся информацией, включенной в кодированный битовый поток.
[0027] Способ кодирования изображений в соответствии с аспектом настоящего изобретения является способом кодирования изображений для генерирования кодированного битового потока путем кодирования изображения с использованием (i) описания буфера для точного определения картинки, которая должна быть сохранена в буфере, и (ii) списка ссылок для точного определения картинки, на которую должна быть выполнена ссылка, и содержит: запись в кодированный битовый поток информации задания описания буфера для задания описания буфера; построение списка ссылок по умолчанию, включающего в себя множество картинок, указанных в описании буфера; переупорядочение картинок, включенных в список ссылок по умолчанию; запись в кодированный битовый поток информации переупорядочения списка ссылок для указания подробностей переупорядочения; и кодирование изображения с использованием описания буфера и списка ссылок, полученного в результате переупорядочения, при этом в информации переупорядочения списка ссылок среди картинок точно определяется картинка, которая должна быть переупорядочена, с использованием индекса, который используется в другой обработке в способе кодирования изображений.
[0028] Поступая таким образом картинка, которая должна быть переупорядочена, точно определяется с использованием индекса, который также используется в другой обработке. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления.
[0029] Например, информация задания описания буфера и информация переупорядочения списка ссылок записываются в разные заголовки, принадлежащие уровням абстракции сети (NAL) разных типов.
[0030] Поступая таким образом картинка, которая должна быть переупорядочена, точно определяется с использованием индекса элемента буфера, который используется в описании буфера. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления.
[0031] Например, переупорядочение включает в себя: выбор из картинок, включенных в список ссылок, первой картинки, которая должна быть переупорядочена; назначение первой картинке предопределенного первого опорного индекса; и приращение на единицу опорного индекса каждой из картинок, который больше либо равен первому опорному индексу, причем каждая из картинок является картинкой, включенной в список ссылок отличной от первой картинки.
[0032] Например, при переупорядочении обработка, включающая в себя выбор, назначение и приращение, выполняется повторно предопределенное количество раз, при начальном вызове обработки первый опорный индекс устанавливается в ноль, и при каждом последующем вызове обработки осуществляется приращение на единицу первого опорного индекса, установленного в непосредственно предшествующем вызове обработки.
[0033] Например, в информации переупорядочения списка ссылок картинка, которая должна быть переупорядочена, указывается с использованием абсолютного значения индекса.
[0034] Например, в информации переупорядочения списка ссылок среди множества целевых картинок, которые должны быть переупорядочены, начальная целевая картинка указывается с использованием абсолютного значения индекса, и среди целевых картинок целевая картинка отличная от начальной целевой картинки указывается с использованием значения разницы между индексом целевой картинки и индексом непосредственно предшествующей целевой картинки.
[0035] Например, описание буфера включает в себя индексы элементов буфера, каждый из которых ассоциирован с элементом буфера, который точно определяет одну картинку, и индекс является одним из индексов элементов буфера.
[0036] Поступая таким образом в способе кодирования изображений можно уменьшить количество информации переупорядочения списка ссылок.
[0037] Например, информация задания описания буфера задает множество описаний буфера, включающих в себя описание буфера, информация задания описания буфера записывается в набор параметров последовательности, включенный в кодированный битовый поток, и способ кодирования изображений дополнительно содержит: задание множества описаний списков ссылок, которые взаимно однозначно соответствуют описаниям буфера, и запись в заголовок слайса текущего слайса, включенный в кодированный битовый поток, информации задания описания списка ссылок, включающей в себя информацию переупорядочения списка ссылок; и выбор одного из описаний буфера, и запись в заголовок слайса информации выбора описания буфера для точного определения выбранного описания буфера, и при кодировании текущий слайс кодируется с использованием выбранного описания буфера и одного из описаний списков ссылок, которое соответствует выбранному описанию буфера.
[0038] При этом в устройстве кодирования изображений в соответствии с аспектом настоящего изобретения информация задания описания списка ссылок записывается в набор параметров изображения, совместно используемый множеством изображений. Это позволяет устройству кодирования изображений уменьшить избыточную информацию и посредством этого повысить эффективность кодирования по сравнению со случаем, где информация задания описания списка ссылок записывается в заголовок слайса.
[0039] Кроме того, способ декодирования изображений в соответствии с аспектом настоящего изобретения является способом декодирования изображений для декодирования кодированного битового потока с использованием (i) описания буфера для точного определения картинки, которая должна быть сохранена в буфере, и (ii) списка ссылок для точного определения картинки, на которую должна быть выполнена ссылка, и содержит: получение из кодированного битового потока информации задания описания буфера для задания описания буфера; построение списка ссылок по умолчанию, включающего в себя множество картинок, указанных в описании буфера; получение из кодированного битового потока информации переупорядочения списка ссылок для указания подробностей переупорядочения, которое должно быть выполнено над списком ссылок по умолчанию; переупорядочение картинок, включенных в список ссылок по умолчанию, в соответствии с информацией переупорядочения списка ссылок; и декодирование текущей картинки или слайса с использованием описания буфера и списка ссылок, полученного в результате переупорядочения, где в информации переупорядочения списка ссылок среди картинок точно определяется картинка, которая должна быть переупорядочена, с использованием индекса, который используется в другой обработке в способе декодирования изображений.
[0040] При этом картинка, которая должна быть переупорядочена, точно определяется с использованием индекса, который также используется в другой обработке. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство декодирования изображений заключает в себе уменьшенный объем вычисления.
[0041] Кроме того, устройство кодирования изображений в соответствии с аспектом настоящего изобретения является устройством кодирования изображений для генерирования кодированного битового потока путем кодирования изображения с использованием (i) описания буфера для точного определения картинки, которая должна быть сохранена в буфере, и (ii) списка ссылок для точного определения картинки, на которую должна быть выполнена ссылка, и содержит блок управления памятью кадров, сконфигурированный для выполнения следующего: запись в кодированный битовый поток информации задания описания буфера для задания описания буфера; построение списка ссылок по умолчанию, включающего в себя множество картинок, указанных в описании буфера; переупорядочение картинок, включенных в список ссылок по умолчанию; и запись в кодированный битовый поток информации переупорядочения списка ссылок для указания подробностей переупорядочения, где устройство кодирования изображений кодирует изображение с использованием описания буфера и списка ссылок, полученного в результате переупорядочения, и в информации переупорядочения списка ссылок среди картинок точно определяется картинка, которая должна быть переупорядочена, с использованием индекса, который используется в другой обработке в устройстве кодирования изображений.
[0042] При этом картинка, которая должна быть переупорядочена, точно определятся с использованием индекса, который также используется в другой обработке. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления.
[0044] Кроме того, устройство декодирования изображений в соответствии с аспектом настоящего изобретения является устройством декодирования изображений для декодирования кодированного битового потока с использованием (i) описания буфера для точного определения картинки, которая должна быть сохранена в буфере, и (ii) списка ссылок для точного определения картинки, на которую должна быть выполнена ссылка, и содержит блок управления памятью кадров, сконфигурированный для выполнения следующего: получение из кодированного битового потока информации задания описания буфера для задания описания буфера; построение списка ссылок по умолчанию, включающего в себя множество картинок, указанных в описании буфера; получение из кодированного битового потока информации переупорядочения списка ссылок для указания подробностей переупорядочения, которое должно быть выполнено над списком ссылок по умолчанию; и переупорядочение картинок, включенных в список ссылок по умолчанию, в соответствии с информацией переупорядочения списка ссылок, где устройство декодирования изображений декодирует текущую картинку или слайс с использованием описания буфера и списка ссылок, полученного в результате переупорядочения, и в информации переупорядочения списка ссылок среди картинок, которые должны быть переупорядочены, точно определяется картинка с использованием индекса, который используется в другой обработке в устройстве декодирования изображений.
[0044] Поступая таким образом картинка, которая должна быть переупорядочена, точно определяется с использованием индекса, который также используется в другой обработке. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство декодирования изображений заключает в себе уменьшенный объем вычисления.
[0045] Кроме того, устройство кодирования и декодирования изображений в соответствии с аспектом настоящего изобретения содержит устройство кодирования изображений и устройство декодирования изображений.
[0046] Эти общие и специфические особенности могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, например CD-ROM, или любого сочетания систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.
[0047] Ниже со ссылкой на прилагаемые чертежи подробнее описываются типовые варианты осуществления.
[0048] Каждый из типовых вариантов осуществления, описанных ниже, показывает общий или конкретный пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.п., показанные в нижеследующих типовых вариантах осуществления, являются всего лишь примерами и поэтому не ограничивают настоящее изобретение. Поэтому среди структурных элементов в нижеследующих типовых вариантах осуществления структурные элементы, не перечисленные ни в одном из независимых пунктов формулы изобретения, задающих самую общую часть идеи изобретения, описываются как произвольные структурные элементы.
[0049] Ниже описывается два варианта осуществления. Специалистам в данной области техники будет очевидно, что могут выполняться сочетания этих вариантов осуществления для дополнительного увеличения полезности и приспособляемости периодических описаний списков ссылок.
[0050] (Первый вариант осуществления)
В этом варианте осуществления картинка, которая должна быть переупорядочена, точно определяется с использованием индекса элемента буфера, который используется в описании буфера. При этом уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления.
[0051] [Устройство кодирования]
Фиг. 3 - блок-схема, которая показывает структуру устройства 100 кодирования изображений в соответствии с этим вариантом осуществления.
[0052] Устройство 100 кодирования изображений кодирует входной сигнал 120 изображения на блочной основе, чтобы сгенерировать кодированный битовый поток 132. Как показано на фиг. 3, устройство 100 кодирования изображений включает в себя вычитающее устройство 101, блок 102 ортогонального преобразования, блок 103 квантования, блок 104 обратного квантования, блок 105 обратного ортогонального преобразования, сумматор 106, память 107 блоков, память 108 кадров, блок 109 внутреннего (intra-) предсказания, блок 110 внешнего (inter-) предсказания, блок 111 определения типа картинки, блок 112 кодирования с переменной длиной слова и блок 113 управления памятью кадров.
[0053] Входной сигнал 120 изображения является битовым потоком видео или изображения. Вычитающее устройство 101 вычисляет разницу между данными 131 изображения предсказания и входным сигналом 120 изображения, посредством этого генерируя данные 121 ошибки предсказания. Блок 102 ортогонального преобразования выполняет ортогональное преобразование над данными 121 ошибки предсказания, чтобы сгенерировать частотные коэффициенты 122. Блок 103 квантования квантует частотные коэффициенты 122, посредством этого генерируя квантованные значения 123. Блок 112 кодирования с переменной длиной слова выполняет энтропийное кодирование (кодирование с переменной длиной слова) над квантованными значениями 123, посредством этого генерируя кодированный битовый поток 132.
[0054] Блок 104 обратного квантования обратно квантует квантованные значения 123, посредством этого генерируя частотные коэффициенты 124. Блок 105 обратного ортогонального преобразования выполняет обратное ортогональное преобразование над частотными коэффициентами 122, посредством этого генерируя данные 125 ошибки предсказания. Сумматор 106 складывает данные 125 ошибки предсказания и данные 131 изображения предсказания, посредством этого генерируя декодированные данные 126 изображения. Память 107 блоков сохраняет декодированные данные 126 изображения в виде декодированных данных 127 изображения на блочной основе. Память 108 кадров сохраняет декодированные данные 126 изображения в виде декодированных данных 128 изображения на покадровой основе.
[0055] Блок 109 внутреннего предсказания выполняет внутреннее предсказание, чтобы сгенерировать данные 129 изображения предсказания текущего блока, который должен быть кодирован. В частности, блок 109 внутреннего предсказания проводит поиск в декодированных данных 127 изображения, сохраненных в памяти 107 блоков, и оценивает область изображения, которая больше всего похожа на входной сигнал 120 изображения.
[0056] Блок 110 внешнего предсказания выполняет внешнее предсказание с использованием покадрово декодированных данных 128 изображения, сохраненных в памяти 108 кадров, чтобы сгенерировать данные 130 изображения предсказания в текущем блоке.
[0057] Блок 111 определения типа картинки выбирает одни из данных 129 изображения предсказания и данных 130 изображения предсказания и выводит выбранные данные в виде данных 131 изображения предсказания.
[0058] Блок 113 управления памятью кадров управляет декодированными данными 128 изображения, сохраненными в памяти 108 кадров. В частности, блок 113 управления памятью кадров определяет, сохраняются ли декодированные данные 128 изображения в памяти 108 кадров или удаляются из памяти 108 кадров. Кроме того, блок 113 управления памятью кадров строит списки ссылок, которые должны быть использованы блоком 110 внешнего предсказания. Кроме того, блок 113 управления памятью кадров генерирует информацию 133 управления памятью кадров, которая включает в себя информацию задания описания буфера и информацию задания описания списка ссылок. Блок 112 кодирования с переменной длиной слова генерирует кодированный битовый поток 132, который включает в себя эту информацию 133 управления памятью кадров.
[0059] [Процесс кодирования]
Далее приводится описание способа кодирования изображений, который выполняется устройством 100 кодирования изображений, как упоминалось выше.
[0060] Фиг. 4 - блок-схема последовательности операций способа кодирования изображений в соответствии с этим вариантом осуществления.
[0061] Прежде всего устройство 100 кодирования изображений записывает в первый заголовок битового потока информацию задания описания буфера, которая задает описания буфера (этап S101). Описания буфера используются для задания картинок, которые должны быть сохранены в буфере (памяти кадров). В частности, каждое из описаний буфера включает в себя множество элементов буфера. Каждый элемент буфера содержит уникальный идентификатор картинки (например, номер POC), соответствующий одной опорной картинке, сохраненной в памяти кадров. Это означает, что каждое из описаний буфера указывает множество опорных картинок, сохраненных в памяти кадров.
[0062] Далее устройство 100 кодирования изображений строит список ссылок по умолчанию, включающий в себя все опорные картинки, которые указываются в описаниях буфера (этап S102). Здесь список ссылок по умолчанию является списком ссылок, который строится в соответствии с предопределенной схемой построения списка ссылок по умолчанию в устройстве кодирования изображений и устройстве декодирования изображений. Другими словами, в качестве списка ссылок по умолчанию для одной и той же картинки (или слайса) строится один и тот же список ссылок в устройстве кодирования изображений и устройстве декодирования изображений.
[0063] Далее устройство 100 кодирования изображений переупорядочивает множество опорных картинок, включенное в построенный список ссылок по умолчанию (этап S103).
[0064] Устройство 100 кодирования изображений затем записывает во второй заголовок кодированного битового потока информацию переупорядочения списка ссылок, которая указывает подробности переупорядочения на этапе S103 (этап S104). Здесь в информации переупорядочения списка ссылок картинка, которая должна быть переупорядочена, задается с использованием ее индекса элемента буфера в описании буфера.
[0064] В конечном счете устройство 100 кодирования изображений кодирует текущий слайс с использованием описания буфера и списка ссылок, полученного в результате переупорядочения (этап S105). Кроме того, устройство 100 кодирования изображений генерирует кодированный битовый поток 132, который включает в себя результирующие кодированные данные.
[0066] Здесь первый и второй заголовки принадлежат одной и той же одиночной единице на уровне абстракции сети (NAL). Одним примером одиночной единицы NAL является единица NAL слайса. Это означает, что каждый из первого и второго заголовков является одиночным заголовком слайса. Нужно отметить, что эта одна и та же одиночная единица NAL может быть единицей NAL набора параметров адаптации (APS), единицей NAL набора параметров изображения (PPS) или единицей NAL набора параметров последовательности (SPS).
[0067] Кроме того, вышеупомянутые первый и второй заголовки принадлежат единицам NAL разных типов единиц NAL. Например, первый заголовок принадлежит единице NAL SPS, тогда как второй заголовок принадлежит единице NAL APS. В качестве альтернативы может быть так, что первый заголовок принадлежит единице NAL PPS, тогда как второй заголовок принадлежит единице NAL APS. Может быть так, что первый заголовок принадлежит единице NAL SPS, тогда как второй заголовок принадлежит единице NAL слайса. Может быть так, что первый заголовок принадлежит единице NAL PPS, тогда как второй заголовок принадлежит единице NAL слайса.
[0068] Нижеследующее описывает показанный на фиг. 4 процесс переупорядочения списка ссылок по умолчанию (этап S103). Фиг. 5 - блок-схема последовательности операций первого примера этого переупорядочения (этапа S103).
[0069] Прежде всего устройство 100 кодирования изображений идентифицирует и выбирает опорную картинку, которая должна быть переупорядочена, из опорных картинок, включенных в текущий список ссылок (этап S111). В кодированном битовом потоке опорная картинка, которая должна быть переупорядочена, указывается с использованием соответствующего индекса элемента буфера в активном описании буфера.
[0070] Далее устройство 100 кодирования изображений назначает предопределенный опорный индекс опорной картинке, которая должна быть переупорядочена в списке ссылок (этап S112).
[0071] Далее устройство 100 кодирования изображений осуществляет приращение опорных индексов на единицу для других опорных картинок отличных от вышеупомянутой опорной картинки, которая должна быть переупорядочена, которые находятся в списке опорных картинок и имеют опорные индексы, больше либо равные предопределенному опорному индексу (этап S113).
[0072] Конкретный пример приводится ниже. Например, на этапе S111 выбирается опорная картинка R. Далее на этапе S112 опорной картинке R назначается опорный индекс = 2. Потом на этапе S113 осуществляется приращение опорных индексов опорных картинок, ранее имеющих назначенные им опорные индексы 2 или больше, среди других опорных картинок в списке ссылок по умолчанию, до 3 или больше. При этом строится переупорядоченный список ссылок.
[0073] Фиг. 6 - блок-схема последовательности операций второго примера переупорядочения (этапа S103).
[0074] Переупорядочение (этап S103), показанное на фиг. 6, включает в себя предопределенное количество повторяющихся процессов. Каждый из повторяющихся процессов включает в себя обработку, которая соответствует вышеприведенным этапам S111-S113, показанным на фиг. 5. В частности, каждый из повторяющихся процессов включает в себя процесс выбора опорной картинки, которая должна быть переупорядочена (этап S122), процесс назначения опорного индекса опорной картинке, которая должна быть переупорядочена (этап S123), и процесс приращения опорных индексов на единицу (этап S124). Например, кодированный битовый поток включает в себя информацию, указывающую количество раз этого повторяющегося процесса. Нужно отметить, что кодированный битовый поток может включать в себя информацию, указывающую, должен ли выполняться другой набор повторяющихся процессов после каждого из повторяющихся процессов.
[0075] Прежде всего устройство 100 кодирования изображений устанавливает первый опорный индекс в ноль (этап S121) в начальном повторяющемся процессе, а затем выполняет обработку на этапах S122-S124.
[0076] В частности, устройство 100 кодирования изображений идентифицирует и выбирает опорную картинку, которая должна быть переупорядочена, из опорных картинок, включенных в текущий список ссылок (этап S122). В кодированном битовом потоке опорная картинка, которая должна быть переупорядочена, указывается с использованием соответствующего индекса элемента буфера в активном описании буфера.
[0077] Далее устройство 100 кодирования изображений назначает предопределенный опорный индекс (= 0) опорной картинке, которая должна быть переупорядочена в списке ссылок (этап S123).
[0078] Далее устройство 100 кодирования изображений осуществляет приращение опорных индексов на единицу для других опорных картинок отличных от вышеупомянутой опорной картинки, которая должна быть переупорядочена, которые находятся в списке опорных картинок и имеют опорные индексы, больше либо равные предопределенному опорному индексу (этап S124).
[0079] Когда первый опорный индекс меньше предопределенного значения (Нет на этапе S125), то есть когда повторяющийся процесс не выполнен предопределенное количество раз, устройство 100 кодирования изображений осуществляет приращение значения первого опорного индекса на единицу (этап S126), а затем выполняет обработку на этапе S122 и следующих этапах. Другими словами, обработка на этапах S126 и S122-S124 выполняется повторно до тех пор, пока повторяющийся процесс не выполнен предопределенное количество раз (Да на этапе S125).
[0080] Здесь в этом варианте осуществления опорная картинка, которая должна быть переупорядочена, указывается в информации переупорядочения списка ссылок, включенной в кодированный битовый поток, с использованием абсолютного значения ее индекса элемента буфера.
[0081] Может быть так, что информация переупорядочения списка ссылок указывает среди опорных картинок, которые должны быть переупорядочены, начальную опорную картинку с использованием абсолютного значения его индекса элемента буфера и указывает каждое из следующих опорных картинок, которые должны быть переупорядочены, с использованием значения разницы между его индексом элемента буфера и индексом элемента буфера непосредственно предшествующей опорной картинки, которая должна быть переупорядочена. В частности, может быть так, что в начальном повторяющемся процессе опорная картинка, которая должна быть переупорядочена, указывается с использованием абсолютного значения ее индекса элемента буфера, а в каждом из второго и последующих повторяющихся процессов опорная картинка, которая должна быть переупорядочена, указывается с использованием значения разницы между индексами элементов буфера.
[0082] [Синтаксическая диаграмма: первый пример]
Каждая из фиг. 7 и 8 является синтаксической диаграммой, которая показывает расположения информации задания описания буфера и информации задания описания списка ссылок в кодированном битовом потоке в первом примере этого варианта осуществления.
[0083] Кодированный битовый поток 132, показанный на фиг. 7, включает в себя SPS 301, PPS 302 и множество данных 303 картинки. Каждые из данных 303 картинки включают в себя заголовок 331 картинки и часть 332 данных картинки. Часть 332 данных картинки включает в себя множество данных 335 слайса.
[0084] Каждые из данных 335 слайса включают в себя заголовок 341 слайса и часть 342 данных слайса. Часть 342 данных слайса включает в себя множество данных 343 единицы кодирования (CU).
[0085] Заголовок 341 слайса включает в себя информацию 312 задания описания буфера (BD define) и информацию 313 задания описания списка ссылок (RLD define).
[0086] Информация 312 задания описания буфера задает описания 315 буфера. Например, как и вышеупомянутые описания 515 буфера, описания 315 буфера включают в себя множество элементов буфера.
[0087] Информация 313 задания описания списка ссылок задает множество описаний 316 списков ссылок. Эта информация 313 задания описания списка ссылок включает в себя вышеупомянутую информацию переупорядочения списка ссылок и флаг переупорядочения для указания, нужно ли переупорядочивать список ссылок по умолчанию.
[0088] Кроме того, в кодированном битовом потоке 132A, показанном на фиг. 8, информация 312 задания описания буфера и информация 313 задания описания списка ссылок включаются не в заголовок 341A слайса, а в заголовок 331A картинки. В HEVC информация 312 задания описания буфера и информация 313 задания описания списка ссылок могут включаться в APS. Здесь картинка включает в себя множество слайсов. Таким образом, все слайсы, включенные в одну картинку, используют один из списков ссылок, которые строятся в соответствии с информацией 312 задания описания буфера и информацией 313 задания описания списка ссылок.
[0089] Нужно отметить, что "слайс" в вышеприведенном объяснении можно заменить "единицей субизображения (SPU)". Единица субизображения включает в себя, например, фрагмент, энтропийный слайс и группу блоков, составляющих разделение субизображения волновой обработки (единица волновой параллельной обработки (WPP)).
[0090] Вышеупомянутая информация 312 задания описания буфера и информация 313 задания описания списка ссылок сигнализируются в структуре синтаксиса заголовка слайса в соответствии с псевдокодом в таблице, показанной на фиг. 9. Нужно отметить, что то же самое применяется к структурам синтаксиса заголовка SPU и заголовка изображения.
[0091] Дескрипторы задают процесс разбора каждого элемента синтаксиса в соответствии с таким же битовым представлением, как и схема кодирования видео AVC, следующим образом:
[0092] ue(v): беззнаковый целочисленный элемент синтаксиса, кодированный экспоненциальным кодом Голомба, с первым битом слева;
[0093] u(n): беззнаковое целое число, использующее n битов. Когда n равно "v" в таблице синтаксиса, количество битов меняется способом, зависящим от значения других элементов синтаксиса.
[0094] Нижеследующее объясняет семантику, ассоциированную с элементами синтаксиса, представляющими информацию задания описания буфера и информацию задания описания списка ссылок.
[0095] На фиг. 9 PredictionType обозначает тип предсказания текущего слайса (или SPU, или картинки). PredictionType = P указывает одиночное предсказание, а PredictionType = B указывает бипредсказание. Этот PredictionType является информацией, указанной ранее в кодированном битовом потоке, и является, например, информацией, указанной ранее в предшествующих элементах синтаксиса заголовка слайса или в структуре синтаксиса APS.
[0096] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 9.
[0097] Переменные или списки BDDeltaPOC и BDTemporalID представляют упорядоченные элементы BE буфера в активном описании BD буфера.
[0098] number_of_bes_minus1 указывает количество элементов BE буфера в описании BD буфера. Количество элементов BE буфера равно (number_of_bes_minus1 + 1).
[0099] first_delta_poc_sign_flag указывает знак (плюс или минус) разницы POC между текущей картинкой и опорной картинкой, ассоциированной с элементом BE[0] буфера в описании BD буфера. Равный 0 first_delta_poc_sign_flag[i] точно определяет, что разница POC имеет положительное значение, тогда как равный 1 first_delta_poc_sign_flag[i] точно определяет, что разница POC имеет отрицательное значение.
[0100] first_delta_poc_minus1 указывает абсолютное значение разницы POC между текущей картинкой и опорной картинкой, ассоциированной с элементом BE[0] буфера в описании BD буфера. first_delta_poc_sign_flag и first_delta_poc точно определяют значение переменной BDDeltaPOC[0] со знаком в виде
[0101] BDDeltaPOC[0] = (first_delta_poc_minus1 + 1) *
(1 − 2 * first_delta_poc_sign_flag)
[0102] BDDeltaPOC[0] должна быть наибольшим значением разницы POC со знаком среди всех опорных картинок, ассоциированных с элементами BE[j] буфера в описании BD буфера.
[0103] first_temporal_id точно определяет временный идентификатор и представляется заранее установленным количеством битов. Например, предопределенное количество битов указывается ранее в кодированном битовом потоке и указывается, например, в активном SPS или активном PPS. first_temporal_id точно определяет значение беззнаковой переменной BDTemporalID[0] в виде
[0104] BDTemporalID[0] = first_temporal_id
[0105] delta_poc_minus1[j] точно определяет отрицательное значение расстояния POC от опорной картинки, ассоциированной с элементом BE[j] буфера, до опорной картинки, ассоциированной с элементом BE[j+1] буфера, в описании BD буфера. delta_poc_minus1[j] точно определяет значение переменной BDDeltaPOC[j+1] со знаком в виде
[0106] BDDeltaPOC[j+1] = BDDeltaPOC[j] - (delta_poc_minus1[j] + 1)
[0107] temporal_id[j] точно определяет временный идентификатор и представляется заранее установленным количеством битов аналогично first_temporal_id. temporal_id[j] точно определяет значение беззнаковой переменной BDTemporalID[j+1] в виде
[0108] BDTemporalID[j+1] = temporal_id[j]
[0109] Равный 1 ref_pic_list_modification_flag_l0 точно определяет, что num_ref_idx_l0_active_minus1 и more_modification_flag присутствуют для точного определения списка RL0 опорных картинок, соответствующего описанию BD буфера. Равный 0 ref_pic_list_modification_flag_l0 точно определяет, что num_ref_idx_l0_active_minus1 и more_modification_flag отсутствуют.
[0110] Когда ref_pic_list_modification_flag_l0 равен 1, количество раз, которое more_modification_flag равен 1 после ref_pic_list_modification_flag_l0, не должно превышать (num_ref_idx_l0_active_minus1 + 1).
[0111] Равный 1 ref_pic_list_modification_flag_l1 точно определяет, что num_ref_idx_l1_active_minus1 и more_modification_flag присутствуют для точного определения списка RL1 опорных картинок, соответствующего описанию BD буфера. Равный 0 ref_pic_list_modification_flag_l1 точно определяет, что num_ref_idx_l1_active_minus1 и more_modification_flag отсутствуют.
[0112] Когда ref_pic_list_modification_flag_l1 равен 1, количество раз, которое more_modification_flag равен 1 после ref_pic_list_modification_flag_l1, не должно превышать (num_ref_idx_l1_active_minus1 + 1).
[0113] num_ref_idx_l0_active_minus1 точно определяет максимальный опорный индекс для списка RL0 опорных картинок, соответствующего описанию BD буфера.
[0114] num_ref_idx_l1_active_minus1 точно определяет максимальный опорный индекс для списка RL1 опорных картинок, соответствующего описанию BD буфера.
[0115] more_modification_flag вместе с be_idx точно определяет, какие из опорных картинок отображаются повторно. Равный 1 more_modification_flag точно определяет, что be_idx присутствует сразу после more_modification_flag. Равный 0 more_modification_flag точно определяет конец цикла для повторного отображения опорных картинок в списке опорных картинок.
[0116] be_idx_in_ref_pic_list точно определяет опорную картинку, ассоциированную с элементом BE[be_idx_in_ref_pic_list] буфера в текущем описании BD буфера. be_idx_in_ref_pic_list идентифицирует изображение, которое будет повторно отображено, в текущем списке RL0 или RL1 опорных картинок, ассоциированном с описанием BD буфера. Процесс повторного отображения или переупорядочения выполняется после обработки, описанной на фиг. 5 и 6.
[0117] [Синтаксическая диаграмма: второй пример]
Каждая из фиг. 10 и 11 является синтаксической диаграммой, которая показывает расположения информации задания описания буфера и информации задания описания списка ссылок в кодированном битовом потоке во втором примере этого варианта осуществления. Нижеследующее описывает преимущественно отличия от первого примера и соответственно пропускает перекрывающиеся объяснения. Элементы, одинаковые или похожие на элементы, показанные на фиг. 7 и 8, обозначаются одинаковыми ссылками. Это применяется и к другим примерам ниже.
[0118] Кодированный битовый поток 132B, показанный на фиг. 10, отличается от кодированного битового потока 132, показанного на фиг. 7, в том, что SPS включает в себя информацию 312 задания описания буфера. В частности, кодированный битовый поток 132B, показанный на фиг. 10, отличается от кодированного битового потока 132, показанного на фиг. 7, в том, что SPS 301, PPS 302 и заголовок 341 слайса заменяются соответственно SPS 301B, PPS 302B и заголовком 341B слайса.
[0119] SPS 301B включает в себя информацию 312 задания описания буфера и идентификатор 311 SPS (sps_id).
[0120] Информация 312 задания описания буфера задает множество описаний 315 буфера. Кроме того, информация 312 задания описания буфера включает в себя количество 314 описаний буфера (number_of_bds), указывающее количество описаний 315 буфера, включенных в информацию 312 задания описания буфера.
[0121] Кроме того, SPS 301B идентифицируется с помощью уникального идентификатора 311 SPS (например, sps_id = 0).
[0122] Каждый из PPS 302B включает в себя информацию 321 выбора SPS (sps_select) и идентификатор 322 PPS (pps_id). Информация 321 выбора SPS (например, sps_select = 0) указывает SPS 301B, на который ссылаются. Кроме того, каждый из PPS 302B идентифицируется с помощью уникального идентификатора 322 PPS (например, pps_id = 0).
[0123] Заголовок 341B слайса включает в себя информацию 333 выбора PPS (pps_select), информацию 334 выбора описания буфера (bd_select), информацию 323 обновления описания буфера (BD update) и информацию 313 задания описания списка ссылок.
[0124] Информация 333 выбора PPS (например, pps_select = 0) указывает PPS 302B, на который ссылаются. Используя эту информацию 333 выбора PPS, ссылаются на один из PPS 302B из заголовка 341B слайса. Кроме того, используя информацию 321 выбора SPS, включенную в PPS 302B, на SPS 301B ссылаются из PPS 302B, на который делается ссылка. Это связывает текущий слайс с доступным множеством описаний буфера, заданных в SPS 301B.
[0125] С помощью информации 334 выбора описания буфера (например, bd_select = 2) точно определяется одно из описаний буфера. Таким образом, одно описание буфера выбирается из множества описаний буфера.
[0126] Информация 323 обновления описания буфера является информацией для обновления выбранного описания буфера. Обновленное описание буфера затем используется в процессе кодирования или декодирования текущего слайса. Когда не обновляются описания буфера по умолчанию, заданные с использованием информации 312 задания описания буфера, включенной в SPS 301B, заголовок 341B слайса не включает в себя информацию 323 обновления описания буфера.
[0127] Как и кодированный битовый поток 132C, показанный на фиг. 11, информация 312 задания описания буфера может включаться в PPS 302C.
[0128] Вышеупомянутая информация 312 задания описания буфера сигнализируется в структуре синтаксиса набора параметров последовательности в соответствии с псевдокодом в таблице, показанной на фиг. 12. Нужно отметить, что то же самое применяется к структуре синтаксиса набора параметров изображения. Вышеупомянутая информация 323 обновления описания буфера и информация 313 задания описания списка ссылок сигнализируются в структуре синтаксиса заголовка слайса в соответствии с псевдокодом в таблице, показанной на фиг. 13. Нужно отметить, что то же самое применяется к структурам синтаксиса заголовка SPU и заголовка изображения.
[0129] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 12.
[0130] Переменные или списки BDDeltaPOC[i] и BDTemporalID[i] представляют упорядоченные элементы BE[i] буфера в активном описании BD[i] буфера.
[0131] bits_for_temporal_id указывает количество битов в first_temporal_id и temporal_id.
[0132] number_of_bds (количество 314 описаний буфера) указывает количество number_of_bes_minus1, включенных в SPS 301. Другими словами, number_of_bds указывает количество описаний 315 буфера, включенных в SPS 301.
[0133] number_of_bes_minus1[i] указывает количество элементов буфера в описании BD[i] буфера.
[0134] first_delta_poc_sign_flag[i] указывает знак (плюс или минус) разницы POC между текущей картинкой и опорной картинкой, ассоциированной с элементом BE[i][0] буфера в описании BD[i] буфера. Равный 0 first_delta_poc_sign_flag[i] точно определяет, что разница POC имеет положительное значение, тогда как равный 1 first_delta_poc_sign_flag[i]точно определяет, что разница POC имеет отрицательное значение.
[0135] first_delta_poc_minus1[i] указывает абсолютное значение разницы POC между текущей картинкой и опорной картинкой, ассоциированной с элементом BE[i][0] буфера в описании BD[i] буфера. first_delta_poc_sign_flag[i] и first_delta_poc[i] задают значение переменной BDDeltaPOC[i][0] со знаком в виде
[0136] BDDeltaPOC[i][0] = (first_delta_poc_minus1[i] + 1) *
(1 − 2 * first_delta_poc_sign_flag[i])
[0137] BDDeltaPOC[i][0] должна быть наибольшим значением разницы POC со знаком среди всех опорных картинок, ассоциированных с элементами BE[i][j] буфера в описании BD[i] буфера.
[0138] first_temporal_id[i] точно определяет временный идентификатор и представляется битами в количестве bits_for_temporal_id. first_temporal_id[i] задает значение беззнаковой переменной BDTemporalID[i][0] в виде
[0139] BDTemporalID[i][0] = first_temporal_id[i]
[0140] delta_poc_minus1[i][j] указывает отрицательное значение расстояния POC от опорной картинки, ассоциированной с элементом BE[i][j] буфера, до опорной картинки, ассоциированной с элементом BE[i][j+1] буфера, в описании BD[i] буфера. delta_poc_minus1[i][j] задает значение переменной BDDeltaPOC[i][j+1] со знаком в виде
[0141] BDDeltaPOC[i][j+1] = BDDeltaPOC[i][j] - (delta_poc_minus1[i][j] + 1)
[0142] temporal_id[i][j] точно определяет временный идентификатор и представляется битами в количестве bits_for_temporal_id. temporal_id[i] задает значение беззнаковой переменной BDTemporalID[i][j+1] в виде
[0143] BDTemporalID[i][j+1] = temporal_id[i][j]
[0144] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 13.
[0145] Переменная PredictionType обозначает тип предсказания текущего слайса (или SPU, или картинки). Подробности PredictionType описываются выше.
[0146] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера. Обновленные переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют активное описание буфера, используемое в процессе кодирования или декодирования текущего слайса.
[0147] bd_select точно определяет индекс в списках BDDeltaPOC и BDTemporalID, представляющий описание BD[bd_select] буфера, которое должно быть изменено заголовком слайса.
[0148] bd_modification_operation точно определяет операцию изменения, которая должна быть применена к выбранному описанию BD[bd_select] буфера. Равная 0 bd_modification_operation точно определяет конец цикла для изменения описания BD[bd_select] буфера.
[0149] В этом варианте осуществления равная 1 bd_modification_operation точно определяет, что элементу буфера, указанному с помощью be_idx_in_bd_update в описании BD[bd_select] буфера, нужно назначить значение разницы POC с текущей картинкой. Это значение разницы POC представляет разницу между номером POC опорной картинки и номером POC текущей картинки или слайса.
[0150] В альтернативных реализациях могут задаваться дополнительные операции изменения описания буфера, указанные с помощью bd_modification_operation. Одним примером является операция для назначения маркировки для картинки, указанной элементом буфера, в качестве краткосрочной или долгосрочной опорной картинки.
[0151] be_idx_in_bd_update точно определяет элемент буфера, который должен быть изменен в описании BD[bd_select] буфера.
[0152] delta_poc_sign_flag точно определяет знак (плюс или минус) разницы POC между текущей картинкой и опорной картинкой, которая должна быть ассоциирована с элементом BE[bd_select][be_idx_in_bd_update] буфера в описании BD[bd_select] буфера. Равный 0 delta_poc_sign_flag точно определяет, что разница POC имеет положительное значение, тогда как равный 1 delta_poc_sign_flag точно определяет, что разница POC имеет отрицательное значение.
[0153] delta_poc_minus1 точно определяет абсолютное значение разницы POC между текущей картинкой и опорной картинкой, которая должна быть ассоциирована с элементом BE[bd_select][be_idx_in_bd_update] буфера в описании BD[bd_select] буфера. first_delta_poc_sign_flag и first_delta_poc задают значение переменной BDDeltaPOC[bd_select][be_idx_in_bd_update] со знаком в виде
[0154] BDDeltaPOC[bd_select][be_idx_in_bd_update] = (delta_poc_minus1 + 1) *
(1 − 2 * delta_poc_sign_flag)
[0155] temporal_id точно определяет временный идентификатор и представляется битами в количестве bits_for_temporal_id. temporal_id задает значение беззнаковой переменной BDTemporalID[bd_select][be_idx_in_bd_update] в виде
[0156] BDTemporalID[bd_select][be_idx_in_bd_update] = temporal_id
[0157] Семантика элементов синтаксиса информации задания описания списка ссылок ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 13, является такой же, как на фиг. 9.
[0158] [Синтаксическая диаграмма: третий пример]
Каждая из фиг. 14 и 15 является синтаксической диаграммой, которая показывает расположения информации задания описания буфера и информации задания описания списка ссылок в кодированном битовом потоке в третьем примере этого варианта осуществления.
[0159] Кодированный битовый поток 132D, показанный на фиг. 14, отличается от кодированного битового потока 132B, показанного на фиг. 10, в том, что SPS включает в себя информацию 313 задания описания списка ссылок. В частности, кодированный битовый поток 132D, показанный на фиг. 14, отличается от кодированного битового потока 132B, показанного на фиг. 10, в том, что SPS 301B и заголовок 341B слайса заменяются соответственно SPS 301D и заголовком 341D слайса.
[0160] SPS 301D дополнительно включает в себя информацию 313 задания описания списка ссылок в дополнение к информации 312 задания описания буфера и идентификатору 311 SPS.
[0161] Информация 313 задания описания списка ссылок задает множество описаний 316 списков ссылок. Каждое описание 316 списка ссылок (например, RLD2) ассоциируется исключительно с описанием 315 буфера (например, BD2).
[0162] Заголовок 341D слайса включает в себя информацию 333 выбора PPS, информацию 334 выбора описания буфера, информацию 323 обновления описания буфера и информацию 324 обновления описания списка ссылок (RLD update).
[0163] Информация 324 обновления описания списка ссылок является информацией для обновления описания списка ссылок, которое соответствует обновленному описанию буфера. Обновленные описание буфера и описание списка ссылок затем используются в процессе кодирования или декодирования текущего слайса. Когда не обновляются описания буфера по умолчанию и описание списка ссылок, заданные с использованием соответственно информации 312 задания описания буфера и информации 313 задания описания списка ссылок, которые включаются в SPS 301D, заголовок 341D слайса не включает в себя информацию 323 обновления описания буфера или информацию 324 обновления описания списка ссылок.
[0164] В SPS 301D информация 313 задания описания списка ссылок идет за информацией 312 задания описания буфера. В заголовке 341D слайса информация 324 обновления описания списка ссылок идет за информацией 323 обновления описания буфера. Информация 313 задания описания списка ссылок и информация ссылок обновления описания списка 324 включают в себя флаг переупорядочения для указания, нужно ли переупорядочивать список ссылок. Когда список ссылок нужно переупорядочивать, каждая из информации 313 задания описания списка ссылок и информации 324 обновления описания списка ссылок дополнительно включает в себя информацию переупорядочения списка ссылок, которая указывает подробности переупорядочения.
[0165] Когда информация 324 обновления описания списка ссылок указывает, что переупорядочение не нужно выполнять, список ссылок строится с использованием информации 313 задания описания списка ссылок. С другой стороны, когда информация 324 обновления описания списка ссылок указывает, что переупорядочение нужно выполнять, не используется список ссылок, построенный с использованием информации 313 задания описания списка ссылок, а список ссылок строится с использованием информации 324 обновления описания списка ссылок. В частности, список ссылок по умолчанию строится в соответствии с предопределенной схемой построения списка ссылок по умолчанию. Далее список ссылок по умолчанию переупорядочивается в соответствии с информацией переупорядочения, включенной в информацию 324 обновления описания списка ссылок. Другими словами, список ссылок, переупорядоченный с использованием информации 313 задания описания списка ссылок, перезаписывает список ссылок, переупорядоченный с использованием информации 324 обновления описания списка ссылок. Здесь в информации переупорядочения списка ссылок, включенной в информацию 313 задания описания списка ссылок и информацию 324 обновления описания списка ссылок, список ссылок, который должен быть переупорядочен, идентифицируется с использованием его индекса элемента буфера в описании буфера.
[0166] Как и кодированный битовый поток 132E, показанный на фиг. 15, информация 313 задания описания списка ссылок может включаться в PPS 302E.
[0167] Вышеупомянутая информация 312 задания описания буфера и информация 313 задания описания списка ссылок сигнализируются в структуре синтаксиса набора параметров последовательности в соответствии с псевдокодом в таблице, показанной на фиг. 16. Нужно отметить, что то же самое применяется к структуре синтаксиса набора параметров изображения. Вышеупомянутая информация 323 обновления описания буфера и информация 324 обновления описания списка ссылок сигнализируются в структуре синтаксиса заголовка слайса в соответствии с псевдокодом в таблице, показанной на фиг. 17. Нужно отметить, что то же самое применяется к структурам синтаксиса заголовка SPU и заголовка изображения.
[0168] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 16.
[0169] Переменные или списки BDDeltaPOC[i] и BDTemporalID[i] представляют упорядоченные элементы BE[i] буфера в активном описании BD буфера.
[0170] Семантика элементов синтаксиса информации задания описания буфера bits_for_temporal_id, number_of_bds, number_of_bes_minus1[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] и temporal_id[i][j], показанных на фиг. 16, является такой же, как на фиг. 12.
[0171] Равный 1 ref_pic_list_modification_flag_l0[i] точно определяет, что num_ref_idx_l0_active_minus1[i] и more_modification_flag присутствуют для задания списка RL0[i] опорных картинок, соответствующего описанию BD[i] буфера. Равный 0 ref_pic_list_modification_flag_l0[i] точно определяет, что num_ref_idx_l0_active_minus1[i] и more_modification_flag отсутствуют.
[0172] Когда ref_pic_list_modification_flag_l0[i] равен 1, количество раз, которое more_modification_flag равен 1 после ref_pic_list_modification_flag_l0[i], не должно превышать (num_ref_idx_l0_active_minus1[i] + 1).
[0173] Равный 1 ref_pic_list_modification_flag_l1[i] точно определяет, что num_ref_idx_l1_active_minus1[i] и more_modification_flag присутствуют для задания списка RL1[i] опорных картинок, соответствующего описанию BD[i] буфера. Равный 0 ref_pic_list_modification_flag_l1[i] точно определяет, что num_ref_idx_l1_active_minus1[i] и more_modification_flag отсутствуют.
[0174] Когда ref_pic_list_modification_flag_l1[i] равен 1, количество раз, которое more_modification_flag равен 1 после ref_pic_list_modification_flag_l1[i], не должно превышать (num_ref_idx_l1_active_minus1[i] + 1).
[0175] num_ref_idx_l0_active_minus1[i] указывает максимальный опорный индекс для списка RL0[i] опорных картинок, соответствующего описанию BD[i] буфера.
[0176] num_ref_idx_l1_active_minus1[i] указывает максимальный опорный индекс для списка RL1[i] опорных картинок, соответствующего описанию BD[i] буфера.
[0177] more_modification_flag вместе с be_idx точно определяет, какие из опорных картинок отображаются повторно. Равный 1 more_modification_flag точно определяет, что be_idx присутствует сразу после more_modification_flag. Равный 0 more_modification_flag точно определяет конец цикла для повторного отображения опорных картинок в списке опорных картинок.
[0178] be_idx_in_ref_pic_list точно определяет опорную картинку, ассоциированную с элементом BE[i][be_idx_in_ref_pic_list] буфера в текущем описании BD[i] буфера. be_idx_in_ref_pic_list идентифицирует изображение, которое должно быть повторно отображено, в текущем списке RL0[i] или RL1[i] опорных картинок, ассоциированном с описанием BD[i] буфера. Процесс повторного отображения или переупорядочения выполняется после обработки, описанной на фиг. 5 и 6.
[0179] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 17.
[0180] Переменная PredictionType обозначает тип предсказания текущего слайса (или SPU, или картинки). Подробности PredictionType описываются выше.
[0181] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера. Обновленные переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют активное описание буфера, используемое в процессе кодирования или декодирования текущего слайса.
[0182] Семантика элементов синтаксиса информации обновления описания буфера bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 и temporal_id, показанных на фиг. 17, является такой же, как на фиг. 13.
[0183] Семантика элементов синтаксиса информации обновления списка ссылок ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 17, является такой же, как на фиг. 9.
[0184] [Синтаксическая диаграмма: четвертый пример]
Фиг. 18 является синтаксической диаграммой, которая показывает расположения информации задания описания буфера и информации задания описания списка ссылок в кодированном битовом потоке в четвертом примере этого варианта осуществления.
[0185] Кодированный битовый поток 132F, показанный на фиг. 18, отличается от кодированного битового потока 132D, показанного на фиг. 14, в том, что PPS дополнительно включает в себя информацию обновления описания буфера и информацию обновления описания списка ссылок. В частности, кодированный битовый поток 132F, показанный на фиг. 18, отличается от кодированного битового потока 132D, показанного на фиг. 14, в том, что PPS 302B заменяется PPS 302F.
[0186] PPS 302F дополнительно включает в себя информацию 323F обновления описания буфера и информацию 324F обновления описания списка ссылок в дополнение к информации 321 выбора SPS и идентификатору 322 PPS.
[0187] Информация 323F обновления описания буфера включает в себя информацию 325 количества обновлений (number_of_bd_updates) и одну или несколько порций информации 326 обновления. Каждая порция информации 326 обновления включает в себя информацию 327 выбора описания буфера (bd_select) и информацию 328 изменения описания буфера (BD modify).
[0188] Информация 325 количества обновлений (например, number_of_bd_updates = 2) указывает количество описаний буфера, которые должны быть изменены, и количество соответствующих описаний списков ссылок, которые должны быть изменены.
[0189] Информация 327 выбора описания буфера точно определяет описание буфера, которое должно быть обновлено. Информация 328 изменения описания буфера указывает подробности изменения описания буфера.
[0190] Информация 324F обновления описания списка ссылок включает в себя одну или несколько порций информации 329 задания списка ссылок (RLD define). Каждая порция информации 329 задания списка ссылок задает описание списка ссылок, соответствующее обновленному описанию буфера.
[0191] В PPS 302F информация 324F обновления описания списка ссылок идет за информацией 323F обновления описания буфера. Как и в случае с информацией 313 задания описания списка ссылок и информацией 324 обновления описания списка ссылок, информация 324F обновления описания списка ссылок включает в себя флаг переупорядочения для указания, нужно ли переупорядочивать список ссылок. Когда список ссылок нужно переупорядочивать, информация 324F обновления описания списка ссылок дополнительно включает в себя информацию переупорядочения списка ссылок, которая указывает подробности переупорядочения.
[0192] Когда информация 324 обновления описания списка ссылок указывает, что переупорядочение не нужно выполнять, список ссылок строится с использованием информации 324F обновления описания списка ссылок, включенной в PPS. С другой стороны, когда информация 324 обновления описания списка ссылок указывает, что переупорядочение нужно выполнять, не используется список ссылок, построенный с использованием информации 324F обновления описания списка ссылок, а список ссылок строится с использованием информации 324 обновления описания списка ссылок. В частности, список ссылок по умолчанию строится в соответствии с предопределенной схемой построения списка ссылок по умолчанию. Далее список ссылок по умолчанию переупорядочивается в соответствии с информацией переупорядочения, включенной в информацию 324 обновления описания списка ссылок. Другими словами, список ссылок, переупорядоченный с использованием информации 324F обновления описания списка ссылок, перезаписывает список ссылок, переупорядоченный с использованием информации 324 обновления описания списка ссылок.
[0193] Взаимосвязь между информацией 324F обновления описания списка ссылок, включенной в PPS 302F, и информацией 313 задания описания списка ссылок, включенной в SPS 301D, такая же или похожая на взаимосвязь между информацией 324 обновления описания списка ссылок и информацией 324F обновления описания списка ссылок. В частности, достаточно того, что "информация 324 обновления описания списка ссылок" в вышеприведенном объяснении заменяется "информацией 324F обновления описания списка ссылок", и что "информация 324F обновления описания списка ссылок" в вышеприведенном объяснении заменяется "информацией 313 задания описания списка ссылок".
[0194] Здесь в информации переупорядочения списка ссылок, включенной в информацию 324F обновления описания списка ссылок, список ссылок, который должен быть переупорядочен, идентифицируется с использованием его индекса элемента буфера в описании буфера, как и в случае с информацией 313 задания описания списка ссылок и информацией 324 обновления описания списка ссылок.
[0195] Вышеупомянутая информация 312 задания описания буфера и информация 313 задания описания списка ссылок сигнализируются в структуре синтаксиса набора параметров последовательности в соответствии с псевдокодом в таблице, показанной на фиг. 19. Вышеупомянутая информация 323F обновления описания буфера и информация 324F обновления описания списка ссылок сигнализируются в структуре синтаксиса набора параметров изображения в соответствии с псевдокодом в таблице, показанной на фиг. 20. Вышеупомянутая информация 323 обновления описания буфера и информация 324 обновления описания списка ссылок сигнализируются в структуре синтаксиса заголовка слайса в соответствии с псевдокодом в таблице, показанной на фиг. 21. Нужно отметить, что то же самое применяется к структурам синтаксиса заголовка SPU и заголовка изображения.
[0196] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 19.
[0197] Переменные или списки BDDeltaPOC[i] и BDTemporalID[i] представляют упорядоченные элементы BE[i] буфера в активном описании BD буфера.
[0198] Семантика элементов синтаксиса информации задания описания буфера bits_for_temporal_id, number_of_bds, number_of_bes_minus1[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] и temporal_id[i][j], показанных на фиг. 19, является такой же, как на фиг. 12.
[0199] Семантика элементов синтаксиса информации задания описания списка ссылок ref_pic_list_modification_flag_l0[i], ref_pic_list_modification_flag_l1[i], num_ref_idx_l0_active_minus1[i], num_ref_idx_l1_active_minus1[i], more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 19, является такой же, как на фиг. 16.
[0200] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 20.
[0201] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера.
[0202] number_of_bd_updates точно определяет количество раз, которое элемент синтаксиса bd_select присутствует в PPS. Другими словами, number_of_bd_updates представляет количество описаний буфера, которые должны быть изменены с помощью PPS.
[0203] bd_select точно определяет индекс в списках BDDeltaPOC и BDTemporalID, представляющий описание BD[bd_select] буфера, которое должно быть изменено с помощью PPS.
[0204] bd_modification_operation точно определяет операцию изменения, которая должна быть применена к выбранному описанию BD[bd_select] буфера. Равная 0 bd_modification_operation точно определяет конец цикла для изменения описания BD[bd_select] буфера. bd_modification_operation не должна быть равна 0 сразу после элемента синтаксиса bd_select.
[0205] В этом варианте осуществления равная 1 bd_modification_operation точно определяет, что элементу буфера, указанному с помощью be_idx_in_bd_update в описании BD[bd_select] буфера, нужно назначить значение разницы POC с текущей картинкой. Это значение разницы POC заменяет существующее сохраненное значение разницы POC.
[0206] В альтернативных реализациях могут задаваться дополнительные операции изменения описания буфера, указанные с помощью bd_modification_operation. Одним примером является операция для назначения маркировки для картинки, указанной элементом буфера, в качестве краткосрочной или долгосрочной опорной картинки. Другим примером является операция для задания новых дополнительных описаний буфера. В этом случае bd_select точно определяет индекс множеству новых (несуществующих) описаний буфера, а последующие операции изменения описания буфера назначают указатели картинок элементам буфера в новых описаниях буфера.
[0207] Элементы синтаксиса информации обновления описания буфера be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 и temporal_id, показанные на фиг. 20, являются такими же, как на фиг. 13.
[0208] Элементы синтаксиса информации обновления описания списка ссылок ref_pic_list_modification_flag_l0[i], ref_pic_list_modification_flag_l1[i], num_ref_idx_l0_active_minus1[i], num_ref_idx_l1_active_minus1[i], more_modification_flag и be_idx_in_ref_pic_list, показанные на фиг. 20, являются такими же, как на фиг. 16.
[0209] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 21.
[0210] Переменная PredictionType обозначает тип предсказания текущего слайса (или SPU, или картинки). Подробности PredictionType описываются выше.
[0211] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера. Обновленные переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют активное описание буфера, используемое в процессе кодирования или декодирования текущего слайса.
[0212] Семантика элементов синтаксиса информации обновления описания буфера bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 и temporal_id, показанных на фиг. 21, является такой же, как на фиг. 13.
[0213] Семантика элементов синтаксиса информации обновления списка ссылок ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 21, является такой же, как на фиг. 9.
[0214] Нужно отметить, что цикл синтаксиса, описывающий информацию обновления описания буфера и информацию обновления описания списка ссылок, может объединяться в один. В таких реализациях параметры для задания измененного описания списка ссылок следуют непосредственно за параметрами для изменения соответствующего описания буфера. В примере на фиг. 18 последовательность параметров становится [number_of_bd_updates = 2], [bd_select = 2], [BD2 modify], [RLD2 define], [bd_select = 3], [BD3 modify], [RLD3 define].
[0215] [Синтаксическая диаграмма: пятый пример]
Фиг. 22 является синтаксической диаграммой, которая показывает расположения информации задания описания буфера и информации задания описания списка ссылок в кодированном битовом потоке в пятом примере этого варианта осуществления.
[0216] Кодированный битовый поток 132G, показанный на фиг. 22, отличается от кодированного битового потока 132F, показанного на фиг. 18, в том, что информация 323F обновления описания буфера и информация 324F обновления описания списка ссылок в PPS 302F заменяют информацию 323G обновления описания буфера и информацию 324G обновления описания списка ссылок в PPS 302G. Кроме того, заголовок 341G слайса отличается от заголовка 341D слайса.
[0217] Информация 323G обновления описания буфера включает в себя информацию 351 выбора описания буфера (например, bd_select = 2), чтобы точно определять одно выбранное описание буфера, и флаг 352 изменения описания буфера (например, modify_flag = 1), указывающий, нужно ли изменять выбранное описание буфера и описание списка ссылок, соответствующее выбранному описанию буфера. Когда флаг 352 изменения описания буфера указывает, что выполняется изменение, информация 323G обновления описания буфера дополнительно включает в себя информацию 328 изменения описания буфера (BD modify). Кроме того, когда флаг 352 изменения описания буфера указывает, что выполняется изменение, PPS 302G включает в себя информацию 324G обновления описания списка ссылок, включающую в себя информацию 329 задания списка ссылок (RLD define), которая задает измененный список ссылок. С другой стороны, когда флаг 352 изменения описания буфера указывает, что изменение не выполняется, PPS 302G не включает в себя информацию 328 изменения описания буфера и информацию 329 задания списка ссылок.
[0218] Нужно отметить, что заголовок 341G слайса не включает в себя информацию 334 выбора описания буфера.
[0219] В соответствии с вышеизложенным, PPS 302G идентифицируется идентификатором 322 PPS (например, pps_id = 0), и на него ссылаются в заголовке 341G слайса с использованием информации 333 выбора PPS (например, pps_select = 0). Когда ссылаются на PPS 302G, также ссылаются на выбранное описание буфера и ассоциированное описание списка ссылок. Слайсы (или единицы суб-изображения) в текущей картинке кодируются или декодируются с использованием упорядоченных опорных картинок в соответствии с выбранным описанием буфера и выбранным описанием списка ссылок.
[0220] Здесь в информации переупорядочения списка ссылок, включенной в информацию 324G обновления описания списка ссылок, список ссылок, который должен быть переупорядочен, идентифицируется с использованием его индекса элемента буфера в описании буфера, как и в случае с информацией 313 задания описания списка ссылок и информацией 324 обновления описания списка ссылок.
[0221] Вышеупомянутая информация 312 задания описания буфера и информация 313 задания описания списка ссылок сигнализируются в структуре синтаксиса набора параметров последовательности в соответствии с псевдокодом в таблице, показанной на фиг. 23. Вышеупомянутая информация 323G обновления описания буфера и информация 324G обновления описания списка ссылок сигнализируются в структуре синтаксиса набора параметров изображения в соответствии с псевдокодом в таблице, показанной на фиг. 24. Вышеупомянутая информация 323 обновления описания буфера и информация 324 обновления описания списка ссылок сигнализируются в структуре синтаксиса заголовка слайса в соответствии с псевдокодом в таблице, показанной на фиг. 25. Нужно отметить, что то же самое применяется к структурам синтаксиса заголовка SPU и заголовка изображения.
[0222] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 23.
[0223] Переменные или списки BDDeltaPOC[i] и BDTemporalID[i] представляют упорядоченные элементы BE[i] буфера в активном описании BD буфера.
[0224] Семантика элементов синтаксиса информации задания описания буфера bits_for_temporal_id, number_of_bds, number_of_bes_minus1[i], first_delta_poc_sign_flag[i], first_delta_poc_minus1[i], first_temporal_id[i], delta_poc_minus1[i][j] и temporal_id[i][j], показанных на фиг. 23, является такой же, как на фиг. 12.
[0225] Семантика элементов синтаксиса информации задания описания списка ссылок ref_pic_list_modification_flag_l0[i], ref_pic_list_modification_flag_l1[i], num_ref_idx_l0_active_minus1[i], num_ref_idx_l1_active_minus1[i], more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 23, является такой же, как на фиг. 16.
[0226] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 24.
[0227] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера.
[0228] Элементы синтаксиса информации обновления описания буфера bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 и temporal_id, показанные на фиг. 24, являются такими же, как на фиг. 20. Эта информация обновления описания буфера отличается от таковой на фиг. 20 в том, что она не включает в себя элемент синтаксиса number_of_bd_updates, а включает в себя только одно выбранное описание буфера и описание списка ссылок. Это описание буфера и описание списка ссылок используются во всех слайсах, которые ссылаются на PPS.
[0229] Элементы синтаксиса информации обновления описания списка ссылок ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag и be_idx_in_ref_pic_list, показанные на фиг. 24, являются такими же, как на фиг. 9.
[0230] Нижеследующее описывает элементы синтаксиса, показанные на фиг. 25.
[0231] Переменная PredictionType обозначает тип предсказания текущего слайса (или SPU, или картинки). Подробности PredictionType описываются выше.
[0232] Переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют упорядоченные элементы BE[bd_select] буфера в выбранном описании BD[bd_select] буфера. Обновленные переменные или списки BDDeltaPOC[bd_select] и BDTemporalID[bd_select] представляют активное описание буфера, используемое в процессе кодирования или декодирования текущего слайса.
[0233] Семантика элементов синтаксиса информации обновления описания буфера bd_select, bd_modification_operation, be_idx_in_bd_update, delta_poc_sign_flag, delta_poc_minus1 и temporal_id, показанных на фиг. 25, является такой же, как на фиг. 13. Здесь bd_select не включается в заголовок слайса, а выбираются описание буфера и его соответствующее описание списка ссылок в PPS, на которые ссылаются из заголовка слайса.
[0234] Семантика элементов синтаксиса информации обновления списка ссылок ref_pic_list_modification_flag_l0, ref_pic_list_modification_flag_l1, num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1, more_modification_flag и be_idx_in_ref_pic_list, показанных на фиг. 25, является такой же, как на фиг. 9.
[0235] [Результат способа кодирования]
В соответствии с вышеизложенным в устройстве 100 кодирования изображений в соответствии с этим вариантом осуществления список ссылок, который должен быть переупорядочен, идентифицируется с использованием его индекса элемента буфера в описании буфера. Таким образом, картинка, которая должна быть переупорядочена, задается с использованием индекса элемента буфера, который также используется в описании буфера. Таким образом, уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления и обеспечивают повышенную эффективность кодирования.
[0236] Хотя вышеизложенное объяснило пример, в котором в информации переупорядочения списка ссылок список ссылок, который должен быть переупорядочен, идентифицируется с использованием его индекса элемента буфера в описании буфера, устройство кодирования изображений или устройство декодирования изображений могут точно определять опорную картинку, которая должна быть переупорядочена, с использованием индекса, который используется в другой обработке. Здесь этот индекс, например, является одним из порядковых номеров, назначенных множеству картинок и начинающихся с 0. Даже в этом случае уменьшается избыточность и сложность информации переупорядочения списка ссылок, в результате чего устройство кодирования изображений и устройство декодирования изображений заключают в себе уменьшенный объем вычисления.
[0237] Например, вышеупомянутый индекс может быть опорным индексом в списке ссылок по умолчанию.
[0238] [Устройство декодирования]
Фиг. 26 - блок-схема, которая показывает структуру устройства 200 декодирования изображений в соответствии с этим вариантом осуществления.
[0239] Устройство 200 декодирования изображений, показанное на фиг. 26, декодирует кодированный битовый поток 232 на блочной основе, посредством этого генерируя декодированные данные 226 изображения. Это устройство 200 декодирования изображений включает в себя блок 212 декодирования с переменной длиной слова, блок 204 обратного квантования, блок 205 обратного ортогонального преобразования, сумматор 206, память 207 блоков, память 208 кадров, блок 209 внутреннего предсказания, блок 210 внешнего предсказания, блок 211 определения типа картинки и блок 213 управления памятью кадров.
[0240] Кодированный битовый поток 232, например, является кодированным битовым потоком 132, сгенерированным вышеупомянутым устройством 100 кодирования изображений.
[0241] Блок 212 декодирования с переменной длиной слова выполняет декодирование с переменной длиной слова (энтропийное декодирование) над кодированным битовым потоком 232, чтобы сгенерировать квантованные значения 223 и информацию 233 управления памятью кадров. Здесь информация 233 управления памятью кадров соответствует вышеупомянутой информации 133 управления памятью кадров.
[0242] Блок 204 обратного квантования обратно квантует квантованные значения 223, посредством этого генерируя частотные коэффициенты 224. Блок 205 обратного ортогонального преобразования выполняет обратное частотное преобразование над частотными коэффициентами 224, посредством этого генерируя данные 225 ошибки предсказания. Сумматор 206 складывает данные 225 ошибки предсказания и данные 231 изображения предсказания, посредством этого генерируя декодированные данные 226 изображения. Декодированные данные 226 изображения выводятся из устройства 200 декодирования изображений и, например, отображаются.
[0243] Память 207 блоков сохраняет декодированные данные 226 изображения в виде декодированных данных 227 изображения на блочной основе. Память 208 кадров сохраняет декодированные данные 226 изображения в виде декодированных данных 228 изображения на покадровой основе.
[0244] Блок 209 внутреннего предсказания выполняет внутреннее предсказание, чтобы сгенерировать данные 229 изображения предсказания текущего блока, который должен быть декодирован. В частности, блок 209 внутреннего предсказания проводит поиск в декодированных данных 227 изображения, сохраненных в памяти 207 блоков, и оценивает область изображения, которая больше всего похожа на декодированные данные 226 изображения.
[0245] Блок 210 внешнего предсказания выполняет внешнее предсказание с использованием покадрово декодированных данных 228 изображения, сохраненных в памяти 208 кадров, чтобы сгенерировать данные 230 изображения предсказания в текущем блоке.
[0246] Блок 211 определения типа картинки выбирает одни из данных 229 изображения предсказания и данных 230 изображения предсказания и выводит выбранные данные в виде данных 231 изображения предсказания.
[0247] Блок 213 управления памятью кадров управляет декодированными данными 228 изображения, сохраненными в памяти 208 кадров. В частности, блок 213 управления памятью кадров выполняет процессы управления памятью в соответствии с информацией 233 управления памятью кадров. В частности, блок 213 управления памятью кадров определяет, сохраняются ли декодированные данные 228 изображения в памяти 208 кадров или удаляются из памяти 208 кадров. Кроме того, блок 213 управления памятью кадров строит списки ссылок, которые должны быть использованы блоком 210 внешнего предсказания.
[0248] [Процесс декодирования]
Далее приводится описание в отношении способа декодирования изображений, который выполняется устройством 200 декодирования изображений, как упоминалось выше.
[0249] Фиг. 27 - блок-схема последовательности операций способа декодирования изображений в соответствии с этим вариантом осуществления.
[0250] Прежде всего устройство 200 декодирования изображений получает из кодированного битового потока 232 информацию задания описания буфера, которая задает описания буфера (этап S201).
[0251] Далее устройство 200 декодирования изображений строит список ссылок по умолчанию, включающий в себя все опорные картинки, которые указываются в описаниях буфера (этап S202).
[0252] Далее устройство 200 декодирования изображений получает из кодированного битового потока 232 информацию переупорядочения списка ссылок, которая указывает подробности переупорядочения, которое должно быть выполнено над списком ссылок по умолчанию (этап S203).
[0253] Далее устройство 200 декодирования изображений в соответствии с полученной информацией переупорядочения списка ссылок переупорядочивает изображения, включенные в список ссылок по умолчанию (этап S204).
[0254] Далее устройство 200 декодирования изображений декодирует текущую картинку или слайс с использованием описания буфера и списка ссылок, полученного в результате вышеупомянутого переупорядочения (этап S205).
[0255] Здесь в информации переупорядочения списка ссылок картинка, которая должна быть переупорядочена, точно определяется с использованием индекса, который используется в другой обработке в способе кодирования изображений. В частности, этот индекс является индексом элемента буфера в описании буфера.
[0256] Подробности переупорядочения на этапах S202 и S204, например, такие же или похожи на подробности на этапах S102 и S103 в вышеописанном устройстве 100 кодирования изображений.
[0257] [Результат способа декодирования]
В соответствии с вышеизложенным устройство 200 декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование кодированного битового потока, который кодируется с повышенной эффективностью кодирования и уменьшенной сложностью описаний списков ссылок.
[0258] (Второй вариант осуществления)
В способе кодирования изображений в соответствии с этим вариантом осуществления информация задания описания буфера и информация задания описания списка ссылок записываются в набор параметров изображения, совместно используемый множеством картинок. Это дает возможность уменьшения избыточной информации и посредством этого дает возможность повышения эффективности кодирования в способе кодирования изображений по сравнению со случаем, где информация задания описания буфера и информация задания описания списка ссылок записываются в заголовок слайса или т.п.
[0259] [Устройство кодирования]
Блок-схема устройства 100 кодирования изображений в соответствии с этим вариантом осуществления такая же или похожа на показанную на фиг. 3, и поэтому не объясняется.
[0260] [Процесс кодирования]
Нижеследующее описывает способ кодирования изображений, который выполняется устройством 100 кодирования изображений в соответствии с этим вариантом осуществления.
[0261] Прежде всего устройство 100 кодирования изображений определяет множество описаний буфера и описаний списков ссылок, соответствующее множеству описаний буфера, которые должны быть использованы на множестве картинок в видеопоследовательности (этап S301).
[0262] Далее устройство 100 кодирования изображений записывает в PPS в кодированном битовом потоке 132 информацию задания описания буфера, которая задает определенные описания буфера (этап S302).
[0263] Далее устройство 100 кодирования изображений записывает в PPS информацию задания описания списка ссылок для задания множества описаний списков ссылок (этап S303).
[0264] Далее устройство 100 кодирования изображений выбирает для каждой картинки одно из описаний буфера, которое должно быть использовано для кодирования изображения (этап S304). Нужно отметить, что устройство 100 кодирования изображений может выбирать одно описание буфера для каждого слайса.
[0265] Далее устройство 100 кодирования изображений записывает информацию выбора описания буфера, которая задает выбранное описание буфера, в заголовок слайса, соответствующий текущему слайсу и включенный в кодированный битовый поток 132 (этап S305). К тому же выбирается одно описание списка ссылок, соответствующее выбранному описанию буфера.
[0266] В конечном счете устройство 100 кодирования изображений кодирует текущий слайс, используя описание буфера, выбранное для текущего слайса, и описание списка ссылок, соответствующее описанию буфера (этап S306). Кроме того, устройство 100 кодирования изображений генерирует кодированный битовый поток 132, который включает в себя результирующие кодированные данные.
[0267] Хотя вышеизложенное объяснило пример, в котором информация выбора описания буфера записывается в заголовок слайса, информация выбора описания буфера может записываться в заголовок изображения или в APS.
[0268] Кроме того, хотя вышеизложенное объяснило пример, в котором информация задания описания буфера и информация задания описания списка ссылок записываются в PPS, информация задания описания буфера и информация задания описания списка ссылок записываются в SPS или в заголовок слайса.
[0269] Также возможно, что информация переупорядочения списка ссылок, включенная в информацию задания описания списка ссылок, точно определяется с использованием индекса элемента буфера, как описано в вышеприведенном первом варианте осуществления.
[0270] [Синтаксическая диаграмма]
Синтаксическая диаграмма кодированного битового потока в соответствии с этим вариантом осуществления такая же или похожа на показанную, например, на фиг. 15.
[0271] [Результат способа кодирования]
В соответствии с вышеизложенным устройство 100 кодирования изображений в соответствии с этим вариантом осуществления допускает предотвращение избыточного повторения одних и тех же параметров для построения списков ссылок в кодированном битовом потоке. Это позволяет устройству 100 кодирования изображений повысить эффективность кодирования параметров, описывающих построение списков ссылок. Кроме того, устройство 100 кодирования изображений допускает достижение согласования исполнения единиц данных описания списка ссылок с единицами данных описания буфера и с иерархически структурированными единицами сигнализации кодированного битового потока.
[0272] [Устройство декодирования]
Блок-схема устройства 200 декодирования изображений в соответствии с этим вариантом осуществления такая же или похожа на показанную на фиг. 26, и поэтому не объясняется.
[0273] [Процесс декодирования]
Далее приводится описание в отношении способа декодирования изображений, который выполняется устройством 200 декодирования изображений, как упоминалось выше.
[0274] Фиг. 29 - блок-схема последовательности операций способа декодирования изображений в соответствии с этим вариантом осуществления.
[0275] Прежде всего устройство 200 декодирования изображений получает из PPS в кодированном битовом потоке 232 информацию задания описания буфера, которая задает множество описаний буфера (этап S401). Далее устройство 200 декодирования изображений получает из вышеупомянутого PPS информацию задания описания списка ссылок, которая задает множество описаний списков ссылок (этап S402). Здесь описания списков ссылок взаимно однозначно соответствуют описаниям буфера.
[0276] Далее устройство 200 декодирования изображений получает информацию выбора описания буфера из заголовка слайса в кодированном битовом потоке 232 (этап S403). Затем для текущего слайса устройство 200 декодирования изображений выбирает из описаний буфера одно описание буфера, точно определенное в информации выбора описания буфера (этап S404). Кроме того, устройство 200 декодирования изображений выбирает одно описание списка ссылок, соответствующее выбранному описанию буфера.
[0277] В конечном счете, устройство 200 декодирования изображений декодирует текущий слайс, используя выбранное описание буфера и выбранное описание списка ссылок (этап S405).
[0278] Хотя вышеизложенное объяснило пример, в котором информация выбора описания буфера включается в заголовок слайса, информация выбора описания буфера может включаться в заголовок изображения или в APS.
[0279] [Результат способа декодирования]
В соответствии с вышеизложенным устройство 200 декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование кодированного битового потока, который кодируется с повышенной эффективностью кодирования и согласованным исполнением данных описания списков ссылок.
[0280] Хотя выше описаны устройство кодирования изображений и устройство декодирования изображений в соответствии с вариантами осуществления настоящего изобретения, настоящее изобретение не ограничивается этими вариантами осуществления.
[0281] Например, хотя вышеизложенное описывает пример, в котором SPS включается в кодированный битовый поток, который включает в себя данные секции и т.п., SPS может передаваться из устройства кодирования изображений в устройство декодирования изображений отдельно от кодированного битового потока, который включает в себя данные секции и т.п.
[0282] Соответствующие блоки обработки, включенные в устройство кодирования изображений и устройство декодирования изображений в соответствии с каждым из вышеупомянутых вариантов осуществления, обычно реализуются в виде Интеграции высокого уровня (LSI), которая является интегральной схемой. Каждый из этих блоков обработки может предоставляться на одной микросхеме, и часть или все из них могут быть объединены в одну микросхему.
[0283] Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.
[0284] Каждый из структурных элементов в каждом из вышеописанных вариантов осуществления может конфигурироваться в виде особого аппаратного изделия либо может быть реализован путем исполнения компьютерной программы, подходящей для того структурного элемента. Каждый из структурных элементов может быть реализован посредством блока исполнения программ, например CPU и процессора, считывающего и исполняющего компьютерную программу, записанную на носителе записи, таком как жесткий диск или полупроводниковое запоминающее устройство.
[0285] Кроме того, настоящее изобретение может быть реализовано в виде вышеупомянутой компьютерной программы, а также может быть реализовано в виде неизменяемого со временем считываемого компьютером носителя записи, на который записывается такая программа. К тому же совершенно очевидно, что такая программа может распространяться по сети связи, такой как Интернет.
[0286] Цифры в этом документе приводятся для более точной иллюстрации настоящего изобретения и поэтому не ограничивают настоящее изобретение.
[0287] Сегментация функциональных блоков на каждой блок-схеме является примером, и некоторые из функциональных блоков могут быть реализованы в виде одного функционального блока наряду с тем, что один функциональный блок может разделяться на многочисленные части, или часть функции одного функционального блока можно переложить на другой функциональный блок. Кроме того, функции множества функциональных блоков, которые имеют аналогичные функции, можно обрабатывать параллельно или с квантованием по времени с помощью одного аппаратного средства или программного обеспечения.
[0288] Порядок обработки этапов, включенных в вышеупомянутый способ кодирования или декодирования изображений, приводится для более точной иллюстрации настоящего изобретения и поэтому может быть любым другим порядком. Часть вышеупомянутых этапов может выполняться одновременно (параллельно) с другим этапом.
[0289] (Третий вариант осуществления)
Обработка, описанная в каждом из вариантов осуществления, может быть просто реализована в независимой компьютерной системе путем записи на носитель записи одной или нескольких программ для реализации конфигураций способа кодирования движущегося изображения (способа кодирования изображений) и способа декодирования движущегося изображения (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что на них можно записать программу, например магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковой памятью.
[0290] Ниже будут описываться применения к способу кодирования движущегося изображения и способу декодирования движущегося изображения, описанным в каждом из вариантов осуществления, и системы, их использующие. Система обладает признаком наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе можно при необходимости менять в зависимости от случаев.
[0291] Фиг. 30 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями.
[0292] Система ex100 предоставления контента подключается к устройствам, например компьютеру ex111, персональному цифровому помощнику (PDA) ex112, камере ex113, сотовому телефону ex114 и игровому устройству ex115, через Интернет ex101, поставщика ex102 услуг Интернета, телефонную сеть ex104, а также базовые станции ex106-ex110 соответственно.
[0293] Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 30, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое устройство может быть подключено к телефонной сети ex104 напрямую, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.
[0294] Камера ex113, например цифровая видеокамера, допускает съемку видео. Камера ex116, например цифровая камера, допускает съемку как неподвижных изображений, так и видео. Кроме того, сотовый телефон ex114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM, зарегистрированный товарный знак), Коллективному доступу с кодовым разделением каналов (CDMA), Широкополосному коллективному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон ex114 может относиться к Системе персональных переносных телефонов (PHS).
[0295] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, что дает возможность распространения изображений передачи в прямом эфире и прочих. При таком распространении контент (например, видео музыкальной передачи в прямом эфире), снятый пользователем с использованием камеры ex113, кодируется как описано выше в каждом из вариантов осуществления (то есть камера функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет потоковое распространение данных переданного контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровое устройство ex115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).
[0296] Записанные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом, распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, снятых не только камерой ex113, но также и камерой ex116, могут передаваться серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, либо распределяться между ними.
[0297] Кроме того, процессы кодирования и декодирования могут выполняться с помощью LSI ex500, обычно включенной в каждый из компьютера ex111 и устройств. LSI ex500 может конфигурироваться из одной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видео может встраиваться в некоторый тип носителя записи (например, CD-ROM, гибкий диск и жесткий диск), который считывается компьютером ex111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, можно передавать видеоданные, полученные камерой. Видеоданные являются данными, кодированными LSI ex500, включенной в сотовый телефон ex114.
[0298] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.
[0299] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе ex100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.
[0300] Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования движущегося изображения (устройства кодирования изображений) и устройства декодирования движущегося изображения (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в системе ex200 цифрового вещания, проиллюстрированной на фиг. 31. Точнее говоря, вещательная станция ex201 сообщает или передает посредством радиоволн вещательному спутнику ex202 мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными и прочими. Видеоданные являются данными, кодированными способом кодирования движущегося изображения, описанным в каждом из вариантов осуществления (то есть данными, кодированными устройством кодирования изображений в соответствии с аспектом настоящего изобретения). При приеме мультиплексированных данных вещательный спутник ex202 передает радиоволны для транслирования. Затем домашняя антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Далее устройство, например телевизор ex300 (приемник) и телевизионная приставка ex217 (STB), декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).
[0301] Кроме того, считывающе-записывающее устройство ex218 (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования аудиосигнала на кодированные данные. Считывающе-записывающее устройство ex218 может включать в себя устройство декодирования движущегося изображения или устройство кодирования движущегося изображения, которые показаны в каждом из вариантов осуществления. В этом случае восстановленные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой с использованием носителя ex215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования движущегося изображения в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования движущегося изображения может быть реализовано не в телевизионной приставке, а в телевизоре ex300.
[0302] Фиг. 32 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущегося изображения и способ декодирования движущегося изображения, описанные в каждом из Вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными, через антенну ex204 или кабель ex203 и т.д., который принимает трансляцию; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их вовне блока; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и аудиоданные либо мультиплексирует видеоданные и аудиоданные, кодированные блоком ex306 обработки сигналов, в данные.
[0303] Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки аудиосигнала и блок ex305 обработки видеосигнала, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные соответственно (которые функционируют в качестве устройства кодирования изображений и устройства декодирования изображений в соответствии с особенностями настоящего изобретения); и блок ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, например дисплей. Кроме того, телевизор ex300 включает в себя интерфейсный блок ex317, включающий в себя блок ex312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет в общем каждым составляющим элементом телевизора ex300, и схему ex311 питания, которая снабжает энергией каждый из элементов. Помимо блока ex312 ввода операции интерфейсный блок ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, например считывающе-записывающему устройству ex218; разъем ex314 для обеспечения присоединения носителя ex216 записи, например карты SD; привод ex315, который нужно подключить к внешнему носителю записи, например жесткому диску; и модем ex316, который нужно подключить к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединяются друг с другом по синхронной шине.
[0304] Сначала будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и прочие, и воспроизводит декодированные данные. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя CPU. Кроме того, в телевизоре ex300 блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, а блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из вариантов осуществления. Блок ex309 вывода предоставляет вовне декодированный видеосигнал и аудиосигнал соответственно. Когда блок ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не посредством трансляции и прочего, а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал и передает данные вовне или записывает данные на носитель записи. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex304 обработки аудиосигнала кодирует аудиосигнал, а блок ex305 обработки видеосигнала кодирует видеосигнал, под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет вовне результирующий сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы ex318, ex319, ex320 и ex321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре ex300. Кроме того, данные могут храниться в буфере, чтобы можно было избежать переполнения и незаполнения системы, например, между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.
[0305] Кроме того, телевизор ex300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры, помимо конфигурации для получения аудиоданных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор ex300 может кодировать, мультиплексировать и предоставлять вовне данные, он может допускать только прием, декодирование и предоставление данных вовне, но не кодирование, мультиплексирование и предоставление данных вовне.
[0306] Кроме того, когда считывающе-записывающее устройство ex218 считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора ex300 и считывающе-записывающего устройства ex218 может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и считывающе-записывающее устройство ex218 могут распределять декодирование или кодирование.
[0307] В качестве примера фиг. 33 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации, когда данные считываются с оптического диска или записываются на него. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны ниже. Оптическая головка ex401 излучает лазерное пятно на поверхность записи у носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи у носителя ex215 записи для считывания информации. Блок ex402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерное излучение в соответствии с записанными данными. Блок ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе ex215 записи, чтобы воспроизвести необходимую информацию. Буфер ex404 временно хранит информацию, которую нужно записать на носитель ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Блок ex406 сервоуправления перемещает оптическую головку ex401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя ex405 диска, чтобы следовать за лазерным пятном. Блок ex407 системного управления управляет в целом блоком ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком ex407 системного управления, использующим различную информацию, сохраненную в буфере ex404, и формирующим и добавляющим новую информацию по необходимости, и блоком ex402 модуляционной записи, блоком ex403 демодуляции при воспроизведении и блоком ex406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки ex401, будучи управляемыми при этом согласованным способом. Блок ex407 системного управления включает в себя, например, микропроцессор и выполняет обработку путем побуждения компьютера выполнить программу для считывания и записи.
[0308] Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.
[0309] Фиг. 34 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя ex215 записи направляющие канавки образуются по спирали, и информационная дорожка ex230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может привести к определению положений блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутренней окружности и область ex234 внешней окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней окружности и область ex234 внешней окружности, которые находятся внутри и снаружи области ex233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Блок ex400 воспроизведения/записи информации считывает и записывает кодированные аудиоданные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных аудио и видеоданных, из области ex233 записи данных в носителе ex215 записи и на нее.
[0310] Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и для записи информации, имеющей разные слои, с различных углов.
[0311] Кроме того, в системе ex200 цифрового вещания автомобиль ex210, имеющий антенну ex205, может принимать данные со спутника ex202 и других и воспроизводить видео на устройстве отображения, например автомобильной навигационной системе ex211, установленной в автомобиле ex210. Здесь конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя приемный блок GPS из конфигурации, проиллюстрированной на фиг. 32. То же самое будет справедливо для конфигурации компьютера ex111, сотового телефона ex114 и прочих.
[0312] Фиг. 35A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущегося изображения и способ декодирования движущегося изображения, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; камеру ex365, допускающую съемку подвижных и неподвижных изображений; и блок ex358 отображения, например жидкокристаллический дисплей для отображения данных, например декодированного видео, снятого камерой ex365 или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: корпус, включающий в себя панель ex366 кнопок; блок ex357 вывода аудио, например динамик для вывода аудио; блок ex356 ввода аудио, например микрофон для ввода аудио; запоминающее устройство ex367 для хранения снятого видео или фотоснимков, записанного аудио, кодированных или декодированных данных принятого видео, фотоснимков, электронных писем или прочего; и разъем ex364, который является интерфейсным блоком для носителя записи, который хранит данные таким же образом, что и запоминающее устройство ex367.
[0313] Далее пример конфигурации сотового телефона ex114 будет описываться со ссылкой на фиг. 35B. В сотовом телефоне ex114 главный блок ex360 управления, спроектированный для управления в целом каждым блоком корпуса, включающего в себя блок ex358 отображения, а также панель ex366 кнопок, взаимно подключается через синхронную шину ex370 к схеме ex361 питания, блоку ex362 управления вводом операции, блоку ex355 обработки видеосигнала, интерфейсному блоку ex363 камеры, блоку ex359 управления жидкокристаллическим дисплеем (LCD), блоку ex352 модуляции/демодуляции, блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки аудиосигнала, разъему ex364 и запоминающему устройству ex367.
[0314] Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема ex361 питания снабжает соответствующие блоки энергией от аккумуляторной батареи, чтобы активизировать сотовый телефон ex114.
[0315] В сотовом телефоне ex114 блок ex354 обработки аудиосигнала преобразует аудиосигналы, собранные блоком ex356 ввода аудио в режиме разговора, в цифровые аудиосигналы под управлением главного блока ex360 управления, включающего CPU, ROM и RAM. Затем блок ex352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми аудиосигналами, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350. Также в сотовом телефоне ex114 блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме разговора, и выполняет преобразование частоты и аналого-цифровое преобразование над данными. Затем блок ex352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а блок ex354 обработки аудиосигнала преобразует их в аналоговые аудиосигналы, чтобы вывести их через блок ex357 вывода аудио.
[0316] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные из электронной почты, введенные путем воздействия на панель ex366 кнопок и прочие в корпусе, отправляются главному блоку ex360 управления через блок ex362 управления вводом операции. Главный блок ex360 управления побуждает блок ex352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратна обработке для передачи электронной почты, и результирующие данные предоставляются блоку ex358 отображения.
[0317] Когда передается видео, неподвижные изображения или видео и аудио в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, поступившие от камеры ex365, используя способ кодирования движущегося изображения, показанный в каждом из вариантов осуществления (то есть функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и передает кодированные видеоданные блоку ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера ex365 снимает видео, неподвижные изображения и другие, блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные блоком ex356 ввода аудио, и передает кодированные аудиоданные блоку ex353 мультиплексирования/демультиплексирования.
[0318] Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от блока ex355 обработки видеосигнала, и кодированные аудиоданные, поступившие от блока ex354 обработки аудиосигнала, используя предопределенный способ. Затем блок ex352 модуляции/демодуляции (схема модуляции/демодуляции) выполняет обработку по расширению спектра над мультиплексированными данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350.
[0319] При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме электронной почты с прикрепленным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные на битовый поток видеоданных и битовый поток аудиоданных, и снабжает блок ex355 обработки видеосигнала кодированными видеоданными, а блок ex354 обработки аудиосигнала - кодированными аудиоданными посредством синхронной шины ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущегося изображения, соответствующего способу кодирования движущегося изображения, показанному в каждом из вариантов осуществления (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения), а затем блок ex358 отображения отображает, например, видео и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока ex359 управления LCD. Кроме того, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 вывода аудио предоставляет аудио.
[0320] Кроме того, аналогично телевизору ex300, терминал, например сотовый телефон ex114, возможно имеет 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными, мультиплексированные данные могут быть данными, полученными путем мультиплексирования видеоданных не аудиоданными, а символьными данными, имеющими отношение к видео, и могут быть не мультиплексированными данными, а самими видеоданными.
[0321] По существу, способ кодирования движущегося изображения и способ декодирования движущегося изображения в каждом из вариантов осуществления может использоваться на любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из вариантов осуществления.
[0322] Кроме того, настоящее изобретение не ограничивается каждым из вариантов осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.
[0323] (Четвертый вариант осуществления)
Видеоданные могут формироваться путем переключения, по необходимости, между (i) способом кодирования движущегося изображения или устройством кодирования движущегося изображения, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущегося изображения или устройством кодирования движущегося изображения в соответствии с другим стандартом, например MPEG-2, MPEG-4 AVC и VC-1.
[0324] Здесь, когда генерируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако поскольку нельзя определить то, какому стандарту соответствуют каждые из множества видеоданных, которые нужно декодировать, существует проблема, что нельзя выбрать подходящий способ декодирования.
[0325] Чтобы решить эту проблему, мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными и другими, имеют структуру, включающую в себя идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные по способу кодирования движущегося изображения и с помощью устройства кодирования движущегося изображения, показанным в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG-2.
[0326] Фиг. 36 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 36, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток представляет первичную аудиочасть и вторичную аудиочасть, которую нужно смешать с первичной аудиочастью, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видео является обычным видео, показанным на экране, а вторичное видео является видео, которое нужно показать на меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, который нужно сгенерировать путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения, показанным в каждом из вариантов осуществления, либо по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения в соответствии с традиционным стандартом, например MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.
[0327] Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0x1011 назначается видеопотоку, который нужно использовать для видео фильма, 0x1100-0x111F назначаются аудиопотокам, 0x1200-0x121F назначаются потокам демонстрационной графики, 0x1400-0x141F назначаются потокам интерактивной графики, 0x1B00-0x1B1F назначаются видеопотокам, которые нужно использовать для вторичного видео фильма, и 0x1A00-0x1A1F назначаются аудиопотокам, которые нужно использовать для вторичного аудио, который нужно смешать с первичным аудио.
[0328] Фиг. 37 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток ex236 пакетов PES и поток ex239 пакетов PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS соответственно. Аналогичным образом данные из потока ex241 демонстрационной графики и данные из потока ex244 интерактивной графики преобразуются в поток ex242 пакетов PES и поток ex245 пакетов PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.
[0329] Фиг. 38 подробнее иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 38 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 38, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является единицей видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.
[0330] Фиг. 39 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS соответственно. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Временную отметку поступления (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS нужно передать в фильтр PID. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 39. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).
[0331] Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и других, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видео, аудио, субтитров и других, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени ATS, и Системным таймером (STC), который является осью времени PTS и DTS.
[0332] Фиг. 40 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации о потоке, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации о потоке включает в себя дескрипторы потока, описывающие информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию атрибутов потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.
[0333] Когда мультиплексированные данные записываются на носитель записи и прочие, они записываются вместе с информационными файлами мультиплексированных данных.
[0334] Каждый из информационных файлов мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на фиг. 41. Информационные файлы мультиплексированных данных находятся в однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту входов.
[0335] Как проиллюстрировано на фиг. 41, информация мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал в один кадр добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.
[0336] Как показано на фиг. 42, порция информации об атрибутах регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации об атрибутах содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации об атрибутах видеопотока несет информацию, включающую, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров у порций данных изображения, которые включаются в видеопоток. Каждая порция информации об атрибутах аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация об атрибутах видеопотока и информация об атрибутах аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.
[0337] В настоящем варианте осуществления мультиплексированные данные, которые нужно использовать, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация об атрибутах видеопотока, включенная в информацию мультиплексированных данных. Точнее говоря, способ кодирования движущегося изображения или устройство кодирования движущегося изображения, описанные в каждом из вариантов осуществления, включают в себя этап или блок для назначения уникальной информации, указывающей видеоданные, сформированные способом кодирования движущегося изображения или устройством кодирования движущегося изображения в каждом из вариантов осуществления, типу потока, включенному в PMT, или информации об атрибутах видеопотока. С помощью этой конфигурации видеоданные, сформированные способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.
[0338] Кроме того, фиг. 43 иллюстрирует этапы способа декодирования движущегося изображения в соответствии с настоящим вариантом осуществления. На Этапе exS100 тип потока, включенный в PMT, или информация об атрибутах видеопотока, включенная в информацию мультиплексированных данных, получаются из мультиплексированных данных. Далее на Этапе exS101 определяется, указывает ли тип потока или информация об атрибутах видеопотока, что мультиплексированные данные формируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения в каждом из вариантов осуществления. Когда определяется, что тип потока или информация об атрибутах видеопотока указывает, что мультиплексированные данные формируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения в каждом из вариантов осуществления, то на Этапе exS102 выполняется декодирование способом декодирования движущегося изображения в каждом из вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG-4 AVC и VC-1, то на Этапе exS103 выполняется декодирование способом декодирования движущегося изображения в соответствии с традиционными стандартами.
[0339] По существу, назначение нового уникального значения типу потока или информации об атрибутах видеопотока дает возможность определения, могут ли способ декодирования движущегося изображения или устройство декодирования движущегося изображения, которые описаны в каждом из вариантов осуществления, выполнять декодирование. Даже когда вводятся мультиплексированные данные, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования движущегося изображения либо способ или устройство декодирования движущегося изображения в настоящем варианте осуществления могут использоваться в устройствах и системах, описанных выше.
[0340] (Пятый вариант осуществления)
Каждый из способа кодирования движущегося изображения, устройства кодирования движущегося изображения, способа декодирования движущегося изображения и устройства декодирования движущегося изображения в каждом из вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 44 иллюстрирует конфигурацию LSI ex500, которая превращена в одну микросхему. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины ex510. Схема ex505 питания активизируется путем подачи питания каждому из элементов, когда включается схема ex505 питания.
[0341] Например, когда выполняется кодирование, LSI ex500 принимает аудиовизуальный сигнал от микрофона ex117, камеры ex113 и других посредством аудиовизуального ввода/вывода ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и блок ex512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно сохраняется во внешнем запоминающем устройстве ex511, например SDRAM. Под управлением блока ex501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их блоку ex507 обработки сигналов. Затем блок ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, блок ex507 обработки сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и ввод-вывод ex506 потока предоставляет мультиплексированные данные вовне. Предоставленные мультиплексированные данные передаются базовой станции ex107 или записываются на носитель ex215 записи. Когда мультиплексируются наборы данных, данные следует временно сохранить в буфере ex508, чтобы наборы данных синхронизировались друг с другом.
[0342] Хотя запоминающее устройство ex511 является элементом вне LSI ex500, его можно включить в LSI ex500. Буфер ex508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI ex500 можно превратить в одну микросхему или множество микросхем.
[0343] Кроме того, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 регулировки частоты возбуждения, конфигурация блока ex501 управления не ограничивается таковой. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок ex507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU ex502 может работать в качестве блока ex507 обработки сигналов или быть его частью, и, например, может включать в себя блок обработки аудиосигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.
[0344] Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.
[0345] Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.
[0346] В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.
[0347] (Шестой вариант осуществления)
Когда декодируются видеоданные, сформированные по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения, описанным в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, объем обработки скорее всего увеличивается. Таким образом, LSI ex500 нужно настраивать на частоту возбуждения выше, чем у CPU ex502, которую нужно использовать, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако когда частота возбуждения устанавливается выше, имеется проблема, что увеличивается энергопотребление.
[0348] Чтобы решить эту проблему, устройство декодирования движущегося изображения, например телевизор ex300 и LSI ex500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 45 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные формируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex801 декодирующей обработки, который выполняет способ декодирования движущегося изображения, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сформированных способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex802 декодирующей обработки, который соответствует традиционному стандарту, декодировать видеоданные.
[0349] Точнее говоря, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 регулировки частоты возбуждения на фиг. 44. Здесь каждый из блока ex801 декодирующей обработки, который выполняет способ декодирования движущегося изображения, описанный в каждом из Вариантов осуществления, и блока ex802 декодирующей обработки, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на фиг. 44. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Кроме того, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в четвертом варианте осуществления, скорее всего используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в четвертом варианте осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения, как показано на фиг. 47. Частота возбуждения может выбираться путем сохранения справочной таблицы в буфере ex508 и во внутреннем запоминающем устройстве LSI, и при обращении к справочной таблице с помощью CPU ex502.
[0350] Фиг. 46 иллюстрирует этапы для выполнения способа в настоящем варианте осуществления. Сначала на этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе exS201 на основе идентификационной информации CPU ex502 определяет, формируются ли видеоданные с помощью способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, на Этапе exS202 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, на Этапе exS203 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные формируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления.
[0351] Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500. Например, когда частота возбуждения устанавливается ниже, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.
[0352] Кроме того, в качестве способа для установки частоты возбуждения, когда объем обработки для декодирования больше, частоту возбуждения можно установить выше, а когда объем обработки для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ установки не ограничивается способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC больше объема обработки для декодирования видеоданных, сформированных способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, частота возбуждения скорее всего устанавливается в обратном порядке к установке, описанной выше.
[0353] Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, приведение в действие CPU ex502, скорее всего, не нужно приостанавливать. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, приведение в действие CPU ex502, скорее всего, приостанавливается в заданный момент, потому что у CPU ex502 есть избыточная производительность обработки. Даже когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из вариантов осуществления, в случае, где у CPU ex502 есть избыточная производительность обработки, приведение в действие CPU ex502 скорее всего приостанавливается в заданный момент. В таком случае время приостановки, скорее всего, устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1.
[0354] Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.
[0355] (Седьмой вариант осуществления)
Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и сотовому телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов в LSI ex500 должен соответствовать разным стандартам. Однако возникают проблемы увеличения масштаба схемы LSI ex500 и увеличения стоимости с отдельным использованием блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.
[0356] Чтобы решить эту проблему, представляется конфигурация, в которой блок декодирующей обработки для реализации способа декодирования движущегося изображения, описанного в каждом из вариантов осуществления, и блок декодирующей обработки, который соответствует традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, частично используются совместно. Ex900 на фиг. 48A показывает пример этой конфигурации. Например, способ декодирования движущегося изображения, описанный в каждом из вариантов осуществления, и способ декодирования движущегося изображения, который соответствует MPEG-4 AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и предсказание с компенсацией движения. Подробности обработки, которая должна распределяться, скорее всего включают в себя использование блока ex902 декодирующей обработки, который соответствует MPEG-4 AVC. В отличие от этого специализированный блок ex901 декодирующей обработки, возможно, используется для другой обработки, которая уникальна для особенности настоящего изобретения и не соответствует MPEG-4 AVC. Поскольку эта особенность настоящего изобретения характеризуется, в частности, управлением памятью кадров, специализированный блок ex901 декодирующей обработки используется, например, для управления памятью кадров. В противном случае блок декодирующей обработки, скорее всего, совместно используется для одного из энтропийного декодирования, фильтрации уменьшения блочности и компенсации движения, или для всей обработки. Блок декодирующей обработки для реализации способа декодирования движущегося изображения, описанного в каждом из вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный блок декодирующей обработки может использоваться для обработки, уникальной для обработки в MPEG-4 AVC.
[0357] Кроме того, ex1000 на фиг. 48B показывает другой пример, в котором обработка частично распределяется. Этот пример использует конфигурацию, включающую специализированный блок ex1001 декодирующей обработки, который поддерживает обработку, уникальную для особенности настоящего изобретения, специализированный блок ex1002 декодирующей обработки, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок ex1003 декодирующей обработки, который поддерживает обработку, которую нужно распределить между способом декодирования движущегося изображения в соответствии с аспектом настоящего изобретения и традиционным способом декодирования движущегося изображения. Здесь специализированные блоки ex1001 и ex1002 декодирующей обработки не обязательно являются специализированными для обработки в соответствии с аспектом настоящего изобретения и обработки по традиционному стандарту соответственно, а могут быть блоками, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована с помощью LSI ex500.
[0358] По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования блока декодирующей обработки для обработки, которую нужно распределить между способом декодирования движущегося изображения в соответствии с аспектом настоящего изобретения и способом декодирования движущегося изображения в соответствии с традиционным стандартом.
[0359] Хотя выше описаны устройство кодирования изображений и устройство декодирования изображений в соответствии с вариантами осуществления настоящего изобретения, настоящее изобретение не ограничивается этими вариантами осуществления. Специалисты в данной области техники без труда поймут, что прилагаемая формула изобретения представляет объем, предназначенный для охвата, и включает в себя эквивалентные структуры, способы и/или применения, которые получаются путем внесения различных изменений в варианты осуществления и путем произвольного объединения структурных элементов в разных вариантах осуществления без существенного отклонения от принципов и сущности настоящего изобретения.
[Промышленная применимость]
[0360] Настоящее изобретение применимо к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений и устройствам декодирования изображений. Кроме того, настоящее изобретение может использоваться для устройств отображения информации и формирователей изображений с высоким разрешением, которые включают в себя устройство кодирования изображений, например телевизоры, устройства записи цифрового видео, автомобильные навигационные системы, сотовые телефоны, цифровые камеры и цифровые видеокамеры.
[Список ссылочных позиций]
[0361] 100 Устройство кодирования изображений
101 Вычитающее устройство
102 Блок ортогонального преобразования
103 Блок квантования
104, 204 Блок обратного квантования
105, 205 Блок обратного ортогонального преобразования
106, 206 Сумматор
107, 207 Память блоков
108, 208 Память кадров
109, 209 Блок внутреннего предсказания
110, 210 Блок внешнего предсказания
111, 211 Блок определения типа картинки
112 Блок кодирования с переменной длиной слова
113, 213 Блок управления памятью кадров
120 Входной сигнал изображения
121, 125, 225 Данные ошибки предсказания
122, 124, 224 Частотный коэффициент
123, 223 Квантованное значение
126, 127, 128, 226, 227, 228 Декодированные данные изображения
129, 130, 131, 229, 230, 231 Данные изображения предсказания
132, 132A, 132B, 132C, 132D, 132E, 132F, 132G, 232, 500 Кодированный битовый поток
133, 233 Информация управления памятью кадров
200 Устройство декодирования изображений
212 Блок декодирования с переменной длиной слова
301, 301B, 301D, 501 SPS (набор параметров последовательности)
302, 302B, 302C, 302E, 302F, 302G, 502 PPS (набор параметров изображения)
303, 503 Данные картинки
311 Идентификатор SPS
312, 512 Информация задания описания буфера
313 Информация задания описания списка ссылок
314 Описание буфера
315, 515 Описание буфера
316 Описание списка ссылок
321 Информация выбора SPS
322, 522 Идентификатор PPS
323, 323F, 323G, 523 Информация обновления описания буфера
324, 324F, 324G Информация обновления описания списка ссылок
325 Информация количества обновлений
326 Информация обновления
327 Информация выбора описания буфера
328 Информация изменения описания буфера
329 Информация задания списка ссылок
331, 331A Заголовок картинки
332 Часть данных картинки
333, 533 Информация выбора PPS
334 Информация выбора описания буфера
335, 535 Данные слайса
341, 341A, 341B, 341D, 341G, 541 Заголовок слайса
342, 542 Часть данных слайса
343, 543 Данные CU
351 Информация выбора описания буфера
352 Флаг изменения описания буфера
515A Элемент буфера
Изобретение относится к кодированию изображений. Техническим результатом является обеспечение возможности переупорядочения картинок с меньшим объемом кодирования. В способе строят первый опорный список, включающий в себя множество картинок, причем каждая из картинок имеет назначенный ей номер в порядке изображений (РОС) и идентифицируется одним из множества опорных индексов; переупорядочивают картинки, включенные в первый опорный список для генерирования модифицированного опорного списка посредством назначения новых опорных индексов с использованием упомянутых опорных индексов; записывают в кодируемый битовый поток информацию переупорядочения опорного списка для указания подробностей упомянутого переупорядочения; и кодируют изображение с использованием РОС и модифицированного опорного списка. 5 н. и 2 з.п. ф-лы, 50 ил.
1. Способ кодирования изображений для генерирования кодированного битового потока путем кодирования изображения, причем способ кодирования изображений содержит этапы, на которых:
строят первый опорный список, включающий в себя множество картинок, причем каждая из этих картинок имеет назначенный ей номер в порядке изображений (РОС) и идентифицируется одним из множества опорных индексов, причем опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, каждый из опорных индексов имеет отличное значение индекса, причем первый опорный список строят на основе РОС, назначенного каждой из множества картинок;
переупорядочивают картинки, включенные в первый опорный список для генерирования модифицированного опорного списка посредством назначения новых опорных индексов с использованием упомянутых опорных индексов, причем новые опорные индексы взаимно однозначно соответствуют картинкам, включенным в модифицированный опорный список, каждый из новых опорных индексов имеет отличное значение индекса;
записывают в кодируемый битовый поток информацию переупорядочения опорного списка для указания подробностей упомянутого переупорядочения; и
кодируют изображение с использованием РОС, назначенного каждой из картинок, и модифицированного опорного списка, полученного в результате упомянутого переупорядочения,
при этом каждый из опорных индексов (i) идентифицирует одну из картинок, включенных в упомянутый первый список опорных картинок, так, что опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, и (ii) используется при назначении новых опорных индексов в ходе упомянутого переупорядочения.
2. Способ кодирования изображений по п. 1,
при этом РОС, назначенный каждой из картинок, представляет собой порядковые номера, начинающиеся с 0, и
РОС, назначенный каждой из картинок, и новый опорный индекс записывают в разные заголовки, принадлежащие уровням сетевой абстракции (NAL) разных типов.
3. Способ кодирования изображений по п. 1,
при этом описания буфера записывают в набор параметров последовательности, включаемый в кодируемый битовый поток, каждое из описаний буфера используется для задания опорных картинок, подлежащих хранению в буфере для кодирования картинок,
причем способ кодирования изображений дополнительно содержит этапы, на которых:
определяют опорные списки, которые взаимно однозначно соответствуют описаниям буфера, и записывают в набор параметров последовательности, включаемый в кодируемый битовый поток, эти описания буфера; и
выбирают одно из описаний буфера и записывают в заголовок слайса информацию выбора описания буфера для задания выбранного описания буфера, и
при упомянутом кодировании, текущий слайс кодируют с использованием выбранного описания буфера и одного из описаний опорных списков, которое соответствует этому выбранному описанию буфера.
4. Способ декодирования изображений для декодирования кодированного битового потока, причем способ декодирования изображений содержит этапы, на которых:
строят первый опорный список, включающий в себя множество картинок, причем каждая из этих картинок имеет назначенный ей номер в порядке изображений (РОС) и идентифицируется одним из множества опорных индексов, причем опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, каждый из опорных индексов имеет отличное значение индекса, причем первый опорный список строят на основе РОС, назначенного каждой из множества картинок;
получают из кодированного битового потока информацию переупорядочения опорного списка для указания подробностей переупорядочения, которое должно быть выполнено в отношении первого опорного списка;
переупорядочивают картинки, включенные в первый опорный список для генерирования модифицированного опорного списка посредством назначения новых опорных индексов с использованием упомянутых опорных индексов, причем новые опорные индексы взаимно однозначно соответствуют картинкам, включенным в модифицированный опорный список, каждый из новых опорных индексов имеет отличное значение индекса; и
декодируют текущую картинку или слайс с использованием новых опорных индексов и модифицированного опорного списка, полученного в результате упомянутого переупорядочения,
при этом каждый из опорных индексов (i) идентифицирует одну из картинок, включенных в упомянутый первый список опорных картинок, так, что опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, и (ii) используется при назначении новых опорных индексов в ходе упомянутого переупорядочения.
5. Устройство кодирования изображений для генерирования кодированного битового потока путем кодирования изображения, причем устройство кодирования изображений содержит:
процессор; и
долговременную память, хранящую исполняемые инструкции, которые при исполнении процессором вынуждают процессор выполнять операции, на которых:
строят первый опорный список, включающий в себя множество картинок, причем каждая из этих картинок имеет назначенный ей номер в порядке изображений (РОС) и идентифицируется одним из множества опорных индексов, причем опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, каждый из опорных индексов имеет отличное значение индекса, причем первый опорный список строят на основе РОС, назначенного каждой из множества картинок;
переупорядочивают картинки, включенные в первый опорный список для генерирования модифицированного опорного списка посредством назначения новых опорных индексов с использованием упомянутых опорных индексов, причем новые опорные индексы взаимно однозначно соответствуют картинкам, включенным в модифицированный опорный список, каждый из новых опорных индексов имеет отличное значение индекса;
записывают в кодируемый битовый поток информацию переупорядочения опорного списка для указания подробностей упомянутого переупорядочения; и
кодируют изображение с использованием РОС, назначенного каждой из картинок, и модифицированного опорного списка, полученного в результате упомянутого переупорядочения,
при этом каждый из опорных индексов (i) идентифицирует одну из картинок, включенных в упомянутый первый список опорных картинок, так, что опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, и (ii) используется при назначении новых опорных индексов в ходе упомянутого переупорядочения.
6. Устройство декодирования изображений для декодирования кодированного битового потока, причем устройство декодирования изображений содержит:
процессор; и
память, хранящую компьютерную программу, причем компьютерная программа вынуждает процессор исполнять операции, на которых:
строят первый опорный список, включающий в себя множество картинок, причем каждая из этих картинок имеет назначенный ей номер в порядке изображений (РОС) и идентифицируется одним из множества опорных индексов, причем опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, каждый из опорных индексов имеет отличное значение индекса, причем первый опорный список строят на основе РОС, назначенного каждой из множества картинок;
получают из кодированного битового потока информацию переупорядочения опорного списка для указания подробностей переупорядочения, которое должно быть выполнено в отношении первого опорного списка;
переупорядочивают картинки, включенные в первый опорный список для генерирования модифицированного опорного списка посредством назначения новых опорных индексов с использованием упомянутых опорных индексов, причем новые опорные индексы взаимно однозначно соответствуют картинкам, включенным в модифицированный опорный список, каждый из новых опорных индексов имеет отличное значение индекса; и
декодируют текущую картинку или слайс с использованием новых опорных индексов и модифицированного опорного списка, полученного в результате упомянутого переупорядочения,
при этом каждый из опорных индексов (i) идентифицирует одну из картинок, включенных в упомянутый первый список опорных картинок, так, что опорные индексы взаимно однозначно соответствуют картинкам, включенным в первый опорный список, и (ii) используется при назначении новых опорных индексов в ходе упомянутого переупорядочения.
7. Устройство кодирования и декодирования изображений, содержащее:
устройство кодирования изображений по п. 5; и
устройство декодирования изображений по п. 6.
| US 20060083298 A1, 20.04.2006 | |||
| Shen Q | |||
| et al., "Buffer Requirement Analysis and Reference Picture Marking for Temporal Scalable Video Coding"; IEEE 2007 | |||
| US20090262804 A1, 22.10.2009 | |||
| ГРУППИРОВАНИЕ КАДРОВ ИЗОБРАЖЕНИЯ НА ВИДЕОКОДИРОВАНИИ | 2006 |
|
RU2402886C2 |
