СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2020 года по МПК G06T9/00 H04N19/119 H04N19/124 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений, устройствам декодирования изображений и устройствам кодирования/декодирования изображений.

Уровень техники

[0002] Чтобы сжимать аудиоданные и видеоданные, разработаны различные стандарты кодирования аудио и стандарты кодирования видео. Примерами таких стандартов кодирования видео являются стандарт сектора стандартизации связи Международного союза по телекоммуникациям (ITU-T) под названием H.26x и стандарт Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC) под названием MPEG-X (см., например, непатентный документ 1). Новейший стандарт кодирования видео называется H.264/MPEG-4AVC. В последнее время, изучается стандарт кодирования нового поколения, называемый стандартом высокоэффективного кодирования видео (HEVC).

Список библиографических ссылок

Непатентные документы

[0003] NPL 1. ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

Сущность изобретения

Техническая задача

[0004] В таких способах кодирования изображений и способе декодирования изображений, требуется уменьшать объем данных в запоминающем устройстве для временного хранения данных, используемых при кодировании или декодировании.

[0005] Чтобы разрешать вышеозначенное, настоящее изобретение предоставляет способ кодирования изображений и способ декодирования изображений, которые допускают уменьшение объема данных в запоминающем устройстве для временного хранения данных, используемых при кодировании или декодировании.

Решение задачи

[0006] В соответствии с аспектом настоящего изобретения для достижения цели, предоставляется способ кодирования изображений, содержащий: разбиение сигнала входного изображения на множество единиц кодирования и вычитание сигнала прогнозирования из сигнала входного изображения для каждой из единиц кодирования, в конечном счете формируя сигналы ошибки прогнозирования соответствующих единиц кодирования; разбиение каждой из единиц кодирования на множество единиц преобразования и выполнение ортогонального преобразования и квантования для соответствующего одного из сигналов ошибки прогнозирования для каждой из единиц преобразования, в конечном счете формируя коэффициенты квантования соответствующих единиц кодирования; и кодирование фрагментов управляющей информации и коэффициентов квантования в древовидную структуру, причем фрагменты управляющей информации указывают структуру единиц преобразования, при этом каждая из единиц преобразования соответствует надлежащему одному из концевых узлов в древовидной структуре, и при кодировании для каждого из концевых узлов кодируются соответствующий фрагмент управляющей информации и соответствующий один из коэффициентов квантования, в конечном счете формируя кодированный сигнал, в котором кодированный соответствующий фрагмент управляющей информации и кодированный соответствующий один из коэффициентов квантования размещаются последовательно для каждого из концевых узлов.

[0007] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или машиночитаемого носителя записи, такого как CD-ROM, либо любой комбинации систем, способов, интегральных схем, компьютерных программ или машиночитаемых носителей записи.

Преимущества изобретения

[0008] Настоящее изобретение предоставляет способ кодирования изображений и способ декодирования изображений, которые допускают уменьшение объема данных в запоминающем устройстве для временного хранения данных, используемых при кодировании или декодировании.

Краткое описание чертежей

[0009] Фиг. 1 является блок-схемой последовательности операций способа кодирования согласно сравнительному примеру.

Фиг. 2 является блок-схемой устройства кодирования изображений согласно варианту 1 осуществления.

Фиг. 3 является блок-схемой устройства декодирования изображений согласно варианту 1 осуществления.

Фиг. 4A является схемой, показывающей пример TU согласно варианту 1 осуществления.

Фиг. 4B является схемой, показывающей пример TU согласно варианту 1 осуществления.

Фиг. 5 является схемой, показывающей пример древовидной структуры согласно варианту 1 осуществления.

Фиг. 6 является блок-схемой последовательности операций способа кодирования согласно варианту 1 осуществления.

Фиг. 7 является блок-схемой последовательности операций способа кодирования дерева информации разбиения согласно варианту 1 осуществления.

Фиг. 8 является блок-схемой последовательности операций способа кодирования дерева коэффициентов преобразования согласно варианту 1 осуществления.

Фиг. 9 является блок-схемой модуля энтропийного декодирования согласно варианту 1 осуществления.

Фиг. 10A является схемой, показывающей пример кодированных сигналов согласно варианту 1 осуществления.

Фиг. 10B является схемой, показывающей пример кодированных сигналов согласно варианту 2 осуществления.

Фиг. 11 является блок-схемой последовательности операций способа кодирования согласно варианту 2 осуществления.

Фиг. 12A является блок-схемой последовательности операций способа части кодирования согласно варианту 2 осуществления.

Фиг. 12B является блок-схемой последовательности операций способа части кодирования согласно варианту 2 осуществления.

Фиг. 13 является блок-схемой модуля энтропийного декодирования согласно варианту 2 осуществления.

Фиг. 14A является схемой для пояснения CBF-кодирования согласно варианту 2 осуществления.

Фиг. 14B является схемой для пояснения CBF-кодирования согласно варианту 2 осуществления.

Фиг. 14C является схемой для пояснения CBF-кодирования согласно варианту 2 осуществления.

Фиг. 14D является схемой для пояснения CBF-кодирования согласно варианту 2 осуществления.

Фиг. 15 является блок-схемой последовательности операций способа кодирования согласно варианту 3 осуществления.

Фиг. 16 является блок-схемой последовательности операций способа кодирования согласно варианту 4 осуществления.

Фиг. 17 является блок-схемой последовательности операций способа другого кодирования согласно варианту 4 осуществления.

Фиг. 18A является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 18B является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 18C является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 19A является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 19B является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 20 является блок-схемой последовательности операций способа кодирования согласно варианту 5 осуществления.

Фиг. 21A является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 21B является схемой, показывающей пример порядка кодирования CBF и коэффициентов преобразования согласно варианту 5 осуществления.

Фиг. 22A является блок-схемой последовательности операций способа кодирования согласно варианту 6 осуществления.

Фиг. 22B является блок-схемой последовательности операций способа кодирования согласно варианту 6 осуществления.

Фиг. 23 является схемой, показывающей пример синтаксиса согласно варианту 6 осуществления.

Фиг. 24A является схемой, показывающей пример синтаксиса согласно варианту 6 осуществления.

Фиг. 24B является схемой, показывающей пример синтаксиса согласно варианту 6 осуществления.

Фиг. 24C является схемой, показывающей пример синтаксиса согласно варианту 6 осуществления.

Фиг. 25A является блок-схемой последовательности операций способа кодирования согласно варианту 7 осуществления.

Фиг. 25B является блок-схемой последовательности операций способа унифицированного преобразования согласно варианту 7 осуществления.

Фиг. 26 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 27 показывает общую конфигурацию цифровой широковещательной системы.

Фиг. 28 показывает блок-схему, иллюстрирующую пример конфигурации телевизионного приемника.

Фиг. 29 показывает блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 30 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 31A показывает пример сотового телефона.

Фиг. 31B является блок-схемой, показывающей пример конфигурации сотового телефона.

Фиг. 32 иллюстрирует структуру мультиплексированных данных.

Фиг. 33 схематично показывает то, как каждый поток мультиплексируется в мультиплексированных данных.

Фиг. 34 показывает то, как видеопоток сохраняется в потоке PES-пакетов.

Фиг. 35 показывает структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 36 показывает структуру данных PMT.

Фиг. 37 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 38 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 39 показывает этапы для идентификации видеоданных.

Фиг. 40 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления.

Фиг. 41 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 42 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 43 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 44A является схемой, показывающей пример конфигурации для совместного использования модуля процессора сигналов.

Фиг. 44B является схемой, показывающей другой пример конфигурации для совместного использования модуля процессора сигналов.

Подробное описание вариантов осуществления

[0010] Базовая основа формирования знаний настоящего изобретения

Относительно раскрытий сущности в разделе "Уровень техники", авторы изобретения выявили следующую проблему.

[0011] Далее описывается способ кодирования и способ декодирования согласно раскрытому сравнительному примеру.

[0012] Фиг. 1 является блок-схемой последовательности операций способа кодирования согласно сравнительному примеру.

[0013] Изображение (другими словами, кадр) разбивается на макроблоки, имеющие идентичный размер в 16x16 пикселов. Множество макроблоков кодируется, например, последовательно в порядке растрового сканирования. Фиг. 1 показывает кодирование одного макроблока.

[0014] Во-первых, один из различных размеров ортогонального преобразования выбирается в качестве размера преобразования для текущего макроблока, который должен быть кодирован. Размер преобразования меньше размера макроблока. Например, размер преобразования составляет 4x4 пиксела или 8x8 пикселов. В дальнейшем в этом документе, единица для преобразования упоминается как "единица преобразования (TU)". Далее информация, указывающая размер выбранного преобразования, кодируется (S101). Флагом, указывающим размер преобразования, является, например, transform_size_flag.

[0015] Затем, CBF кодируется (S102). Здесь, CBF означает информацию флага, указывающую то, существует или нет коэффициент преобразования (коэффициент квантования) TU.

[0016] Далее TU выбирается. Например, множество TU последовательно выбираются в порядке Z-сканирования, и к выбранной TU применяется следующая обработка.

[0017] Если CBF является "истиной" ("Да" на S104), то коэффициент преобразования текущей TU кодируется (S105). С другой стороны, если CBF является "ложью" ("Нет" на S104), то коэффициент преобразования текущей TU не кодируется. Последовательности этапов S103-S105 выполняются для каждой из TU, включенных в текущий макроблок (S106).

[0018] Декодирование также выполняется в идентичном порядке, как показано на фиг. 1. Другими словами, декодирование может поясняться посредством замены "кодирования" на "декодирование" в вышеприведенном описании.

[0019] Здесь, для того чтобы эффективно кодировать изображение, важен гибкий выбор размера преобразования. Тем не менее, авторы изобретения обнаружили, что объем данных информации, указывающей размер преобразования, увеличивается по мере того, как повышается гибкость при выборе размера преобразования.

[0020] Согласно примерному варианту осуществления, раскрытому в данном документе, чтобы разрешать вышеописанные проблемы, способ кодирования изображений содержит: разбиение сигнала входного изображения на множество единиц кодирования и вычитание сигнала прогнозирования из сигнала входного изображения для каждой из единиц кодирования, в конечном счете формируя сигналы ошибки прогнозирования соответствующих единиц кодирования; разбиение каждой из единиц кодирования на множество единиц преобразования и выполнение ортогонального преобразования и квантования для соответствующего одного из сигналов ошибки прогнозирования для каждой из единиц преобразования, в конечном счете формируя коэффициенты квантования соответствующих единиц кодирования; и кодирование фрагментов управляющей информации и коэффициентов квантования в древовидную структуру, причем фрагменты управляющей информации указывают структуру единиц преобразования, при этом каждая из единиц преобразования соответствует надлежащему одному из концевых узлов в древовидной структуре, и при кодировании для каждого из концевых узлов кодируются соответствующий фрагмент управляющей информации и соответствующий один из коэффициентов квантования, в конечном счете формируя кодированный сигнал, в котором кодированный соответствующий фрагмент управляющей информации и кодированный соответствующий один из коэффициентов квантования размещаются последовательно для каждого из концевых узлов.

[0021] Посредством способа, непрерывно кодируются фрагмент управляющей информации и коэффициент квантования каждой из единиц преобразования. Следовательно, каждое из устройства кодирования изображений и устройства декодирования изображений не должно обязательно инструктировать запоминающему устройству хранить фрагменты управляющей информации других единиц преобразования. Как описано выше, способ кодирования изображений позволяет уменьшать объем данных запоминающего устройства для временного сохранения фрагментов данных, которые должны быть использованы при кодировании или декодировании.

[0022] Возможно то, что фрагменты управляющей информации включают в себя соответствующие фрагменты информации разбиения, каждый из которых соответствует надлежащему одному из узлов в древовидной структуре и указывает то, должна или нет дополнительно разбиваться единица преобразования, соответствующая надлежащему одному из узлов.

[0023] Также возможно то, что фрагменты управляющей информации включают в себя соответствующие первые флаги, каждый из которых соответствует, по меньшей мере, одному из узлов в древовидной структуре и указывает то, существует или нет коэффициент квантования, соответствующий каждому, по меньшей мере, из одного из узлов.

[0024] Дополнительно возможно то, что при кодировании определяется то, может или нет значение первого флага текущего узла на текущем уровне быть уникально идентифицировано посредством, по меньшей мере, одного из (a) первого флага на уровне выше текущего уровня и (b) первого флага другого узла на текущем уровне, и когда определяется то, что значение первого флага текущего узла может быть уникально идентифицировано, первый флаг текущего узла не кодируется.

[0025] Следовательно, способ кодирования изображений позволяет уменьшать объем кодирования кодированного сигнала.

[0026] Дополнительно возможно то, что кодирование включает в себя кодирование шага разностного квантования в каждом из концевых узлов в кодированном сигнале, причем кодированный шаг разностного квантования размещается в позиции, соответствующей каждому из концевых узлов в древовидной структуре, и шаг разностного квантования указывает, при выполнении ортогонального преобразования и квантования, разность между шагом квантования, который использован последним, и шагом квантования, который должен использоваться для текущей единицы преобразования.

[0027] Посредством способа, способ кодирования изображений позволяет размещать шаг разностного квантования и коэффициент преобразования в позициях рядом друг с другом в кодированном сигнале. Как результат, способ кодирования изображений позволяет уменьшать объем запоминающего устройства для временного сохранения данных в устройстве декодирования изображений.

[0028] Дополнительно возможно то, что кодирование включает в себя кодирование шага разностного квантования в корне древовидной структуры в кодированном сигнале, причем кодированный шаг разностного квантования размещается в позиции, соответствующей корню, и шаг разностного квантования указывает, при выполнении ортогонального преобразования и квантования, разность между шагом квантования, который использован последним, и шагом квантования, который должен использоваться для текущей единицы преобразования.

[0029] Посредством вышеописанного способа, способ кодирования изображений позволяет уменьшать объем кодирования кодированного сигнала.

[0030] Дополнительно возможно то, что каждый из коэффициентов квантования включает в себя коэффициент квантования яркости и коэффициент квантования цветности, и первый флаг включает в себя второй флаг и третий флаг, причем второй флаг указывает то, существует или нет коэффициент квантования яркости, а третий флаг указывает то, существует или нет коэффициент квантования цветности, при этом при кодировании для каждого, по меньшей мере, из одного из узлов, второй флаг кодируется после кодирования третьего флага, тем самым формируя кодированный сигнал, в котором кодированный второй флаг размещается после кодированного третьего флага.

[0031] Дополнительно возможно то, что каждый из коэффициентов квантования включает в себя коэффициент квантования яркости, коэффициент квантования компонента Cb цветности и коэффициент квантования компонента Cr цветности, первый флаг включает в себя второй флаг, третий флаг и четвертый флаг, причем второй флаг указывает то, существует или нет коэффициент квантования яркости, третий флаг указывает то, существует или нет коэффициент квантования компонента Cb цветности, и четвертый флаг указывает то, существует или нет коэффициент квантования компонента Cr цветности, и при кодировании для каждого, по меньшей мере, из одного из узлов, третий флаг, четвертый флаг, второй флаг, коэффициент квантования яркости, коэффициент квантования компонента Cb цветности и коэффициент квантования компонента Cr цветности кодируются по порядку, тем самым формируя кодированный сигнал, в котором кодированный третий флаг, кодированный четвертый флаг, кодированный второй флаг, кодированный коэффициент квантования яркости, кодированный коэффициент квантования компонента Cb цветности и кодированный коэффициент квантования компонента Cr цветности размещаются по порядку.

[0032] Согласно другому примерному варианту осуществления, раскрытому в данном документе, дополнительно возможно то, что способ декодирования изображений содержит: декодирование кодированного сигнала, чтобы формировать коэффициенты квантования и фрагменты управляющей информации, причем коэффициенты квантования соответствуют надлежащей одной из единиц преобразования, а фрагменты управляющей информации указывают структуру единиц преобразования; выполнение обратного квантования и обратного преобразования для каждого из коэффициентов квантования, в конечном счете формируя сигналы ошибки прогнозирования соответствующих единиц преобразования; и суммирование, по меньшей мере, одного из сигналов ошибки прогнозирования с сигналом прогнозирования для каждой из единиц кодирования, включающих в себя единицы преобразования, в конечном счете формируя декодированные сигналы для каждой из единиц кодирования, коэффициенты квантования и фрагменты управляющей информации имеют древовидную структуру, каждая из единиц преобразования соответствует надлежащему одному из концевых узлов в древовидной структуре, и декодирование включает в себя декодирование, для каждого из концевых узлов, кодированного фрагмента управляющей информации и кодированного коэффициента квантования, которые размещаются последовательно в кодированном сигнале для каждого из концевых узлов.

[0033] Посредством способа, непрерывно кодируются фрагмент управляющей информации и коэффициент квантования каждой из единиц преобразования. Следовательно, устройство декодирования изображений не должно обязательно инструктировать запоминающему устройству хранить фрагменты управляющей информации других единиц преобразования. Как описано выше, способ декодирования изображений позволяет уменьшать объем данных запоминающего устройства для временного сохранения фрагментов данных, которые должны быть использованы при декодировании.

[0034] Возможно то, что фрагменты управляющей информации включают в себя соответствующие фрагменты информации разбиения, каждый из которых соответствует надлежащему одному из узлов в древовидной структуре и указывает то, должна или нет дополнительно разбиваться единица преобразования, соответствующая надлежащему одному из узлов.

[0035] Также возможно то, что фрагменты управляющей информации включают в себя соответствующие первые флаги, каждый из которых соответствует, по меньшей мере, одному из узлов в древовидной структуре и указывает то, существует или нет коэффициент квантования, соответствующий каждому, по меньшей мере, из одного из узлов.

[0036] Дополнительно возможно то, что при декодировании определяется то, может или нет значение первого флага текущего узла на текущем уровне быть идентифицировано посредством, по меньшей мере, одного из (a) первого флага на уровне выше текущего уровня и (b) первого флага другого узла на текущем уровне, и когда определяется то, что значение первого флага текущего узла может быть уникально идентифицировано, первый флаг текущего узла не формируется посредством декодирования.

[0037] Посредством этого способа, может быть уменьшен объем кодирования кодированного сигнала.

[0038] Дополнительно возможно то, что декодирование включает в себя декодирование шага разностного квантования в текущем концевом узле в кодированном сигнале, причем шаг разностного квантования размещается в позиции, соответствующей текущему концевому узлу в древовидной структуре, и шаг разностного квантования указывает, при выполнении обратного квантования и обратного ортогонального преобразования, разность между шагом квантования, который использован последним, и шагом квантования, который должен использоваться для текущей единицы преобразования.

[0039] Посредством способа, шаг разностного квантования и коэффициент преобразования размещаются близко друг к другу в кодированном сигнале. Как результат, способ декодирования изображений позволяет уменьшать объем запоминающего устройства для временного сохранения данных в устройстве декодирования изображений.

[0040] Дополнительно возможно то, что декодирование включает в себя декодирование шага разностного квантования в корне древовидной структуры в кодированном сигнале, причем кодируемый шаг разностного квантования размещается в позиции, соответствующей корню, и шаг разностного квантования указывает, при выполнении обратного квантования и обратного ортогонального преобразования, разность между шагом квантования, который использован последним, и шагом квантования, который должен использоваться для текущей единицы преобразования.

[0041] Посредством этого способа, может быть уменьшен объем кодирования кодированного сигнала.

[0042] Дополнительно возможно то, что каждый из коэффициентов квантования включает в себя коэффициент квантования яркости и коэффициент квантования цветности, и первый флаг включает в себя второй флаг и третий флаг, причем второй флаг указывает то, существует или нет коэффициент квантования яркости, а третий флаг указывает то, существует или нет коэффициент квантования цветности, в кодированном сигнале второй флаг, который кодируется, размещается после третьего флага, который кодируется, при декодировании второй флаг, который кодируется, декодируется после декодирования третьего флага, который кодируется, для каждого, по меньшей мере, из одного из узлов.

[0043] Дополнительно возможно то, что каждый из коэффициентов квантования включает в себя коэффициент квантования яркости, коэффициент квантования компонента Cb цветности и коэффициент квантования компонента Cr цветности, первый флаг включает в себя второй флаг, третий флаг и четвертый флаг, причем второй флаг указывает то, существует или нет коэффициент квантования яркости, третий флаг указывает то, существует или нет коэффициент квантования компонента Cb цветности, и четвертый флаг указывает то, существует или нет коэффициент квантования компонента Cr цветности, и третий флаг, который кодируется, четвертый флаг, который кодируется, второй флаг, который кодируется, коэффициент квантования яркости, который кодируется, коэффициент квантования компонента Cb цветности, который кодируется, и коэффициент квантования компонента Cr цветности, который кодируется, размещаются по порядку в кодированном сигнале, и при декодировании для каждого, по меньшей мере, из одного из узлов, третий флаг, который кодируется, четвертый флаг, который кодируется, второй флаг, который кодируется, коэффициент квантования яркости, который кодируется, коэффициент квантования компонента Cb цветности, который кодируется, и коэффициент квантования компонента Cr цветности, который кодируется, декодируются по порядку.

[0044] Согласно еще одному другому примерному варианту осуществления, раскрытому в данном документе, устройство кодирования изображений включает в себя модуль вычитания, выполненный с возможностью разбивать сигнал входного изображения на множество единиц кодирования и вычитать сигнал прогнозирования из сигнала входного изображения для каждой из единиц кодирования, в конечном счете формируя сигналы ошибки прогнозирования соответствующих единиц кодирования; модуль квантования с преобразованием, выполненный с возможностью разбивать каждую из единиц кодирования на множество единиц преобразования и выполнять ортогональное преобразование и квантование для соответствующего одного из сигналов ошибки прогнозирования для каждой из единиц преобразования, в конечном счете формируя коэффициенты квантования соответствующих единиц кодирования; и модуль кодирования, выполненный с возможностью кодировать фрагменты управляющей информации и коэффициенты квантования в древовидную структуру, причем фрагменты управляющей информации указывают структуру единиц преобразования, при этом каждая из единиц преобразования соответствует надлежащему одному из концевых узлов в древовидной структуре, и модуль кодирования выполнен с возможностью кодировать, для каждого из концевых узлов, соответствующий фрагмент управляющей информации и соответствующий один из коэффициентов квантования, в конечном счете формируя кодированный сигнал, в котором кодированный соответствующий фрагмент управляющей информации и кодированный соответствующий один из коэффициентов квантования размещаются последовательно для каждого из концевых узлов.

[0045] Посредством способа, непрерывно кодируются фрагмент управляющей информации и коэффициент квантования каждой из единиц преобразования. Следовательно, каждое из устройства кодирования изображений и устройства декодирования изображений не должно обязательно инструктировать запоминающему устройству хранить фрагменты управляющей информации других единиц преобразования. Как описано выше, устройство кодирования изображений позволяет уменьшать объем данных запоминающего устройства для временного сохранения фрагментов данных, которые должны быть использованы при кодировании или декодировании.

[0046] Согласно еще одному другому примерному варианту осуществления, раскрытому в данном документе, устройство декодирования изображений включает в себя модуль декодирования, выполненный с возможностью декодировать кодированный сигнал, чтобы формировать коэффициенты квантования и фрагменты управляющей информации, причем коэффициенты квантования соответствуют надлежащей одной из единиц преобразования, а фрагменты управляющей информации указывают структуру единиц преобразования; модуль обратного квантования/обратного преобразования, выполненный с возможностью выполнять обратное квантование и обратное преобразование для каждого из коэффициентов квантования, в конечном счете формируя сигналы ошибки прогнозирования соответствующих единиц преобразования; и модуль суммирования, выполненный с возможностью суммировать, по меньшей мере, один из сигналов ошибки прогнозирования с сигналом прогнозирования для каждой из единиц кодирования, включающих в себя единицы преобразования, в конечном счете формируя декодированные сигналы для каждой из единиц кодирования, коэффициенты квантования и фрагменты управляющей информации имеют древовидную структуру, каждая из единиц преобразования соответствует надлежащему одному из концевых узлов в древовидной структуре, и модуль декодирования выполнен с возможностью декодировать, для каждого из концевых узлов, кодированный фрагмент управляющей информации и кодированный коэффициент квантования, которые размещаются последовательно в кодированном сигнале для каждого из концевых узлов.

[0047] Посредством способа, непрерывно кодируются фрагмент управляющей информации и коэффициент квантования каждой из единиц преобразования. Следовательно, устройство декодирования изображений не должно обязательно инструктировать запоминающему устройству хранить фрагменты управляющей информации других единиц преобразования. Как описано выше, устройство декодирования изображений позволяет уменьшать объем данных запоминающего устройства для временного сохранения фрагментов данных, которые должны быть использованы при декодировании.

[0048] Согласно еще одному другому примерному варианту осуществления, раскрытому в данном документе, устройство кодирования/декодирования изображений включает в себя вышеописанное устройство кодирования изображений и вышеописанное устройство декодирования изображений.

[0049] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или машиночитаемого носителя записи, такого как CD-ROM, либо любой комбинации систем, способов, интегральных схем, компьютерных программ или машиночитаемых носителей записи.

[0050] Далее описываются варианты осуществления со ссылкой на чертежи.

[0051] Каждый из примерных вариантов осуществления, описанных ниже, показывает общий или конкретный пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов, и т.д., показанные в следующих примерных вариантах осуществления, являются просто примерами, и, следовательно, не ограничивают объем прилагаемой формулы изобретения и ее эквивалентов. Следовательно, из структурных элементов в следующих примерных вариантах осуществления, структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, описываются как произвольные структурные элементы.

[0052] Первый вариант осуществления

Устройство кодирования изображений согласно варианту 1 осуществления разбивает блок в качестве единицы, которая должна быть кодирована, иерархически на множество единиц преобразования. Помимо этого, устройство кодирования изображений кодирует, в древовидную структуру, (a) фрагменты управляющей информации, указывающие структуру единиц преобразования, и (b) коэффициенты преобразования. Как результат, устройство кодирования изображений допускает подавление увеличения фрагментов информации, указывающих структуру единиц преобразования, а также допускает повышение гибкости при выборе размера преобразования.

[0053] Во-первых, описываются структуры устройства кодирования изображений и устройства декодирования изображений.

[0054] Фиг. 2 является блок-схемой устройства 100 кодирования изображений согласно настоящему варианту осуществления. Устройство 100 кодирования изображений кодирует, например, аудиоданные и видеоданные на низкой скорости передачи в битах.

[0055] Устройство 100 кодирования изображений, показанное на фиг. 2, кодирует сигнал 101 входного изображения, чтобы формировать кодированный сигнал 191. Устройство 100 кодирования изображений включает в себя модуль 110 вычитания, модуль 120 преобразования, модуль 130 квантования, модуль 140 обратного квантования, модуль 150 обратного преобразования, сумматор 160, запоминающее устройство 170, модуль 180 прогнозирования и модуль 190 энтропийного кодирования.

[0056] Здесь, изображение (другими словами, кадр) разбивается на множество единиц кодирования (CU), которые должны быть кодированы. Следовательно, каждое изображение кодируется в расчете на каждую CU. Каждая из CU дополнительно разбивается на одну или более единиц преобразования (TU).

[0057] Модуль 110 вычитания разбивает сигнал 101 входного изображения на множество CU. Затем, для каждой из CU, модуль 110 вычитания вычитает сигнал 181 прогнозирования из сигнала 101 входного изображения, чтобы формировать сигнал 111 ошибки прогнозирования (входной сигнал преобразования), и предоставляет сформированный сигнал 111 ошибки прогнозирования в модуль 120 преобразования.

[0058] Модуль 120 преобразования разбивает CU на одну или более TU. Затем, для каждой из TU, модуль 120 преобразования выполняет преобразование частоты для соответствующего сигнала 111 ошибки прогнозирования, чтобы формировать выходной сигнал 121 преобразования. Более конкретно, модуль 120 преобразования преобразует, из временно-пространственной области в частотную область, сигнал 111 ошибки прогнозирования или входной сигнал преобразования, сформированный посредством выполнения определенной обработки для сигнала 111 ошибки прогнозирования. Как результат, модуль 120 преобразования формирует выходной сигнал 121 преобразования, имеющий уменьшенную корреляцию.

[0059] Модуль 130 квантования квантует выходной сигнал 121 преобразования для каждой из TU, тем самым формируя коэффициент 131 квантования, имеющий небольшой общий объем данных.

[0060] Модуль 190 энтропийного кодирования кодирует коэффициент 131 квантования посредством использования алгоритма энтропийного кодирования, тем самым формируя кодированный сигнал 191, имеющий дополнительно сжатую избыточность.

[0061] Для каждой из TU модуль 140 обратного квантования обратно квантует коэффициент 131 квантования, чтобы формировать декодированный выходной сигнал 141 преобразования. Для каждой из TU модуль 150 обратного преобразования обратно преобразует декодированный выходной сигнал 141 преобразования, чтобы формировать декодированный входной сигнал 151 преобразования.

[0062] Для каждой из CU сумматор 160 суммирует декодированный входной сигнал 151 преобразования с сигналом 181 прогнозирования, чтобы формировать декодированный сигнал 161. Запоминающее устройство 170 сохраняет декодированный сигнал 161.

[0063] Для каждой из CU модуль 180 прогнозирования получает предварительно определенный сигнал из запоминающего устройства 170 согласно способу прогнозирования, такому как внутреннее прогнозирование или взаимное прогнозирование, и формирует сигнал 181 прогнозирования согласно предварительно определенному способу на основе способа прогнозирования. Более конкретно, модуль 180 прогнозирования определяет способ прогнозирования с целью достигать максимальной эффективности кодирования и формирует сигнал 181 прогнозирования согласно определенному способу прогнозирования. Кроме того, модуль 190 энтропийного кодирования выполняет энтропийное кодирование для информации, указывающей способ прогнозирования, при необходимости.

[0064] Здесь, модуль 140 обратного квантования, модуль 150 обратного преобразования, сумматор 160, запоминающее устройство 170 и модуль 180 прогнозирования также включаются в устройство декодирования изображений. Декодированный сигнал 161 соответствует сигналу воспроизведенного изображения (декодированному сигналу 261), сформированному посредством устройства декодирования изображений.

[0065] Фиг. 3 является блок-схемой устройства декодирования изображений. Устройство 200 декодирования изображений, показанное на фиг. 3, декодирует кодированный сигнал 191, чтобы формировать декодированный сигнал 261. Устройство 200 декодирования изображений включает в себя модуль 240 обратного квантования, модуль 250 обратного преобразования, сумматор 260, запоминающее устройство 270, модуль 280 прогнозирования и модуль 290 энтропийного декодирования.

[0066] Модуль 290 энтропийного декодирования выполняет энтропийное декодирование для кодированного сигнала 191, чтобы формировать коэффициент 231 квантования и способ 291 прогнозирования.

[0067] Для каждой из TU модуль 240 обратного квантования обратно квантует коэффициент 231 квантования, чтобы формировать декодированный выходной сигнал 241 преобразования. Модуль 250 обратного преобразования обратно преобразует декодированный выходной сигнал 241 преобразования, чтобы формировать декодированный входной сигнал 251 преобразования.

[0068] Для каждой из CU сумматор 260 суммирует декодированный входной сигнал 251 преобразования с сигналом 281 прогнозирования, чтобы формировать декодированный сигнал 261. Декодированный сигнал 261 является воспроизведенным изображением, сформированным посредством устройства 200 декодирования изображений. Декодированный сигнал 261 выводится в качестве выходного сигнала устройства 200 декодирования изображений и также сохраняется в запоминающем устройстве 270.

[0069] Для каждой из CU модуль 280 прогнозирования получает предварительно определенный сигнал из запоминающего устройства 270 согласно способу 291 прогнозирования и формирует сигнал 281 прогнозирования согласно предварительно определенному способу на основе способа 291 прогнозирования.

[0070] В дальнейшем в этом документе, коэффициенты 131 и 231 квантования также упоминаются как "коэффициенты преобразования" или "коэффициенты блочного преобразования".

[0071] Согласно настоящему варианту осуществления, чтобы гибко выбирать размер преобразования из числа различных размеров преобразования в диапазоне от большого к небольшому, разбиение на единицы преобразования (TU) выражается в древовидной структуре. В древовидной структуре, чтобы задавать узлы вплоть до узлов на концах (концевых узлов), кодируется информация разбиения на единицы преобразования (TUS: split_transform_flag), которая является информацией флага, указывающей то, должно или нет быть выполнено разбиение на TU.

[0072] Каждый из фиг. 4A и 4B показывает пример TU. Например, как показано на фиг. 4, одна CU (TU0) может разбиваться на четыре TU, которые представляют собой TU1-TU4. Каждая TU1-TU4 дополнительно может разбиваться на четыре TU. Например, в примере, показанном на фиг. 4B, TU1, показанная на фиг. 4A, дополнительно разбивается на четыре TU, которые представляют собой TU5-TU8. Как описано выше, разбиение на TU выполняется иерархически.

[0073] Фиг. 5 является схемой, показывающей древовидную структуру TU, показанных на фиг. 4B. Как показано на фиг. 5, корень древовидной структуры является CU (TU0). Концевые узлы в древовидной структуре являются соответствующими разбиваемыми TU.

[0074] Каждый из узлов в древовидной структуре имеет информацию разбиения (TUS). Другими словами, TUS соответствует надлежащему одному из узлов в древовидной структуре и указывает то, должна или нет дополнительно разбиваться TU, соответствующая узлу. Значение "1" TUS означает, что TU, соответствующая узлу, должна дополнительно разбиваться. С другой стороны, значение "0" TUS означает, что TU, соответствующая узлу, не должна разбиваться.

[0075] Концевой узел, указывающий TUS как "0", дополнительно имеет CBF, указывающий то, существует или нет коэффициент преобразования (coeff), соответствующий концевому узлу. Значение "1" CBF означает, что узел имеет коэффициент преобразования. С другой стороны, значение "0" CBF означает, что узел не имеет коэффициента преобразования. Следует отметить, что CBF может быть включен в узлы за исключением концевых узлов, которые описываются ниже подробнее. Другими словами, CBF соответствует, по меньшей мере, одному из узлов в древовидной структуре и является первым флагом, указывающим то, существует или нет коэффициент 131 квантования, соответствующий узлу.

[0076] Фиг. 6 является блок-схемой последовательности операций способа кодирования изображений согласно настоящему варианту осуществления. Фиг. 6 показывает кодирование одной CU.

[0077] Во-первых, устройство 100 кодирования изображений (модуль 190 энтропийного кодирования) кодирует древовидную структуру (дерево информации разбиения: transform_split_tree) TUS в качестве информации, указывающей то, какой размер преобразования должен быть выполнен для CU (S111). Более конкретно, устройство 100 кодирования изображений кодирует, в древовидную структуру, фрагменты управляющей информации (TUS и CBF), указывающие структуру множества единиц преобразования.

[0078] Затем, устройство 100 кодирования изображений кодирует древовидную структуру (дерево коэффициентов преобразования: transform_coeff_tree) коэффициентов преобразования, включающих в себя коэффициенты преобразования соответствующих TU, согласно размерам преобразования, фрагментам информации позиции и CBF, которые выражаются в дереве информации разбиения (S112). Вышеописанные последовательности процессов выполняются для каждой из CU.

[0079] Использование такого выражения древовидной структуры позволяет задавать размер преобразования пространственно или частично в CU, с тем чтобы достигать максимальной эффективности кодирования в зависимости от признаков и т.п. изображения. Следует отметить, что CBF может быть кодирован на этапе S112, а не на этапе S111.

[0080] Далее описывается кодирование (S111) дерева информации разбиения. Фиг. 7 является блок-схемой последовательности операций способа с подробными этапами при кодировании (S111) дерева информации разбиения.

[0081] Кодирование дерева информации разбиения задается рекурсивно. Рекурсивный уровень (иерархия) древовидной структуры называется глубиной преобразования (TrD).

[0082] Во-первых, устройство 100 кодирования изображений кодирует TUS с определенной TrD (S121). Затем, устройство 100 кодирования изображений переключает обработку на другую согласно способу формирования сигнала прогнозирования (S122). Например, если приспосабливается взаимное прогнозирование (межкадровое прогнозирование), то объем данных коэффициента преобразования сигнала цветности с большой вероятностью является нулевым. Следовательно, в случае если приспосабливается взаимное прогнозирование ("Да" на S122), то устройство 100 кодирования изображений кодирует cbf_chroma, который является третьим флагом, указывающим то, существует или нет коэффициент преобразования блока сигнала цветности (S123).

[0083] Следует отметить, что TUS может меняться местами с cbf_chroma в порядке кодирования. Если cbf_chroma кодируется до TUS, устройство 200 декодирования изображений получает TUS-информацию из кодированного потока (кодированного сигнала 191), с тем чтобы минимизировать время ожидания до тех пор, пока не определяется (S124) на основе TUS то, должно или нет быть выполнено следующее разбиение. В силу этого, если TUS сохраняется в запоминающем устройстве с высокоскоростным кэшем и т.п., можно уменьшать объем запоминающего устройства и повышать скорость обработки.

[0084] Снова ссылаясь на фиг. 7, описание продолжается. Затем, устройство 100 кодирования изображений определяет на основе TUS то, должна или нет текущая TU дополнительно разбиваться на фрагменты (S124). Если TU должна разбиваться ("Да" на S124), то устройство 100 кодирования изображений пространственно разбивает TU на четыре области и рекурсивно кодирует дерево информации разбиения для областей разбиения (S129). Другими словами, устройство 100 кодирования изображений выполняет обработку (S111), показанную на фиг. 7, для каждой из четырех разбиваемых TU.

[0085] С другой стороны, если TU не должна разбиваться ("Нет" на S124), то устройство 100 кодирования изображений кодирует cbf_luma, который является вторым флагом, указывающим то, существует или нет коэффициент преобразования сигнала яркости текущей TU (S125).

[0086] Затем, устройство 100 кодирования изображений определяет то, является или нет способ прогнозирования, используемый для TU (CU), взаимным прогнозированием (S126). Если используется взаимное прогнозирование ("Да" на S126), то устройство 100 кодирования изображений завершает кодирование (S111) дерева информации разбиения для текущего узла. С другой стороны, если не приспосабливается взаимное прогнозирование (например, приспосабливается внутреннее прогнозирование (внутрикадровое прогнозирование)) ("Нет" на S126), то устройство 100 кодирования изображений кодирует cbf_chroma (S127) и завершает кодирование (S111) дерева информации разбиения для узла. Если вышеописанная обработка является рекурсивной обработкой для нижнего уровня в иерархии, обработка переходит к другой обработке для верхнего уровня рекурсивного вызова (на родительский узел текущего узла в древовидной структуре).

[0087] После этого, если размеры преобразования и CBF выражаются для всех областей в CU, кодирование (S111) дерева информации разбиения завершается.

[0088] Далее описывается кодирование (S112) дерева коэффициентов преобразования. Фиг. 8 является блок-схемой последовательности операций способа кодирования (S112) дерева коэффициентов преобразования.

[0089] Кодирование дерева информации разбиения задается рекурсивно. Обработка для кодирования дерева коэффициентов преобразования на определенном рекурсивном уровне зависит от того, является ранее кодированная TUS "истиной" или "ложью" (S131). Если TUS является "истиной" ("Да" на S131), то устройство 100 кодирования изображений разбивает TU на четыре фрагмента и рекурсивно кодирует дерево коэффициентов преобразования для областей разбиения (S136).

[0090] С другой стороны, если TU не должна разбиваться ("Нет" на S131), то обработка изменяется согласно тому, является ранее кодированный cbf_luma "истиной" или "ложью" (S132). Если cbf_luma является "истиной" ("Да" на S132), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала яркости TU (S133). С другой стороны, если cbf_luma является "ложью" ("Нет" на S132), то устройство 100 кодирования изображений не кодирует коэффициент преобразования сигнала яркости TU.

[0091] Затем, обработка изменяется в зависимости от ранее кодированного cbf_chroma (S134). Если cbf_chroma является "истиной" ("Да" на S134), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала цветности текущей CU (S135). С другой стороны, если cbf_chroma является "ложью" ("Нет" на S134), то устройство 100 кодирования изображений не кодирует коэффициент преобразования сигнала цветности текущей TU.

[0092] Как описано выше, обработка для определенного концевого узла завершается. Если вышеописанная обработка является рекурсивной обработкой для нижнего уровня, обработка переходит к другой обработке для верхнего уровня рекурсивного вызова (на родительский узел текущего узла в древовидной структуре).

[0093] Затем, когда обход (поиск или схема) древовидной структуры TUS завершается для всех областей в текущей CU, и, следовательно, коэффициенты преобразования TU, имеющих CBF, который является "истиной", кодированы, кодирование (S112) дерева коэффициентов преобразования завершается.

[0094] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 6, 7 и 8, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений (модуля 290 энтропийного декодирования).

[0095] Также следует отметить, что вышеописанная процедура является не только процедурой для кодирования или декодирования, но также и для порядка размещения данных кодированного сигнала 191. Более конкретно, в кодированном сигнале 191, фрагменты кодированных данных (TUS, CBF и коэффициент преобразования) размещаются в порядке, идентичном порядку для вышеописанной процедуры. Это применимо и последующим вариантам осуществления.

[0096] Фиг. 9 является блок-схемой модуля 290A энтропийного декодирования, который является примером модуля 290 энтропийного декодирования, включенного в устройство 200 декодирования изображений. Модуль 290A энтропийного декодирования включает в себя модуль 311 ветвления, модуль 312 декодирования дерева информации разбиения, запоминающее устройство 313 TUS, запоминающее устройство 314 CBF, модуль 315 декодирования дерева коэффициентов преобразования и модуль 316 декодирования коэффициентов преобразования.

[0097] Модуль 311 ветвления (DeMux-модуль) избирательно выводит сигнал согласно типу кодированного сигнала 191. Более конкретно, модуль 311 ветвления предоставляет в модуль 312 декодирования дерева информации разбиения кодированную управляющую информацию 321, включенную в кодированный сигнал 191. Кодированная управляющая информация 321 включает в себя кодированную TUS и кодированный CBF.

[0098] Модуль 312 декодирования дерева информации разбиения декодирует кодированную управляющую информацию 321, чтобы получать TUS и CBF. TUS сохраняется в запоминающем устройстве 313 TUS, которое является временным запоминающим устройством. Другими словами, все TUS в текущей CU временно сохраняются в запоминающем устройстве 313 TUS. Помимо этого, CBF сохраняется в запоминающем устройстве 314 CBF, которое является временным запоминающим устройством. Другими словами, все CBF в текущей CU временно сохраняются в запоминающем устройстве 314 CBF.

[0099] После того, как TUS и CBF декодированы, модуль 311 ветвления предоставляет в модуль 315 декодирования дерева коэффициентов преобразования кодированный коэффициент 322 преобразования, включенный в кодированный сигнал 191.

[0100] Модуль 315 декодирования дерева коэффициентов преобразования считывает TUS из запоминающего устройства 313 TUS и выполняет поиск в древовидной структуре на предмет узла согласно TUS. Затем, модуль 315 декодирования дерева коэффициентов преобразования считывает CBF соответствующего узла из запоминающего устройства 314 CBF и ассоциирует кодированный коэффициент преобразования с единицей преобразования, имеющей CBF, который является "истиной".

[0101] Модуль 316 декодирования коэффициентов преобразования выполняет энтропийное декодирование для кодированного коэффициента 322 преобразования для каждой TU, тем самым формируя коэффициент преобразования (коэффициент 231 квантования).

[0102] Как описано выше, каждое из устройства 100 кодирования изображений и устройства 200 декодирования изображений согласно настоящему варианту осуществления использует управляющую информацию, имеющую древовидную структуру, тем самым уменьшая объем служебной управляющей информации. Другими словами, каждое из устройства 100 кодирования изображений и устройства 200 декодирования изображений позволяет подавлять увеличение информации, указывающей структуру единиц преобразования, а также повышать гибкость при выборе размера преобразования.

[0103] Кроме того, каждое из устройства 100 кодирования изображений и устройства 200 декодирования изображений использует две древовидных структуры, которые являются деревом информации разбиения и деревом коэффициентов преобразования. Как описано выше, можно независимо выполнять оптимизацию скорости обработки и т.п. для каждой из древовидных структур.

[0104] Второй вариант осуществления

В варианте 1 осуществления используются две древовидных структуры. Тем не менее, в варианте 2 осуществления используется одна древовидная структура для того, чтобы кодировать управляющую информацию и коэффициенты преобразования.

[0105] Далее описывается различие между вышеописанным вариантом 1 осуществления и вариантом 2 осуществления, со ссылкой на фиг. 10A и 10B. Фиг. 10A является схемой, показывающей компоновку кодированной управляющей информации и кодированных коэффициентов преобразования, которые включаются в кодированный сигнал 191 согласно варианту 1 осуществления, а фиг. 10B является схемой, показывающей компоновку кодированной управляющей информации и кодированных коэффициентов преобразования, которые включаются в кодированный сигнал 191 согласно варианту 2 осуществления. Данные, показанные на каждом из фиг. 10A и 10B, соответствуют древовидной структуре, показанной на фиг. 5.

[0106] Как показано на фиг. 10A, согласно варианту 1 осуществления, фрагменты управляющей информации, включенной в дерево информации разделения, размещаются последовательно, и коэффициенты преобразования, включенные в дерево коэффициентов преобразования, размещаются в другой группе. Другими словами, управляющая информация и коэффициент преобразования идентичной TU размещаются в отделенных позициях. Следовательно, необходимо временно сохранять в запоминающем устройстве управляющую информацию, которая декодируется до коэффициента преобразования.

[0107] Согласно варианту 2 осуществления, с другой стороны, одна древовидная структура используется для того, чтобы размещать как управляющую информацию, так и коэффициент преобразования последовательно для каждого из концевых узлов в древовидной структуре. Следовательно, можно уменьшать объем данных, который должен быть временно сохранен в запоминающем устройстве.

[0108] Далее описывается способ кодирования согласно настоящему варианту осуществления. В нижеприведенном описании описывается, главным образом, отличие от варианта 1 осуществления, и перекрывающееся пояснение не приводится. Кроме того, идентичные ссылки с номерами назначаются идентичным элементам и этапам на чертежах.

[0109] Фиг. 11 является блок-схемой последовательности операций способа кодирования, выполняемого посредством устройства 100 кодирования изображений согласно настоящему варианту осуществления. Устройство 100 кодирования изображений кодирует управляющую информацию (TUS и CBF) и коэффициент преобразования посредством использования одного унифицированного дерева преобразования.

[0110] Во-первых, устройство 100 кодирования изображений кодирует TUS с определенной TrD (S121). Затем, обработка изменяется на другую согласно TUS (S131). Если TUS является "истиной" ("Да" на S131), то устройство 100 кодирования изображений пространственно разбивает TU на четыре области и рекурсивно кодирует унифицированное дерево преобразования для областей разбиения (S141).

[0111] С другой стороны, если TUS является "ложью" ("Нет" на S131), то устройство 100 кодирования изображений не разбивает TU. Другими словами, узел является концевым узлом. Здесь, обработка изменяется на другую согласно тому, является cbf_luma, кодированный в унифицированном дереве преобразования, "истиной" или "ложью" (S132).

[0112] Если cbf_luma является "истиной" ("Да" на S132), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала яркости текущей TU (S133). С другой стороны, если cbf_luma является "ложью" ("Нет" на S132), то устройство 100 кодирования изображений не кодирует коэффициент преобразования сигнала яркости TU.

[0113] Затем, обработка изменяется согласно тому, является cbf_chroma "истиной" или "ложью" (S134). Если cbf_chroma является "истиной" ("Да" на S134), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала цветности текущей CU (S135). С другой стороны, если cbf_chroma является "ложью" ("Нет" на S134), то устройство 100 кодирования изображений не кодирует коэффициент преобразования сигнала цветности текущей TU.

[0114] Как описано выше, обработка для определенного концевого узла завершается. Если вышеописанная обработка является рекурсивной обработкой для нижнего уровня в иерархии, обработка переходит к обработке для верхнего уровня рекурсивного вызова (на родительский узел текущего узла в древовидной структуре).

[0115] Затем, если размеры преобразования, CBF и т.п. всех областей в текущей CU и коэффициентах преобразования кодируются, кодирование унифицированного дерева преобразования завершается.

[0116] Вариант 2 осуществления отличается от варианта 1 осуществления тем, что древовидная структура включает в себя фрагменты управляющей информации и коэффициенты преобразования в концевых узлах. Варианту 1 осуществления требуется два процесса для древовидных структур, которые представляют собой кодирование двух древовидных структур (дерева информации разбиения и дерева коэффициентов преобразования) и обход древовидных структур. Варианту 2 осуществления, с другой стороны, требуется один процесс для древовидной структуры в способе кодирования. Следовательно, вариант 2 осуществления может уменьшать этапы, включенные в устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений.

[0117] Как описано выше, согласно настоящему варианту осуществления, устройство 100 кодирования изображений кодирует, в одну древовидную структуру, фрагменты управляющей информации и коэффициенты 131 квантования, которые указывают структуру множества TU. Здесь, каждая из TU соответствует надлежащему одному из концевых узлов в древовидной структуре. Помимо этого, устройство 100 кодирования изображений кодирует, для каждого из концевых узлов, управляющую информацию и коэффициент 131 квантования, которые соответствуют концевому узлу, и формирует кодированный сигнал 191, в котором кодированная управляющая информация и кодированный коэффициент квантования размещаются последовательно.

[0118] Кроме того, устройство 200 декодирования изображений декодирует кодированный сигнал 191, чтобы получать соответствующие коэффициенты 231 квантования TU и фрагменты управляющей информации (TUS и CBF), указывающие структуру TU. Здесь, фрагменты управляющей информации и коэффициенты 231 квантования формируют одну древовидную структуру. Здесь, каждая из TU соответствует надлежащему одному из концевых узлов в древовидной структуре. Далее, для кодированного сигнала 191, устройство 200 декодирования изображений декодирует, для каждого из концевых узлов, кодированную управляющую информацию и кодированные коэффициенты квантования, которые размещаются последовательно для концевого узла.

[0119] Каждый из фиг. 12A и 12B является блок-схемой последовательности операций способа для обработки, выполняемой для CBF и коэффициента преобразования сигнала цветности. Обработка, показанная на каждом из фиг. 12A и 12B, включается в блок-схему последовательности операций способа по фиг. 11.

[0120] Устройство 100 кодирования изображений кодирует cbf_chroma на определенной стадии в унифицированном дереве преобразования (S123). Если cbf_chroma является "истиной" ("Да" на S134), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала цветности текущей CU (S135).

[0121] Для простоты в описании, компоненты Cb и Cr цветности не отличаются друг от друга на фиг. 12A. На практике компонент Cb отличается от компонента Cr, как показано на фиг. 12B.

[0122] Как показано на фиг. 12B, на определенной стадии в унифицированном дереве преобразования, устройство 100 кодирования изображений кодирует cbf_cb, который является третьим флагом, указывающим то, существует или нет коэффициент преобразования компонента Cb цветности (S123A). Помимо этого, на определенной стадии в унифицированном дереве преобразования, устройство 100 кодирования изображений кодирует cbf_cr, который является четвертым флагом, указывающим то, существует или нет коэффициент преобразования компонента Cr цветности (S123B). После этого, если cbf_cb является "истиной" ("Да" на S134A), то устройство 100 кодирования изображений кодирует коэффициент преобразования компонента Cb цветности текущей CU (S135A). С другой стороны, если cbf_cr является "истиной" ("Да" на S134B), то устройство 100 кодирования изображений кодирует коэффициент преобразования компонента Cr цветности текущей TU (S135B).

[0123] Фиг. 13 является блок-схемой модуля 290B энтропийного декодирования, который является примером модуля 290 энтропийного декодирования, включенного в устройство 200 декодирования изображений согласно варианту 2 осуществления. Модуль 290B энтропийного декодирования включает в себя модуль 317 декодирования унифицированного дерева преобразования и модуль 316 декодирования коэффициентов преобразования.

[0124] Из числа кодированного сигнала 191 кодированной TUS, CBF и коэффициента преобразования, именно кодированные сигналы, включенные в унифицированное дерево преобразования, предоставляется в модуль 317 декодирования унифицированного дерева преобразования. Модуль 317 декодирования унифицированного дерева преобразования декодирует размер и позицию единицы преобразования TU согласно древовидной структуре TUS. Помимо этого, модуль 317 декодирования унифицированного дерева преобразования декодирует CBF при необходимости и выводит кодированный коэффициент преобразования TU, если CBF является "истиной".

[0125] Модуль 316 декодирования коэффициентов преобразования выполняет энтропийное декодирование для кодированного коэффициента преобразования, предоставляемого из модуля 317 декодирования унифицированного дерева преобразования, тем самым формируя коэффициент преобразования (коэффициент 231 квантования).

[0126] Модуль 290B энтропийного декодирования, показанный на фиг. 13, отличается от модуля 290A энтропийного декодирования, показанного на фиг. 9, тем, что запоминающее устройство 313 TUS и запоминающее устройство 314 CBF не требуются. Как описано выше, устройство 200 декодирования изображений согласно настоящему варианту осуществления позволяет уменьшать емкость запоминающего устройства.

[0127] Следует отметить, что устройство 100 кодирования изображений при определенных условиях может исключать кодирование флагов, таких как cbf_chroma, cbf_luma, cbf_cb и cbf_cr. Тем самым можно уменьшать объем данных кодированного сигнала 191. Далее описывается обработка со ссылкой на фиг. 14A-14D.

[0128] Фиг. 14A является схемой для пояснения обычного случая, в котором CBF-флаг кодируется для каждой из четырех областей разбиения. Фиг. 14B является схемой одного примера, в котором кодирование исключается. Здесь известно, что любой из этих четырех блоков имеет коэффициент преобразования. В этом случае, если CBF блоков сверху слева, сверху справа и снизу слева равны "0", то CBF блока снизу справа должен быть равен "1". Это очевидно независимо от CBF-флага блока снизу справа. Следовательно, кодирование CBF-флага блока снизу справа может исключаться.

[0129] Фиг. 14C является схемой другого примера, показывающей четыре блока с определенной TrD=d и блок с TrD=d-1 на уровне, который выше уровня четырех блоков. Если CBF равно "1" для блока верхнего уровня с TrD=d-1, по меньшей мере, один из блоков с TrD=d, которые формируются посредством разбиения блока с верхней иерархией и находятся на нижнем уровне, имеет коэффициент преобразования. Другими словами, в этом случае, один из блоков на нижнем уровне с TrD=d имеет CBF=1. В этом случае, аналогично вышеприведенному случаю, если CBF блоков сверху слева, сверху справа и снизу слева равны "0", то CBF блока снизу справа должен быть равен "1". Следовательно, кодирование CBF блока снизу справа может исключаться.

[0130] Аналогично, фиг. 14D является схемой, показывающей пример, в котором cbf_chroma сначала кодируется, чтобы вызывать зависимость cbf_luma от кодированного cbf_chroma. Для cbf_luma четырех блоков с TrD=d, если фрагменты cbf_luma всех блоков сверху слева, сверху справа и снизу слева равны "0", и фрагменты cbf_chroma (cbf_cb и cbf_cr) двух блоков на верхнем уровне равны "0", безусловно, cbf_luma последнего блока равно "1". Следовательно, кодирование cbf_luma блока может исключаться.

[0131] Как описано выше, предусмотрен случай, в котором CBF-флаг может исключаться. В настоящем варианте осуществления, можно комбинировать исключения при таких условиях при кодировании или декодировании CBF-флага.

[0132] Как описано выше, устройство 100 кодирования изображений определяет то, может или нет значение CBF-флага текущего узла на текущем уровне быть уникально идентифицировано посредством, по меньшей мере, одного из (a) CBF-флага на верхнем уровне и (b) CBF-флагов других узлов на текущем уровне. Если значение CBF-флага текущего узла может быть уникально идентифицировано, CBF-флаг текущего узла не кодируется. Кроме того, устройство 200 декодирования изображений определяет то, может или нет значение CBF текущего узла на текущем уровне быть уникально идентифицировано посредством, по меньшей мере, одного из (a) CBF-флаг на верхнем уровне и (b) CBF-флагов других узлов на текущем уровне. Если значение CBF текущего узла может быть уникально идентифицировано, CBF-флаг текущего узла не декодируется.

[0133] Таким образом, устройство 100 кодирования изображений согласно настоящему варианту осуществления кодирует (a) управляющую информацию, указывающую размер единицы преобразования, позицию и т.п., и (b) коэффициент преобразования в одну древовидную структуру. Устройство 100 кодирования изображений и устройство 200 декодирования изображений тем самым могут уменьшать объем данных в используемом запоминающем устройстве и уменьшать этапы при обработке.

[0134] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 11, 12A и 12B, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений (модуля 290B энтропийного декодирования).

[0135] Третий вариант осуществления

Вариант 3 осуществления является изменением вышеописанного варианта 2 осуществления.

[0136] Фиг. 15 является блок-схемой последовательности операций способа кодирования согласно настоящему варианту осуществления. Идентичные ссылки с номерами на фиг. 15 назначаются идентичным этапам на фиг. 16, и, следовательно, описываются, главным образом, отличия между фиг. 15 и фиг. 16.

[0137] После этапа S121 устройство 100 кодирования изображений определяет обработку согласно способу формирования сигнала прогнозирования (S122). Более конкретно, если приспосабливается взаимное прогнозирование ("Да" на S122), то устройство 100 кодирования изображений кодирует cbf_chroma (S123).

[0138] Затем, устройство 100 кодирования изображений определяет на основе TUS то, должна или нет текущая TU дополнительно разбиваться на фрагменты (S124). Если TU должна разбиваться ("Да" на S124), то устройство 100 кодирования изображений пространственно разбивает TU на четыре области и рекурсивно кодирует унифицированное дерево преобразования для областей разбиения (S141).

[0139] С другой стороны, если TU не должна разбиваться ("Нет" на S124), то устройство 100 кодирования изображений кодирует cbf_luma (S125). Затем, устройство 100 кодирования изображений определяет то, является или нет способ прогнозирования, используемый для TU (CU), взаимным прогнозированием (S126). Если не используется взаимное прогнозирование (например, приспосабливается если внутреннее прогнозирование) ("Нет" на S126), то устройство 100 кодирования изображений кодирует cbf_chroma (S127). Обработка от этапа S132 является идентичной обработке на фиг. 11.

[0140] Как описано выше, в способе кодирования изображений согласно настоящему варианту осуществления, если приспосабливается взаимное прогнозирование для текущей CU, то кодируется cbf_chroma на самом верхнем уровне иерархии, а если приспосабливается внутреннее прогнозирование, то кодируется cbf_chroma в концевом узле.

[0141] Здесь маловероятно, что взаимное прогнозирование обуславливает коэффициент преобразования. В частности, маловероятно, что взаимное прогнозирование обуславливает коэффициент преобразования сигнала цветности. Следовательно, если приспосабливается взаимное прогнозирование, кодирование cbf_chroma до разбиения на TU является более эффективным, чем кодирование cbf_chroma после разбиения на TU. С другой стороны, внутреннее прогнозирование с большой вероятностью обуславливает коэффициент преобразования. Следовательно, кодирование до разбиения на TU практически не приводит к повышению эффективности кодирования. Следовательно, устройство 100 кодирования изображений кодирует cbf_chroma в концевых узлах после разбиения на TU.

[0142] Таким образом, устройство 100 кодирования изображений согласно настоящему варианту осуществления позволяет уменьшать объем данных CBF.

[0143] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 15, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений.

[0144] Четвертый вариант осуществления

Вариант 4 осуществления является изменением вышеописанного варианта 3 осуществления.

[0145] Фиг. 16 является блок-схемой последовательности операций способа кодирования согласно настоящему варианту осуществления. Идентичные ссылки с номерами на фиг. 15 назначаются идентичным этапам на фиг. 16, и, следовательно, описываются, главным образом, отличия между фиг. 15 и фиг. 16.

[0146] Как описано в варианте 3 осуществления, тенденция наличия коэффициента преобразования и т.п. в большой степени зависит от того, представляет собой способ прогнозирования взаимное прогнозирование или невзаимное прогнозирование (внутреннее прогнозирование). В частности, если приспосабливается внутреннее прогнозирование, большое число внутренних прогнозирований и преобразований необходимо для небольших блоков. Чтобы разрешать это, снижение этапов во внутреннее прогнозирование является, в частности, важным. Следовательно, согласно настоящему варианту осуществления, обработка выбирается на верхнем уровне иерархии на основе того, является способ прогнозирования взаимным прогнозированием или внутренним прогнозированием (невзаимным прогнозированием). Как результат, обработка в случае взаимного прогнозирования отделяется от обработки в случае внутреннего прогнозирования. В силу этого, нетрудно оптимизировать реализацию.

[0147] Более конкретно, как показано на фиг. 16, в концевых узлах cbf_luma кодируется после определения (S126) в отношении того, является способ прогнозирования взаимным прогнозированием или невзаимным прогнозированием. Более конкретно, если не приспосабливается взаимное прогнозирование ("Нет" на S126), то устройство 100 кодирования изображений кодирует cbf_luma (S125B) и кодирует cbf_chroma (S127). С другой стороны, если приспосабливается взаимное прогнозирование ("Да" на S127), то устройство 100 кодирования изображений кодирует cbf_luma (S125A). Обработка от этапа S132 является идентичной обработке на фиг. 11.

[0148] Обработка для CBF с большой вероятностью усложняется в случае, в котором флаги исключаются. С другой стороны, если обработка для CBF переключается в зависимости от того, является способ прогнозирования взаимным прогнозированием или внутренним прогнозированием, как описано выше, могут формироваться преимущества, идентичные преимуществам, описанным выше.

[0149] Как показано на фиг. 17, также возможно то, что если приспосабливается внутреннее прогнозирование ("Нет" на S126), то устройство 100 кодирования изображений кодирует cbf_chroma (S127) и затем кодирует cbf_luma (S125B). В силу этого, порядок кодирования cbf_chroma и cbf_luma является идентичным для случая использования взаимного прогнозирования (S123, S125A) и случая использования взаимного прогнозирования (S127 и S125B). Как описано выше, совместное использование порядка обработки может уменьшать объем данных программы обработки.

[0150] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 16 и 17, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений.

[0151] Пятый вариант осуществления

В варианте 5 осуществления описывается порядок кодирования CBF и коэффициентов преобразования.

[0152] Каждый из фиг. 18A-18C показывает порядок кодирования CBF и коэффициентов преобразования (BlockCoeff). Другими словами, каждый из фиг. 18A-18C показывает компоновку CBF и коэффициентов преобразования в кодированном сигнале 191. На фиг. 18A-18C, каждое числовое значение указывает порядок кодирования. На каждом из фиг. 18A-18C, число блоков преобразования сигнала яркости (сигнала яркости) равно числу блоков преобразования сигнала цветности (сигнала цветности).

[0153] Порядок кодирования, показанный на фиг. 18A, представляет собой, например, один пример порядка кодирования согласно варианту 1 осуществления. На фиг. 18A, cbf_luma (Blk=0), cbf_cb (Blk=0) и cbf_cr (Blk=0) кодируются по порядку, а затем cbf_luma (Blk=1), cbf_cb (Blk=1), cbf_cr (Blk=1), cbf_luma (Blk=2), cbf_cb (Blk=2), cbf_cr (Blk=2), cbf_luma (Blk=3), cbf_cb (Blk=3), cbf_cr (Blk=3) кодируются по порядку. Здесь, каждое значение Blk указывает пространственную позицию соответствующего блока в порядке Z. Blk=0 указывает блок сверху слева, Blk=1 указывает блок сверху справа, Blk=2 указывает блок снизу слева, и Blk=3 указывает блок снизу справа.

[0154] После кодирования всех CBF, BlockCoeff (luma, Blk=0), BlockCoeff (cb, Blk=0) и BlockCoeff (cr, Blk=0) кодируются по порядку. Затем, BlockCoeff (luma, Blk=1), BlockCoeff (cb, Blk=1) и BlockCoeff (cr, Blk=1) кодируются по порядку.

[0155] Порядок кодирования, показанный на фиг. 18B, представляет собой, например, один пример порядка кодирования согласно вариантам 2-4 осуществления. CBF и коэффициенты преобразования кодируются в идентичной древовидной структуре. Следовательно, коэффициент преобразования в определенной позиции кодируется относительно сразу после кодирования соответствующего CBF.

[0156] Например, во-первых, cbf_luma (blk=0), cbf_cb (blk=0) и cbf_cr (blk=0) кодируются по порядку, и после этого BlockCoeff (luma, Blk=0), BlockCoeff (cb, Blk=0) и BlockCoeff (cr, Blk=0), которые соответствуют вышеуказанным CBF, соответственно, кодируются по порядку. В силу этого, устройство 200 декодирования изображений позволяет уменьшать емкость запоминающего устройства для временного сохранения CBF-флагов. В устройстве 100 кодирования изображений BlockCoeff не может быть сохранен в потоке до тех пор, пока CBF всех блоков не определяются. Следовательно, имеется проблема в том, что емкость запоминающего устройства является достаточно большой, чтобы сохранять все BlockCoeff блоков до текущего блока в порядке блоков. Острота этой проблемы снижается за счет использования порядка обработки, показанного на фиг. 18B.

[0157] На фиг. 18C, сразу после кодирования CBF-флага кодируется соответствующий коэффициент преобразования. В этом примере, емкость запоминающего устройства для временного сохранения CBF и коэффициентов преобразования дополнительно уменьшается по сравнению со случаем, показанным на фиг. 18B. Более конкретно, cbf_luma (blk=0), BlockCoeff (luma, Blk=0), cbf_cb (blk=0), BlockCoeff (cb, Blk=0), cbf_cr (blk=0), BlockCoeff (cr, Blk=0), ..., кодируются по порядку.

[0158] Далее приводится описание для порядка кодирования в случае, если число блоков преобразования сигнала цветности меньше числа блоков преобразования сигнала яркости. Каждый из фиг. 19A и 19B показывает пример порядка кодирования в вышеописанном случае.

[0159] Например, в формате 4:2:0, число пикселов сигнала цветности составляет половину от числа пикселов сигнала яркости в виде горизонтальной или вертикальной линии пикселов. Для размера преобразования или размера обратного преобразования, задается минимальный размер (MinTrafoSize). Более конкретно, при минимальном размере (Transform Size=MinTrafoSize) предусмотрен случай, в котором четыре TU могут использоваться для сигнала яркости, но только одна TU разрешается для сигнала цветности.

[0160] На фиг. 19A, коэффициент преобразования кодируется сразу после кодирования CBF. Блоки последовательно кодируются в порядке наличия меньшего BlkIdx. Порядок кодирования имеет преимущества уменьшения емкости временного запоминающего устройства, поскольку CBF и соответствующий коэффициент преобразования находятся близко друг к другу в порядке кодирования.

[0161] На фиг. 19B, во-первых, кодируются CBF и коэффициенты преобразования сигнала яркости, а затем кодируются CBF и коэффициенты преобразования сигнала цветности. Этот способ кодирования имеет преимущества минимизации процессов между сигналом яркости и сигналом цветности, а также минимизации процессов переключения указателя ввода/вывода данных. Обработка прогнозирования и назначение сохранения данных иногда значительно отличаются между сигналом яркости и сигналом цветности. Следовательно, желательно непрерывно выполнять процессы для блоков сигнала яркости и затем непрерывно выполнять процессы для блоков сигнала цветности. Здесь, блоки сигнала цветности кодируются после кодирования всех блоков сигнала яркости. Тем не менее, идентичные преимущества также могут формироваться, когда блоки сигнала цветности кодируются до кодирования всех блоков сигнала яркости.

[0162] На фиг. 19B, cbf_luma (сверху слева), BlockCoeff_luma (сверху слева), cbf_luma (сверху справа), BlockCoeff_luma (сверху справа), cbf_luma (снизу слева), BlockCoeff_luma (снизу слева), cbf_luma (снизу справа), BlockCoeff_luma (снизу справа), cbf_cb, BlockCoeff_cb, cbf_cr и BlockCoeff_cr кодируются по порядку.

[0163] Фиг. 20 является блок-схемой последовательности операций способа кодирования согласно настоящему варианту осуществления. Фиг. 20 показывает только обработку для CBF и коэффициентов преобразования, которая является частью кодирования. Здесь, четыре разбиваемых блока ассоциированы с соответствующим BlkIdx в порядке Z.

[0164] Последовательность этапов S125-S152 на фиг. 20 является обработкой для кодирования CBF. Последовательности этапов S125-S123B выполняются для каждого из четырех разбиваемых блоков.

[0165] Для определенного блока устройство 100 кодирования изображений кодирует cbf_luma (S125). Затем, устройство 100 кодирования изображений определяет то, равно или нет число блоков сигнала яркости числу блоков сигнала цветности. Помимо этого, устройство 100 кодирования изображений определяет то, выполняется или нет Blkidx=3 (S151). Другими словами, определяется то, является или нет текущая TU последней TU из четырех разбиваемых TU в порядке кодирования. Если число блоков сигнала яркости равно числу блоков сигнала цветности, или если Blkidx=3 ("Да" на S151), то устройство 100 кодирования изображений кодирует cbf_cb и cbf_cr (S123A и S123B). Например, если TrafoSize, который является размером блока сигнала яркости с текущей TrD, не достигает минимального размера MinTrafoSize (TrafoSize>MinTrafoSize), то определяется то, что число блоков сигнала яркости равно числу блоков сигнала цветности. Также возможно то, что устройство 100 кодирования изображений использует другой способ для того, чтобы определять то, равно или нет число блоков сигнала яркости числу блоков сигнала цветности.

[0166] Даже если блоки сигнала яркости меньше блоков сигнала цветности, устройство 100 кодирования изображений кодирует cbf_chroma после кодирования всего cbf_luma. Другими словами, в случае разбиения на четыре блока, кодирование cbf_luma четырех блоков завершено, когда Blkidx=3. Следовательно, устройство 100 кодирования изображений определяет то, что cbf_chroma должен быть выполнен, когда Blkidx=3.

[0167] В общих словах, устройство 100 кодирования изображений кодирует cbf_chroma после кодирования cbf_luma, когда (Trafosize>MinTrafoSize) || (Blkidx==3).

[0168] С другой стороны, если Blkidx не равно 3 ("Нет" на S152), то следующий блок выбирается для того, чтобы выполнять обработку от этапа S125.

[0169] Последовательность этапов S132-S154 на фиг. 20 является обработкой для кодирования коэффициента преобразования. Последовательности этапов S132-S135B выполняются для каждого из четырех разбиваемых блоков таким же образом, как и для CBF-кодирования.

[0170] Устройство 100 кодирования изображений определяет то, является или нет cbf_luma "истиной" (S132). Если cbf_luma является "истиной" ("Да" на S132), то устройство 100 кодирования изображений кодирует коэффициент преобразования сигнала яркости текущей TU (S133). Затем, устройство 100 кодирования изображений выполняет определение, идентичное определению на этапе S151 (S153).

[0171] Если выполняется определение в качестве "истины" ("Да" на S153), то устройство 100 кодирования изображений определяет то, является или нет cbf_cb "истиной" (S134A). Если cbf_cb является "истиной" ("Да" на S134A), то устройство 100 кодирования изображений кодирует коэффициент преобразования компонента Cb цветности (S135A). Устройство 100 кодирования изображений определяет то, является или нет cbf_cr "истиной" (S134B). Если cbf_cr является "истиной" ("Да" на S134B), то устройство 100 кодирования изображений кодирует коэффициент преобразования компонента Cr цветности (S135B).

[0172] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 20, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений. Кроме того, в порядках кодирования, описанных со ссылкой на фиг. 18A-18C, фиг. 19A и 19B, если "кодирование" заменяется на "декодирование", может быть получен порядок декодирования кодированных фрагментов данных.

[0173] Каждый из фиг. 21A и 21B показывает пример, в котором CBF и коэффициенты преобразования сигнала цветности кодируются до CBF и коэффициентов преобразования сигнала яркости. Как описано выше, при взаимном прогнозировании, cbf_chroma иногда кодируется перед cbf_luma. Следовательно, если блоки сигнала цветности кодируются раньше, можно задавать порядок обработки cbf_chroma и cbf_luma как идентичный между взаимным прогнозированием и внутренним прогнозированием. Как результат, можно упрощать последовательности операций обработки, выполняемой посредством устройства 100 кодирования изображений и устройства 200 декодирования изображений.

[0174] Шестой вариант осуществления

Вариант 6 осуществления является изменением вышеописанного варианта 3 осуществления. В способе кодирования изображений согласно настоящему варианту осуществления кодируется параметр разностного квантования (ΔQP). ΔQP является информацией, указывающей разность между шагом квантования, используемым в непосредственно предшествующем квантовании, и шагом квантования, используемым в квантовании текущей единицы преобразования.

[0175] Каждый из фиг. 22A и 22B является блок-схемой последовательности операций способа кодирования согласно настоящему варианту осуществления. Далее описываются, главным образом, отличия от фиг. 15.

[0176] ΔQP кодируется после кодирования всех CBF. Более конкретно, устройство 100 кодирования изображений кодирует ΔQP после кодирования cbf_chroma (S123 или S127) и кодирования cbf_luma (S125) и до кодирования коэффициента преобразования (S133 и S135) (S161).

[0177] Как описано выше, устройство 100 кодирования изображений кодирует ΔQP в текущем концевом узле в древовидной структуре и размещает кодированный ΔQP в позиции, соответствующей текущему концевому узлу кодированного сигнала 191. Кроме того, в концевом узле, устройство 200 декодирования изображений декодирует кодированный ΔQP, который размещается в позиции, соответствующей концевому узлу в древовидной структуре кодированного сигнала 191.

[0178] Здесь, устройство 200 декодирования изображений может декодировать коэффициент преобразования и сразу одновременно выполнять обратное квантование посредством использования конвейерной параллельной обработки. В этом случае, кодирование ΔQP в вышеописанном порядке кодирования для того, чтобы определять параметр квантования, не вызывает необязательную задержку или увеличение объема запоминающего устройства.

[0179] В определенной единице CU кодирования ΔQP кодируется только один раз в TU, в которой cbf_luma и cbf_chroma являются сначала "истиной". Если ΔQP обновляется чаще, объем кодирования слишком сильно возрастает.

[0180] Фиг. 22B является блок-схемой последовательности операций способа кодирования в случае, если ΔQP кодируется в корне древовидной структуры TU. Как показано на фиг. 22B, устройство 100 кодирования изображений кодирует корень древовидной структуры TU (S161).

[0181] Как описано выше, устройство 100 кодирования изображений кодирует ΔQP в корне древовидной структуры и размещает кодированный шаг разностного квантования в позиции, соответствующей корню кодированного сигнала 191. Помимо этого, устройство 200 декодирования изображений декодирует, в корне, кодированный шаг разностного квантования, который размещается в позиции в корне древовидной структуры кодированного сигнала 191.

[0182] В этом случае, устройство 200 декодирования изображений может определять на более ранней стадии параметр квантования, требуемый посредством модуля 240 обратного квантования. Следовательно, устройство 200 декодирования изображений может заранее выполнять активацию модуля 240 обратного квантования. Устройство 100 кодирования изображений не всегда кодирует ΔQP. ΔQP кодируется только тогда, когда no_reisidual_data является "истиной" для каждой единицы CU кодирования. Как результат, может быть уменьшен объем данных. No_residual_data является флагом, указывающим то, что отсутствует коэффициент преобразования в текущей CU. Этот no_residual_data кодируется до первой TUS в текущей CU.

[0183] Следует отметить, что в последовательности операций, описанной со ссылкой на фиг. 22A и 22B, если "кодирование" заменяется на "декодирование", может быть получена последовательность операций декодирования, выполняемого посредством устройства 200 декодирования изображений.

[0184] Каждый из фиг. 23 и 24A к 24C показывает пример синтаксиса HEVC согласно варианту 6 осуществления.

[0185] Седьмой вариант осуществления

Вариант 7 осуществления является изменением вышеописанного варианта 3 осуществления.

[0186] Каждый из фиг. 25A и 25B является блок-схемой последовательности операций способа кодирования, выполняемого посредством устройства 100 кодирования изображений согласно настоящему варианту осуществления.

[0187] При кодировании на фиг. 25A и 25B, кодирование коэффициента преобразования, показанного на фиг. 15 (S132-S135), извлекается в качестве унифицированного преобразования (transform_unified_unit) (S171), который является одной из подпрограмм. Аналогично описанному в предыдущих вариантах осуществления, настоящий вариант осуществления также формирует преимущества уменьшения объема запоминающего устройства для временного сохранения информации CBF и TUS, упрощения этапов при обработке и снижение числа обходов. Также возможно то, что последовательности этапов S125-S127 включаются в унифицированное преобразование. В этом случае, подпрограмма соответствует обработке для концевого узла в древовидной структуре TU. Кроме того, ΔQP может быть кодирован при унифицированном преобразовании. В дополнение к практически идентичным преимуществам, предоставление подпрограммы позволяет формировать дополнительные преимущества в отношении экономии энергии при расчетах посредством разделения этапов и сокращения тестирования.

[0188] Хотя выше подробно описаны только некоторые примерные варианты осуществления устройства кодирования изображений и устройства декодирования изображений согласно настоящему изобретению, настоящее изобретение не ограничено этими вариантами осуществления.

[0189] Также следует отметить, что процессоры в каждом из устройства кодирования изображений и устройства декодирования изображений согласно вышеописанным вариантам осуществления типично реализуются в большой интегральной схеме (LSI), которая является интегральной схемой. Они могут быть интегрированы отдельно, либо часть или все они могут быть интегрированы в отдельный кристалл.

[0190] Также следует отметить, что технология интегральной схемы не ограничена LSI, и она может быть реализована как специализированная схема или процессор общего назначения. Также можно использовать программируемую пользователем вентильную матрицу (FPGA), которая может программироваться после изготовления LSI, или переконфигурируемый процессор, в котором соединения и компоновка схемных элементов в рамках LSI могут быть переконфигурированы.

[0191] Также следует отметить, что каждый из структурных элементов в вышеописанных вариантах осуществления может быть реализован посредством специализированных аппаратных средств либо реализован посредством выполнения программы, подходящей для структурного элемента. Каждый из структурных элементов может быть реализован, когда модуль выполнения программ, такой как CPU или процессор, считывает программу, записанную на носителе записи, таком как жесткий диск или полупроводниковое запоминающее устройство, и выполняет считанную программу.

[0192] Кроме того, настоящее изобретение может быть программой или может быть энергонезависимым машиночитаемым носителем записи, на котором записывается программа. Конечно, вышеописанная программа может распространяться через среду передачи, такую как Интернет.

[0193] Кроме того, номера в вышеприведенном описании являются примерами для более подробного пояснения настоящего изобретения. Настоящее раскрытие сущности не ограничено примерными номерами.

[0194] Кроме того, разбиение функциональных блоков в блок-схемах является примером. Также возможно то, что множество функциональных блоков реализовано как один функциональный блок, что один функциональный блок разбивается на множество фрагментов или частично передает функцию другим функциональным блокам. Помимо этого, функции множества функциональных блоков, имеющих аналогичные функции, могут быть выполнены параллельно или с временным разделением посредством только стандартных аппаратных средств или программного обеспечения.

[0195] Порядок выполнения этапов, включенных в каждый из вышеописанного способа кодирования изображений и вышеописанного способа декодирования изображений, является примером более подробного пояснения настоящего изобретения. Следовательно, могут использоваться порядки, отличные от вышеописанного порядка. Часть этапов может быть выполнена одновременно (параллельно) с другими этапами.

[0196] Таким образом, хотя выше подробно описаны только некоторые примерные варианты осуществления устройства кодирования изображений и устройства декодирования изображений согласно настоящему изобретению, настоящее изобретение не ограничено этими вариантами осуществления. Специалисты в данной области техники должны легко принимать во внимание, что различные модификации примерных вариантов осуществления и комбинации структурных элементов различных вариантов осуществления являются возможными без существенного отступления от новых идей и преимуществ настоящего изобретения. Соответственно, все такие модификации и комбинации имеют намерение включения в пределы объема настоящего изобретения.

[0197] Вариант 8 осуществления

Обработка, описанная в каждом из вариантов осуществления, может быть реализована просто в независимой компьютерной системе, посредством записи, на носителе записи, программы для реализации конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что программа может записываться, такими как магнитный диск, оптический диск, магнитооптический диск, IC-карта и полупроводниковое запоминающее устройство.

[0198] В дальнейшем в этом документе описываются варианты применения к способу кодирования движущихся изображений (способу кодирования изображений) и способу декодирования движущихся изображений (способу декодирования изображений), описанных в каждом из вариантов осуществления, и к системам с их использованием. Система имеет признак наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений с использованием способа кодирования изображений и устройство декодирования изображений с использованием способа декодирования изображений. Другие конфигурации в системе могут быть изменены надлежащим образом в зависимости от случаев применения.

[0199] Фиг. 26 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи разделяется на соты требуемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, размещаются в каждой из сот.

[0200] Система ex100 предоставления контента подключается к таким устройствам, как компьютер ex111, персональное цифровое устройство (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, через Интернет ex101, поставщика ex102 Интернет-услуг, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.

[0201] Тем не менее, конфигурация системы ex100 предоставления контента не ограничена конфигурацией, показанной на фиг. 26, и комбинация, в которой подключаются любые из элементов, является допустимой. Помимо этого, каждое устройство может подключаться к телефонной сети ex104 непосредственно, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть подключены друг к другу через беспроводную связь ближнего действия и т.п.

[0202] Камера ex113, такая как цифровая видеокамера, допускает захват видео. Камера ex116, такая как цифровая камера, допускает захват как неподвижных изображений, так и видео. Кроме того, сотовый телефон ex114 может быть телефоном, который удовлетворяет любому из таких стандартов, как глобальная система мобильной связи (GSM), множественный доступ с кодовым разделением каналов (CDMA), широкополосный множественный доступ с кодовым разделением каналов (W-CDMA), стандарт долгосрочного развития (LTE) и высокоскоростной пакетный доступ (HSPA). Альтернативно, сотовый телефон ex114 может соответствовать стандарту системы персональных мобильных телефонов (PHS).

[0203] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и т.п. через телефонную сеть ex104 и базовую станцию ex109, которая предоставляет распространение изображений трансляции в прямом эфире и т.п. При таком распределении, контент (например, видео музыкального концерта в прямом эфире), захватываемый пользователем с использованием камеры ex113, кодируется так, как описано выше в каждом из вариантов осуществления (т.е. камера выступает в качестве устройства кодирования изображений настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет потоковое распространение передаваемых данных контента в клиенты при запросах. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые допускают декодирование вышеуказанных кодированных данных. Каждое из устройств, которое принимает распределенные данные, декодирует и воспроизводит кодированные данные (т.е. выступает в качестве устройства декодирования изображений настоящего изобретения).

[0204] Захватываемые данные могут кодироваться посредством камеры ex113 или сервера ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть совместно использованы камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространенные данные могут быть декодированы посредством клиентов или сервера ex103 потоковой передачи, или процессы декодирования могут быть совместно использованы клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, захватываемых не только посредством камеры ex113, но также и камеры ex116, могут быть переданы на сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться посредством камеры ex116, компьютера ex111 или сервера ex103 потоковой передачи или совместно использоваться ими.

[0205] Кроме того, процессы кодирования и декодирования могут выполняться посредством LSI ex500, в общем, включенной в каждый из компьютера ex111 и устройств. LSI ex500 может быть сконфигурирована из одного кристалла или множества кристаллов. Программное обеспечение для кодирования и декодирования видео может быть интегрировано в определенный тип носителя записи (такой как CD-ROM, гибкий диск и жесткий диск), который является читаемым посредством компьютера ex111 и т.п., и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 содержит камеру, могут передаваться видеоданные, полученные посредством камеры. Видеоданные – это данные, кодированные посредством LSI ex500, включенной в сотовый телефон ex114.

[0206] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0207] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, передаваемую пользователем, и воспроизводить декодированные данные в режиме реального времени в системе ex100 предоставления контента, так что пользователь, который не имеет конкретных прав и оборудования, может реализовывать персональную широковещательную передачу.

[0208] Помимо примера системы ex100 предоставления контента, по меньшей мере, одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в цифровой широковещательной системе ex200, проиллюстрированной на фиг. 27. Более конкретно, широковещательная станция ex201 сообщает или передает по радиоволнам в широковещательный спутник ex202 мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные. Видеоданные являются данными, кодированными посредством способа кодирования движущихся изображений, описанного в каждом из вариантов осуществления (т.е. данными, кодированными посредством устройства кодирования изображений настоящего изобретения). При приеме мультиплексированных видеоданных широковещательный спутник ex202 передает радиоволны для широковещательной передачи. Затем, антенна ex204 для домашнего применения с функцией приема спутниковой широковещательной передачи принимает радиоволны. Далее такое устройство, как телевизионный приемник (приемное устройство) ex300 и абонентская приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. устройство выступает в качестве устройства декодирования изображений настоящего изобретения).

[0209] Кроме того, модуль ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы на носителе ex215 записи, и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала, в кодированные данные. Модуль ex218 считывания/записи может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, как показано в каждом из вариантов осуществления. В этом случае, воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены посредством другого устройства или системы с использованием носителя ex215 записи, на котором записываются мультиплексированные данные. Также можно реализовывать устройство декодирования движущихся изображений в абонентской приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутниковой и/или наземной широковещательной передачи, с тем чтобы отображать видеосигналы на мониторе ex219 телевизионного приемника ex300. Устройство декодирования движущихся изображений может быть реализовано не в абонентской приставке, а в телевизионном приемнике ex300.

[0210] Фиг. 28 иллюстрирует телевизионный приемник (приемное устройство) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в каждом из вариантов осуществления. Телевизионный приемник ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает широковещательную передачу; модуль ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые должны подаваться наружу; и модуль ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные или мультиплексирует видеоданные и аудиоданные, кодированные посредством процессора ex306 сигналов, в данные.

[0211] Телевизионный приемник ex300 дополнительно включает в себя: процессор ex306 сигналов, включающий в себя процессор ex304 аудиосигналов и процессор ex305 видеосигналов, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, (которые выступают в качестве устройства кодирования изображений и устройства декодирования изображений), соответственно; и модуль ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и модуль ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. Кроме того, телевизионный приемник ex300 включает в себя интерфейсный модуль ex317, включающий в себя модуль ex312 функционального ввода, который принимает ввод пользовательской операции. Кроме того, телевизионный приемник ex300 включает в себя модуль ex310 управления, который осуществляет общее управление каждым составляющим элементом телевизионного приемника ex300, и модуль ex311 схемы электропитания, который предоставляет питание в каждый из элементов. Кроме модуля ex312 функционального ввода, интерфейсный модуль ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, такому как модуль ex218 считывания/записи; модуль ex314 гнезда для предоставления возможности присоединения носителя ex216 записи, такого как SD-карта; драйвер ex315, чтобы подключаться к внешнему носителю записи, такому как жесткий диск; и модем ex316, чтобы подключаться к телефонной сети. Здесь, носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимого/энергозависимого полупроводникового запоминающего устройства для хранения. Составляющие элементы телевизионного приемника ex300 подключены друг к другу через синхронную шину.

[0212] Во-первых, описывается конфигурация, в которой телевизионный приемник ex300 декодирует мультиплексированные данные, полученные снаружи через антенну ex204 и т.п., и воспроизводит декодированные данные. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., модуль ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные посредством модуля ex302 модуляции/демодуляции, под управлением модуля ex310 управления, включающего в себя CPU. Кроме того, процессор ex304 аудиосигналов декодирует демультиплексированные аудиоданные, и процессор ex305 видеосигналов декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизионном приемнике ex300. Модуль ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал наружу, соответственно. Когда модуль ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Кроме того, телевизионный приемник ex300 может считывать мультиплексированные данные не через широковещательную передачу и т.п., а из носителей ex215 и ex216 записи, таких как магнитный диск, оптический диск и SD-карта. Затем описывается конфигурация, в которой телевизионный приемник ex300 кодирует аудиосигнал и видеосигнал и передает данные наружу или записывает данные на носитель записи. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., процессор ex304 аудиосигналов кодирует аудиосигнал, и процессор ex305 видеосигналов кодирует видеосигнал под управлением модуля ex310 управления с использованием способа кодирования, как описано в каждом из вариантов осуществления. Модуль ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет результирующий сигнал наружу. Когда модуль ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Здесь, буферов ex318, ex319, ex320 и ex321 может быть множество, как проиллюстрировано, или, по меньшей мере, один буфер может быть совместно использован в телевизионном приемнике ex300. Кроме того, данные могут быть сохранены в буфере, так что может не допускаться переполнение и опустошение в системе, например, между модулем ex302 модуляции/демодуляции и модулем ex303 мультиплексирования/демультиплексирования.

[0213] Кроме того, телевизионный приемник ex300 может включать в себя конфигурацию для приема AV-ввода из микрофона или камеры, отличную от конфигурации для получения аудио- и видеоданных из широковещательной передачи или носителя записи, и может кодировать полученные данные. Хотя телевизионный приемник ex300 может кодировать, мультиплексировать и предоставлять наружу данные в описании, он может допускать только прием, декодирование и предоставление наружу данных, а не кодирование, мультиплексирование и предоставление наружу данных.

[0214] Кроме того, когда модуль ex218 считывания/записи считывает или записывает мультиплексированные данные с или на носитель записи, один из телевизионного приемника ex300 и модуля ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизионный приемник ex300 и модуль ex218 считывания/записи могут совместно использовать декодирование или кодирование.

[0215] В качестве примера, фиг. 29 иллюстрирует конфигурацию модуля ex400 воспроизведения/записи информации, когда данные считываются или записываются с или на оптический диск. Модуль ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые описаны ниже. Оптическая головка ex401 испускает лазерное пятно на поверхности для записи носителя ex215 записи, который является оптическим диском, чтобы записывать информацию, и обнаруживает отраженный свет от поверхности для записи носителя ex215 записи, чтобы считывать информацию. Модуль ex402 модуляционной записи электрически возбуждает полупроводниковый лазер, включенный в оптическую головку ex401, и модулирует лазерное излучение согласно записанным данным. Модуль ex403 воспроизводящей демодуляции усиливает сигнал воспроизведения, полученный посредством электрического обнаружения отраженного света от поверхности для записи, с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством разделения компонента сигнала, записанного на носитель ex215 записи, чтобы воспроизводить необходимую информацию. Буфер ex404 временно хранит информацию, которая должна записываться на носитель ex215 записи, и информацию, воспроизведенную из носителя ex215 записи. Дисковый электромотор ex405 вращает носитель ex215 записи. Модуль ex406 сервоуправления перемещает оптическую головку ex401 в заранее определенную информационную дорожку при одновременном управлении вращательным приводом дискового электромотора ex405, чтобы следовать лазерному пятну. Модуль ex407 управления системой осуществляет общее управление модулем ex400 воспроизведения/записи информации. Процессы считывания и записи могут реализовываться посредством модуля ex407 управления системой с использованием различной информации, хранимой в буфере ex404, и формирования и добавления новой информации по мере необходимости, и посредством модуля ex402 модуляционной записи, модуля ex403 демодуляции при воспроизведении и модуля ex406 сервоуправления, которые записывают и воспроизводят информацию через оптическую головку ex401 при координированном управлении. Модуль ex407 управления системой включает в себя, например, микропроцессор и выполняет обработку посредством инструктирования компьютеру выполнять программу для считывания и записи.

[0216] Хотя в описании оптическая головка ex401 испускает лазерное пятно, она может выполнять запись с высокой плотностью с использованием света в поле в ближней зоне.

[0217] Фиг. 30 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности для записи носителя ex215 записи, направляющие канавки формируются по спирали, и информационная дорожка ex230 записывает, заранее, информацию адреса, указывающую абсолютную позицию на диске, согласно изменению в форме направляющих канавок. Информация адреса включает в себя информацию для определения позиций блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, может приводить к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя зону ex233 записи данных, зону ex232 внутренней окружности и зону ex234 внешней окружности. Зона ex233 записи данных является зоной для использования при записи пользовательских данных. Зона ex232 внутренней окружности и зона ex234 внешней окружности, которые находятся внутри и снаружи зоны ex233 записи данных, соответственно, предназначены для конкретного применения, за исключением записи пользовательских данных. Модуль 400 воспроизведения/записи информации считывает и записывает кодированное аудио, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированного аудио и кодированных видеоданных, из и в зону ex233 записи данных носителя ex215 записи.

[0218] Хотя оптический диск, имеющий слой, такой как DVD и BD, описывается в качестве примера в описании, оптический диск не ограничен таким образом и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на часть, отличную от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, к примеру, записи информации с использованием света цветов с различными длинами волн в одной части оптического диска и для записи информации, имеющей различные слои, с различных углов.

[0219] Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные из спутника ex202 и т.п. и воспроизводить видео на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в цифровой широковещательной системе ex200. Здесь, конфигурация автомобильной навигационной системы ex211 является конфигурацией, например, включающей в себя приемный GPS-модуль, из конфигурации, проиллюстрированной на фиг. 28. То же применимо для конфигурации компьютера ex111, сотового телефона ex114 и т.п.

[0220] Фиг. 21A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; модуль ex365 камеры, допускающий захват движущихся и неподвижных изображений; и модуль ex358 отображения, к примеру, жидкокристаллический дисплей для отображения данных, таких как декодированное видео, захватываемое посредством модуля ex365 камеры или принимаемое посредством антенны ex350. Сотовый телефон ex114 дополнительно включает в себя: модуль основного корпуса, включающий в себя модуль ex366 функциональных клавиш; модуль ex357 аудиовывода, к примеру, динамик для вывода аудио; модуль ex356 аудиоввода, к примеру, микрофон для ввода аудио; запоминающее устройство ex367 для сохранения захваченного видео или неподвижных изображений, записанного аудио, кодированных или декодированных данных принимаемого видео, неподвижных изображений, почтовых сообщений и т.п.; и модуль ex364 гнезда, который является интерфейсным модулем для носителя записи, который сохраняет данные таким же образом, как запоминающее устройство ex367.

[0221] Далее описывается пример конфигурации сотового телефона ex114 со ссылкой на фиг. 31B. В сотовом телефоне ex114 главный модуль ex360 управления, спроектированный с возможностью полностью управлять каждым модулем основного корпуса, включающим в себя модуль ex358 отображения, а также модуль ex366 функциональных клавиш, взаимно соединяется, через синхронную шину ex370, с модулем ex361 схемы электропитания, модулем ex362 управления функциональным вводом, процессором ex355 видеосигналов, модулем ex363 интерфейса камеры, модулем ex359 управления жидкокристаллическим дисплеем (ЖК-дисплеем), модулем ex352 модуляции/демодуляции, модулем ex353 мультиплексирования/демультиплексирования, процессором ex354 аудиосигналов, модулем ex364 гнезда и запоминающим устройством ex367.

[0222] Когда клавиша завершения вызова или клавиша включения питания включается посредством пользовательской операции, модуль ex361 схемы электропитания предоставляет в соответствующие модули питание из аккумуляторной батареи с тем, чтобы активировать сотовый телефон ex114.

[0223] В сотовом телефоне ex114 процессор ex354 аудиосигналов преобразует аудиосигналы, собираемые посредством модуля ex356 аудиоввода в режиме речевой связи, в цифровые аудиосигналы под управлением главного модуля ex360 управления, включающего в себя CPU, ROM и RAM. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с расширенным спектром для цифровых аудиосигналов, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных, с тем чтобы передавать результирующие данные через антенну ex350. Так же, в сотовом телефоне ex114, приемо-передающий модуль ex351 усиливает данные, принимаемые посредством антенны ex350 в режиме речевой связи, и выполняет преобразование частоты и аналого-цифровое преобразование для данных. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с обратным расширенным спектром для данных, и процессор ex354 аудиосигналов преобразует их в аналоговые аудиосигналы, с тем чтобы выводить их через модуль ex357 аудиовывода.

[0224] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные электронной почты, введенные посредством операций с модулем ex366 функциональных клавиш и т.п. основного корпуса, отправляются в главный модуль ex360 управления через модуль ex362 управления функциональным вводом. Главный модуль ex360 управления инструктирует модулю ex352 модуляции/демодуляции выполнять обработку с расширенным спектром для текстовых данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для результирующих данных, чтобы передавать данные в базовую станцию ex110 через антенну ex350. Когда принимается почтовое сообщение, обработка, которая является приблизительно обратной относительно обработки для передачи почтового сообщения, выполняется для принимаемых данных, и результирующие данные предоставляются в модуль ex358 отображения.

[0225] Когда передается видео, неподвижные изображения либо видео и аудио в режиме передачи данных, процессор ex355 видеосигналов сжимает и кодирует видеосигналы, предоставляемые из модуля ex365 камеры, с использованием способа кодирования движущихся изображений, показанного в каждом из вариантов осуществления (т.е. выступает в качестве устройства кодирования изображений настоящего изобретения), и передает кодированные видеоданные в модуль ex353 мультиплексирования/демультиплексирования. Напротив, в течение времени, когда модуль ex365 камеры захватывает видео, неподвижные изображения и т.п., процессор ex354 аудиосигналов кодирует аудиосигналы, собранные посредством модуля ex356 аудиоввода, и передает кодированные аудиоданные в модуль ex353 мультиплексирования/демультиплексирования.

[0226] Модуль ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, подаваемые из процессора ex355 видеосигналов, и кодированные аудиоданные, подаваемые из процессора ex354 аудиосигналов, с использованием предварительно определенного способа. Затем, модуль ex352 модуляции/демодуляции (модуль схемы модуляции/демодуляции) выполняет обработку с расширенным спектром для мультиплексированных данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных с тем, чтобы передавать результирующие данные через антенну ex350.

[0227] При приеме данных видеофайла, который связывается с веб-страницей и т.п., в режиме передачи данных или при приеме почтового сообщения с присоединенным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, модуль ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в поток битов видеоданных и поток битов аудиоданных и предоставляет в процессор ex355 видеосигналов кодированные видеоданные, а в процессор ex354 аудиосигналов кодированные аудиоданные через синхронную шину ex370. Процессор ex355 видеосигналов декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, показанному в каждом из вариантов осуществления (т.е. выступает в качестве устройства декодирования изображений настоящего изобретения), и затем модуль ex358 отображения отображает, например, видеоизображения и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, через модуль ex359 управления ЖК-дисплеем. Кроме того, процессор ex354 аудиосигналов декодирует аудиосигнал, и модуль ex357 аудиовывода предоставляет аудио.

[0228] Кроме того, аналогично телевизионному приемнику ex300, терминал, такой как сотовый телефон ex114, вероятно, имеет 3 типа реализованных конфигураций, включающих в себя не только (i) приемо-передающий терминал, включающий в себя как устройство кодирования, так и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании цифровая широковещательная система ex200 принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные в описании, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, а символьных данных, связанных с видео, в видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

[0229] По сути, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления могут использоваться в любых из описанных устройств и систем. Таким образом, могут быть получены преимущества, описанные в каждом из вариантов осуществления.

[0230] Кроме того, настоящее изобретение не ограничено вариантами осуществления, и различные модификации и исправления возможны без отступления от объема настоящего изобретения.

[0231] Вариант 9 осуществления

Видеоданные могут быть сформированы посредством переключения, по мере необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с другим стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1.

[0232] Здесь, когда множество видеоданных, которые соответствуют различным стандартам, формируется и затем декодируется, способы декодирования должны быть выбраны таким образом, что они соответствуют различным стандартам. Тем не менее, поскольку не может быть обнаружено то, какому стандарту соответствуют каждые из множества из видеоданных, которые должны быть декодированы, имеется проблема в том, что не может быть выбран надлежащий способ декодирования.

[0233] Чтобы разрешать проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую то, какому стандарту соответствуют видеоданные. Далее описывается конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные в способе кодирования движущихся изображений и посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортных потоков MPEG-2.

[0234] Фиг. 32 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 32, мультиплексированные данные могут быть получены посредством мультиплексирования, по меньшей мере, одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток (IG) представляет часть первичного аудио и часть вторичного аудио, которая должна смешиваться с частью первичного аудио, а поток презентационной графики представляет субтитры фильма. Здесь, первичное видео является обычным видео, которое должно отображаться на экране, а вторичное видео является видео, которое должно отображаться в меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, который должен быть сформирован посредством размещения GUI-компонентов на экране. Видеопоток кодируется в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления, либо в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений в соответствии с традиционным стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии с таким стандартом, как AC-3 Dolby, Dolby Digital Plus, MLP, DTS, DTS-HD и линейная PCM.

[0235] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0x1011 выделяется видеопотоку, который должен быть использован для видео фильма, 0x1100-0x111F выделяются аудиопотокам, 0x1200-0x121F выделяются потокам презентационной графики, 0x1400-0x141F выделяются потокам интерактивной графики, 0x1B00-0x1B1F выделяются видеопотокам, которые должны быть использованы для вторичного видео фильма, и 0x1A00-0x1A1F выделяются аудиопотокам, которые должны быть использованы для вторичного видео, которое должно смешиваться с первичным аудио.

[0236] Фиг. 33 схематично иллюстрирует то, как мультиплексируются данные. Во-первых, видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток PES-пакетов ex236 и поток PES-пакетов ex239 и дополнительно в TS-пакеты ex237 и TS-пакеты ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразуются в поток PES-пакетов ex242 и поток PES-пакетов ex245 и дополнительно в TS-пакеты ex243 и TS-пакеты ex246, соответственно. Эти TS-пакеты мультиплексируются в поток, чтобы получать мультиплексированные данные ex247.

[0237] Фиг. 34 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов. Первая панель на фиг. 34 показывает поток видеокадров в видеопотоке. Вторая панель показывает поток PES-пакетов. Как указано посредством стрелок, обозначенных как yy1, yy2, yy3 и yy4 на фиг. 24, видеопоток разделяется на изображения, такие как I-изображения, B-изображения и P-изображения, каждое из которых является единицей видеопредставления, и изображения сохраняются в рабочих данных каждого из PES-пакетов. Каждый из PES-пакетов имеет PES-заголовок, и PES-заголовок сохраняет временную метку представления (PTS), указывающую время отображения изображения, и временную метку декодирования (DTS), указывающую время декодирования изображения.

[0238] Фиг. 35 иллюстрирует формат TS-пакетов, которые должны быть в итоге записаны в мультиплексированные данные. Каждый из TS-пакетов является 188-байтовым пакетом фиксированной длины, включающим в себя 4-байтовый TS-заголовок, имеющий такую информацию, как PID для идентификации потока, и 184-байтовые рабочие TS-данные для сохранения данных. PES-пакеты разделяются и сохраняются в рабочих данных TS, соответственно. Когда используется BD-ROM, каждому из TS-пакетов присваивается 4-байтовый TP_Extra_Header, тем самым приводя к 192-байтовым исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит такую информацию, как Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из TS-пакетов должен быть передан в PID-фильтр. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 35. Номера, увеличивающиеся с заголовка мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0239] Каждый из TS-пакетов, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и т.п., но также и таблицу ассоциаций программ (PAT), таблицу структуры программ (PMT) и временную отметку программ (PCR). PAT показывает то, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самого PAT регистрируется как нуль. PMT сохраняет PID потоков видео, аудио, субтитров и т.п., включенных в мультиплексированные данные, и информацию атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы, связанные с мультиплексированными данными. Дескрипторы имеют такую информацию, как информация управления копированием, показывающая то, разрешено или нет копирование мультиплексированных данных. PCR сохраняет информацию STC-времени, соответствующую ATS, показывающей, когда PCR-пакет передается в декодер, чтобы достигать синхронизации между таймером поступления (ATC), т.е. временной осью ATS, и системным таймером (STC), т.е. временной осью PTS и DTS.

[0240] Фиг. 36 подробно поясняет структуру данных PMT. PMT-заголовок располагается в верхней части PMT. PMT-заголовок описывает длину данных, включенных в PMT, и т.п. Множество дескрипторов, связанных с мультиплексированными данными, располагается после PMT-заголовка. Информация, такая как информация управления копированием, описывается в дескрипторах. После дескрипторов располагается множество фрагментов информации потока, связанных с потоками, включенными в мультиплексированные данные. Каждый фрагмент информации потока включает в себя дескрипторы потоков, каждый из которых описывает такую информацию, как тип потока для идентификации кодека сжатия потока, PID потока и информация атрибутов потока (такая как частота кадров или соотношение сторон). Дескрипторы потоков по числу равны числу потоков в мультиплексированных данных.

[0241] Когда мультиплексированные данные записываются на носителе записи и т.д., они записываются вместе с файлами информации мультиплексированных данных.

[0242] Каждый из файлов информации мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на фиг. 37. Файлы информации мультиплексированных данных находятся в соответствии "один-к-одному" с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту вхождений.

[0243] Как проиллюстрировано на фиг. 37, мультиплексированные данные включает в себя системную скорость, время начала воспроизведения и время завершения воспроизведения. Системная скорость указывает максимальную скорость передачи, на которой декодер системных целевых объектов, который должен быть описан ниже, передает мультиплексированные данные в PID-фильтр. Интервалы ATS, включенных в мультиплексированные данные, задаются не больше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в заголовке мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS задается равным времени завершения воспроизведения.

[0244] Как показано на фиг. 38, фрагмент информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждый фрагмент информации атрибутов имеет различную информацию в зависимости от того, является соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждый фрагмент информации атрибутов видеопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия видеопотока, а также разрешение, соотношение сторон и частоту кадров фрагментов данных изображений, которые включаются в видеопоток. Каждый фрагмент информации атрибутов аудиопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток, и насколько высокой является частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера до того, как проигрыватель воспроизводит информацию.

[0245] В настоящем варианте осуществления мультиплексированные данные, которые должны быть использованы, имеют тип потока, включенный в PMT. Кроме того, когда мультиплексированные данные записываются на носителе записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанные в каждом из вариантов осуществления, включают в себя этап или модуль для выделения уникальных видеоданных, указывающих информацию, сформированную посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, для типа потока, включенного в PMT, или информации атрибутов видеопотока. При этой конфигурации, видеоданные, сформированные посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, могут отличаться от видеоданных, которые соответствуют другому стандарту.

[0246] Кроме того, фиг. 39 иллюстрирует этапы способа декодирования движущихся изображений согласно настоящему варианту осуществления. На этапе exS100, тип потока, включенный в PMT или информацию атрибутов видеопотока, получается из мультиплексированных данных. Затем, на этапе exS101, определяется то, указывает или нет тип потока либо информация атрибутов видеопотока то, что мультиплексированные данные формируются посредством способа кодирования видео или устройства кодирования видео в каждом из вариантов осуществления. Когда определяется то, что тип потока или информация атрибутов видеопотока указывают то, что мультиплексированные данные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, на этапе exS102, декодирование выполняется посредством способа декодирования движущихся изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывает соответствие традиционным стандартам, таким как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS103, декодирование выполняется посредством способа декодирования движущихся изображений в соответствии с традиционными стандартами.

[0247] Также, выделение нового уникального значения для типа потока или информации атрибутов видеопотока обеспечивает определение того, могут или нет выполнять декодирование способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описываются в каждом из вариантов осуществления. Даже когда мультиплексированные данные соответствуют другому стандарту, может быть выбран надлежащий способ или устройство декодирования. Таким образом, появляется возможность декодировать информацию без ошибок. Кроме того, способ или устройство кодирования движущихся изображений либо способ или устройство декодирования движущихся изображений в настоящем варианте осуществления могут быть использованы в устройствах и системах, описанных выше.

[0248] Вариант 10 осуществления

Каждый из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений и устройства декодирования движущихся изображений в каждом из вариантов осуществления типично осуществляется в форме интегральной схемы или большой интегральной (LSI) схемы. В качестве примера LSI, фиг. 40 иллюстрирует конфигурацию LSI ex500, которая состоит из одного кристалла. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и элементы соединяются друг с другом через шину ex510. Модуль ex505 схемы электропитания активируется посредством предоставления в каждый из элементов питания, когда модуль ex505 схемы электропитания включается.

[0249] Например, когда выполняется кодирование, LSI ex500 принимает AV-сигнал из микрофона ex117, камеры ex113 и т.п. через AV-ввод/вывод ex509 под управлением модуля ex501 управления, включающего в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504 и модуль ex512 управления частотой возбуждения. Принимаемый AV-сигнал временно сохраняется во внешнем запоминающем устройстве ex511, к примеру, SDRAM. Под управлением модуля ex501 управления, сохраненные данные сегментируются на части данных согласно объему и скорости обработки так, что они передаются в процессор ex507 сигналов. Затем, процессор ex507 сигналов кодирует аудиосигнал и/или видеосигнал. Здесь, кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, процессор ex507 сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и потоковый ввод-вывод ex506 предоставляет мультиплексированные данные наружу. Предоставляемый поток битов передается в базовую станцию ex107 или записывается на носителе ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508 так, что наборы данных являются синхронизированными друг с другом.

[0250] Хотя запоминающее устройство ex511 является элементом за пределами LSI ex500, оно может быть включено в LSI ex500. Буфер ex508 не ограничен одним буфером, а может состоять из буферов. Кроме того, LSI ex500 может состоять из одного кристалла или множества кристаллов.

[0251] Кроме того, хотя модуль ex501 управления включает в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504, модуль ex512 управления частотой возбуждения, конфигурация модуля ex501 управления не ограничена этой. Например, процессор ex507 сигналов дополнительно может включать в себя CPU. Включение другого CPU в процессор ex507 сигналов может повышать скорость обработки. Кроме того, в качестве другого примера, CPU ex502 может выступать в качестве или быть частью процессора ex507 сигналов и, например, может включать в себя процессор аудиосигналов. В таком случае, модуль ex501 управления включает в себя процессор ex507 сигналов или CPU ex502, включающий в себя часть процессора ex507 сигналов.

[0252] Используемым здесь названием является LSI, но она также может называться IC, системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0253] Кроме того, способы достигать интеграции не ограничены LSI, и специальная схема или процессор общего назначения и т.д. также позволяет достигать интеграции. Программируемая пользователем вентильная матрица (FPGA), которая может программироваться после изготовления LSI, или реконфигурируемый процессор, который дает возможность переконфигурирования подключения или конфигурации LSI, может использоваться для аналогичной цели.

[0254] В будущем, с развитием полупроводниковых технологий совершенно новая технология может заменять LSI. Функциональные блоки могут быть интегрированы с использованием этой технологии. Имеется возможность того, что настоящее изобретение применимо к биотехнологии.

[0255] Вариант 11 осуществления

Когда декодируются видеоданные, сформированные в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, объем обработки, вероятно, возрастает. Таким образом, LSI ex500 должна задаваться на частоте возбуждения, превышающей частоту CPU ex502, которая должна быть использована, когда видеоданные декодируются в соответствии с традиционным стандартом. Тем не менее, когда частота возбуждения задается большей, имеется проблема в том, что возрастает энергопотребление.

[0256] Чтобы разрешать проблему, устройство декодирования движущихся изображений, такое как телевизионный приемник ex300 и LSI ex500, выполнено с возможностью определять то, какому стандарту соответствуют видеоданные, и переключаться между частотами возбуждения согласно определенному стандарту. Фиг. 41 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной высокой частоте возбуждения, когда видеоданные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения видеоданных, сформированных посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex802 декодирования, который соответствует традиционному стандарту, декодировать видеоданные.

[0257] Более конкретно, модуль ex803 переключения частоты возбуждения включает в себя CPU ex502 и модуль ex512 управления частотой возбуждения на фиг. 40. Здесь, каждый из процессора ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и процессора ex802 декодирования, который соответствует традиционному стандарту, соответствует процессору ex507 сигналов на фиг. 40. CPU ex502 определяет то, какому стандарту соответствуют видеоданные. Затем, модуль ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала из CPU ex502. Кроме того, процессор ex507 сигналов декодирует видеоданные на основе сигнала из CPU ex502. Например, идентификационная информация, описанная в варианте 9 осуществления, вероятно, используется для идентификации видеоданных. Идентификационная информация не ограничена идентификационной информацией, описанной в варианте 9 осуществления, а может быть любой информацией при условии, что информация указывает то, какому стандарту соответствуют видеоданные. Например, когда то, какому стандарту соответствуют стандартные видеоданные, может быть определено на основе внешнего сигнала для определения того, что видеоданные используются для телевизионного приемника или диска и т.д., определение может выполняться на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения, как показано на фиг. 43. Частота возбуждения может быть выбрана посредством сохранения таблицы поиска в буфере ex508 и внутреннем запоминающем устройстве LSI и при обращении к таблице поиска посредством CPU ex502.

[0258] Фиг. 42 иллюстрирует этапы для осуществления способа в настоящем варианте осуществления. Во-первых, на этапе exS200, процессор ex507 сигналов получает идентификационную информацию из мультиплексированных данных. Затем, на этапе exS201, CPU ex502 определяет на основе идентификационной информации то, формируются или нет видеоданные посредством способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для задания частоты возбуждения равной большей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной большей частоте возбуждения. С другой стороны, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS203, CPU ex502 передает сигнал для задания частоты возбуждения равной меньшей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения в случае, если видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления.

[0259] Кроме того, наряду с переключением частот возбуждения, энергосберегающий эффект может быть повышен посредством изменения напряжения, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500. Например, когда частота возбуждения задается меньшей, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается равным напряжению, меньшему напряжения в случае, если частота возбуждения задается большей.

[0260] Кроме того, когда объем обработки для декодирования больше, частота возбуждения может задаваться большей, а когда объем обработки для декодирования меньше, частота возбуждения может задаваться меньшей в качестве способа для задания частоты возбуждения. Таким образом, способ задания не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC превышает объем обработки для декодирования видеоданных, сформированных посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, частота возбуждения, вероятно, задается в обратном порядке относительно задания, описанного выше.

[0261] Кроме того, способ для задания частоты возбуждения не ограничен способом для задания частоты возбуждения меньшей. Например, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается большим. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается меньшим. В качестве другого примера, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, возбуждение CPU ex502, вероятно, не должно приостанавливаться. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, возбуждение CPU ex502, вероятно, приостанавливается в данное время, поскольку CPU ex502 имеет дополнительную производительность обработки. Даже когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, в случае если CPU ex502 имеет дополнительную производительность обработки, возбуждение CPU ex502, вероятно, приостанавливается в данное время. В таком случае, время приостановки, вероятно, задается меньшим времени приостановки в случае, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1.

[0262] Соответственно, энергосберегающий эффект может быть повышен посредством переключения между частотами возбуждения согласно стандарту, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, возбуждается с использованием аккумулятора, время работы от аккумулятора может быть продлено за счет энергосберегающего эффекта.

[0263] Вариант 12 осуществления

Возникают случаи, когда множество видеоданных, которые соответствуют различным стандартам, предоставляются в устройства и системы, такие как телевизионный приемник и мобильный телефон. Чтобы обеспечивать декодирование множества видеоданных, которые соответствуют различным стандартам, процессор ex507 сигналов LSI ex500 должен соответствовать различным стандартам. Тем не менее, проблемы увеличения масштаба схемы LSI ex500 и роста затрат возникают при отдельном использовании процессоров ex507 сигналов, которые соответствуют соответствующим стандартам.

[0264] Чтобы разрешать проблему, задумана конфигурация, в которой частично совместно используются процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, и процессор декодирования, который соответствует традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1. Ex900 на фиг. 44A показывает пример конфигурации. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который соответствует MPEG-4 AVC, имеют, частично совместно, сведения по обработке, такой как энтропийное кодирование, обратное квантование, фильтрация для удаления блочности и прогнозирование с компенсацией движения. Сведения по обработке, которая должна совместно использоваться, вероятно, включают в себя использование процессора ex902 декодирования, который соответствует MPEG-4 AVC. Напротив, выделенный процессор ex901 декодирования, вероятно, используется для другой обработки, уникальной для настоящего изобретения. Поскольку настоящее изобретение отличается посредством обработки энтропийного декодирования, в частности, например, выделенный процессор ex901 декодирования используется для обработки энтропийного декодирования. В противном случае, процессор декодирования, вероятно, совместно используется для одного из обратного квантования, фильтрации для удаления блочности и компенсации движения либо для всей обработки. Процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, может быть совместно использован для обработки, которая должна совместно использоваться, и выделенный процессор декодирования может использоваться для обработки, уникальной для MPEG-4 AVC.

[0265] Кроме того, ex1000 на фиг. 44B показывает другой пример, в котором обработка частично используется совместно. Этот пример использует конфигурацию, включающую в себя выделенный процессор ex1001 декодирования, который поддерживает обработку, уникальную для настоящего изобретения, выделенный процессор ex1002 декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и процессор ex1003 декодирования, который поддерживает обработку, которая должна совместно использоваться способом декодирования движущихся изображений настоящего изобретения и традиционным способом декодирования движущихся изображений. Здесь, выделенные процессоры ex1001 и ex1002 декодирования не обязательно являются специализированными для обработки настоящего изобретения и обработки по традиционному стандарту, соответственно, и могут быть процессорами, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством LSI ex500.

[0266] Так же, уменьшение масштаба схемы LSI и сокращение затрат возможно за счет совместного использования процессора декодирования для обработки, которая должна совместно использоваться способом декодирования движущихся изображений настоящего изобретения и способом декодирования движущихся изображений в соответствии с традиционным стандартом.

Промышленная применимость

[0267] Настоящее изобретение может применяться к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений и устройствам декодирования изображений. Настоящее изобретение также является применимым к устройствам отображения информации высокого разрешения или устройствам формирования изображений, таким как телевизионные приемники, цифровые записывающие видеоустройства, автомобильные навигационные системы, портативные телефоны, цифровые камеры и цифровые записывающие видеокамеры, каждая из которых включает в себя устройство кодирования изображений.

Список ссылочных позиций

[0268] 100 – устройство кодирования изображений

101 – сигнал входного изображения

110 – модуль вычитания

111 – сигнал ошибки прогнозирования

120 – модуль преобразования

130 – модуль квантования

131, 231 – коэффициент квантования

140, 240 – модуль обратного квантования

141, 241 – декодированный выходной сигнал преобразования

150, 250 – модуль обратного преобразования

151, 251 – декодированный входной сигнал преобразования

160, 260 – сумматор

161, 261 – декодированный сигнал

170, 270 – запоминающее устройство

180, 280 – модуль прогнозирования

181, 281 – сигнал прогнозирования

190 – модуль энтропийного кодирования

191 – кодированный сигнал

200 – устройство декодирования изображений

290, 290A, 290B – модуль энтропийного декодирования

291 – кодированный сигнал

311 – модуль ветвления

312 – модуль декодирования дерева информации разбиения

313 – запоминающее устройство TUS

314 – запоминающее устройство CBF

315 – модуль декодирования дерева коэффициентов преобразования

316 – модуль декодирования коэффициентов преобразования

317 – модуль декодирования унифицированного дерева преобразования

321 – кодированная управляющая информация

322 – кодированный коэффициент преобразования

Изобретение относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является повышение эффективности кодирования изображений. Способ кодирования изображений содержит этапы: вычитания сигнала прогнозирования из сигнала входного изображения для каждой единицы кодирования, тем самым формируя соответствующие сигналы ошибки прогнозирования; выполнения ортогонального преобразования и квантования для соответствующего одного из сигналов ошибки прогнозирования для каждой единицы преобразования, в конечном счете формируя коэффициенты квантования; и кодирования фрагментов управляющей информации, указывающей структуру единиц преобразования, и коэффициентов квантования в древовидную структуру. 2 н.п. ф-лы, 44 ил.

1. Способ кодирования изображений, содержащий этапы, на которых:

кодируют изображение, чтобы формировать коэффициенты квантования и фрагменты управляющей информации, причем коэффициенты квантования соответствуют надлежащей одной из единиц преобразования, а фрагменты управляющей информации указывают конфигурацию единиц преобразования;

выполняют внутреннее или взаимное прогнозирование, чтобы формировать блок прогнозирования, причем блок прогнозирования формируют с использованием коэффициентов ранее кодированного блока,

изображение рекурсивно разбивают на блок, имеющий древовидную структуру, и из этого блока вычитают блок прогнозирования, чтобы формировать сигналы ошибки прогнозирования единиц преобразования;

преобразуют и квантуют сигналы ошибки прогнозирования, чтобы формировать коэффициенты квантования;

располагают коэффициенты квантования и фрагменты управляющей информации на надлежащем одном из концевых узлов в древовидной структуре,

причем кодирование включает в себя этап, на котором для каждого из концевых узлов кодируют фрагмент управляющей информации и коэффициент квантования, которые размещаются последовательно в кодированном сигнале.

2. Устройство кодирования изображений, содержащее:

модуль кодирования, выполненный с возможностью кодировать изображение, чтобы формировать коэффициенты квантования и фрагменты управляющей информации, причем коэффициенты квантования соответствуют надлежащей одной из единиц преобразования, а фрагменты управляющей информации указывают конфигурацию единиц преобразования;

модуль внутреннего или взаимного прогнозирования, выполненный с возможностью формировать блок прогнозирования, причем блок прогнозирования формируют с использованием коэффициентов ранее кодированного блока,

модуль формирования, выполненный с возможностью рекурсивно разбивать изображение на блок, имеющий древовидную структуру, и вычитать из этого блока блок прогнозирования, чтобы формировать сигналы ошибки прогнозирования единиц преобразования;

модуль преобразования, выполненный с возможностью преобразовывать и квантовать сигналы ошибки прогнозирования, чтобы формировать коэффициенты квантования;

причем коэффициенты квантования и фрагменты управляющей информации располагаются на надлежащем одном из концевых узлов в древовидной структуре и

модуль кодирования выполнен с возможностью для каждого из концевых узлов кодировать фрагмент управляющей информации и коэффициент квантования, которые размещаются последовательно в кодированном сигнале.