СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК H04N19/136 H04N19/91 H04N19/82 G06T9/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение имеет отношение к способу кодирования изображений и способу декодирования изображений, в частности к арифметическому кодированию и арифметическому декодированию параметров адаптивного к выборке смещения (SAO).

УРОВЕНЬ ТЕХНИКИ

В последние годы с быстрым усовершенствованием технологий устройств цифрового видео стало больше возможностей для кодирования со сжатием видеосигналов (движущихся графических изображений временной последовательности) и записи получающихся в результате видеосигналов на носители записи, такие как цифровой универсальный диск (DVD) или жесткий диск, или распространения их в сети. Примером стандартов кодирования изображений является стандарт H.264/AVC (MPEG 4 AVC). Стандарт высокоэффективного кодирования видео (HEVC) был недавно исследован в качестве стандарта нового поколения (см., например, не патентную литературу 1).

СПИСОК ЛИТЕРАТУРЫ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[Непатентная литература 1] Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April - 7 May 2012 JCTVC-I1003, Title: High efficiency video coding (HEVC) text specification draft 7 http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v2.zip

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Для такого способа кодирования изображений и способа декодирования изображений потребовалось сократить объем обработки при подавлении ухудшения эффективности кодирования.

Настоящее изобретение обеспечивает способ кодирования изображений и способ декодирования изображений, каждый из которых способен сократить объем обработки при подавлении ухудшения эффективности кодирования.

РЕШЕНИЕ ПРОБЛЕМЫ

В одном общем аспекте раскрытые здесь методики представляют способ кодирования изображений, включающий в себя: выполнение обработки адаптивного к выборке смещения (SAO) над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, который должен быть кодирован; выполнение арифметического кодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки SAO; и выполнение арифметического кодирования над параметром SAO для целевого блока, когда параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока, причем при выполнении арифметического кодирования над первым флагом арифметическое кодирование выполняется над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr посредством использования единственного контекста.

Эти общие и частные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как компакт-диск (CD-ROM), или любой комбинации систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.

БЛАГОПРИЯТНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Настоящее изобретение обеспечивает способ кодирования изображений и способ декодирования изображений, каждый из которых способен сократить объем обработки при подавлении ухудшения эффективности кодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема устройства кодирования изображений в соответствии с вариантом осуществления 1.

Фиг. 2 - блок-схема последовательности операций кодирования изображений в соответствии с вариантом осуществления 1.

Фиг. 3 - блок-схема модуля кодирования параметра SAO с переменной длиной слова в соответствии с вариантом осуществления 1.

Фиг. 4 - блок-схема последовательности операций кодирования параметра SAO с переменной длиной слова в соответствии с вариантом осуществления 1.

Фиг. 5 - блок-схема модуля кодирования sao_merge_left_flag в соответствии с вариантом осуществления 1.

Фиг. 6 - блок-схема последовательности операций кодирования sao_merge_left_flag в соответствии с вариантом осуществления 1.

Фиг. 7 - блок-схема последовательности операций способа кодирования изображений в соответствии с вариантом осуществления 1.

Фиг. 8 - таблица, показывающая результаты оценки способа кодирования изображений в соответствии с вариантом осуществления 1.

Фиг. 9 - блок-схема устройства декодирования изображений в соответствии с вариантом осуществления 2.

Фиг. 10 - блок-схема последовательности операций декодирования изображений в соответствии с вариантом осуществления 2.

Фиг. 11 - блок-схема модуля декодирования параметра SAO с переменной длиной слова в соответствии с вариантом осуществления 2.

Фиг. 12 - блок-схема последовательности операций декодирования параметра SAO с переменной длиной слова в соответствии с вариантом осуществления 2.

Фиг. 13 - блок-схема модуля декодирования sao_merge_left_flag в соответствии с вариантом осуществления 2.

Фиг. 14 - блок-схема последовательности операций декодирования sao_merge_left_flag в соответствии с вариантом осуществления 2.

Фиг. 15 - блок-схема последовательности операций способа декодирования изображений в соответствии с вариантом осуществления 2.

Фиг. 16 показывает общую конфигурацию системы обеспечения контента для реализации службы распространения контента.

Фиг. 17 показывает общую конфигурацию системы цифрового вещания.

Фиг. 18 показывает блок-схему, иллюстрирующую пример конфигурации телевизора.

Фиг. 19 показывает блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который записывает и считывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 20 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 21A показывает пример сотового телефона.

Фиг. 21B - блок-схема, показывающая пример конфигурации сотового телефона.

Фиг. 22 иллюстрирует структуру мультиплексированных данных.

Фиг. 23 схематично показывает, каким образом каждый поток мультиплексирован в мультиплексированных данных.

Фиг. 24 более подробно показывает, каким образом видеопоток хранится в потоке пакетов PES.

Фиг. 25 показывает структуру пакетов TS и пакетов источника в мультиплексированных данных.

Фиг. 26 показывает структуру данных PMT.

Фиг. 27 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 28 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 29 показывает этапы для идентификации видеоданных.

Фиг. 30 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся графических изображений и способа декодирования движущихся графических изображений в соответствии с каждым из вариантов осуществления.

Фиг. 31 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 32 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 33 показывает пример таблицы поиска, в которой стандарты видеоданных связаны с частотами возбуждения.

Фиг. 34A - схема, показывающая пример конфигурации для совместного использования узла модуля обработки сигналов.

Фиг. 34B - схема, показывающая другой пример конфигурации для совместного использования узла модуля обработки сигналов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

(ОСНОВОПОЛАГАЮЩИЕ ЗНАНИЯ, ФОРМИРУЮЩИЕ ОСНОВУ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ)

Относительно традиционного способа кодирования изображений авторы изобретения обнаружили следующую проблему.

Настоящий стандарт HEVC (непатентная литература 1) определяет обработку, называемую обработка адаптивного к выборке смещения (SAO). В обработке SAO соответствующее значение смещения добавляется к каждому из пикселей в изображении, сформированном посредством декодирования битового потока. Обработка SAO способна более точно воспроизвести исходное изображение, которое еще не было кодировано, и в конечном счете сократить ухудшение качества изображения, вызванное кодированием.

В арифметическом кодировании в соответствии со стандартом HEVC устройство кодирования изображений выбирает контекст для каждого сигнала, который должен быть кодирован. Вероятность появления символа определяется на основе выбранного контекста.

Однако авторы этого документа обнаружили, что традиционный способ нуждается в большом количестве контекстов при арифметическом кодировании, и поэтому заставляет память иметь достаточно большой размер, чтобы содержать эти контексты.

Чтобы решить описанную выше проблему, в соответствии с аспектом настоящего изобретения обеспечен способ кодирования изображений, включающий в себя: выполнение обработки адаптивного к выборке смещения (SAO) над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, который должен быть кодирован; выполнение арифметического кодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки SAO; и выполнение арифметического кодирования над параметром SAO для целевого блока, когда параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока, причем при выполнении арифметического кодирования над первым флагом арифметическое кодирование выполняется над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr посредством использования единственного контекста.

Таким образом, способ кодирования изображений использует единственный контекст при выполнении арифметического кодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. В результате способ кодирования изображений способен сократить количество используемых контекстов по сравнению со случаем, в котором разные контексты используются для выполнения арифметического кодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. Кроме того, способ кодирования изображений способен сократить объем обработки. Таким образом, способ кодирования изображений способен сократить объем обработки при подавлении ухудшения эффективности кодирования.

Например, возможно, что способ кодирования изображений дополнительно включает в себя выполнение арифметического кодирования над вторым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего сверху блока, находящегося непосредственно над целевым блоком, причем при выполнении арифметического кодирования над первым флагом и выполнении арифметического кодирования над вторым флагом один и тот же способ определения контекста используется для определения обоих: контекста, который должен быть использован при арифметическом кодировании над первым флагом; и контекста, который должен быть использован при арифметическом кодировании над вторым флагом.

В способе кодирования изображений один и тот же способ определения контекста используется для первого флага и второго флага. В результате одна и та же схема может быть совместно использована первым флагом и вторым флагом. В результате устройство кодирования изображений может быть упрощено.

Например, также возможно, что при выполнении арифметического кодирования над первым флагом используется единственный контекст для выполнения арифметического кодирования над: первым флагом яркости, который является первым флагом для сигнала яркости; первым флагом Cb, который является первым флагом для сигнала цветности Cb; и первым флагом Cr, который является первым флагом для сигнала цветности Cr.

Например, дополнительно возможно, что при выполнении арифметического кодирования над первым флагом используется единственный контекст для выполнения арифметического кодирования над единственным первым флагом, совместно используемым сигналом яркости, сигналом цветности Cb и сигналом цветности Cr.

Например, также дополнительно возможно, что при выполнении обработки SAO каждый из пикселей, включенных в целевой блок, классифицируется в одну из категорий, к упомянутому каждому из пикселей добавляется значение смещения, соответствующее классифицированной одной из категорий, и параметр SAO включает в себя: информацию, указывающую способ классификации по категориям; и информацию, указывающую значение смещения.

В соответствии с другим аспектом настоящего изобретения обеспечен способ декодирования изображений, включающий в себя: выполнение арифметического декодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока, который должен быть декодирован, параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки адаптивного к выборке смещения (SAO); выполнение арифметического декодирования над параметром SAO для целевого блока, когда первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока; и выполнение в соответствии с первым флагом обработки SAO над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, посредством использования одного из: параметра SAO для целевого блока, к которому было применено арифметическое декодирование; и параметра SAO для соседнего слева блока, причем при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

Таким образом, способ декодирования изображений использует единственный контекст при выполнении арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. В результате способ декодирования изображений способен сократить количество используемых контекстов по сравнению со случаем, в котором используются разные контексты для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. Кроме того, способ декодирования изображений способен сократить объем обработки. Таким образом, способ декодирования изображений способен сократить объем обработки при подавлении ухудшения эффективности кодирования.

Например, возможно, что способ декодирования изображений дополнительно включает в себя выполнение арифметического декодирования над вторым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего сверху блока, находящегося непосредственно над целевым блоком, причем при выполнении арифметического декодирования над первым флагом и выполнении арифметического декодирования над вторым флагом используется один и тот же способ определения контекста для определения обоих: контекста, который должен быть использован при арифметическом декодировании над первым флагом; и контекста, который должен быть использован при арифметическом декодировании над вторым флагом.

В способе декодирования изображений один и тот же способ определения контекста используется для первого флага и второго флага, и, таким образом, одна и та же схема может быть совместно использована первым флагом и вторым флагом. В результате устройство декодирования изображений может быть упрощено.

Например, также возможно, что при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над: первым флагом яркости, который является первым флагом для сигнала яркости; первым флагом Cb, который является первым флагом для сигнала цветности Cb; и первым флагом Cr, который является первым флагом для сигнала цветности Cr.

Например, дополнительно возможно, что при выполнении арифметического декодирования над первым флагом единственный контекст используется при арифметическом декодировании над единственным первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

Например, также дополнительно возможно, что при выполнении обработки SAO каждый из пикселей, включенных в целевой блок, классифицируется в одну из категорий, к упомянутому каждому из пикселей добавляется значение смещения, соответствующее классифицированной одной из категорий, и параметр SAO включает в себя: информацию, указывающую способ классификации по категориям; и информацию, указывающую значение смещения.

В соответствии еще с одним аспектом настоящего изобретения обеспечено устройство кодирования изображений, содержащее: схему управления; и средство хранения, доступное из схемы управления, причем схема управления исполняет способ кодирования изображений, включающий в себя: выполнение обработки адаптивного к выборке смещения (SAO) над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, который должен быть кодирован; выполнение арифметического кодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки SAO; и выполнение арифметического кодирования над параметром SAO для целевого блока, когда параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока, причем при выполнении арифметического кодирования над первым флагом арифметическое кодирование выполняется над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr посредством использования единственного контекста.

При этом устройство кодирования изображений использует единственный контекст при выполнении арифметического кодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. В результате устройство кодирования изображений способно сократить количество используемых контекстов по сравнению со случаем, в котором используются разные контексты для выполнения арифметического кодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. Кроме того, устройство кодирования изображений способно сократить объем обработки. Таким образом, устройство кодирования изображений способно сократить объем обработки при подавлении ухудшения эффективности кодирования.

В соответствии еще с одним аспектом настоящего изобретения обеспечено устройство декодирования изображений, включающее в себя: схему управления; и средство хранения, доступное из схемы управления, причем схема управления исполняет способ декодирования изображений, включающий в себя: выполнение арифметического декодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока, который должен быть декодирован, параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки адаптивного к выборке смещения (SAO); выполнение арифметического декодирования над параметром SAO для целевого блока, когда первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока; и выполнение в соответствии с первым флагом обработку SAO над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, посредством использования одного из: параметра SAO для целевого блока, к которому было применено арифметическое декодирование; и параметра SAO для соседнего слева блока, причем при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

При этом устройство декодирования изображений использует единственный контекст при выполнении арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. В результате устройство декодирования изображений способно сократить количество используемых контекстов по сравнению со случаем, в котором используются разные контексты для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. Кроме того, устройство декодирования изображений способно сократить объем обработки. Таким образом, способ декодирования изображений способен сократить объем обработки при подавлении ухудшения эффективности кодирования.

В соответствии еще с одним аспектом настоящего изобретения обеспечено устройство кодирования и декодирования изображений, включающее в себя вышеописанное устройство кодирования изображений и вышеописанное устройство декодирования изображений.

Эти общие и частные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как компакт-диск (CD-ROM), или любой комбинации систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.

Далее некоторые иллюстративные варианты осуществления устройства кодирования изображений и устройства декодирования изображений описаны со ссылкой на приложенные чертежи.

Каждый из описанных ниже иллюстративных вариантов осуществления показывает пример настоящего изобретения. Численные значения, формы, материалы, структурные элементы, размещение и соединение структурных элементов, этапов, порядок обработки этапов и т.д., показанные в последующих иллюстративных вариантах осуществления, являются простыми примерами, и поэтому не ограничивают объем настоящего изобретения. Таким образом, среди структурных элементов в последующих иллюстративных вариантах осуществления, структурные элементы, не описанные в каком-либо из независимых пунктов формулы изобретения, описаны как произвольные структурные элементы.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 1)

Далее описывается устройство кодирования изображений в соответствии с вариантом осуществления 1

<ОБЩАЯ СТРУКТУРА>

Фиг. 1 является блок-схемой, показывающей структуру устройства 100 кодирования изображений в соответствии с вариантом осуществления 1.

Устройство 100 кодирования изображений, показанное на фиг. 1, кодирует входное изображение 121 для формирования битового потока 125 (кодированного битового потока). Устройство 100 кодирования изображений включает в себя модуль 101 разделения на блоки кодирования, модуль 102 вычитания, модуль 103 преобразования, модуль 104 кодирования коэффициентов с переменной длиной слова, модуль 105 обратного преобразования, модуль 106 сложения, память 107 кадров, модуль 108 предсказания, модуль 109 обработки SAO и модуль 110 кодирования параметра SAO с переменной длиной слова.

<ОБРАБОТКА (ОБЩАЯ)>

Далее со ссылкой на фиг. 2 описана общая последовательность операций.

(ЭТАП S101)

Модуль 101 разделения на блоки кодирования делит входное изображение 121 на блоки 122, которые должны быть кодированы (блоки кодирования), и последовательно обеспечивает блоки 122 кодирования модулю 102 вычитания и модулю 108 предсказания. При этом каждый из блоков 122 кодирования имеет переменный размер. Модуль 101 разделения на блоки кодирования, таким образом, делит входное изображение 121 на блоки 122 кодирования опираясь на особенности входного изображения 121. Например, один блок 122 кодирования имеет минимум 4 пикселя по горизонтали и 4 пикселя по вертикали и максимум 32 пикселя по горизонтали и 32 пикселя по вертикали.

(ЭТАП S102)

Модуль 108 предсказания формирует блок 129 предсказания из блока 122 кодирования и декодированного изображения 128 сохраненного в памяти 107 кадров.

(ЭТАП S103)

Модуль 102 вычитания формирует разностный блок 123, который является разностью между блоком 122 кодирования и блоком 129 предсказания.

(ЭТАП S104)

Модуль 103 преобразования преобразовывает разностный блок 123 в частотные коэффициенты 124.

(ЭТАП S105)

Модуль 105 обратного преобразования преобразовывает частотные коэффициенты 124 в пиксельные данные для воссоздания разностного блока 126.

(ЭТАП S106)

Модуль 106 сложения складывает вместе воссозданный разностный блок 126 и блок 129 предсказания для формирования декодированного блока 127.

(ЭТАП S107)

Модуль 109 обработки SAO формирует параметр 131 SAO для целевых пикселей в декодированном блоке 127 и затем добавляет значения смещения SAO к пикселям в соответствии со формированным параметром SAO, тем самым формируя декодированный блок 130. Модуль 109 обработки SAO сохраняет полученный в результате декодированный блок 130 в памяти 107 кадров.

Более определенно, при добавлении смещения модуль 109 обработки SAO классифицирует каждый из пикселей в одну из категорий, и добавляет значение смещения, соответствующее классифицированной категории, к целевому пикселю. Имеется множество способов классификации. В качестве параметра 131 SAO модуль 109 обработки SAO формирует: sao_type_idx, который является параметром, указывающим способ классификации, применяемый для целевого блока; и sao_offset, указывающее значения смещений. Если параметр 131 SAO для целевого блока идентичен параметру 131 SAO для кодированного блока непосредственно слева от целевого блока, то модуль 109 обработки SAO устанавливает sao_merge_left_flag в 1 для указания этой ситуации.

(ЭТАП S108)

Модуль 110 кодирования параметра SAO с переменной длиной слова выполняет кодирование с переменной длиной слова над параметром 131 SAO, чтобы сформировать битовый поток 125. Этот этап будет описан более подробно ниже по тексту.

(ЭТАП S109)

Модуль 104 кодирования коэффициентов с переменной длиной слова выполняет кодирование с переменной длиной слова над частотными коэффициентами 124, чтобы сформировать битовый поток 125.

(ЭТАП S110)

Обработка от этапа S102 до этапа S109 повторяется, пока не будут кодированы все блоки кодирования в целевом изображении.

Далее более подробно описывается модуль 110 кодирования параметра SAO с переменной длиной слова.

<СТРУКТУРА МОДУЛЯ 110 КОДИРОВАНИЯ ПАРАМЕТРА SAO С ПЕРЕМЕННОЙ ДЛИНОЙ СЛОВА>

Фиг. 3 является блок-схемой, показывающей структуру модуля 110 кодирования параметра SAO с переменной длиной слова. Как показано на фиг. 3, модуль 110 кодирования параметра SAO с переменной длиной слова включает в себя модуль 141 кодирования sao_merge_left_flag, модуль 142 кодирования sao_type_idx и модуль 143 кодирования sao_offset.

<ОБРАБОТКА (КОДИРОВАНИЕ С ПЕРЕМЕННОЙ ДЛИНОЙ СЛОВА)>

Далее со ссылкой на фиг. 4 описана последовательность операций кодирования параметра SAO с переменной длиной слова (этап S108 на фиг. 2).

(ЭТАП S121)

Модуль 141 кодирования sao_merge_left_flag кодирует sao_merge_left_flag. Следует отметить, что обработка от этапа S121 до этапа S124 выполняется для каждой из компоненты Y яркости (сигнала яркости), компоненты Cb цветности (сигнала цветности Cb) и компоненты Cr цветности (сигнала цветности Cr). Это означает, что обработка от этапа S121 до этапа S124 выполняется три раза. В дальнейшем компонента Y яркости, компонента Cb цветности и компонента Cr цветности упоминаются соответственно также как Y, Cb и Cr.

(ЭТАП S122)

Модуль 110 кодирования параметра SAO с переменной длиной слова определяет, равен ли 1 sao_merge_left_flag. Если sao_merge_left_flag равен 1, то модуль 110 кодирования параметра SAO с переменной длиной слова не кодирует ни sao_type_idx, ни sao_offset, и переходит на этап S125. С другой стороны, если флаг sao_merge_left_flag равен 0, то модуль 110 кодирования параметра SAO с переменной длиной слова переходит на этап S123.

(ЭТАП S123)

Модуль 142 кодирования sao_type_idx кодирует sao_type_idx.

(ЭТАП S124)

Модуль 143 кодирования sao_offset кодирует sao_offset.

(ЭТАП S125)

Обработка от этапа S121 до этапа S124 повторяется, пока не будут кодированы соответствующие параметры SAO для Y, Cb и Cr.

Далее более подробно описывается модуль 141 кодирования sao_merge_left_flag.

<СТРУКТУРА МОДУЛЯ 141 КОДИРОВАНИЯ SAO_MERGE_LEFT_FLAG>

Фиг. 5 является блок-схемой, показывающей структуру модуля 141 кодирования sao_merge_left_flag. Как показано на фиг. 5, модуль 141 кодирования sao_merge_left_flag включает в себя модуль 151 переключения контекста, модуль 152 арифметического кодирования контекста-0 и модуль 153 арифметического кодирования контекста-1.

<ОБРАБОТКА (КОДИРОВАНИЕ SAO_MERGE_LEFT_FLAG>

Далее со ссылкой на фиг. 6 более подробно описано кодирование sao_merge_left_flag (этап S121 на фиг. 4).

(ЭТАП S131)

Модуль 151 переключения контекста определяет, относится ли целевой sao_merge_left_flag к компоненте Y яркости. Если целевой sao_merge_left_flag относится к компоненте Y яркости, то обработка переходит на этап S132. Если целевой sao_merge_left_flag относится к компонентам Cb или Cr, то обработка переходит на этап S133.

(ЭТАП S132)

Модуль 152 арифметического кодирования контекста-0 выполняет арифметическое кодирование над sao_merge_left_flag на основе контекста 0, чтобы сформировать битовый поток.

(ЭТАП S133)

Модуль 153 арифметического кодирования контекста-1 выполняет арифметическое кодирование над sao_merge_left_flag на основе контекста 1, чтобы сформировать битовый поток. В настоящем варианте осуществления модуль 141 кодирования sao_merge_left_flag использует два вида контекстов, а именно, контекст 0 и контекст 1, чтобы выполнить арифметическое кодирование над sao_merge_left_flag(s). Модуль 141 кодирования sao_merge_left_flag использует контекст 0 только для sao_merge_left_flag для компоненты Y яркости, но использует контекст 1 и для sao_merge_left_flag для компоненты Cb цветности, и для sao_merge_left_flag для компоненты Cr цветности.

<ЭФФЕКТЫ>

Как описано выше, устройство 100 кодирования изображений в соответствии с настоящим вариантом осуществления использует один и тот же контекст для sao_merge_left_flag для Cb и sao_merge_left_flag для Cr при арифметическом кодировании над sao_merge_left_flag(s). Устройство 100 кодирования изображений, таким образом, может сократить количество контекстов и в конечном счете уменьшить емкость памяти. Кроме того, возможно устранить выбор контекста в соответствии с определением относительно того, является ли целью Cb или Cr, и поэтому устранить определение Cb/Cr. В настоящем стандарте HEVC (непатентная литература 1) считается, что вероятность появления символа sao_merge_left_flag (вероятность, что sao_merge_left_flag равен 1) отличается между Cb и Cr. Таким образом, разные контексты используются для Cb и Cr. Однако авторы настоящего документа провели эксперименты и нашли, что sao_merge_left_flag для Cb и sao_merge_left_flag для Cr коррелируют друг с другом, и что совместное использование одного и того же контекста между Cb и Cr едва ухудшает эффективность кодирования.

Следует отметить, что выше было описано, что устройство 100 кодирования изображений использует один и тот же контекст для Cb и Cr, но также возможно использовать тот же самый контекст для Y, Cb и Cr. Фиг. 7 является блок-схемой последовательности операций способа кодирования изображений, выполняемого устройством 100 кодирования изображений в упомянутом выше случае.

Как показано на фиг. 7, устройство 100 кодирования изображений выполняет обработку SAO для каждого сигнала яркости, сигнала цветности Cb и сигнала цветности Cr, включенных в целевой блок (этап S141). Более определенно, устройство 100 кодирования изображений классифицирует каждый из пикселей, включенных в целевой блок, относя его к одной из категорий, и добавляет значение смещения, соответствующее классифицированной категории, к целевому пикселю. Параметр SAO включает в себя: информацию (sao_type_idx), указывающую способ классификации по категориям; и информацию (sao_offset), указывающую значения смещений. Примеры способа классификации по категориям представляют собой способ смещения полосы для классификации пикселей в соответствии с их значениями, способ смещения края для классификации пикселей в соответствии с направлением края и т.п. sao_type_idx может дополнительно указывать, следует ли выполнять обработку SAO.

Затем устройство 100 кодирования изображений выполняет арифметическое кодирование над первым флагом (sao_merge_left_flag) указывающим, идентичен ли параметр SAO, который указывает подробности обработки SAO, целевого блока параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока (этап S142). При этом устройство 100 кодирования изображений использует единственный контекст при арифметическом кодировании первого флага для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr. При этом контекст представляет собой таблицу, указывающую вероятность появления символа. Контекст обновляется в соответствии с символом, который фактически возникает.

Если параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока, другими словами, если первый флаг равен "0" ("Нет" на этапе S143), то устройство 100 кодирования изображений выполняет арифметическое кодирование над параметром SAO для целевого блока (этап S144).

С другой стороны, если параметр SAO для целевого блока идентичен параметру SAO соседнего слева блока, другими словами, если первый флаг равен "1" ("Да" на этапе S143), то устройство 100 кодирования изображений не выполняет арифметическое кодирование над параметром SAO для целевого блока.

Фиг. 8 является схемой результатов эксперимента способа кодирования изображений в соответствии с вариантом осуществления 1 (методика, использующая один и тот же контекст для Cb и Cr) и способа кодирования изображений в соответствии с изменением 1 (методика, использующая один и тот же контекст для Y, Cb и Cr). Условия эксперимента основаны на общих условиях эксперимента группы стандарта HEVC. Большее численное значение представляет более низкую эффективность кодирования. Отрицательная величина представляет улучшение эффективности кодирования. Как видно на фиг. 8, все значения составляют 0,1% или меньше. Поэтому очевидно, что эффективность кодирования едва уменьшается, даже если количество контекстов сокращено посредством совместного использования контекстов. В изменении 1 часть значений составляет -0,3%. В результате видно, что эффективность кодирования увеличивается. Считается, что sao_merge_left_flag(s) для Y, Cb и Cr коррелируют друг с другом, и, таким образом, вероятность появления символа сходится к соответствующему значению на более ранней стадии кодирования. Кроме того, при использовании одного и того же контекста среди Y, Cb и Cr возможно сократить этапы определения для определения, является ли целью Y или нет, и тем самым сократить объем обработки. Кроме того, количество контекстов может быть дополнительно сокращено.

Кроме того, не только к sao_merge_left_flag, но также и к другому синтаксису, добавленному к битовому потоку, может быть применен способ в соответствии с настоящим вариантом осуществления или способ в соответствии с изменением 1. Другими словами, один и тот же модуль кодирования с переменной длиной слова может быть использован для sao_merge_left_flag и другого синтаксиса. Например, устройство 100 кодирования изображений может использовать sao_merge_up_flag, который указывает, должен ли параметр SAO для блока, смежного с целевым блоком кодирования, быть скопирован для использования и использовать один и тот же контекст для sao_merge_up_flag для Cb и Cr или для sao_merge_up_flag для Y, Cb, и Cr. Унифицируя способы выбора контекста, используемые при арифметическом кодировании над sao_merge_up_flag и sao_merge_left_flag, как описано выше, возможно сократить контексты, а также упростить устройство, поскольку устройство использует один и тот же модуль кодирования с переменной длиной слова для sao_merge_up_flag и sao_merge_left_flag.

Другими словами, устройство 100 кодирования изображений выполняет арифметическое кодирование над вторым флагом (sao_merge_up_flag), который указывает, идентичен ли параметр SAO, который указывает подробности обработки SAO, целевого блока параметру SAO для соседнего сверху блока, который расположен непосредственно над целевым блоком. Кроме того, устройство 100 кодирования изображений использует один и тот же способ определения контекста, чтобы определить: контекст, который должен быть использован для арифметического кодирования над первым флагом; и контекст, который должен быть использован для арифметического кодирования над вторым флагом. При этом примеры способа определения контекста представляют собой способ использования одного и того же контекста для Cb и Cr и способ использования одного и того же контекста для Y, Cb и Cr, как описано выше.

Следует отметить, что выше было описано, что устройство 100 кодирования изображений использует в качестве параметра SAO sao_type_idx, указывающий тип классификации, и sao_offset, указывающее значение смещения SAO, но настоящий вариант осуществления не ограничен упомянутым выше. Например, параметр SAO может дополнительно включать в себя по меньшей мере один параметр, служащий вспомогательной информацией для классификации пикселей, и sao_offset_sign, указывающий бит знака (положительный или отрицательный) sao_offset.

Также следует отметить, что выше было описано, что устройство 100 кодирования изображений кодирует параметр SAO для каждого блока кодирования, но настоящий вариант осуществления не ограничен упомянутым выше. Устройство 100 кодирования изображений может кодировать параметр SAO для каждой единицы, меньший чем блок кодирования, или для каждой единицы, состоящий из последовательности кодовых блоков. Также возможно, что устройство 100 кодирования изображений не кодирует параметр SAO для целевого блока кодирования, а копирует параметр SAO для другого блока кодирования, который должен быть использован в качестве параметра SAO для целевого блока кодирования.

Также следует отметить, что выше было описано, что блок кодирования имеет размер максимум 32 пикселя на 32 пикселя, и минимум 4 пикселя на 4 пикселя, но размер блока кодирования не ограничен упомянутым выше. Блоки кодирования могут иметь фиксированный размер.

Также следует отметить, что выше было описано, что sao_merge_left_flag формируется для каждой из Y, Cb, и Cr. Более определенно, устройство 100 кодирования изображений использует единственный контекст для выполнения арифметического кодирования над: первым флагом яркости, который является первым флагом для сигнала яркости; первым флагом Cb, который является первым флагом для сигнала цветности Cb; и первым флагом Cr, который является первым флагом для сигнала цветности Cr. Однако также возможно, что единственный sao_merge_left_flag формируется для совместного использования посредством Y, Cb и Cr. Даже в упомянутом выше случае (единственный) общий контекст используется для sao_merge_left_flag для Y, Cb и Cr одинаковым образом, как описано в настоящем варианте осуществления. Другими словами, устройство 100 кодирования изображений может использовать единственный контекст при арифметическом кодировании над единственным первым флагом, совместно используемым сигналом яркости, сигналом цветности Cb и сигналом цветности Cr.

Кроме того, обработка в настоящем варианте осуществления может быть реализована в программном обеспечении. Это программное обеспечение может быть распределено посредством загрузки и т.п. Или это программное обеспечение может быть записано на носитель записи, такой как компакт-диск (CD-ROM) для распространения. Описанное выше применяется к другим вариантам осуществления в этом описании.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 2)

В варианте осуществления 2 дается описание для устройства 200 декодирования изображений, которое декодирует кодированный битовый поток, сформированный устройством 100 кодирования изображений в соответствии с вариантом осуществления 1.

<ОБЩАЯ СТРУКТУРА>

Фиг. 9 является блок-схемой, показывающей структуру устройства 200 декодирования изображений в соответствии с вариантом осуществления 2.

Устройство 200 декодирования изображений, показанное на фиг. 9, декодирует битовый поток 221, чтобы сформировать декодированное изображение 225. При этом битовый поток 221 соответствует, например, битовому потоку 125, сформированному описанным выше устройством 100 кодирования изображений. Устройство 200 декодирования изображений включает в себя модуль 201 декодирования коэффициентов с переменной длиной слова, модуль 202 обратного преобразования, модуль 203 сложения, модуль 204 объединения декодированных блоков, память 205 кадров, модуль 206 декодирования параметра SAO с переменной длиной слова и модуль 207 обработки SAO.

<ОБРАБОТКА (ОБЩАЯ)>

Далее со ссылкой на фиг. 10 описана общая последовательность операций декодирования.

(ЭТАП S201)

Модуль 206 декодирования параметра SAO с переменной длиной слова выполняет декодирование с переменной длиной слова над битовым потоком 221, чтобы получить параметр 227 SAO.

(ЭТАП S202)

Модуль 201 декодирования коэффициентов с переменной длиной слова выполняет декодирование с переменной длиной слова над битовым потоком 221, чтобы получить частотные коэффициенты 222. Модуль 201 декодирования коэффициентов с переменной длиной слова обеспечивает частотные коэффициенты 222 модулю 202 обратного преобразования.

(ЭТАП S203)

Модуль 202 обратного преобразования преобразовывает частотные коэффициенты 222 в пиксельные данные, чтобы сформировать разностный блок 223.

(ЭТАП S204)

Модуль 203 сложения складывает декодированное изображение 226, сохраненное в памяти 205 кадров, с разностным блоком 223, тем самым формируя декодированный блок 224.

(ЭТАП S205)

Модуль 207 обработки SAO классифицирует каждый из пикселей в декодированном блоке 224 в одну из категорий согласно параметру 227 SAO и добавляет значение смещения, соответствующее категории, к целевому пикселю. В результате сформирован декодированный блок 228.

(ЭТАП S206)

Обработка от этапа S201 до этапа S205 повторяется, пока не будут декодированы все блоки в целевом изображении.

(ЭТАП S207)

Модуль 204 объединения декодированных блоков объединяет множество декодированных блоков 228 вместе, чтобы сформировать декодированное изображение 225, и сохраняет декодированное изображение 225 в память 205 кадров в качестве декодированного изображения 226.

Далее более подробно описывается модуль 206 декодирования параметра SAO с переменной длиной слова.

<СТРУКТУРА МОДУЛЯ 206 ДЕКОДИРОВАНИЯ ПАРАМЕТРА SAO С ПЕРЕМЕННОЙ ДЛИНОЙ СЛОВА>

Фиг. 11 является блок-схемой, показывающей структуру модуля 206 декодирования параметра SAO с переменной длиной слова. Как видно на фиг. 11, модуль 206 декодирования параметра SAO с переменной длиной слова включает в себя модуль 241 декодирования sao_merge_left_flag, модуль 242 декодирования sao_type_idx и модуль 243 декодирования sao_offset.

<ОБРАБОТКА (ДЕКОДИРОВАНИЕ ПАРАМЕТРА SAO С ПЕРЕМЕННОЙ ДЛИНОЙ СЛОВА)>

Фиг. 12 является блок-схемой последовательности операций декодирования параметра SAO с переменной длиной слова (этап S201 на фиг. 10). Декодирование параметра SAO с переменной длиной слова, показанное на фиг. 12, отличается от кодирования параметра SAO с переменной длиной слова, показанного на фиг. 4, в соответствии с вариантом осуществления 1 лишь в том, что кодирование заменено декодированием. Если sao_merge_left_flag равен 1, модуль 206 декодирования параметра SAO с переменной длиной слова не декодирует ни sao_type_idx, ни sao_offset, а копирует параметр SAO для декодированного блока, находящегося непосредственно слева от целевого блока, и использует его при обработке SAO.

(ЭТАП S221)

Модуль 241 декодирования sao_merge_left_flag декодирует sao_merge_left_flag. Следует отметить, что обработка от этапа S221 до этапа S224 выполняется для каждой из компоненты Y яркости, компоненты Cb цветности и компоненты Cr цветности. Это означает, что обработка от этапа S221 до этапа S224 выполняется три раза.

(ЭТАП S222)

Модуль 206 декодирования параметра SAO с переменной длиной слова определяет, равен ли 1 sao_merge_left_flag. Если sao_merge_left_flag равен 1, то модуль 206 декодирования параметра SAO с переменной длиной слова не декодирует ни sao_type_idx, ни sao_offset, и переходит на этап S225. С другой стороны, если sao_merge_left_flag равен 0, то модуль 206 декодирования параметра SAO с переменной длиной слова переходит на этап S223.

(ЭТАП S223)

Модуль 242 декодирования sao_type_idx декодирует sao_type_idx.

(ЭТАП S224)

Модуль 243 декодирования sao_offset декодирует sao_offset.

(ЭТАП S225)

Обработка от этапа S221 до этапа S224 повторяется, пока не будут декодированы параметры SAO для Y, Cb и Cr.

Далее более подробно описывается модуль 241 декодирования sao_merge_left_flag.<СТРУКТУРА МОДУЛЯ 241 ДЕКОДИРОВАНИЯ SAO_MERGE_LEFT_FLAG>

Фиг. 13 является блок-схемой, показывающей структуру модуля 241 декодирования sao_merge_left_flag. Как показано на фиг. 13, модуль 241 декодирования sao_merge_left_flag включает в себя модуль 251 переключения контекста, модуль 252 арифметического декодирования контекста-0 и модуль 253 арифметического декодирования контекста-1.

<ОБРАБОТКА (ДЕКОДИРОВАНИЕ SAO_MERGE_LEFT_FLAG)>

Фиг. 14 является блок-схемой последовательности операций декодирования sao_merge_left_flag (этап S221 на фиг. 12). Декодирование sao_merge_left_flag, показанное на фиг. 14, отличается от кодирования sao_merge_left_flag, показанного на фиг. 6, в соответствии с вариантом осуществления 1 лишь в том, что кодирование заменено декодированием.

(ЭТАП S231)

Модуль 251 переключения контекста определяет, относится ли целевой sao_merge_left_flag к компоненте Y яркости. Если целевой sao_merge_left_flag относится к компоненте Y яркости, то обработка переходит на этап S232. Если целевой sao_merge_left_flag относится к Cb или Cr, то обработка переходит на этап S233.

(ЭТАП S232)

Модуль 252 арифметического декодирования контекста-0 выполняет арифметическое декодирование над sao_merge_left_flag на основе контекста 0, чтобы сформировать битовый поток.

(ЭТАП S233)

Модуль 253 арифметического декодирования контекста-1 выполняет арифметическое декодирование над sao_merge_left_flag на основе контекста 1, чтобы сформировать битовый поток. В настоящем варианте осуществления модуль 241 декодирования sao_merge_left_flag использует два вида контекстов, а именно, контекст 0 и контекст 1, чтобы выполнить арифметическое декодирование над sao_merge_left_flag(s). Модуль 241 декодирования sao_merge_left_flag использует контекст 0 только для sao_merge_left_flag для компоненты Y яркости, но использует контекст 1 и для sao_merge_left_flag для компоненты Cb цветности, и для sao_merge_left_flag для компоненты Cr цветности.

<ЭФФЕКТЫ>

С описанной выше структурой устройство 200 декодирования изображений в соответствии с настоящим вариантом осуществления может предложить те же самые эффекты, как предлагаемые описанным выше вариантом осуществления 1.

Следует отметить, что устройство 200 декодирования изображений в соответствии с настоящим вариантом осуществления может быть изменено аналогично описанному выше изменению варианта осуществления 1.

Например, хотя выше было описано, что устройство 200 декодирования изображений использует один и тот же контекст для Cb и Cr, также возможно использовать один и тот же контекст для Y, Cb и Cr. Фиг. 15 является блок-схемой последовательности операций способа декодирования изображений, выполняемого устройством 200 декодирования изображений в этом случае.

Как показано на фиг. 15, устройство 200 декодирования изображений выполняет арифметическое декодирование над первым флагом (sao_merge_left_flag), указывающим, идентичен ли параметр SAO, который указывает подобности обработки SAO, целевого блока параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока (этап S241). При этом устройство 200 декодирования изображений использует единственный контекст при арифметическом декодировании над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

Если первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока, другими словами, если первый флаг равен "0" ("Нет" на этапе S242), то устройство 200 декодирования изображений выполняет арифметическое декодирование над параметром SAO для целевого блока (этап S243).

Затем в соответствии с первым флагом устройство 200 декодирования изображений выполняет обработку SAO над каждым из сигнала яркости, сигнала цветности Cb и сигнала цветности Cr, которые включены в целевой блок, посредством использования одного из: параметра SAO для целевого блока, к которому было применено арифметическое декодирование; и параметра SAO для соседнего слева блока (этап S244). Более определенно, когда первый флаг равен "0", устройство 200 декодирования изображений использует параметр SAO для целевого блока, который был получен арифметическим декодированием, и когда второй флаг равен "1", устройство 200 декодирования изображений использует параметр SAO для соседнего слева блока. Параметр SAO включает в себя: информацию (sao_type_idx), указывающую способ классификации по категориям; и информацию (sao_offset), указывающую значения смещений. Устройство 200 декодирования изображений классифицирует каждый из пикселей в целевом блоке в одну из категорий посредством способа классификации по категориям, указанного с помощью sao_type_idx. Затем устройство 200 декодирования изображений добавляет к каждому из пикселей значение смещения, соответствующее классифицированной категории. Значение смещения указано посредством sao_offset.

Следует отметить, что таким же образом, как описано в варианте осуществления 1, устройство 200 декодирования изображений может выполнить арифметическое декодирование над вторым флагом (sao_merge_up_flag), который указывает, идентичен ли параметр SAO, который указывает подробности обработки SAO, целевого блока параметру SAO для соседнего сверху блока, который расположен непосредственно над целевым блоком. В этом случае устройство 200 декодирования изображений может использовать один и тот же способ определения контекста, чтобы определить: контекст, который должен быть использован для арифметического декодирования над первым флагом; и контекст, который должен быть использован для арифметического декодирования над вторым флагом.

Следует также отметить, что устройство 200 декодирования изображений может использовать единственный контекст, чтобы выполнить арифметическое декодирование над: первым флагом яркости, который является первым флагом для сигнала яркости; первым флагом Cb, который является первым флагом для сигнала цветности Cb; и первым флагом Cr, который является первым флагом для сигнала цветности Cr.

Следует также отметить, что устройство 200 декодирования изображений может использовать единственный контекст при арифметическом декодировании над единственным первым флагом, совместно используемым сигналом яркости, сигналом цветности Cb и сигналом цветности Cr.

В каждом из описанных выше вариантов осуществления каждый из функциональных блоков может быть в общем случае реализован в микропроцессоре (MPU), памяти, и т.п. Кроме того, обработка, выполняемая каждым из функциональных блоков, может быть в общем случае реализована в программном обеспечении (программе), и программное обеспечение записано на носитель записи, такой как постоянное запоминающее устройство (ROM). Затем такое программное обеспечение может быть распределено, например, посредством загрузки или может быть записано на носителе записи, таком как доступный только для чтения компакт-диск (CD-ROM), который будет распространен. Кроме того, безусловно, каждый из функциональных блоков может быть реализован в аппаратных средствах (специализированная схема).

Обработка, описанная в каждом из вариантов осуществления, может быть выполнена как централизованная обработка посредством использования одного устройства (системы) или как децентрализованная обработка посредством использования множества устройств. Кроме того, описанная выше программа может быть исполнена одним компьютером или множеством компьютеров. Другими словами, и централизованная обработка, и децентрализованная обработка могут быть выполнены на компьютере.

Хотя устройство кодирования изображений и устройство декодирования изображений были описаны выше в отношении множества вариантов осуществления, настоящее изобретение не ограничено этими вариантами осуществления.

Следует также отметить, что модули обработки в каждом из устройства кодирования изображений и устройства декодирования изображений в соответствии с описанными выше вариантами осуществления обычно реализуются в схеме с большой степенью интеграции (LSI), которая является интегральной схемой. Они могут быть интегрированы отдельно, или часть или все из них могут быть интегрированы в однокристальную схему.

Следует также отметить, что методика интегральной схемы не ограничена LSI, и она может быть реализована как специализированная схема или процессор общего назначения. Также возможно использовать программируемую пользователем вентильную матрицу (FGPA), которая может быть запрограммирована после изготовления LSI, или реконфигурируемый процессор, в котором могут быть реконфигурированы соединение и настройка ячеек схемы в LSI.

Каждый из структурных элементов в каждом из описанных выше вариантов осуществления может быть выполнен в виде специализированного аппаратного продукта или может быть реализован посредством исполнения программы, подходящей для структурного элемента. Каждый из структурных элементов может быть реализован посредством исполняющего программу модуля, такого как центральный процессор (CPU) и процессор, считывающий и исполняющий программу, записанную на носителе записи, таком как жесткий диск или полупроводниковая память.

Другими словами, каждое из устройства кодирования изображений и устройства декодирования изображений включает в себя: схему управления; и средство хранения, электрически соединенное со схемой управления и доступное из схемы управления. Схема управления включает в себя по меньшей мере одно из специализированного аппаратного обеспечения и модуля исполнения программ. Средство хранения содержит программу, исполняемую модулем исполнения программ, когда схема управления включает в себя модуль исполнения программ.

Кроме того, настоящее изобретение может представлять собой описанную выше программу программного обеспечения или может представлять собой невременный считываемый компьютером носитель записи, на котором записана программа. Безусловно, программа может быть распространена по среде передачи, такой как Интернет.

Кроме того, все числовые обозначения в приведенном выше описании представляют собой примеры для более подробного объяснения настоящего изобретения. Настоящее раскрытие не ограничено иллюстративными числовыми обозначениями.

Кроме того, деление функциональных блоков в блок-схемах представляет собой один пример. Также возможно, что множество функциональных блоков реализовано как один функциональный блок, что один функциональный блок разделен на множество частей, или что частичная функция перемещена в другой функциональный блок. Кроме того, функции множества функциональных блоков, имеющих аналогичные функции, могут быть выполнены параллельно или в режиме разделения по времени посредством одного общего аппаратного обеспечения или программного обеспечения.

Следует также отметить, что порядок выполнения этапов, включенных в каждый описанный выше способ кодирования изображений и описанный выше способ декодирования изображений, является примером для более подробного объяснения настоящего изобретения. Таким образом, могут использоваться другие порядки, кроме описанного выше порядка. Часть этапов может быть исполнена одновременно (параллельно) с другим этапом.

Хотя были описаны устройство кодирования изображений и устройство декодирования изображений в соответствии с одним или более вариантами осуществления настоящего изобретения, настоящее изобретение не ограничено вариантами осуществления. Специалисты в области техники с готовностью поймут, что в иллюстративных вариантах осуществления или комбинациях структурных элементов в различных вариантах осуществления возможны многие модификации без существенного отступления от новых идей и преимуществ настоящего изобретения. В соответствии с этим предполагается, что все такие модификации и комбинации включены в объем этого изобретения.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 3)

Обработка, описанная в каждом из вариантов осуществления, может быть легко реализована в независимой компьютерной системе посредством записи на носителе записи программы для реализации конфигурации способа кодирования движущихся графических изображений (способа кодирования изображений) и способа декодирования движущихся графических изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи, если на него может быть записана программа, такими как магнитный диск, оптический диск, магнитооптический диск, карта с интегральной микросхемой (IC-карта) и полупроводниковая средство хранения.

Далее будут описаны применения для способа кодирования движущихся графических изображений (способа кодирования изображений) и способа декодирования движущихся графических изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления, и систем, использующие их. Система имеет особенность наличия устройства кодирования и устройства декодирования изображений, которые включают в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе могут быть изменены при необходимости в зависимости от случаев.

Фиг. 16 иллюстрирует общую конфигурацию системы ex100 обеспечения контента для реализации службы распространения контента. Область для обеспечения службы связи разделена на соты желаемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, помещены в каждую из сот.

Система ex100 обеспечения контента соединена с устройствами, такими как компьютер ex111, карманный персональный компьютер (PDA) ex112, камера ex113, сотовый телефон ex114 и игровой автомат ex115, через Интернет ex101, поставщика ex102 Интернет-услуг, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.

Однако конфигурация системы ex100 обеспечения контента не ограничена конфигурацией, показанной на фиг. 16, и комбинация, в которой соединен любой из элементов, является приемлемой. Кроме того, каждое устройство может быть непосредственно соединено с телефонной сетью ex104, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть соединены друг с другом через беспроводную связь ближнего действия и другие.

Камера ex113, например, цифровая видеокамера, способна захватывать видеоинформацию. Камера ex116, например, цифровой фотоаппарат, способна захватывать как неподвижные изображения, так и видеоинформацию. Кроме того, сотовый телефон ex114 может соответствовать любому из стандартов, таких как глобальная система мобильной связи (GSM) (зарегистрированный товарный знак), множественный доступ с кодовым разделением каналов (CDMA), широкополосный множественный доступ с кодовым разделением каналов (W-CDMA), стандарт проекта долгосрочного развития (LTE) и высокоскоростной пакетный доступ (HSPA). В качестве альтернативы, сотовый телефон ex114 может являться системой персональных мобильных телефонов (PHS).

В системе ex100 обеспечения контента сервер ex103 потоковой передачи соединен с камерой ex113 и другими устройствами через телефонную сеть ex104 и базовую станцию ex109, что обеспечивает возможность распределения шоу в прямом эфире и других изображений. При таком распределении контент (например, видеоинформация музыкального шоу в прямом эфире), захваченный пользователем, использующим камеру ex113, кодируется, как описано выше в каждом из вариантов осуществления (то есть, камера функционирует как устройство кодирования изображений в соответствии с аспектом настоящего изобретения), и кодированный контент передается серверу ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет распределение потоков переданных данных контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, персональный карманный компьютер ex112, камеру ex113, сотовый телефон ex114 и игровой автомат ex115, которые способны декодировать упомянутые выше кодированные данные. Каждое из устройств, которые приняли распределенные данные, декодирует и воспроизводит кодированные данные (то есть, функционирует как устройство декодирования изображений в соответствии с аспектом настоящего изобретения).

Захваченные данные могут быть кодированы камерой ex113 или сервером ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть разделены между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом, распределенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, или процессы декодирования могут быть разделены между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видеоинформации, захваченной не только камерой ex113, но также и камерой ex116, могут быть переданы серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут быть выполнены камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи или разделены среди них.

Кроме того, процессы кодирования и декодирования могут быть выполнены посредством большой интегральной схемы (LSI; <BC) ex500, обычно включенной в каждое из компьютера ex111 и устройств. Большая интегральная схема ex500 может быть выполнена как однокристальная схема или множество однокристальных схем. Программное обеспечение для кодирования и декодирования видеоинформации может быть интегрировано в носитель записи некоторого типа (такой как компакт-диск (CD-ROM), гибкий диск и жесткий диск), который может быть считан компьютером ex111 и другими устройствами, и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, видеоданные, полученные камерой, могут быть переданы. Видеоданные представляют собой данные, кодированные посредством большой интегральной схемы ex500, включенной в сотовый телефон ex114.

Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распределять данные.

Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 обеспечения контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в режиме реального времени в системе ex100 обеспечения контента, с тем чтобы пользователь, который не имеет какого-либо конкретного права и оборудования, мог реализовать персональное вещание.

Помимо примера системы ex100 обеспечения контента по меньшей мере одно устройство из устройства кодирования движущихся графических изображений (устройства кодирования изображений) и устройства декодирования движущихся графических изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в системе ex200 цифрового вещания, проиллюстрированной на фиг. 17. Более определенно, станция ex201 вещания осуществляет связь или передает посредством радиоволн спутнику ex202 вещания мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других данных с видеоданными. Видеоданные представляют собой данные, кодированные способом кодирования движущихся графических изображений, описанным в каждом из вариантов осуществления (то есть, данные, кодированные устройством кодирования изображений в соответствии с аспектом настоящего изобретения). После приема мультиплексированных данных спутник ex202 вещания передает радиоволны для вещания. Затем бытовая антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Затем устройство, например, телевизор (приемник) ex300 и телеприставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (то есть, функционирует как устройство декодирования изображений в соответствии с аспектом настоящего изобретения).

Кроме того, устройство ex218 чтения/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала с кодированными данными. Устройство ex218 чтения/записи может включать в себя устройство декодирования движущихся графических изображений или устройство кодирования движущихся графических изображений, как показано в каждом из вариантов осуществления. В этом случае воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой с использованием носителя ex215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования движущихся графических изображений в телеприставке ex217, соединенной с кабелем ex203 для кабельного телевидения или с антенной ex204 для спутникового и/или наземного вещания, для отображения видеосигналов на мониторе ex219 телевизора ex300. Устройство декодирования движущихся графических изображений может быть реализовано не в телеприставке, а в телевизоре ex300.

Фиг. 18 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущихся графических изображений и способ декодирования движущихся графических изображений, описанные в каждом из вариантов осуществления. Телевизор ex300 включает в себя: селектор ex301 каналов, который получает или обеспечивает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и видеоданных, через антенну ex204 или кабель ex203 и т.д., которые принимают вещание; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые будут выданы вовне; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные или мультиплексирует видеоданные и аудиоданные, кодированные блоком ex306 обработки сигналов, в данные.

Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, содержащий блок ex304 обработки аудиосигнала и блок ex305 обработки видеосигнала, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, соответственно (которые функционируют как устройство кодирования изображений и устройство декодирования изображений в соответствии с аспектами настоящего изобретения); и блок ex309 вывода, содержащий динамик ex307, который обеспечивает декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, например, устройство отображения. Кроме того, телевизор ex300 включает в себя блок ex317 интерфейса, содержащий блок ex312 ввода операций, который принимает ввод пользовательских операций. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет всеми составляющими элементами телевизора ex300, и блок ex311 схемы электропитания, который подает питание каждому из элементов. Кроме блока ex312 ввода операций, блок ex317 интерфейса может включать в себя: мост ex313, который соединен с внешним устройством, таким как устройство ex218 чтения/записи; блок ex314 слота для обеспечения возможности присоединения носителя ex216 записи, такого как SD-карта; привод ex315 для соединения внешнего носителя записи, такого как жесткий диск; и модем ex316 для соединения с телефонной сетью. При этом носитель ex216 записи может электрически записывать информацию с использованием энергонезависимого/энергозависимого элемента полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединены друг с другом через синхронную шину.

Сначала будет описана конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и другие элементы, и воспроизводит декодированные данные. В телевизоре ex300 после пользовательской операции через пульт ex220 дистанционного управления и другие элементы блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, содержащего центральный процессор. Кроме того, блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, и блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизоре ex300. Блок ex309 вывода выдает вовне декодированный видеосигнал и аудиосигнал снаружи, соответственно. Когда блок ex309 вывода выдает видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других элементах, с тем чтобы сигналы были воспроизведены в синхронизации друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не посредством вещания и т.п., а с носителей ex215 и ex216 записи, таких как магнитный диск, оптический диск и SD-карта. Далее будет описана конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал и передает данные вовне или записывает данные на носителе записи. В телевизоре ex300 после пользовательской операции через пульт ex220 дистанционного управления и другие элементы блок ex304 обработки аудиосигнала кодирует аудиосигнал, и блок ex305 обработки видеосигнала кодирует видеосигнал под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует закодированный видеосигнал и аудиосигнал и выдает вовне полученный в результате сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других элементах, с тем чтобы сигналы были воспроизведены в синхронизации друг с другом. При этом в телевизоре ex303 может быть несколько буферов ex318, ex319, ex320 и ex321, как проиллюстрировано, или по меньшей мере один буфер может быть совместно использован. Кроме того, данные могут храниться в буфере таким образом, чтобы, например, можно было избежать системного переполнения и отрицательного переполнения между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.

Кроме того, телевизор ex300 может включать в себя конфигурацию для приема ввода AV от микрофона или камеры кроме конфигурации для получения аудиоданных и видеоданных из вещания или с носителя записи и может кодировать полученные данные. Хотя телевизор ex300 может кодировать, мультиплексировать и выдавать вовне данные в описании, он может быть способен только принимать, декодировать и выдавать вовне данные, а не кодировать, мультиплексировать и выдавать вовне данные.

Кроме того, когда устройство ex218 чтения/записи читает или записывает мультиплексированные данные с носителя записи или на носитель записи, либо телевизор ex300, либо устройство ex218 чтения/записи может декодировать или закодировать мультиплексированные данные, и телевизор ex300 и устройство ex218 чтения/записи могут совместно использовать декодирование или кодирование.

В качестве примера фиг. 19 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации, когда данные считываются с оптического диска или записываются на оптический диск. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны далее. Оптическая головка ex401 излучает лазерное пятно на поверхности записи носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи носителя ex215 записи, для считывания информации. Блок ex402 записи модуляции электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерный свет в соответствии с записываемыми данными. Блок ex403 демодуляции воспроизведения усиливает сигнал воспроизведения, полученный посредством электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством разделения компоненты сигнала, записанной на носителе записи ex215, для воспроизведения необходимой информации. Буфер ex404 временно сохраняет информацию, которая будет записана на носителе ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Дисковый двигатель ex405 поворачивает вращает носитель ex215 записи. Блок ex406 управления сервомотором перемещает оптическую головку ex401 на предопределенную информационную дорожку, управляя приведением во вращательное движение дискового двигателя ex405, чтобы следовать за лазерным пятном. Системный блок ex407 управления управляет всем блоком ex400 воспроизведения/записи информации. Процессы чтения и записи могут быть реализованы посредством системного блока ex407 управления с использованием различной информации, хранящейся в буфере ex404, и формирования и добавления новой информации по мере необходимости, и блока ex402 записи модуляции, блока ex403 демодуляции воспроизведения и блока ex406 управления сервомотором, чтобы запись и воспроизведение информации через оптическую головку ex401 управлялась скоординированным образом. Системный блок ex407 управления включает в себя, например, микропроцессор и исполняет обработку, заставляя компьютер исполнять программу для чтения и записи.

Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять высокоплотную запись используя ближнепольную оптику.

Фиг. 20 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя записи ex215 по спирали сформированы направляющие канавки, и информационная дорожка ex230 заранее записывает информацию адреса, указывающую абсолютную позицию на диске в соответствии с изменением формы направляющих канавок. Информация адреса включает в себя информацию для определения позиции блоков ex231 записи, которые являются единицами записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, может привести к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, внутреннюю область ex232 окружности и внешнюю область ex234 окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Внутренняя область ex232 окружности и внешняя область ex234 окружности, которые находятся внутри и снаружи области ex233 записи данных, соответственно, предназначены для специального использования кроме записи пользовательских данных. Блок 400 воспроизведения/записи данных считывает и записывает кодированную аудиоинформацию, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированных аудиоданных и видеоданных, с области ex233 записи данных носителя ex215 записи и на нее.

Хотя в описании в качестве примера описан оптический диск, имеющий слой, такой как DVD и BD, оптический диск не ограничен этим и может быть оптическим диском, имеющим многоуровневую структуру, и на котором запись может быть сделана на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием цветного света с разными длинами волн в одной и той же секции оптического диска и для записи информации, имеющей различные слои с различных углов.

Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные от спутника ex202 и т.п. и воспроизводить видеоинформацию на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в системе ex200 цифрового вещания. При этом, конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя блок приема GPS, из конфигурации, проиллюстрированной на фиг. 18. То же самое будет верно для конфигурации компьютера ex111, сотового телефона ex114 и т.п.

Фиг. 21A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся графических изображений и способ декодирования движущихся графических изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; блок ex365 камеры, способный захватывать динамические и неподвижные изображений; и блок ex358 отображения, такой как жидкокристаллическое устройство отображения, для отображения данных, таких как декодированная видеоинформация, захваченная блоком ex365 камеры или принятая антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: блок корпуса, содержащий блок ex366 операционных клавиш; блок ex357 аудиовыхода, например, динамик для вывода аудиоинформации; блок ex356 аудиовхода, например, микрофон для ввода аудиоинформации; блок ex367 памяти для хранения захваченной видеоинформации или фотоснимков, записанной аудиоинформации, закодированных или декодированных данных, принятой видеоинформации, фотоснимков, электронных писем и т.п.; и блок ex364 слота, который является блоком интерфейса для носителя записи, который хранит данные таким же образом, как блок ex367 памяти.

Далее будет описан пример конфигурации сотового телефона ex114 со ссылкой на фиг. 21B. В сотовом телефоне ex114 основной блок ex360 управления, выполненный с возможностью управлять каждым блоком корпуса, в том числе блоком ex358 отображения, а также блоком ex366 операционных клавиш, соединен взаимно через синхронную шину ex370 с блоком ex361 схемы электропитания, блоком ex362 управления вводом, блоком ex355 обработки видеосигнала, блоком ex363 интерфейса камеры, блоком ex359 управления жидкокристаллическим устройством отображения (LCD), блоком ex352 модуляции/демодуляции, блоком ex353 мультиплексирования/демультиплексирования, блоком ex354 обработки аудиосигнала, блоком ex364 слота и блоком ex367 памяти.

Когда клавиша окончания вызова или клавиша питания включены посредством пользовательской операции, блок ex361 схемы электропитания подает на соответствующие блоки питание от блока батарей, чтобы активировать сотовый телефон ex114.

В сотовом телефоне ex114 блок ex354 обработки аудиосигнала преобразовывает аудиосигналы, собранные блоком ex356 аудиовхода в режиме разговора, в цифровые аудиосигналы под управлением основного блока ex360 управления, включающего в себя центральный процессор (CPU), постоянное запоминающее устройство (ROM) и оперативное запоминающее устройство (RAM). Затем блок ex352 модуляции/демодуляции выполняет обработку расширения спектра над цифровыми аудиосигналами, и блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и частотное преобразование над данными, чтобы передать полученные в результате данные через антенну ex350. Кроме того, в сотовом телефоне ex114 блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме разговора, и выполняет частотное преобразование и аналого-цифровое преобразование над данными. Затем блок ex352 модуляции/демодуляции выполняет обратную обработку расширения спектра над данными, и блок ex354 обработки аудиосигнала преобразовывает их в аналоговые аудиосигналы для выдачи их через блок ex357 аудиовыхода.

Кроме того, когда в режиме передачи данных передается электронная почта, текстовые данные электронной почты, введенные посредством блока ex366 операционных клавиш и т.п. корпуса, посылаются в основной блок ex360 управления через блок ex362 управления вводом. Основной блок ex360 управления заставляет блок ex352 модуляции/демодуляции выполнять обработку расширения спектра над текстовыми данными, и блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и частотное преобразование над полученными в результате данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда электронное письмо принимается, над принятыми данными выполняется обработка, которая является приблизительно обратной по отношению к обработке для передачи электронной почты, и полученные в результате данные выдаются блоку ex358 отображения.

Когда в режиме передачи данных передается видеоинформация, неподвижные изображения или видеоинформация и аудиоинформация, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, предоставленные от блока ex365 камеры, с использованием способа кодирования движущихся графических изображений, показанного в каждом из вариантов осуществления (то есть, функционирует как устройство кодирования изображений в соответствии с аспектом настоящего изобретения), и передает закодированные видеоданные блоку ex353 мультиплексирования/демультиплексирования. Напротив, в то время, когда блок ex365 камеры захватывает видеоинформацию, неподвижные изображения и т.п., блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные блоком ex356 аудиовхода, и передает закодированные аудиоданные блоку ex353 мультиплексирования/демультиплексирования.

Блок ex353 мультиплексирования/демультиплексирования мультиплексирует закодированные видеоданные, предоставленные от блока ex355 обработки видеосигнала, и закодированные аудиоданные, предоставленные от блока ex354 обработки аудиосигнала, с использованием предопределенного способа. Затем блок ex352 модуляции/демодуляции (блок схемы модуляции/демодуляции) выполняет обработку расширения спектра над мультиплексированными данных, и блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и частотное преобразование над данными, чтобы передать полученные в результате данные через антенну ex350.

При приеме данных видеофайла, который присоединен к веб-странице и т.п., в режиме передачи данных или при приеме электронной почты с присоединенной видеоинформацией и/или аудиоинформацией, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в битовый поток видеоданных и битовый поток аудиоданных, и предоставляет блоку ex355 обработки видеосигнала закодированные видеоданные и блоку ex354 обработки аудиосигнала закодированными аудиоданные через синхронную шину ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущихся графических изображений, соответствующего способу кодирования движущихся графических изображений, показанному в каждом из вариантов осуществления (то есть, функционирует как устройство декодирования изображений в соответствии с аспектом настоящего изобретения), и затем блок ex358 отображения отображает, например, видеоизображения и неподвижные изображения, включенные в видеофайл, присоединенный к веб-странице, через блок ex359 управления LCD. Кроме того, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 аудиовыхода выдает аудиоинформацию.

Кроме того, аналогично телевизору ex300 терминал, такой как сотовый телефон ex114, вероятно имеет 3 типа конфигураций реализации, в том числе не только (i) терминал передачи и приема, включающий в себя и устройство кодирования, и устройство декодирования, но также и (ii) терминал передачи, включающий в себя только устройство кодирования, и (iii) терминал приема, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и видеоданных, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, а символьных данных, имеющих отношение к видеоинформации, и видеоданных, и могут быть не мультиплексированными данными, а видеоданными непосредственно.

Также способ кодирования движущихся графических изображений и способ декодирования движущихся графических изображений в каждом из вариантов осуществления могут использоваться в любом из устройств и описанных систем. Таким образом, могут быть получены преимущества, описанные в каждом из вариантов осуществления.

Кроме того, настоящее изобретение не ограничено описанными выше вариантами осуществления, и возможны различные модификации и ревизии без отступления от объема настоящего изобретения.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 4)

Видеоданные могут быть сформированы посредством переключения по мере необходимости между (i) способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, показанных в каждом из вариантов осуществления, и (ii) способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений в соответствии с другим стандартом, таким как MPEG 2, MPEG 4 AVC и VC 1.

При этом, когда множество видеоданных, которые соответствуют различным стандартам, сформировано и затем декодируется, способы декодирования должны быть выбраны для соответствия разным стандартам. Однако, поскольку не может быть обнаружено, какому стандарту соответствует каждое множество видеоданных, которые будут декодированы, есть проблема, что не может быть выбран соответствующий способ декодирования.

Чтобы решить проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других данных с видеоданными, имеют структуру, включающую в себя идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Далее будет описана заданная структура мультиплексированных данных, включающая в себя видеоданные, сформированные способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, показанными в каждом из вариантов осуществления. Мультиплексированные данные представляют собой цифровой поток в формате транспортного потока MPEG 2.

Фиг. 22 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 22, мультиплексированные данные могут быть получены посредством мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичную видеоинформацию и вторичную видеоинформацию фильма, аудиопоток (IG) представляет первичную звуковую часть и вторичную звуковую часть, которая должна быть микширована с первичной звуковой частью, и поток презентационной графики представляет субтитры фильма. При этом первичная видеоинформация является обычной видеоинформацией, которая будет отображена на экране, и вторичная видеоинформация является видеоинформацией, которая будет отображена в меньшем окне в первичной видеоинформации. Кроме того, поток интерактивной графики представляет интерактивный экран, который будет сформирован посредством расположения компонентов графического пользовательского интерфейса (GUI) на экране. Видеопоток закодирован способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, показанными в каждом из вариантов осуществления, или способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений в соответствии с традиционным стандартом, таким как MPEG 2, MPEG 4 AVC и VC 1. Аудиопоток закодирован в соответствии со стандартом, таким как Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейный PCM.

Каждый поток, включенный в мультиплексированные данные, идентифицирован посредством PID. Например, значение 0x1011 выделяется видеопотоку, который должен быть использован для видеоинформации фильма, значения от 0x1100 до 0x111F выделяются аудиопотокам, значения от 0x1200 до 0x121F выделяются потокам презентационной графики, значения от 0x1400 до 0x141F выделяются потокам интерактивной графики, значения от 0x1B00 до 0x1B1F выделяются видеопотокам, которые будут использоваться для вторичной видеоинформации фильма, и значения от 0x1A00 до 0x1A1F выделяются аудиопотокам, которые будут использоваться для вторичной аудиоинформации, которая будет микшироваться с первичной аудиоинформацией.

Фиг. 23 схематично иллюстрирует, как данные мультиплексируются. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из звуковых кадров, преобразовываются в поток PES пакетов ex236 и поток PES пакетов ex239 и затем в TS пакеты ex237 и TS пакеты ex240, соответственно. Аналогичным образом данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразовываются в поток PES пакетов ex242 и поток PES пакетов ex245 и затем в TS пакеты ex243 и TS пакеты ex246, соответственно. Эти TS пакеты мультиплексируются в поток для получения мультиплексированных данных ex247.

Фиг. 24 более подробно иллюстрирует, как видео поток сохраняется в потоке PES пакетов. Первая полоса на фиг. 24 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток PES пакетов. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 24, видеопоток разделяется на такие изображения, как I-изображения, B-изображения и P-изображения, каждое из которых является блоком видеопрезентации, и изображения сохраняются в полезной нагрузке каждого из PES пакетов. Каждый из PES пакетов имеет PES заголовок, и PES заголовок хранит временную метку представления (PTS), указывающую времени отображения изображения, и временную метку декодирования (DTS), указывающую время декодирования изображения.

Фиг. 25 иллюстрирует формат TS пакетов, которые будут в конечном счете записаны в мультиплексированных данных. Каждый из TS пакетов представляет собой 188-байтовый пакет фиксированной длины, включающий в себя 4-байтовый TS заголовок, имеющий такую информацию, как PID для идентификации потока, и 184-байтовую полезную нагрузку TS для хранения данных. PES пакеты разделены и сохранены в полезных нагрузках TS, соответственно. Когда используется BD ROM, каждому из TS пакетов дается 4-байтовый заголовок TP_Extra_Header, что дает в результате 192-байтовые пакеты источника. Пакеты источника записаны в мультиплексированных данных. Заголовок TP_Extra_Header хранит такую информацию, как метка Arrival_Time_Stamp (ATS). Метка ATS показывает время начала передачи, в которое каждый из TS пакетов должен быть передан фильтру PID. Пакеты источника расположены в мультиплексированных данных, как показано внизу фиг. 25. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами пакетов источника (SPN).

Каждый из TS пакетов, включенных в мультиплексированные данные, включает в себя не только потоки аудиоинформации, видеоинформации, субтитров и т.п., но также и таблицу привязки программы (PAT), таблицу карты программы (PMT) и метка времени программы (PCR). Таблица PAT показывает, что обозначает PID в таблице PMT, используемой в мультиплексированных данных, и PID самой таблицы PAT записывается как нуль. Таблица PMT хранит PID потоков видеоинформации, аудиоинформации, субтитров и т.п., включенных в мультиплексированные данные, и информацию атрибута потоков, соответствующих PID. Таблица PMT также имеет различные дескрипторы, имеющие отношение к мультиплексированным данным. Дескрипторы имеют такую информацию, такая управляющая информация копирования, показывающая, разрешено ли копирование мультиплексированных данных. Метка PCR хранит информацию времени STC, соответствующую метке ATS, показывающую, когда пакет PCR передан декодеру, чтобы достигнуть синхронизации между временем поступления (ATC), которое является осью времени меток ATS, и системным таймером (STC), который является осью времени потоков PTS и DTS.

Фиг. 26 иллюстрирует структуру данных PMT подробно. Заголовок PMT расположен наверху PMT. Заголовок PMT описывает длину данных, включенных в PMT и других. Множество дескрипторов, касающихся мультиплексированных данных, расположено после заголовка PMT. Информация, такая как управляющая информация копии описана в дескрипторах. После дескрипторов расположено множество частей информации о потоке, касающейся потоков, включенных в мультиплексированные данные. Каждая часть информации о потоке включает потоковые дескрипторы каждая информация об описании, такие как потоковый тип для того, чтобы идентифицировать кодек сжатия потока, потокового PID, и потоковой информации атрибута (такой как частота кадров или формат изображения). Потоковые дескрипторы равны в числе к числу потоков в мультиплексированных данных.

Когда мультиплексированные данные записываются на носителе записи и т.п., они записываются вместе с файлами информации мультиплексированных данных.

Каждый из файлов информации мультиплексированных данных представляет собой информацию об управлении мультиплексированными данными, как показано на фиг. 27. Файлы информации мультиплексированных данных находятся во взаимно-однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту записи.

Как проиллюстрировано на фиг. 27, информация мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, на которой системный целевой декодер, который будет описан позже, передает мультиплексированные данные PID фильтру. Интервалы меток ATS, включенных в мультиплексированные данные, устанавливаются не выше, чем системная скорость. Время начала воспроизведения указывает на метку PTS в видеокадре во начале мультиплексированных данных. Интервал одного кадра добавляется к метке PTS в видеокадре в конце мультиплексированных данных, и метка PTS устанавливается равной времени окончания воспроизведения.

Как показано на фиг. 28, часть информации атрибутов записывается в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая часть информации атрибутов имеет различную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждая часть информации атрибутов видеопотока несет такую информацию, как информация о том, какой кодек сжатия используется для сжатия видеопотока, и разрешение, формат изображения и частоту кадров частей данных изображения, которые включены в видеопоток. Каждая часть информации атрибутов аудиопотока несет такую информацию, как информация о том, какой кодек сжатия используется для сжатия аудиопотока, сколько каналов включено в аудиопоток, какой язык поддерживает аудиопоток и насколько высока частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера, прежде чем проигрыватель воспроизведет информацию.

В настоящем варианте осуществления мультиплексированные данные, которые будут использоваться, имеют тип потока, включенный в таблицу PMT. Кроме того, когда мультиплексированные данные записываются на носителе записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более определенно, способ кодирования движущихся графических изображений или устройство кодирования движущихся графических изображений, описанные в каждом из вариантов осуществления, включают в себя этап или блок для выделения уникальной информации, указывающей на видеоданные, сформированные способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений в каждом из вариантов осуществления, для типа потока, включенного в таблицу PMT или в информацию атрибутов видеопотока. При такой конфигурации видеоданные, сформированные способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, описанные в каждом из вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

Кроме того, фиг. 29 иллюстрирует этапы способа декодирования движущихся графических изображений в соответствии с настоящим вариантом осуществления. На этапе exS100 из мультиплексированных данных получается тип потока, включенный в таблицу PMT или в информацию атрибутов потока, включенную в информацию мультиплексированных данных. Затем на этапе exS101 определяется, указывают ли тип потока или информация атрибутов видеопотока, что мультиплексированные данные сформированы способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений в каждом из вариантов осуществления. Когда определено, что тип потока или информация атрибутов видеопотока указывают, что мультиплексированные данные сформированы способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений в каждом из вариантов осуществления, на этапе exS102 декодирование выполняется посредством способа декодирования движущихся графических изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывают на соответствие традиционным стандартам, таким как MPEG 2, MPEG 4 AVC и VC 1, на этапе exS103 декодирование выполняется способом декодирования движущихся графических изображений в соответствии с традиционными стандартами.

Таким образом, выделение нового уникального значения для типа потока или информации атрибутов видеопотока обеспечивает возможность для определения, могут ли способ декодирования движущихся графических изображений или устройство декодирования движущихся графических изображений, которые описаны в каждом из вариантов осуществления, выполнить декодирование. Даже когда вводятся мультиплексированные данные, которые соответствуют другому стандарту, могут быть выбраны соответствующий способ или устройство декодирования. Таким образом, становится возможно декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования движущихся графических изображений или способ или устройство декодирования движущихся графических изображений в настоящем варианте осуществления могут использоваться в описанных выше устройствах и системах.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 5)

Каждый из способа кодирования движущихся графических изображений, устройства кодирования движущихся графических изображений, способа декодирования движущихся графических изображений и устройства декодирования движущихся графических изображений в каждом из вариантов осуществления обычно достигается в виде интегральной схемы или большой интегральной схемы (LSI). В качестве примера схемы LSI, фиг. 30 иллюстрирует конфигурацию схемы ex500 LSI, которая выполнена в одной микросхеме. Схема ex500 LSI включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описан ниже, и элементы соединены друг с другом через шину ex510. Блок ex505 схемы электропитания активируется посредством подачи питания на каждый из элементов, когда блок ex505 схемы электропитания включен.

Например, когда выполняется кодирование, схема ex500 LSI принимает AV-сигнал от микрофона ex117, камеры ex113 и т.п. через блок ex509 ввода/вывода аудиоданных и видеоданных под управлением блока ex501 управления, включающего в себя центральный процессор ex502, контроллер ex503 памяти, потоковый контроллер ex504 и блок ex512 управления частотой возбуждения. Принятый AV-сигнал временно сохраняется во внешней памяти ex511, такой как SDRAM. Под управлением блока ex501 управления сохраненные данные в соответствии с объемом и скоростью обработки сегментируются в секции данных, которые будут переданы блоку ex507 обработки сигналов. Затем блок ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. При этом кодирование видеосигнала представляет собой кодирование, описанное в каждом из вариантов осуществления. Кроме того, блок ex507 обработки сигналов иногда мультиплексирует закодированные аудиоданные и закодированные видеоданные, и блок ex506 ввода/вывода потока выдает мультиплексированные данные вовне. Выданные мультиплексированные данные передаются базовой станции ex107 или записываются на носителе ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508, с тем чтобы наборы данных были синхронизированы друг с другом.

Хотя память ex511 является элементом, внешним по отношению к схеме ex500 LSI, она может быть включена в схему ex500 LSI. Буфер ex508 не ограничен одним буфером, а может быть составлен из буферов. Кроме того, схема ex500 LSI может быть выполнена как одна микросхема или множество микросхем.

Кроме того, хотя блок ex501 управления включает в себя центральный процессор ex502, контроллер ex503 памяти, потоковый ex504 контроллер, блок ex512 управления частотой возбуждения, конфигурация блока ex501 управления не ограничена этим. Например, блок ex507 обработки сигналов может дополнительно включать в себя центральный процессор. Включение другого центрального процессора в блок ex507 обработки сигналов может увеличить скорость обработки. Кроме того, в качестве другого примера, центральный процессор ex502 может служить в качестве или являться частью блока ex507 обработки сигналов и, например, может включать в себя блок обработки аудиосигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или центральный процессор ex502, содержащий часть блока ex507 обработки сигналов.

Используемое здесь название представляет собой большую интегральную схему (LSI), но она также может называться интегральной схемой (IC), системной большой интегральной схемой, сверхбольшой интегральной схемой или ультрабольшой интегральной схемой в зависимости от степени интеграции.

Кроме того, способы достижения интеграции не ограничены схемами LSI, и специальная схема или процессор общего назначения и т.д. также могут достигать интеграции. Программируемая пользователем вентильная матрица (FPGA), которая может быть запрограммирована после изготовления схем LSI, или реконфигурируемый процессор, который позволяет реконфигурирование соединения или конфигурации LSI, может использоваться с той же целью.

В будущем, с развитием полупроводниковой технологии схемы LSI может заменить совершенно новая технология. Функциональные блоки могут быть интегрированы с использованием такой технологии. Возможность состоит в том, что настоящее изобретение применено к биотехнологии.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 6)

Когда декодируются видеоданные, сформированные способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, по сравнению с декодированием видеоданных, которые соответствуют традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1, объем обработки, вероятно, увеличивается. Таким образом, схеме ex500 LSI нужна установка более высокой частоты возбуждения, чем в центральном процессоре ex502, для использования, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения установлена более высокой, имеется проблема, которая увеличивает расход энергии.

Чтобы решить эту проблему, устройство декодирования движущихся графических изображений, такое как телевизор ex300 и схема ex500 LSI, выполнены с возможностью определять, которому стандарту соответствуют видеоданные, и выполнять переключение между частотами возбуждения в соответствии с определенным стандартом. Фиг. 31 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения равной более высокой частоте возбуждения, когда видеоданные сформированы способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex801 обработки декодирования, который исполняет способ декодирования движущихся графических изображений, описанный в каждом из вариантов осуществления, для декодирования видеоданных. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения равной более низкой частоте возбуждения, чем для видеоданных, сформированных способом кодирования движущихся графических изображений или устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления. Затем, блок ex803 переключения частоты возбуждения дает команду блоку ex802 обработки декодирования, который соответствует традиционному стандарту, для декодирования видеоданных.

Более определенно, блок ex803 переключения частоты возбуждения включает в себя центральный процессор ex502 и блок ex512 управления частотой возбуждения на фиг. 30. При этом каждый из блока ex801 обработки декодирования, который исполняет способ декодирования движущихся графических изображений, описанный в каждом из вариантов осуществления, и блока ex802 обработки декодирования, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на фиг. 30. Центральный процессор 502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала от центрального процессора ex502. Кроме того, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от центрального процессора ex502. Например, идентификационная информация, описанная в варианте осуществления 4, вероятно, используется для идентификации видеоданных. Идентификационная информация не ограничена описанием в варианте осуществления 4, а может быть представлять собой любую информацию, пока информация указывает, какому стандарту соответствуют видеоданные. Например, когда стандарт, которому соответствуют видеоданные, может быть определен на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., определение может быть сделано на основе такого внешнего сигнала. Кроме того, центральный процессор ex502 выбирает частоту возбуждения, например, на основе таблицы поиска, в которой стандарты видеоданных связаны с частотами возбуждения, как показано на фиг. 33. Частота возбуждения может быть выбрана посредством хранения таблицы поиска в буфере ex508 и во внутренней памяти схемы LSI и со ссылкой на таблицу поиска посредством центрального процессора ex502.

Фиг. 32 иллюстрирует этапы выполнения способа в настоящем варианте осуществления. Сначала на этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Затем на этапе exS201, центральный процессор ex502 определяет, сформированы ли видеоданные способом кодирования и устройством кодирования, описанными в каждом из вариантов осуществления, на основе идентификационной информации. Когда видеоданные сформированы способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, на этапе exS202 центральный процессор ex502 передает сигнал для установки частоты возбуждения равной более высокой частоте возбуждения блоку ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения равной более высокой частоте возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1, на этапе exS203 центральный процессор ex502 передает сигнал для установки частоты возбуждения равной более низкой частоте возбуждения блоку ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения равной более низкой частоте возбуждения, чем в случае, когда видеоданные сформированы способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом варианте осуществления.

Кроме того, наряду с переключением частот возбуждения, эффект экономии мощности может быть улучшен посредством изменения напряжения, которое будет приложено к схеме ex500 LSI или устройству, включающему в себя схему ex500 LSI. Например, когда частота возбуждения устанавливается ниже, напряжение, которое будет приложено к схеме ex500 LSI или устройству, включающему в себя схему ex500 LSI, вероятно, устанавливается равным более низкому напряжению, чем в случае, когда частота возбуждения устанавливается выше.

Кроме того, когда объем обработки для декодирования больше, частота возбуждения может быть установлена выше, и когда объем обработки для декодировать меньше, частота возбуждения может быть установлена ниже, как в способе для установки частоты возбуждения. Таким образом, способ установки не ограничен описанными выше. Например, когда объем обработки для декодирования видеоданные в соответствии со стандартом MPEG-4 AVC больше, чем объем обработки для декодирования видеоданных, сформированных способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, частота возбуждения, вероятно, устанавливается в обратном порядке по отношению к описанной выше установке.

Кроме того, способ установки частоты возбуждения не ограничен способом установки более низкой частоты возбуждения. Например, когда идентификационная информация указывает, что видеоданные сформированы способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, напряжение, которое будет приложено к схеме ex500 LSI или устройству, включающему в себя схему ex500 LSI, вероятно, устанавливается более высоким. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1, напряжение, которое будет приложено к схеме ex500 LSI или устройству, включающему в себя схему ex500 LSI, вероятно, устанавливается более низким. В качестве другого примера, когда идентификационная информация указывает, что видеоданные сформированы способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, работа центрального процессора ex502, вероятно, не должна приостанавливаться. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1, работа центрального процессора ex502, вероятно, приостанавливается в заданное время, поскольку центральный процессор ex502 имеет дополнительную производительность обработки. Даже когда идентификационная информация указывает, что видеоданные сформированы способом кодирования движущихся графических изображений и устройством кодирования движущихся графических изображений, описанными в каждом из вариантов осуществления, в случае, когда центральный процессор ex502 имеет дополнительную производительность обработки, работа центрального процессора ex502, вероятно, приостанавливается в заданное время. В таком случае время приостановки, вероятно, устанавливается более коротким, чем в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1.

В соответствии с этим, эффект экономии мощности может быть улучшен посредством переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда схема ex500 LSI или устройство, включающее в себя схему ex500 LSI, управляется с использованием батареи, время работы от батареи может быть увеличено с помощью эффекта экономии мощности.

(ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 7)

Имеются случаи, в которых множество видеоданных, которые соответствуют различным стандартам, выдается устройствам и системам, таким как телевизор и сотовый телефон. Чтобы обеспечить возможность декодировать множество видеоданных, которые соответствуют различным стандартам, блок ex507 обработки сигналов схемы ex500 LSI должен соответствовать различным стандартам. Однако проблемы увеличения масштаба схемы ex500 LSI и увеличения затрат возникают с отдельным использованием блоков ex507 обработки сигналов, которые удовлетворяют соответствующим стандартам.

Чтобы решить эту проблему, разработана конфигурация, в которой блок обработки декодирования для реализации способа декодирования движущихся графических изображений, описанный в каждом из вариантов осуществления, и блок обработки декодирования, который соответствует традиционному стандарту, такому как MPEG 2, MPEG 4 AVC и VC 1, частично распределены. Номер ex900 на фиг. 34A показывает пример конфигурации. Например, способ декодирования движущихся графических изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся графических изображений, который соответствует стандарту MPEG- 4 AVC, имеют частично общие детали обработки, такие как статистическое кодирование, обратное квантование, фильтрация удаления блочности и предсказание с компенсацией движения. Детали обработки, которые будут распределены, вероятно, включают в себя использование блока ex902 обработки декодирования, который соответствует формату MPEG-4 AVC. Напротив, специализированный блок ex901 обработки декодирования, вероятно, используется для другой обработки, которая является уникальной для аспекта настоящего изобретения и не совместима со стандартом MPEG-4 AVC. Поскольку аспект настоящего изобретения отличается статистическим декодированием, в частности, например, специализированный блок ex901 обработки декодирования используется для статистического декодирования. В ином случае блок обработки декодирования, вероятно, совместно используется для одного действия из обратного квантования, фильтрации удаления блочности и компенсации движения или для всей обработки. Блок обработки декодирования для реализации способа декодирования движущихся графических изображений, описанного в каждом из вариантов осуществления, может совместно использоваться для обработки, которая будет распределена, и специализированный блок обработки декодирования может использоваться для обработки, уникальной для стандарта MPEG-4 AVC.

Кроме того, номер ex1000 на фиг. 34B показывает другой пример, в котором обработка частично распределена. Этот пример использует конфигурацию, включающую в себя специализированный блок ex1001 обработки декодирования, который поддерживает обработку, уникальную для аспекта настоящего изобретения, специализированный блок ex1002 обработки декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок ex1003 обработки декодирования, который поддерживает обработку, которая будет распределена между способом декодирования движущихся графических изображений в соответствии с аспектом настоящего изобретения и традиционным способом декодирования движущихся графических изображений. При этом специализированные блоки ex1001 и ex1002 обработки декодирования не обязательно специализированы для обработки в соответствии с аспектом настоящего изобретения и обработки традиционного стандарта, соответственно, а могут быть способными к реализации общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством схемы ex500 LSI.

Таким образом, сокращение масштаба схемы LSI и сокращение затрат возможны посредством совместного использования блока обработки декодирования для обработки, которая будет распределена между способом декодирования движущихся графических изображений в соответствии с аспектом настоящего изобретения и способом декодирования движущихся графических изображений в соответствии с традиционным стандартом.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение может быть применено к способам кодирования изображений, способам декодирования изображений, устройствам кодирования изображений и устройствам декодирования изображений. Настоящее изобретение также применимо к устройствам отображения информации с высоким разрешением или устройствам обработки изображений, таким как телевизоры, цифровые видеомагнитофоны, навигационные системы в транспортных средствах, переносные телефоны, цифровые фотоаппараты и цифровые видеокамеры, каждое из которых включает в себя устройство кодирования изображений.

СПИСОК ОБОЗНАЧЕНИЙ

100 устройство кодирования изображений

101 модуль разделения на блоки кодирования

102 модуль вычитания

103 модуль преобразования

104 модуль кодирования коэффициентов с переменной длиной слова

105, 202 модуль обратного преобразования

106, 203 модуль сложения

107, 205 память кадров

108 модуль предсказания

109, 207 модуль обработки SAO

110 модуль кодирования параметра SAO с переменной длиной слова

121 входное изображение

122 блок кодирования

123, 126, 223 разностный блок

124, 222 частотный коэффициент

125, 221 битовый поток

127, 130, 224, 228 декодированный блок

128, 225, 226 декодированное изображение

129 блок предсказания

131, 227 параметр SAO

141 модуль кодирования sao_merge_left_flag

142 модуль кодирования sao_type_idx

143 модуль кодирования sao_offset

151, 251 модуль переключения контекста

152 модуль арифметического кодирования контекста-0

153 модуль арифметического кодирования контекста-1

200 устройство декодирования изображений

201 модуль декодирования коэффициентов с переменной длиной слова

204 модуль объединения декодированных блоков

206 модуль декодирования параметра SAO с переменной длиной слова

241 модуль декодирования sao_merge_left_flag

242 модуль декодирования sao_type_idx

243 модуль декодирования sao_offset

252 модуль арифметического декодирования контекста-0

253 модуль арифметического декодирования контекста-1

Изобретение относится к технологиям арифметического кодирования/декодирования изображений. Техническим результатом является сокращение объемов обрабатываемых данных при подавлении ухудшения эффективности кодирования/декодирования. Предложен способ декодирования изображений. Способ включает в себя этап, на котором осуществляют арифметическое декодирование над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока, который должен быть декодирован, параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки адаптивного к выборке смещения (SAO). Далее, согласно способу, выполняют арифметическое декодирование над параметром SAO для целевого блока, когда первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока. 2 н. и 4 з.п. ф-лы, 36 ил.

1. Способ декодирования изображений, содержащий:

выполнение арифметического декодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока, который должен быть декодирован, параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки адаптивного к выборке смещения (SAO);

выполнение арифметического декодирования над параметром SAO для целевого блока, когда первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока; и

выполнение в соответствии с первым флагом обработки SAO над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, посредством использования одного из: параметра SAO для целевого блока, к которому было применено арифметическое декодирование; и параметра SAO для соседнего слева блока;

причем при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

2. Способ декодирования изображений по п. 1, дополнительно содержащий:

выполнение арифметического декодирования над вторым флагом, указывающим, идентичен ли параметр SAO для целевого блока параметру SAO для соседнего сверху блока, находящегося непосредственно над целевым блоком,

причем при выполнении арифметического декодирования над первым флагом и выполнении арифметического декодирования над вторым флагом используется один и тот же способ определения контекста для определения обоих: контекста, который должен быть использован при арифметическом декодировании над первым флагом; и контекста, который должен быть использован при арифметическом декодировании над вторым флагом.

3. Способ декодирования изображений по любому из пп. 1 и 2,

в котором при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над: первым флагом яркости, который является первым флагом для сигнала яркости; первым флагом Cb, который является первым флагом для сигнала цветности Cb; и первым флагом Cr, который является первым флагом для сигнала цветности Cr.

4. Способ декодирования изображений по любому из пп. 1 и 2,

в котором при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над, в качестве первого флага, единственным первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.

5. Способ декодирования изображений по любому из пп. 1 и 2,

в котором при выполнении обработки SAO

каждый из пикселей, включенных в целевой блок, классифицируется в одну из категорий,

к каждому из пикселей добавляется значение смещения, соответствующее классифицированной одной из категорий, и

параметр SAO включает в себя: информацию, указывающую способ классификации по категориям, и информацию, указывающую значение смещения.

6. Устройство декодирования изображений, содержащее:

схему управления и

средство хранения, доступное из схемы управления,

в котором схема управления исполняет:

выполнение арифметического декодирования над первым флагом, указывающим, идентичен ли параметр SAO для целевого блока, который должен быть декодирован, параметру SAO для соседнего слева блока, находящегося непосредственно слева от целевого блока, параметр SAO для целевого блока указывает подробности обработки адаптивного к выборке смещения (SAO);

выполнение арифметического декодирования над параметром SAO для целевого блока, когда первый флаг указывает, что параметр SAO для целевого блока отличается от параметра SAO для соседнего слева блока; и

выполнение в соответствии с первым флагом обработки SAO над сигналом яркости, сигналом цветности Cb и сигналом цветности Cr, которые включены в целевой блок, посредством использования одного из: параметра SAO для целевого блока, к которому было применено арифметическое декодирование, и параметра SAO для соседнего слева блока;

причем при выполнении арифметического декодирования над первым флагом используется единственный контекст для выполнения арифметического декодирования над первым флагом для сигнала яркости, сигнала цветности Cb и сигнала цветности Cr.