СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2024 года по МПК H04N19/70 H04N19/13 H04N19/91 

[Область техники]

[0001] Настоящее изобретение относится к способу кодирования изображений, устройству кодирования изображений, способу декодирования изображений, устройству декодирования изображений и устройству кодирования и декодирования изображений, и в частности, к способу кодирования изображений, устройству кодирования изображений, способу декодирования изображений, устройству декодирования изображений и устройству кодирования и декодирования изображений для выполнения арифметического кодирования или арифметического декодирования над параметром адаптивного смещения выборок (SAO).

[Предшествующий уровень техники]

[0002] В последнее время наблюдается значительное техническое развитие в устройствах цифрового видео, и увеличивающиеся возможности для кодирования видеосигнала (множество изображений, организованных во временной ряд) со сжатием и записи видеосигнала на носители записи, например DVD и жесткие диски, или распространения видеосигнала в Интернете. Например, H.264/AVC (MPEG-4 AVC) является одним из стандартов для кодирования видеосигнала со сжатием. Кроме того, стандарт Высокоэффективного кодирования видео (HEVC) в настоящее время рассматривается в качестве стандарта следующего поколения.

[0003] Текущий стандарт HEVC (NPL 1) содержит процесс смещения, называемый SAO. Процесс SAO является процессом для добавления значения смещения к каждому пикселю изображения, декодированного из потока двоичных сигналов (кодированного потока двоичных сигналов). Выполнение процесса SAO дает возможность уменьшить ухудшение изображения в результате кодирования и сделать декодированное изображение больше похожим на исходное изображение. В соответствии с текущим стандартом HEVC в процессе SAO выполняется арифметическое кодирование над значением смещения, и значение смещения добавляется в поток двоичных сигналов.

[Список библиографических ссылок]

[Непатентная литература]

[0004] [NPL 1] Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April-7 May 2012, JCTVC-I0602_CDTexts_r2.doc, BoG report on integrated text of SAO adoptions on top of JCTVC-I0030, http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0602-v3.zip

[Сущность изобретения]

[Техническая задача]

[0005] В традиционной методике при кодировании и декодировании изображения желательна ускоренная обработка.

[0006] Здесь настоящее изобретение предоставляет способ кодирования изображений и способ декодирования изображений, в которых обработку можно ускорить.

[Решение задачи]

[0007] Способ кодирования изображений в соответствии с аспектом настоящего изобретения является способом кодирования изображений для кодирования входного изображения и включает в себя: преобразование в строку бинов значения смещения, используемого в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего входному изображению; и выполнение обходного арифметического кодирования над строкой бинов с использованием постоянной вероятности.

[0008] Кроме того, способ декодирования изображений в соответствии с другим аспектом настоящего изобретения является способом декодирования изображений для декодирования кодированного изображения и включает в себя: выполнение обходного арифметического декодирования над строкой бинов с использованием постоянной вероятности, причем строка бинов закодирована и указывает значение смещения, используемое в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего кодированному изображению; и преобразование в значение смещения строки бинов, над которой выполняется обходное арифметическое декодирование.

[0009] Эти общие или специфические аспекты настоящего изобретения могут быть реализованы с помощью системы, устройства, интегральной схемы, компьютерной программы, машиночитаемого носителя записи, например CD-ROM, или произвольного сочетания системы, устройства, интегральной схемы, компьютерной программы и носителя записи.

[Полезные результаты изобретения]

[0010] С помощью способа кодирования изображений, устройства кодирования изображений, способа декодирования изображений, устройства декодирования изображений и устройства кодирования и декодирования изображений в соответствии с настоящим изобретением можно ускорить обработку.

[Краткое описание чертежей]

[0011] Фиг. 1 - блок-схема, иллюстрирующая примерную конфигурацию устройства кодирования изображений в соответствии с Вариантом 1 осуществления.

Фиг. 2 - блок-схема, иллюстрирующая примерную конфигурацию узла кодирования параметров SAO.

Фиг. 3 - блок-схема, иллюстрирующая примерную конфигурацию узла кодирования sao_offset.

Фиг. 4 - блок-схема алгоритма, указывающая примерные процессы в устройстве кодирования изображений в соответствии с Вариантом 1 осуществления.

Фиг. 5 - блок-схема алгоритма, указывающая примерные процессы в узле кодирования параметров SAO в соответствии с Вариантом 1 осуществления.

Фиг. 6A - блок-схема алгоритма, указывающая примерные процессы в узле кодирования sao_offset в соответствии с Вариантом 1 осуществления.

Фиг. 6B - блок-схема алгоритма, указывающая примерные процессы в узле кодирования sao_offset в соответствии с Разновидностью 2 Варианта 1 осуществления.

Фиг. 7 - таблица, указывающая примерное соответствие между недвоичными сигналами и строками бинов.

Фиг. 8 - таблица, указывающая соответствие между бинами, включенными в binIdx, и арифметическим кодированием, которое будет применено.

Фиг. 9 - таблица, показывающая результат эксперимента над эффективностью кодирования в соответствии с Вариантом 1 осуществления и Разновидностью 1.

Фиг. 10 - блок-схема, иллюстрирующая примерную конфигурацию устройства декодирования изображений в соответствии с Вариантом 2 осуществления.

Фиг. 11 - блок-схема, иллюстрирующая примерную конфигурацию узла декодирования параметров SAO.

Фиг. 12 - блок-схема, иллюстрирующая примерную конфигурацию узла декодирования sao_offset.

Фиг. 13 - блок-схема алгоритма, указывающая примерные процессы в устройстве декодирования изображений в соответствии с Вариантом 2 осуществления.

Фиг. 14 - блок-схема алгоритма, указывающая примерные процессы в узле декодирования параметров SAO в соответствии с Вариантом 2 осуществления.

Фиг. 15A - блок-схема алгоритма, указывающая примерные процессы в узле декодирования sao_offset в соответствии с Вариантом 2 осуществления.

Фиг. 15B - блок-схема алгоритма, указывающая примерные процессы в узле декодирования sao_offset в соответствии с Разновидностью 2 Варианта 2 осуществления.

Фиг. 16 иллюстрирует общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 17 иллюстрирует общую конфигурацию системы цифрового вещания.

Фиг. 18 иллюстрирует блок-схему примера конфигурации телевизора.

Фиг. 19 иллюстрирует блок-схему, иллюстрирующую пример конфигурации узла воспроизведения/записи информации, который считывает и записывает информацию с носителя записи или на него, который является оптическим диском.

Фиг. 20 иллюстрирует пример конфигурации носителя записи, который является оптическим диском.

Фиг. 21A иллюстрирует пример сотового телефона.

Фиг. 21B иллюстрирует блок-схему примера конфигурации сотового телефона.

Фиг. 22 иллюстрирует структуру мультиплексированных данных.

Фиг. 23 схематически иллюстрирует, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 24 подробнее иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES.

Фиг. 25 иллюстрирует структуру пакетов TS и исходных пакетов в мультиплексированных данных.

Фиг. 26 иллюстрирует структуру данных PMT.

Фиг. 27 иллюстрирует внутреннюю структуру информации о мультиплексированных данных.

Фиг. 28 иллюстрирует внутреннюю структуру информации об атрибутах потока.

Фиг. 29 иллюстрирует этапы для идентификации видеоданных.

Фиг. 30 иллюстрирует блок-схему, иллюстрирующую пример конфигурации интегральной схемы для реализации способа кодирования кинофильма и способа декодирования кинофильма в соответствии с каждым из Вариантов осуществления.

Фиг. 31 иллюстрирует конфигурацию для переключения между частотами возбуждения.

Фиг. 32 иллюстрирует этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 33 иллюстрирует пример справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения.

Фиг. 34A иллюстрирует пример конфигурации для совместного использования модуля в узле обработки сигналов.

Фиг. 34B иллюстрирует пример конфигурации для совместного использования модуля в узле обработки сигналов.

[Описание вариантов осуществления]

[0012] (Сведения, на которых основывается настоящее изобретение)

Авторы изобретения обнаружили, что способ кодирования изображений и прочие, описанные в "Предшествующем уровне техники", имеют следующие проблемы.

[0013] Как описано выше, в соответствии с текущим стандартом HEVC в процессе SAO, который является процессом смещения, выполняется арифметическое кодирование над значением смещения, и значение смещения добавляется в поток двоичных сигналов. Точнее говоря, в арифметическом кодировании по стандарту HEVC сигнал, который должен быть кодирован (например, значение смещения SAO), преобразуется из недвоичного сигнала в строку бинов, и арифметическое кодирование выполняется над строкой бинов.

[0014] Арифметическое кодирование имеет два типа: (1) контекстное арифметическое кодирование, в котором арифметическое кодирование выполняется с использованием адаптивной вероятности появления символа; и (2) обходное арифметическое кодирование, в котором арифметическое кодирование выполняется путем установления вероятности появления символа, например, в 50%.

[0015] (1) В контекстном арифметическом кодировании контекст выбирается на каждый сигнал, который должен быть кодирован. Вероятность появления символа определяется в соответствии с тем контекстом. Кроме того, в контекстном арифметическом кодировании загружается выбранный контекст, и арифметическое кодирование выполняется над сигналом, который должен быть кодирован, на основе вероятности появления символа, соответствующей загруженному контексту. Кроме того, в контекстном арифметическом кодировании процесс обновления контекста для обновления вероятности появления символа (например, вероятностей появления 1) у контекста выполняется в соответствии со значением сигнала, который должен быть кодирован.

[0016] (2) В отличие от этого в обходном арифметическом кодировании арифметическое кодирование выполняется над сигналом, который должен быть кодирован, путем установления вероятности появления символа, например, в 50% без использования какого-либо контекста. Таким образом, обходное арифметическое кодирование не требует загрузки и обновления контекста.

[0017] Традиционно устройство кодирования изображений выполняет контекстное арифметическое кодирование над значением смещения SAO. Причина в том, что вероятность появления символа у строки бинов, указывающей значение смещения SAO, скорее всего, имеет некое отклонение в соответствии со стандартом HEVC (NPL 1). Когда вероятность появления символа имеет отклонение, уменьшение эффективности кодирования можно остановить с использованием контекстного арифметического кодирования.

[0018] Однако контекстное арифметическое кодирование требует такой обработки, как загрузка и обновление контекста. Кроме того, когда контекст, идентичный контексту, выбранному в контекстном арифметическом кодировании над заранее установленным значением смещения SAO, выбирается в контекстном арифметическом кодировании над другим значением смещения SAO, нельзя начать контекстное арифметическое кодирование над следующим значением смещения SAO, пока не обновится контекст для значения смещения SAO, над которым арифметическое кодирование выполнено первым. Таким образом, возникают проблемы с последовательными процессами и уменьшением пропускной способности.

[0019] Чтобы решить такие проблемы, способ кодирования изображений в соответствии с аспектом настоящего изобретения является способом кодирования изображений для кодирования входного изображения и включает в себя: преобразование в строку бинов значения смещения, используемого в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего входному изображению; и выполнение обходного арифметического кодирования над строкой бинов с использованием постоянной вероятности.

[0020] Поскольку в способе кодирования изображений арифметическое кодирование выполняется над значением смещения SAO с использованием обходного арифметического кодирования, то обработку можно ускорить.

[0021] Авторы изобретения обнаружили, что вероятности появления символов у строк бинов, указывающих значение смещения SAO, имеют небольшие отклонения, которые будут описываться позже. Таким образом, эффективность кодирования, скорее всего, не уменьшается, даже когда выполняется обходное арифметическое кодирование. Таким образом, авторы изобретения подтвердили в эксперименте, что обходное арифметическое кодирование в качестве арифметического кодирования над значением смещения SAO не уменьшает эффективность кодирования.

[0022] Таким образом, способ кодирования изображений с этой конфигурацией дает возможность ускорения обработки без снижения эффективности кодирования.

[0023] Кроме того, способ декодирования изображений в соответствии с другим аспектом настоящего изобретения является способом декодирования изображений для декодирования кодированного изображения и включает в себя: выполнение обходного арифметического декодирования над строкой бинов с использованием постоянной вероятности, причем строка бинов закодирована и указывает значение смещения, используемое в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего кодированному изображению; и преобразование в значение смещения строки бинов, над которой выполняется обходное арифметическое декодирование.

[0024] Кроме того, устройство кодирования изображений в соответствии с другим аспектом настоящего изобретения является устройством кодирования изображений, которое кодирует входное изображение и включает в себя схему управления и запоминающее устройство, электрически подключенное к схеме управления, причем схема управления исполняет: преобразование в строку бинов значения смещения, используемого в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего входному изображению; и выполнение обходного арифметического кодирования над строкой бинов с использованием постоянной вероятности.

[0025] Кроме того, устройство декодирования изображений в соответствии с другим аспектом настоящего изобретения является устройством декодирования изображений, которое декодирует кодированное изображение и включает в себя схему управления и запоминающее устройство, электрически подключенное к схеме управления, причем схема управления исполняет: выполнение обходного арифметического декодирования над строкой бинов с использованием постоянной вероятности, причем строка бинов закодирована и указывает значение смещения, используемое в процессе смещения, которое должно быть применено к значению пикселя восстановленного изображения, соответствующего кодированному изображению; и преобразование в значение смещения строки бинов, над которой выполняется обходное арифметическое декодирование.

[0026] Кроме того, устройство кодирования и декодирования изображений в соответствии с другим аспектом настоящего изобретения включает в себя устройство кодирования изображений и устройство декодирования изображений.

[0027] Эти общие или специфические аспекты настоящего изобретения могут быть реализованы с помощью системы, способа, интегральной схемы, компьютерной программы, машиночитаемого носителя записи, например CD-ROM, или произвольного сочетания системы, способа, интегральной схемы, компьютерной программы и носителя записи.

[0028] Варианты осуществления в соответствии с настоящим изобретением будут описываться со ссылкой на чертежи.

[0029] Описанные ниже варианты осуществления указывают специфические или общие примеры настоящего изобретения. Значения, формы, материалы, составляющие элементы, положения и соединения составляющих элементов, этапы и порядки этапов, указанные в Вариантах осуществления, являются примерами и не ограничивают настоящее изобретение. Составляющие элементы в Вариантах осуществления, которые не описываются в независимых пунктах формулы изобретения, которые описывают самую общую идею настоящего изобретения, описываются как произвольные составляющие элементы.

[0030] (Вариант 1 осуществления)

Устройство кодирования изображений и способ кодирования изображений в соответствии с Вариантом 1 осуществления будут описываться со ссылкой на фиг. 1-9.

[0031]<1-1. Конфигурация устройства>

Устройство кодирования изображений в соответствии с Вариантом 1 осуществления будет описываться со ссылкой на фиг. 1. Фиг. 1 - блок-схема, иллюстрирующая конфигурацию устройства 100 кодирования изображений в соответствии со стандартом HEVC в соответствии с Вариантом 1 осуществления.

[0032] Устройство 100 кодирования изображений является устройством, которое кодирует изображение, которое должно быть введено (входное изображение), по блокам для формирования потока двоичных сигналов (кодированного потока двоичных сигналов).

[0033] Как проиллюстрировано на фиг. 1, устройство 100 кодирования изображений включает в себя узел 101 разбиения на блоки, узел 102 вычитания, узел 103 преобразования, узел 104 кодирования переменной длины (узел энтропийного кодирования), узел 105 обратного преобразования, узел 106 сложения, узел 107 обработки SAO, узел 110 кодирования параметров SAO, память 108 кадров и узел 109 предсказания.

[0034] Узел 101 разбиения на блоки разбивает входное изображение на блоки, которые должны предсказываться и включают в себя пиксели. Блоки, которые будут предсказываться, являются блоками переменного размера. Например, минимальный размер блоков составляет 4×4 пикселя, а максимальный размер блоков составляет 32×32 пикселя.

[0035] Узел 102 вычитания вычитает блок предсказания, предсказанный узлом 109 предсказания, который будет описан позже, из каждого из блоков, которые должны предсказываться, чтобы вычислить разностный блок. Узел 103 преобразования преобразует разностный блок из области изображения в частотную область, чтобы вывести частотные коэффициенты, и квантует эти частотные коэффициенты. Квантованные частотные коэффициенты в дальнейшем будут называться квантованными коэффициентами.

[0036] Узел 104 кодирования переменной длины выполняет энтропийное кодирование над квантованными коэффициентами, выводимыми из узла 103 преобразования, и различной информацией, необходимой для декодирования (информация о разбиении для блоков, которые должны предсказываться, тип предсказания, вектор движения, режим предсказания (режим внутреннего предсказания), квантованный параметр и т.п.), чтобы сформировать поток двоичных сигналов.

[0037] Узел 105 обратного преобразования выполняет обратное квантование для преобразования квантованных коэффициентов, выводимых из узла 103 преобразования, в частотные коэффициенты и выполняет обратное преобразование для преобразования частотных коэффициентов из частотной области в область изображения, чтобы вывести восстановленный разностный блок. Узел 106 сложения складывает блок предсказания, предсказанный узлом 109 предсказания, который будет описан позже, с восстановленным разностным блоком, выведенным узлом 105 обратного преобразования, чтобы сформировать восстановленный блок.

[0038] Узел 107 обработки SAO выполняет процесс SAO (процесс смещения) над восстановленным блоком для добавления к значению пикселя у каждого пикселя, включенного в восстановленный блок, значения смещения SAO, соответствующего категории (классу), которой принадлежит пиксель, что будет описываться позже. Поскольку процесс, выполняемый узлом 103 преобразования, является необратимым процессом, возникает ошибка между каждым из блоков, которые должны предсказываться во входном изображении, и восстановленным блоком. Значение смещения SAO является значением для исправления ошибки и устанавливается на каждую категорию.

[0039] Узел 110 кодирования параметров SAO выполняет кодирование переменной длины над различными параметрами, которые должны использоваться в процессе SAO, и добавляет параметры в поток двоичных сигналов, выводимый из узла 104 кодирования переменной длины. Вариант 1 осуществления в качестве параметров SAO приводит sao_offset, указывающее значение смещения SAO, и sao_type_idx, указывающее категорию значения смещения SAO.

[0040] Фиг. 2 - блок-схема, иллюстрирующая примерную конфигурацию узла 110 кодирования параметров SAO. Как проиллюстрировано на фиг. 2, узел 110 кодирования параметров SAO включает в себя узел 111 кодирования sao_type_idx и узел 112 кодирования sao_offset.

[0041] Узел 111 кодирования sao_type_idx выполняет арифметическое кодирование над sao_type_idx, указывающим категорию у sao_offset. Здесь sao_offset классифицируется на две категории: значение смещения по границе, определенное в соответствии с состоянием окружающих пикселей; и значение смещения по диапазону, определенное в соответствии с областью, которой принадлежит значение пикселя у пикселя.

[0042] Узел 112 кодирования sao_offset выполняет арифметическое кодирование над sao_offset. Фиг. 3 - блок-схема, иллюстрирующая примерную конфигурацию узла 112 кодирования sao_offset.

[0043] Как проиллюстрировано на фиг. 3, узел 112 кодирования sao_offset включает в себя узел 113 преобразования sao_offset в двоичную форму, узел 114 переключения арифметического кодирования, узел 115 арифметического кодирования контекста 0, узел 116 арифметического кодирования контекста 1 и узел 117 обходного арифметического кодирования.

[0044] Узел 113 преобразования sao_offset в двоичную форму преобразует sao_offset, которое является недвоичным сигналом, в двоичную форму (преобразует sao_offset в сигнал, представляющий 0 и 1). Узел 114 переключения арифметического кодирования переключает способ арифметического кодирования, который должен быть применен к sao_offset. Узел 115 арифметического кодирования контекста 0 выполняет арифметическое кодирование контекста 0 с использованием первого контекста (контекста 0). Узел 116 арифметического кодирования контекста 1 выполняет арифметическое кодирование контекста 1 с использованием второго контекста (контекста 1). Узел 117 обходного арифметического кодирования выполняет обходное арифметическое кодирование с использованием постоянной вероятности.

[0045] Память 108 кадров включает в себя некое запоминающее устройство, например оперативное запоминающее устройство (RAM) и постоянное запоминающее устройство (ROM).

[0046] Узел 109 предсказания формирует блок предсказания посредством внешнего предсказания или внутреннего предсказания. При внешнем предсказании узел 109 предсказания выводит вектор движения, используя блок, который должен предсказываться, и формирует блок предсказания, используя выведенный вектор движения и восстановленный блок, полученный в процессе SAO и сохраненный в памяти 108 кадров. При внутреннем предсказании узел 109 предсказания формирует блок предсказания, используя восстановленный блок, полученный в процессе SAO и сохраненный в памяти 108 кадров, в соответствии с режимом предсказания.

[0047]<1-2 Общие операции>

Далее со ссылкой на фиг. 4 будут описываться операции устройства кодирования изображений. Фиг. 4 - блок-схема алгоритма, указывающая процедуру в устройстве 100 кодирования изображений.

[0048] В устройстве 100 кодирования изображений узел 101 разбиения на блоки сначала разбивает входное изображение на блоки, которые должны предсказываться, и последовательно выводит эти блоки в узел 102 вычитания и узел 109 предсказания (этап S101). Блоки, которые должны предсказываться, имеют переменный размер в соответствии с Вариантом 1 осуществления. Входное изображение разбивается с использованием признаков изображения. Минимальный размер блоков, которые должны предсказываться, равен 4 пикселям по горизонтали (4 пикселя по вертикали в соответствии с Вариантом 1 осуществления. Кроме того, максимальный размер блоков, которые должны предсказываться, равен 32 пикселям по горизонтали (32 пикселя по вертикали в соответствии с Вариантом 1 осуществления.

[0049] Узел 109 предсказания в устройстве 100 кодирования изображений формирует блок предсказания, используя блоки, которые должны предсказываться, и восстановленный блок, сохраненный в памяти 108 кадров (этап S102).

[0050] Узел 102 вычитания в устройстве 100 кодирования изображений вычитает блок предсказания из каждого из блоков, которые должны предсказываться, чтобы сформировать разностный блок (этап S103).

[0051] Узел 103 преобразования в устройстве 100 кодирования изображений преобразует разностный блок в частотные коэффициенты и преобразует частотные коэффициенты в квантованные коэффициенты (этап S104).

[0052] Узел 105 обратного преобразования в устройстве 100 кодирования изображений обратно квантует квантованные коэффициенты, чтобы вывести частотные коэффициенты, и преобразует частотные коэффициенты из частотной области в область изображения, чтобы сформировать восстановленный разностный блок (этап S105).

[0053] Узел 106 сложения в устройстве 100 кодирования изображений складывает блок предсказания с восстановленным разностным блоком, чтобы сформировать восстановленный блок (этап S106).

[0054] Узел 107 обработки SAO в устройстве 100 кодирования изображений выполняет процесс SAO (этап S107). Узел 107 обработки SAO сначала определяет параметры SAO, которые должны использоваться для процесса SAO. В Варианте 1 осуществления параметрами SAO являются sao_offset, указывающее значение смещения SAO, и sao_type_idx, указывающее категорию значения смещения SAO. Узел 107 обработки SAO складывает значение смещения SAO со значением пикселя у каждого пикселя, включенного в восстановленный блок, и сохраняет в памяти 108 кадров восстановленный блок, к которому добавляются значения смещения SAO. В процессе SAO каждый из пикселей, включенных в восстановленный блок, классифицируется по категориям, и для каждой из тех категорий выводится значение смещения SAO. Способы для классификации пикселей многочисленны. Таким образом, используется параметр sao_type_idx, указывающий категорию значения смещения SAO.

[0055] Узел 110 кодирования параметров SAO в устройстве 100 кодирования изображений выполняет кодирование переменной длины над параметром SAO и добавляет этот параметр в поток двоичных сигналов, выводимый из узла 104 кодирования переменной длины (этап S108). Подробности узла 110 кодирования параметров SAO будут описываться позже.

[0056] Узел 104 кодирования переменной длины в устройстве 100 кодирования изображений выполняет кодирование переменной длины над квантованными коэффициентами, выводимыми из узла 103 преобразования, чтобы вывести поток двоичных сигналов (этап S109).

[0057] Устройство 100 кодирования изображений повторно выполняет Этапы S102 - S109 до тех пор, пока не завершится кодирование всех блоков входного изображения, которые должны предсказываться (этап S110).

[0058]<1-2-1. Операции узла кодирования параметров SAO>

Операции узла 110 кодирования параметров SAO в соответствии с Вариантом 1 осуществления будут описываться со ссылкой на фиг. 5.

[0059] Фиг. 5 - блок-схема алгоритма, указывающая примерные процессы узла 110 кодирования параметров SAO, и подробно описывает Этап S108 из фиг. 4.

[0060] Узел 111 кодирования sao_type_idx в узле 110 кодирования параметров SAO кодирует sao_type_idx (этап S111).

[0061] Узел 112 кодирования sao_offset в узле 110 кодирования параметров SAO кодирует sao_offset (этап S112).

[0062]<1-2-2. Операции узла кодирования sao_offset>

Операции узла 112 кодирования sao_offset в соответствии с Вариантом 1 осуществления будут описываться со ссылкой на фиг. 6A. Фиг. 6A - блок-схема алгоритма, указывающая примерные процессы в узле 112 кодирования sao_offset.

[0063] Узел 113 преобразования sao_offset в двоичную форму в узле 112 кодирования sao_offset преобразует sao_offset из недвоичного сигнала в строку бинов (этап S121).

[0064] Вариант 1 осуществления описывает случай, где sao_offset принимает значения от 0 до 7. Фиг. 7 - таблица, указывающая соответствие между недвоичными сигналами и строками бинов. Как видно из фиг. 7, количество последовательных "1" от начала каждой строки бинов равно значению, указанному недвоичным сигналом. Кроме того, "0" добавляется в конец, когда недвоичный сигнал находится между 0 и 6. Когда недвоичный сигнал равен 7, то есть максимальному числу, никакого "0" в конец не добавляется. Здесь binIdx является индексом бина (одного разряда), включенного в строку бинов. Первым значением binIdx является 0, а последующие значения увеличиваются на 1. Строка бинов выводится в узел 114 переключения арифметического кодирования последовательно от бина, чей binIdx равен 0.

[0065] Узел 114 переключения арифметического кодирования в узле 112 кодирования sao_offset определяет значение binIdx (этапы S122, S124 и S126).

[0066] Когда значение равно 0 (Да на этапе S122), узел 114 переключения арифметического кодирования выводит бин в узел 115 арифметического кодирования контекста 0. Узел 115 арифметического кодирования контекста 0 выполняет контекстное арифметическое кодирование с использованием контекста 0 (этап S123).

[0067] Когда значение равно 1 (Нет на этапе S122 и Да на этапе S124), узел 114 переключения арифметического кодирования выводит бин в узел 116 арифметического кодирования контекста 1. Узел 116 арифметического кодирования контекста 1 выполняет контекстное арифметическое кодирование с использованием контекста 1 (этап S125).

[0068] Когда значение не равно ни 0, ни 1 (Нет на этапе S122 и Нет на этапе S124), узел 114 переключения арифметического кодирования выводит бин в узел 117 обходного арифметического кодирования. Узел 117 обходного арифметического кодирования выполняет обходное арифметическое кодирование (этап S126).

[0069] Поскольку узел 117 обходного арифметического кодирования не использует никакой контекст, узел 112 кодирования sao_offset в целом использует два типа контекстов в соответствии с Вариантом 1 осуществления.

[0070] Узел 112 кодирования sao_offset повторяет процессы с Этапа 122 по Этап 127 до тех пор, пока не завершится обработка всех бинов, включенных в строку бинов (этап S127).

[0071]<1-3. Преимущества, разновидности и т.п.>

Устройство 100 кодирования изображений в соответствии с Вариантом 1 осуществления может ускорить обработку путем выполнения обходного арифметического кодирования над бинами во второй половине sao_offset. Точнее говоря, в соответствии с Вариантом 1 осуществления не контекстное арифметическое кодирование, а обходное арифметическое кодирование выполняется над бинами, чей binIdx равен 2 или выше. Как описано выше, обходное арифметическое кодирование не требует загрузки и обновления никакого контекста. Таким образом, арифметическое кодирование над значением смещения SAO у блока, который должен предсказываться, может начинаться без ожидания завершения арифметического кодирования над другим значением смещения SAO, и обработку можно ускорить.

[0072] Кроме того, вероятности появления символов (вероятности появления 1) у binIdx с 1 по 6 в соответствии со стандартом HEVC (NPTL 1), который изучается в настоящее время, почти одинаковы, но не равны 50% и имеют отклонение. Другими словами, при наличии binIdx после binIdx1 (когда sao_offset равно 1 или выше), случаи часто делятся на случай, где binIdx1 равен 0 без какого-либо binIdx2 и после (sao_offset равно 1), и случай, где все binIdx с 1 по 6 равны 1 (sao_offset равно 7).

[0073] Однако авторы изобретения обнаружили, что в результате эксперимента для кодирования binIdx с 1 по 6 с постоянной вероятностью появления символа в 50% эффективность кодирования почти не ухудшается. В частности, эксперимент показал, что sao_offset часто указывает промежуточное значение (от 2 до 6), и вероятности появления символов у binIdx с 1 по 6 близки к 50%. Таким образом, обработку для подавления уменьшения эффективности кодирования можно ускорить, используя не контекстное арифметическое кодирование, а обходное арифметическое кодирование над binIdx после binIdx2.

[0074]<1-3-1. Разновидности>

Хотя обходное арифметическое кодирование выполняется над бинами после binIdx2 в соответствии с Вариантом 1 осуществления, обработка этим не ограничивается.

[0075] Фиг. 8 - таблица, указывающая соответствие между бинами, включенными в binIdx, и арифметическим кодированием, которое будет применено. На фиг. 8 "Вариант 1 осуществления" указывает соответствие между бинами, описанными в Варианте 1 осуществления, и арифметическим кодированием, которое должно быть применено. Кроме того, "Контекст 0" указывает контекстное арифметическое кодирование с использованием контекста 0. "Контекст 1" указывает контекстное арифметическое кодирование с использованием контекста 1. "Обходное" указывает обходное арифметическое кодирование.

[0076] "Изменение 1" на фиг. 8 указывает Разновидность 1. В соответствии с Разновидностью 1, контекстное арифметическое кодирование выполняется над бином в binIdx0, а обходное арифметическое кодирование выполняется над бинами после binIdx1. Кроме того, в соответствии с Разновидностью 1 узел 112 кодирования sao_offset на фиг. 2 должен включать в себя только узел 113 преобразования sao_offset в двоичную форму, узел 114 переключения арифметического кодирования, узел 115 арифметического кодирования контекста 0 и узел 117 обходного арифметического кодирования. Другими словами, узел 112 кодирования sao_offset не должен включать в себя узел 116 арифметического кодирования контекста 1.

[0077] "Изменение 2" на фиг. 8 указывает Разновидность 2. В Разновидности 2 обходное арифметическое кодирование выполняется над каждым из бинов в binIdx, как показано на фиг. 8.

[0078] Фиг. 6B - блок-схема алгоритма, указывающая примерные процессы (способ кодирования изображений) в узле 112 кодирования sao_offset в соответствии с Разновидностью 2. На фиг. 6B sao_offset преобразуется в двоичную форму (этап S121 для преобразования значения смещения в строку бинов), и обходное арифметическое кодирование выполняется над всеми бинами, включенными в sao_offset (этапы S126 и S127 для выполнения обходного арифметического кодирования). Поскольку обходное арифметическое кодирование выполняется над всеми бинами, обработка может быть самой быстрой в Разновидности 2.

[0079] Кроме того, в соответствии с Разновидностью 2 узел 112 кодирования sao_offset на фиг. 2 должен включать в себя только узел 113 преобразования sao_offset в двоичную форму и узел 117 обходного арифметического кодирования. Другими словами, узел 112 кодирования sao_offset не должен включать в себя узел 115 арифметического кодирования контекста 0 и узел 116 арифметического кодирования контекста 1.

[0080] Хотя и не проиллюстрировано, приемлемо выполнять контекстное арифметическое кодирование над binIdx с 0 по 2 и обходное арифметическое кодирование над binIdx после binIdx3.

[0081]<1-3-2. Результат эксперимента по эффективности кодирования>

Фиг. 9 - таблица, показывающая результат эксперимента по эффективности кодирования в соответствии с Вариантом 1 осуществления и Разновидностью 1.

[0082] Фиг. 9 показывает результат сравнения между эффективностью кодирования, полученной путем выполнения арифметического кодирования над значением смещения SAO в соответствии с текущим стандартом HEVC (NPL 1), и эффективностью кодирования в соответствии с Вариантом 1 осуществления и Разновидностью 1. Условия эксперимента придерживаются общих условий эксперимента в структуре стандарта HEVC.

[0083] Чем больше значение, тем ниже эффективность кодирования. Отрицательное значение указывает повышение эффективности кодирования.

[0084] Как показано в "Варианте 1 осуществления" из фиг. 9, значения, указывающие результат сравнения, колеблются между -0,1% и 0,1%. Это указывает, что эффективность кодирования для кодирования binIdx2 - binIdx6 у значения смещения SAO почти одинакова между контекстным арифметическим кодированием и обходным арифметическим кодированием.

[0085] Хотя эффективность кодирования у Разновидности 1 ниже, чем у Варианта 1 осуществления, как видно из "Изменения 1" на фиг. 9, результаты колеблются между 0 и 0,1%, и эффективность кодирования почти одинакова.

[0086] Хотя эффективность кодирования у Разновидности 2 также ниже, чем у Варианта 1 осуществления, как видно из "Изменения 2" на фиг. 9, результаты колеблются между 0 и 0,1%, и эффективность кодирования почти одинакова.

[0087] В результате эксперимента по эффективности кодирования применение обходного арифметического кодирования при выполнении арифметического кодирования над значением смещения SAO дает возможность ускорения арифметического кодирования наряду с тем, что эффективность кодирования снижается с меньшей вероятностью.

[0088] (Вариант 2 осуществления)

Устройство декодирования изображений и способ декодирования изображений в соответствии с Вариантом 2 осуществления будут описываться со ссылкой на фиг. 10-15A.

[0089]<2-1. Конфигурация устройства>

Устройство декодирования изображений в соответствии с Вариантом 2 осуществления будет описываться со ссылкой на фиг. 10. Фиг. 10 - блок-схема, иллюстрирующая конфигурацию устройства 200 декодирования изображений в соответствии со стандартом HEVC в соответствии с Вариантом 2 осуществления.

[0090] Устройство 200 декодирования изображений является устройством, которое декодирует входной поток двоичных сигналов (кодированный поток двоичных сигналов), чтобы сформировать декодированное изображение ("Изображение" на фиг. 10).

[0091] Как проиллюстрировано на фиг. 10, устройство 200 декодирования изображений включает в себя узел 201 декодирования переменной длины, узел 202 обратного преобразования, узел 210 декодирования параметров SAO, узел 204 обработки SAO, узел 205 объединения декодированных блоков, память 206 кадров и узел 207 предсказания.

[0092] Узел 201 декодирования переменной длины выполняет энтропийное декодирование (декодирование переменной длины) над потоком двоичных сигналов, введенным в устройство 200 декодирования изображений, чтобы получить квантованные коэффициенты и различную информацию, необходимую для декодирования (информацию о разбиении для блоков, которые должны предсказываться, тип предсказания, вектор движения, режим предсказания (режим внутреннего предсказания), квантованный параметр и т.п.).

[0093] Узел 202 обратного преобразования выполняет обратное квантование для преобразования квантованных коэффициентов, выводимых из узла 201 декодирования переменной длины, в частотные коэффициенты и выполняет обратное преобразование для преобразования частотных коэффициентов из частотной области в область изображения, чтобы вывести разностный блок.

[0094] Узел 203 сложения складывает блок предсказания, выводимый из узла 207 предсказания, с разностным блоком, выводимым из узла 202 обратного преобразования, чтобы сформировать декодированный блок.

[0095] Узел 210 декодирования параметров SAO декодирует различные параметры, которые должны использоваться в процессе SAO, из потока двоичных сигналов. Вариант 2 осуществления в качестве параметров SAO приводит sao_offset, указывающее значение смещения SAO, и sao_type_idx, указывающее категорию значения смещения SAO.

[0096] Фиг. 11 - блок-схема, иллюстрирующая примерную конфигурацию узла 210 декодирования параметров SAO. Как проиллюстрировано на фиг. 11, узел 210 декодирования параметров SAO включает в себя узел 211 декодирования sao_type_idx, который выполняет арифметическое декодирование над sao_type_idx, и узел 212 декодирования sao_offset, который выполняет арифметическое декодирование над sao_offset.

[0097] Фиг. 12 - блок-схема, иллюстрирующая примерную конфигурацию узла 212 декодирования sao_offset. Как проиллюстрировано на фиг. 12, узел 212 декодирования sao_offset включает в себя узел 213 переключения арифметического декодирования, узел 214 арифметического декодирования контекста 0, узел 215 арифметического декодирования контекста 1, узел 216 обходного арифметического декодирования и узел 217 обратного преобразования sao_offset из двоичной формы.

[0098] Узел 213 переключения арифметического декодирования переключает способ арифметического декодирования, которое должно быть применено к потоку двоичных сигналов. Узел 214 арифметического декодирования контекста 0 выполняет арифметическое декодирование контекста 0 с использованием первого контекста (контекста 0). Узел 215 арифметического декодирования контекста 1 выполняет арифметическое декодирование контекста 1 с использованием второго контекста (контекста 1). Узел 216 обходного арифметического декодирования выполняет обходное арифметическое декодирование с использованием постоянной вероятности. Узел 217 обратного преобразования sao_offset из двоичной формы обратно преобразует из двоичной формы строку бинов sao_offset, выводимую из каждого из узла 214 арифметического декодирования контекста 0, узла 215 арифметического декодирования контекста 1, узла 216 обходного арифметического декодирования, чтобы вывести недвоичное значение sao_offset.

[0099] Узел 204 обработки SAO выполняет процесс SAO (процесс смещения) над декодированным блоком, выводимым из узла 203 сложения, для добавления значения смещения SAO к значению пикселя у каждого пикселя, включенного в декодированный блок, что будет подробно описываться позже.

[0100] Узел 205 объединения декодированных блоков объединяет декодированные блоки, полученные в процессе SAO, чтобы восстановить декодированное изображение. Кроме того, узел 205 объединения декодированных блоков сохраняет декодированное изображение в памяти 206 кадров.

[0101] Память 206 кадров включает в себя некое запоминающее устройство, например оперативное запоминающее устройство (RAM) и постоянное запоминающее устройство (ROM).

[0102] Узел 207 предсказания формирует блок предсказания посредством внешнего предсказания или внутреннего предсказания. Способ предсказания, который должен быть применен узлом 207 предсказания, является таким же, как в узле 109 предсказания.

[0103]<2-2 Общие операции>

Далее со ссылкой на фиг. 13 будут описываться операции устройства 200 декодирования изображений. Фиг. 13 - блок-схема алгоритма, указывающая процедуру в устройстве 200 декодирования изображений.

[0104] Узел 210 декодирования параметров SAO в устройстве 200 декодирования изображений выполняет декодирование переменной длины над параметром SAO (этап S201).

[0105] Узел 201 декодирования переменной длины в устройстве 200 декодирования изображений выполняет декодирование переменной длины над потоком двоичных сигналов, чтобы получить квантованные коэффициенты, и выводит квантованные коэффициенты в узел 202 обратного преобразования (этап S202).

[0106] Узел 202 обратного преобразования в устройстве 200 декодирования изображений выполняет обратное квантование над квантованными коэффициентами, чтобы получить частотные коэффициенты, и выполняет обратное преобразование над полученными частотными коэффициентами, чтобы сформировать разностный блок (этап S203).

[0107] Узел 207 предсказания в устройстве 200 декодирования изображений формирует блок предсказания из декодированного изображения, сохраненного в памяти 206 кадров. Кроме того, узел 203 сложения в устройстве 200 декодирования изображений складывает блок предсказания, выводимый из узла 207 предсказания, с разностным блоком, выводимым из узла 202 обратного преобразования, чтобы сформировать декодированный блок (этап S204).

[0108] Узел 204 обработки SAO в устройстве 200 декодирования изображений выполняет процесс SAO (этап S205). В процессе SAO узел 204 обработки SAO классифицирует каждый пиксель декодированного блока по категориям в соответствии с параметром SAO и добавляет к пикселю значение смещения, соответствующее каждой из категорий. Параметры SAO включают в себя параметр sao_type_idx, указывающий категорию, и параметр sao_offset, указывающий значение смещения.

[0109] Устройство 200 декодирования изображений повторяет процессы с Этапа 201 по Этап 205 до тех пор, пока не завершится декодирование всех блоков, включенных в кодированное изображение (этап S206).

[0110] Узел 205 объединения декодированных блоков в устройстве 200 декодирования изображений объединяет декодированные блоки, чтобы сформировать декодированное изображение, и сохраняет декодированное изображение в памяти 206 кадров.

[0111]<2-2-1. Операции узла декодирования переменной длины параметров SAO>

Операции узла 210 декодирования параметров SAO в соответствии с Вариантом 2 осуществления будут описываться со ссылкой на фиг. 14.

[0112] Фиг. 14 - блок-схема алгоритма, указывающая примерные процессы узла 210 декодирования параметров SAO, и подробно описывает Этап S205 из фиг. 13.

[0113] Узел 211 декодирования sao_type_idx в узле 210 декодирования параметров SAO декодирует sao_type_idx (этап S211).

[0114] Узел 212 декодирования sao_offset в узле 210 декодирования параметров SAO декодирует sao_offset (этап S212).

[0115]<2-2-2. Операции узла 212 декодирования sao_offset>

Операции узла 212 декодирования sao_offset в соответствии с Вариантом 2 осуществления будут описываться со ссылкой на фиг. 15A. Фиг. 15A - блок-схема алгоритма, указывающая примерные процессы в узле 212 декодирования sao_offset.

[0116] Узел 213 переключения арифметического декодирования в узле 212 декодирования sao_offset определяет значение binIdx у бина, который должен декодироваться (этапы S221, S223 и S225).

[0117] Когда значение равно 0 (Да на этапе S221), узел 213 переключения арифметического декодирования выводит бин, который должен декодироваться, в узел 214 арифметического декодирования контекста 0. Узел 214 арифметического декодирования контекста 0 выполняет контекстное арифметическое декодирование с использованием контекста 0 (этап S222).

[0118] Когда значение равно 1 (Нет на этапе S221 и Да на этапе S223), узел 213 переключения арифметического декодирования выводит бин, который должен декодироваться, в узел 215 арифметического декодирования контекста 1. Узел 215 арифметического декодирования контекста 1 выполняет контекстное арифметическое декодирование с использованием контекста 1 (этап S224).

[0119] Когда значение не равно ни 0, ни 1 (Нет на этапе S221 и Нет на этапе S223), узел 213 переключения арифметического декодирования выводит бин, который должен декодироваться, в узел 216 обходного арифметического декодирования. Узел 216 обходного арифметического декодирования выполняет обходное арифметическое декодирование.

[0120] Узел 212 декодирования sao_offset повторяет процессы с Этапа 221 по Этап 226 до тех пор, пока значение бина, полученного в арифметическом декодировании, не равно 0, или не декодируется бин, чей binIdx равен 6 (этап S226).

[0121] Узел 212 декодирования sao_offset преобразует строку бинов, включающую в себя бины, декодированные узлом 217 обратного преобразования sao_offset из двоичной формы, в недвоичный сигнал (этап S227). Соответствие между недвоичными сигналами и строками бинов является таким же, как показано на фиг. 7 в соответствии с Вариантом 1 осуществления.

[0122]<2-3. Преимущества и т.п.>

Устройство 200 декодирования изображений в соответствии с Вариантом 2 осуществления может ускорить обработку путем выполнения обходного арифметического декодирования над бинами во второй половине sao_offset.

[0123]<2-3-1. Разновидности>

Хотя обходное арифметическое декодирование выполняется над бинами после binIdx2 в соответствии с Вариантом 2 осуществления, обработка этим не ограничивается. Таким же способом, как в Варианте 1 осуществления, обходное арифметическое декодирование может выполняться над бинами после binIdx1 (Разновидность 1) и над всеми бинами (Разновидность 2).

[0124] В Разновидности 1 в соответствии с Вариантом 2 осуществления контекстное арифметическое декодирование выполняется над бином в binIdx0, а обходное арифметическое декодирование выполняется над бинами после binIdx1. Этот процесс является процессом декодирования, соответствующим процессу кодирования из Разновидности 1 Варианта 1 осуществления на фиг. 8. Поскольку узел 212 декодирования sao_offset на фиг. 12 в соответствии с Разновидностью 1 выполняет обходное арифметическое декодирование над бинами после binIdx1, он должен включать в себя только узел 213 переключения арифметического декодирования, узел 214 арифметического декодирования контекста 0, узел 216 обходного арифметического декодирования и узел 217 обратного преобразования sao_offset из двоичной формы. Другими словами, узел 212 декодирования sao_offset в соответствии с Разновидностью 1 Варианта 2 осуществления не должен включать в себя узел 215 арифметического декодирования контекста 1.

[0125] В соответствии с Разновидностью 2 Варианта 2 осуществления узел 212 декодирования sao_offset выполняет обходное арифметическое декодирование над каждым из бинов в binIdx. Этот процесс является процессом декодирования, соответствующим процессу кодирования из Разновидности 2 Варианта 1 осуществления на фиг. 8.

[0126] Фиг. 15B - блок-схема алгоритма, указывающая примерные процессы (способ декодирования изображений) в узле 212 декодирования sao_offset в соответствии с Разновидностью 2 Варианта 2 осуществления. На фиг. 15B обходное арифметическое декодирование выполняется над всеми бинами, включенными в sao_offset (этапы S225 и S226 для выполнения обходного арифметического декодирования), и декодированное sao_offset обратно преобразуется из двоичной формы (этап S227 для преобразования строки бинов в значение смещения). Поскольку обходное арифметическое декодирование выполняется над всеми бинами, обработка может быть самой быстрой в Разновидности 2.

[0127] Поскольку узел 212 декодирования sao_offset на фиг. 12 в соответствии с Разновидностью 2 в этом документе выполняет обходное арифметическое декодирование над всеми бинами, он должен включать в себя только узел 216 обходного арифметического декодирования и узел 217 обратного преобразования sao_offset из двоичной формы. Другими словами, узел 212 декодирования sao_offset в соответствии с Разновидностью 2 Варианта 2 осуществления не должен включать в себя узел 213 переключения арифметического декодирования, узел 214 арифметического декодирования контекста 0 и узел 215 арифметического декодирования контекста 1.

[0128] Хотя и не проиллюстрировано, приемлемо выполнять контекстное арифметическое декодирование над binIdx с 0 по 2 и обходное арифметическое декодирование над binIdx после binIdx3, как в Варианте 1 осуществления.

[0129] (Другие разновидности Вариантов 1 и 2 осуществления)

(1) Хотя Варианты 1 и 2 осуществления (включая Разновидности) в качестве параметров SAO используют sao_type_idx, указывающее категорию значения смещения SAO, и sao_offset, указывающее значение смещения SAO, параметры SAO этим не ограничиваются. Параметры SAO могут включать в себя, например, параметр, который должен быть вспомогательной информацией для классификации пикселей.

[0130] (2) Кроме того, хотя в соответствии с Вариантом 1 осуществления (включая Разновидности) параметр SAO кодируется на каждый блок, который должен предсказываться, кодирование этим не ограничивается. Параметр SAO может кодироваться не на каждый блок, который должен предсказываться, а на единицу меньше блока, который должен предсказываться, или наоборот на единицу, полученную путем объединения блоков, которые должны предсказываться. Кроме того, параметр SAO не кодируется в блоке, который должны предсказываться, а вместо этого можно скопировать и использовать значение другого блока.

[0131] Здесь устройство 200 декодирования изображений в соответствии с Вариантом 2 осуществления (включая Разновидности) декодирует кодированный параметр SAO в соответствии с размером кодирования параметра SAO в устройстве 100 кодирования изображений.

[0132] (3) Хотя sao_offset принимает значения от 0 до 7 в соответствии с Вариантами 1 и 2 осуществления (включая Разновидности), sao_offset этим не ограничивается. Оно может принимать значения 8 или выше. Кроме того, sao_offset может принимать отрицательное значение, и в таком случае может предоставляться другой параметр sao_offset_sign, представляющий знаковый разряд.

[0133] (4) Кроме того, хотя Вариант 1 осуществления (включая Разновидности) описывает кодирование sao_offset, обработка этим не ограничивается. Способ для кодирования параметра SAO в соответствии с Вариантом 1 осуществления (включая Разновидности) может применяться для кодирования другого синтаксиса, который должен быть добавлен в поток двоичных сигналов. Кроме того, когда способ для кодирования параметра SAO в соответствии с Вариантом 1 осуществления и его Разновидностью 1 применяется для кодирования синтаксисов, и унифицировано использование контекста (количество бинов и binIdx, которые используют контекст), один и тот же узел кодирования переменной длины доступен при кодировании синтаксисов. Соответственно, конфигурацию устройства можно упростить.

[0134] Примеры синтаксисов, к которым применяется способ для кодирования параметра SAO в соответствии с Вариантом 1 осуществления и его Разновидностями 1 и 2, включают в себя ref_idx, указывающий индекс опорного изображения, merge_idx, указывающий источник копирования вектора движения и прочих, и mpm_idx или intra_chroma_pred_mode, указывающий режим внутреннего предсказания, в соответствии с текущим стандартом HEVC (NPL 1).

[0135] Здесь устройство 200 декодирования изображений в соответствии с Вариантом 2 осуществления (включая Разновидности) также декодирует синтаксис, кодированный с использованием способа для кодирования параметра SAO, используя способ для декодирования параметра SAO.

[0136] (5) Кроме того, хотя размер блока, который должен предсказываться, в соответствии с Вариантами 1 и 2 осуществления (включая Разновидности) равен максимально 32×32 пикселям и минимально 4×4 пикселям, размер этим не ограничивается. Кроме того, хотя Варианты 1 и 2 осуществления (включая Разновидности) описывают блоки, которые должны предсказываться, которые имеют переменный размер, размер блоков может быть постоянным.

[0137] (6) Кроме того, обработка в соответствии с Вариантами 1 и 2 осуществления (включая Разновидности) может быть реализована с помощью программного обеспечения. Программное обеспечение может распространяться посредством, например, загрузки. Кроме того, программное обеспечение может распространяться путем его записи на носители записи, например CD-ROM. Это справедливо и для других Вариантов осуществления в описании.

[0138] (7) В Вариантах 1 и 2 осуществления (включая Разновидности) каждый из функциональных блоков может быть в большинстве случаев реализован с помощью, например, MPU и запоминающего устройства. Кроме того, обычно обработка с помощью каждого из функциональных блоков может быть реализована с помощью программного обеспечения (программы), и такое программное обеспечение записывается на носитель записи, например ROM. К тому же такое программное обеспечение может распространяться, например, путем загрузки и записи на носители записи, например CD-ROM. Каждый из функциональных блоков может быть реализован с помощью аппаратных средств (специализированной схемы).

[0139] (8) Обработка, описанная в Вариантах 1 и 2 осуществления (включая Разновидности), может выполняться как централизованная обработка с помощью одного устройства (системы) или как децентрализованная обработка с помощью множества устройств. Здесь программа может исполняться одним или несколькими компьютерами. Другими словами, может выполняться любая из централизованной обработки и децентрализованной обработки.

[0140] (9) Кроме того, каждый из составляющих элементов в соответствии с Вариантами 1 и 2 осуществления (включая Разновидности) может быть реализован с помощью специализированных аппаратных средств или с помощью исполнения компьютерной программы, подходящей для составляющего элемента. Каждый из составляющих элементов может быть реализован с помощью узла исполнения программ, например центрального процессора (CPU) и процессора, считывающего и исполняющего компьютерную программу, записанную на носителе записи, таком как жесткий диск или полупроводниковое запоминающее устройство.

[0141] В частности, каждое из устройства 100 кодирования изображений и устройства 200 декодирования изображений включает в себя схему управления и запоминающее устройство, электрически подключенное к схеме управления (допускающее обращение из схемы управления). Схема управления включает в себя по меньшей мере одно из специализированных аппаратных средств и узла исполнения программ. Когда схема управления включает в себя узел исполнения программ, запоминающее устройство хранит компьютерную программу, исполняемую узлом исполнения программ.

[0142] Настоящее изобретение не ограничивается Вариантами 1 и 2 осуществления (включая Разновидности), и различные модификации возможны и включаются в объем настоящего изобретения.

[0143] (Вариант 3 осуществления)

Независимая компьютерная система может без труда выполнять обработку, описанную в каждом из Вариантов осуществления, путем записи на некий носитель записи программы для реализации структуры способа кодирования кинофильма (способа кодирования изображений) или способа декодирования кинофильма (способа декодирования изображений) в соответствии с Вариантом осуществления. Носитель записи может быть любым при условии, что на него может быть записана программа, например магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковым запоминающим устройством.

[0144] Ниже будут описываться применения способа кодирования кинофильма (способа кодирования изображений) и способа декодирования кинофильма (способа декодирования изображений) в соответствии с каждым из Вариантов осуществления, и система, использующая такие применения. Признаки системы включают в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство кодирования и декодирования изображений, включающее в себя устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации системы можно менять подходящим образом в зависимости от случая.

[0145] Фиг. 16 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции ex106-ex110, которые являются стационарными беспроводными станциями.

[0146] Система ex100 предоставления контента подключается к устройствам, например компьютеру ex111, персональному цифровому помощнику (PDA) ex112, камере ex113, сотовому телефону ex114 и игровому устройству ex115, через Интернет ex101, поставщика ex102 услуг Интернета, телефонную сеть ex104, а также базовые станции ex106-ex110.

[0147] Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 16, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое из устройств может быть подключено к телефонной сети ex104 напрямую, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.

[0148] Камера ex113, например цифровая видеокамера, допускает съемку движущихся изображений. Камера ex116, например цифровая видеокамера, допускает съемку как неподвижных изображений, так и движущихся изображений. Кроме того, сотовый телефон ex114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM), Коллективному доступу с кодовым разделением каналов (CDMA), Широкополосному коллективному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон ex114 может относиться к Системе персональных переносных телефонов (PHS).

[0149] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, что дает возможность распространения передачи в прямом эфире и прочих. Для такого распространения контент (например, видеоизображение музыкальной передачи в прямом эфире), снятый пользователем с использованием камеры ex113, кодируется как описано выше в каждом из Вариантов осуществления, и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет потоковое распространение данных принятого контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровое устройство ex115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0150] Захваченные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом, распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и движущихся изображений, снятых не только камерой ex113, но также и камерой ex116, могут передаваться серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, либо распределяться между ними.

[0151] Кроме того, обычно компьютер ex111 и LSI ex500, включенные в каждое из устройств, выполняют такие процессы кодирования и декодирования. LSI ex500 может конфигурироваться из одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования кинофильма может встраиваться в некоторый тип носителя записи (например, CD-ROM, гибкий диск, жесткий диск), который считывается компьютером ex111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, можно передавать видеоданные, полученные камерой. Видеоданные являются данными, кодированными LSI ex500, включенной в сотовый телефон ex114.

[0152] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0153] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе ex100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.

[0154] Настоящее изобретение не ограничивается вышеупомянутой системой ex100 предоставления контента, и по меньшей мере либо устройство кодирования кинофильма (устройство кодирования изображений), либо устройство декодирования кинофильма (устройство декодирования изображений), описанные в каждом из Вариантов осуществления, может включаться в систему ex200 цифрового вещания, которая показана на фиг. 17. Точнее говоря, вещательная станция ex201 сообщает или передает посредством радиоволн вещательному спутнику ex202 мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными. Видеоданные являются данными, кодированными в соответствии со способом кодирования кинофильма, описанным в каждом из Вариантов осуществления (то есть данными, кодированными устройством кодирования изображений в соответствии с аспектом настоящего изобретения). При приеме видеоданных вещательный спутник ex202 передает радиоволны для транслирования. Затем бытовая антенна ex204, допускающая прием спутникового вещания, принимает радиоволны. Устройство, например телевизор ex300 (приемник) и телевизионная приставка ex217 (STB), декодирует принятые мультиплексированные данные и воспроизводит данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0155] Кроме того, считывающее/записывающее устройство ex218, которое (i) считывает и декодирует мультиплексированные данные, записанные на носителях ex215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования аудиосигнала на кодированные данные, может включать в себя устройство декодирования кинофильма или устройство кодирования кинофильма, которые показаны в каждом из Вариантов осуществления. В этом случае воспроизводимые видеосигналы отображаются на мониторе ex219, и другое устройство или система могут воспроизводить видеосигналы, используя носитель ex215 записи, на котором записаны мультиплексированные данные. Кроме того, возможно реализовать устройство декодирования кинофильма в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования кинофильма может включаться не в телевизионную приставку, а в телевизор ex300.

[0156] Фиг. 18 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования кинофильма и способ декодирования кинофильма, описанные в каждом из Вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования аудиоданных и видеоданных, через антенну ex204 или кабель ex203 и т.д., который принимает трансляцию; узел ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их наружу узла; и узел ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и аудиоданные либо мультиплексирует видеоданные и аудиоданные, кодированные узлом ex306 обработки сигналов, в данные.

[0157] Кроме того, телевизор ex300 дополнительно включает в себя: узел ex306 обработки сигналов, включающий в себя узел ex304 обработки аудиосигнала и узел ex305 обработки видеосигнала, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные соответственно (которые функционируют в качестве устройства кодирования изображений или устройства декодирования изображений в соответствии с аспектом настоящего изобретения); громкоговоритель ex307, который предоставляет декодированный аудиосигнал; и узел ex309 вывода, включающий в себя узел ex308 отображения, который отображает декодированный видеосигнал, например дисплей. Кроме того, телевизор ex300 включает в себя интерфейсный узел ex317, включающий в себя узел ex312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор ex300 включает в себя узел ex310 управления, который управляет в общем каждым составляющим элементом телевизора ex300, и схему ex311 питания, которая снабжает энергией каждый из элементов. Помимо узла ex312 ввода операции интерфейсный узел ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, например считывающему/записывающему устройству ex218; разъем ex314 для обеспечения присоединения носителя ex216 записи, например карты SD; привод ex315, который нужно подключить к внешнему носителю записи, например жесткому диску; и модем ex316, который нужно подключить к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединяются друг с другом по синхронной шине.

[0158] Сначала будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и прочие, и воспроизводит декодированные данные. В телевизоре ex300 в результате приема действия пользователя от пульта ex220 дистанционного управления и прочих узел ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные узлом ex302 модуляции/демодуляции, под управлением узла ex310 управления, включающего в себя CPU. Кроме того, в телевизоре ex300 узел ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, а узел ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из Вариантов осуществления. Узел ex309 вывода предоставляет наружу декодированный видеосигнал и аудиосигнал. Когда узел ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не посредством трансляции и прочего, а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал и передает данные наружу или записывает данные на носитель записи. В телевизоре ex300 в результате приема действия пользователя от пульта ex220 дистанционного управления и прочих узел ex304 обработки аудиосигнала кодирует аудиосигнал, а узел ex305 обработки видеосигнала кодирует видеосигнал, под управлением узла ex310 управления с использованием способа кодирования, который описан в каждом из Вариантов осуществления. Узел ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет наружу результирующий сигнал. Когда узел ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы ex318-ex321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре ex300. Кроме того, данные могут храниться в буфере помимо буферов ex318-ex321, чтобы можно было избежать переполнения и незаполнения системы, например, между узлом ex302 модуляции/демодуляции и узлом ex303 мультиплексирования/демультиплексирования.

[0159] Кроме того, телевизор ex300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры, помимо конфигурации для получения аудиоданных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор ex300 может кодировать, мультиплексировать и предоставлять наружу данные, он может не допускать выполнения всех процессов, а допускать только одно из приема, декодирования и предоставления данных наружу.

[0160] Кроме того, когда считывающее/записывающее устройство ex218 считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора ex300 и считывающего/записывающего устройства ex218 может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и считывающее/записывающее устройство ex218 могут распределять декодирование или кодирование.

[0161] В качестве примера фиг. 19 иллюстрирует конфигурацию узла ex400 воспроизведения/записи информации, когда данные считываются или записываются с оптического диска или на него. Узел ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401-ex407, которые будут описаны ниже. Оптическая головка ex401 излучает лазерное пятно на поверхность записи у носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи у носителя ex215 записи для считывания информации. Узел ex402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерное излучение в соответствии с записанными данными. Узел ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе ex215 записи, чтобы воспроизвести необходимую информацию. Буфер ex404 временно хранит информацию, которую нужно записать на носитель ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Узел ex406 сервоуправления перемещает оптическую головку ex401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя ex405 диска, чтобы следовать за лазерным пятном. Узел ex407 системного управления управляет в целом узлом ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы узлом ex407 системного управления, использующим различную информацию, сохраненную в буфере ex404, и формирующим и добавляющим новую информацию по необходимости, и узлом ex402 модуляционной записи, узлом ex403 демодуляции при воспроизведении и узлом ex406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки ex401, будучи управляемыми при этом согласованным способом. Узел ex407 системного управления включает в себя, например, микропроцессор и выполняет обработку путем побуждения компьютера выполнить программу для считывания и записи.

[0162] Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.

[0163] Фиг. 20 схематически иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя ex215 записи направляющие канавки образуются по спирали, и информационная дорожка ex230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Устройство, которое записывает и воспроизводит данные, воспроизводит информационную дорожку ex230 и считывает адресную информацию, чтобы определить положения блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутренней окружности и область ex234 внешней окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней окружности и область ex234 внешней окружности, которые находятся внутри и снаружи области ex233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Узел ex400 воспроизведения/записи информации считывает и записывает кодированные аудиоданные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных аудиоданных и кодированных видеоданных, из области ex233 записи данных в носителе ex215 записи и на нее.

[0164] Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличные от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и записи информации, имеющей разные слои, с различных углов.

[0165] Кроме того, в системе ex200 цифрового вещания автомобиль ex210, имеющий антенну ex205, может принимать данные со спутника ex202 и других и воспроизводить видеоизображение на устройстве отображения, например автомобильной навигационной системе ex211, установленной в автомобиле ex210. Здесь конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя узел приема GPS в конфигурации, проиллюстрированной на фиг. 18. То же самое будет справедливо для конфигурации компьютера ex111, сотового телефона ex114 и прочих.

[0166] Фиг. 21A иллюстрирует сотовый телефон ex114, который использует способ кодирования кинофильма и способ декодирования кинофильма, описанные в каждом из Вариантов осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; камеру ex365, допускающую съемку движущихся и неподвижных изображений; и узел ex358 отображения, например жидкокристаллический дисплей для отображения данных, например декодированного видеоизображения, снятого камерой ex365 или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: корпус, включающий в себя набор кнопок ex366 управления; узел ex357 вывода аудио, например громкоговоритель для вывода аудио; узел ex356 ввода аудио, например микрофон для ввода аудио; запоминающее устройство ex367 для хранения снятого видеоизображения или неподвижных изображений, записанного аудио, кодированных или декодированных данных принятого видеоизображения, неподвижных изображений, электронных писем или прочего; и разъем ex364, который является интерфейсным узлом для носителя записи, который хранит данные таким же образом, что и запоминающее устройство ex367.

[0167] Далее пример конфигурации сотового телефона ex114 будет описываться со ссылкой на фиг. 21B. В сотовом телефоне ex114 главный узел ex360 управления, выполненный с возможностью управления в целом каждым узлом корпуса, включающего узел ex358 отображения, а также кнопки ex366 управления, взаимно подключается через синхронную шину ex370 к схеме ex361 питания, узлу ex362 управления вводом операции, узлу ex355 обработки видеосигнала, интерфейсному узлу ex363 камеры, узлу ex359 управления жидкокристаллическим дисплеем (LCD), узлу ex352 модуляции/демодуляции, узлу ex353 мультиплексирования/демультиплексирования, узлу ex354 обработки аудиосигнала, разъему ex364 и запоминающему устройству ex367.

[0168] Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема ex361 питания снабжает соответствующие узлы энергией от аккумуляторной батареи, чтобы активизировать сотовый телефон ex114.

[0169] В сотовом телефоне ex114 узел ex354 обработки аудиосигнала преобразует аудиосигналы, собранные узлом ex356 ввода аудио в режиме преобразования речи, в цифровые аудиосигналы под управлением главного узла ex360 управления, включающего CPU, ROM и RAM. Затем узел ex352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми аудиосигналами, а узел ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350. Затем узел ex352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а узел ex354 обработки аудиосигнала преобразует их в аналоговые аудиосигналы, чтобы вывести их через узел ex357 вывода аудио.

[0170] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные электронной почты, введенные путем воздействия на кнопки ex366 управления и прочие в корпусе, отправляются главному узлу ex360 управления через узел ex362 управления вводом операции. Главный узел ex360 управления побуждает узел ex352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а узел ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратна обработке для передачи электронной почты, и результирующие данные предоставляются узлу ex358 отображения.

[0171] Когда передаются видеоизображение, неподвижные изображения или видеоизображение и аудио в режиме передачи данных, узел ex355 обработки видеосигнала (функционирующий как устройство кодирования изображений в соответствии с аспектом настоящего изобретения) сжимает и кодирует видеосигналы, поступившие от камеры ex365, используя способ кодирования кинофильма, показанный в каждом из Вариантов осуществления, и передает кодированные видеоданные узлу ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера ex365 снимает видеоизображение, неподвижные изображения и другие, узел ex354 обработки аудиосигнала кодирует аудиосигналы, собранные узлом ex356 ввода звука, и передает кодированные аудиоданные узлу ex353 мультиплексирования/демультиплексирования.

[0172] Узел ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от узла ex355 обработки видеосигнала, и кодированные аудиоданные, поступившие от узла ex354 обработки аудиосигнала, используя заранее установленный способ. Затем узел ex352 модуляции/демодуляции выполняет обработку по расширению спектра над мультиплексированными данными, а узел ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350.

[0173] При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме электронной почты с прикрепленным видеоизображением и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, узел ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в поток двоичных сигналов видеоданных и поток двоичных сигналов аудиоданных, и снабжает узел ex355 обработки видеосигнала кодированными видеоданными, а узел ex354 обработки аудиосигнала - кодированными аудиоданными посредством синхронной шины ex370. Узел ex355 обработки видеосигнала (функционирующий в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения) декодирует видеосигнал с использованием способа декодирования кинофильма, соответствующего способу кодирования кинофильма, показанному в каждом из Вариантов осуществления, а затем узел ex358 отображения отображает, например, видеоизображение и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством узла ex359 управления LCD. Кроме того, узел ex354 обработки аудиосигнала декодирует аудиосигнал, и узел ex357 вывода аудио предоставляет аудио.

[0174] Кроме того, аналогично телевизору ex300, терминал, например сотовый телефон ex114, возможно имеет 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными, мультиплексированные данные могут быть данными, полученными путем мультиплексирования видеоданных не аудиоданными, а символьными данными, имеющими отношение к видеоизображению, и могут быть не мультиплексированными данными, а самими видеоданными.

[0175] По существу, способ кодирования кинофильма или способ декодирования кинофильма в каждом из Вариантов осуществления может использоваться на любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из Вариантов осуществления.

[0176] Кроме того, настоящее изобретение не ограничивается Вариантами осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.

[0177] (Вариант 4 осуществления)

Видеоданные могут формироваться путем переключения, по необходимости, между (i) способом кодирования кинофильма или устройством кодирования кинофильма, показанными в каждом из Вариантов осуществления, и (ii) способом кодирования кинофильма или устройством кодирования кинофильма в соответствии с другим стандартом, например MPEG-2, MPEG4-AVC и VC-1.

[0178] Здесь, когда формируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако, поскольку нельзя определить то, какому стандарту соответствуют каждые из множества видеоданных, которые будут декодироваться, существует проблема, что нельзя выбрать подходящий способ декодирования.

[0179] Чтобы решить эту проблему, мультиплексированные данные, полученные путем мультиплексирования видеоданных аудиоданными и другими, имеют структуру, включающую в себя идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, показанных в каждом из Вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG-2.

[0180] Фиг. 22 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 22, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видеоизображение и вторичное видеоизображение фильма, аудиопоток представляет первичную часть аудио и вторичную часть аудио, которую нужно смешать с первичной частью аудио, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видеоизображение является обычным видеоизображением, показанным на экране, а вторичное видеоизображение является видеоизображением, которое нужно показать на меньшем окне в основном видеоизображении. Кроме того, поток интерактивной графики представляет интерактивный экран, который нужно сформировать путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, показанных в каждом из Вариантов осуществления, либо по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в соответствии с традиционным стандартом, например MPEG-2, MPEG4-AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.

[0181] Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0×1011 назначается видеопотоку, который будет использоваться для видеоизображения фильма, 0×1100-0×111F назначаются аудиопотокам, 0×1200-0×121F назначаются потокам демонстрационной графики, 0×1400-0×141F назначаются потокам интерактивной графики, 0×1B00-0×1B1F назначаются видеопотокам, которые будут использоваться для вторичного видеоизображения фильма, и 0×1A00-0×1A1F назначаются аудиопотокам, которые будут использоваться для вторичного видеоизображения, который нужно смешать с первичным звуком.

[0182] Фиг. 23 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток ex236 пакетов PES и поток ex239 пакетов PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS соответственно. Аналогичным образом данные из потока ex241 демонстрационной графики и данные из потока ex244 интерактивной графики преобразуются в поток ex242 пакетов PES и поток ex245 пакетов PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.

[0183] Фиг. 24 подробнее иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 24 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 24, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является единицей видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.

[0184] Фиг. 25 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS нужно передать в фильтр PID. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN), как показано в нижней части фиг. 25.

[0185] Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видеоизображения, субтитров и других, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видеоизображения, аудио, субтитров и других, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени ATS, и Системным таймером (STC), который является осью времени PTS и DTS.

[0186] Фиг. 26 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации о потоке, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации о потоке включает в себя дескрипторы потока, описывающие информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию об атрибутах потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.

[0187] Когда мультиплексированные данные записываются на носитель записи и прочие, они записываются вместе с информационными файлами мультиплексированных данных.

[0188] Каждый из информационных файлов мультиплексированных данных является управляющей информацией о мультиплексированных данных, как показано на фиг. 27. Информационные файлы мультиплексированных данных находятся в однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию о мультиплексированных данных, информацию об атрибутах потока и карту входов.

[0189] Как проиллюстрировано на фиг. 27, информация о мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал в один кадр добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.

[0190] Как показано на фиг. 28, порция информации об атрибутах регистрируется в информации об атрибутах потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации об атрибутах содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации об атрибутах видеопотока несет информацию, включающую, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров у порций данных изображения, которые включаются в видеопоток. Каждая порция информации об атрибутах аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация об атрибутах видеопотока и информация об атрибутах аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.

[0191] В Варианте 4 осуществления мультиплексированные данные, которые должны использоваться, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных. Точнее говоря, способ кодирования кинофильма или устройство кодирования кинофильма, описанные в каждом из Вариантов осуществления, включают в себя этап или узел для назначения уникальной информации, указывающей видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в каждом из Вариантов осуществления, типу потока, включенному в PMT, или информации об атрибутах видеопотока. С помощью этой структуры видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанных в каждом из Вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

[0192] Кроме того, фиг. 29 иллюстрирует этапы способа декодирования кинофильма в соответствии с Вариантом 4 осуществления. На этапе exS100 тип потока, включенный в PMT, или информация об атрибутах видеопотока получаются из мультиплексированных данных. Далее на этапе exS101 определяется, указывает ли тип потока или информация об атрибутах видеопотока, что мультиплексированные данные формируются по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в каждом из Вариантов осуществления. Когда определяется, что тип потока или информация об атрибутах видеопотока указывает, что мультиплексированные данные формируются по способу кодирования кинофильма или с помощью устройства кодирования кинофильма в каждом из Вариантов осуществления, то на этапе exS102 тип потока или информация об атрибутах видеопотока декодируется по способу декодирования кинофильма в каждом из Вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG4-AVC и VC-1, то на этапе exS103 тип потока или информация об атрибутах видеопотока декодируется по способу декодирования кинофильма в соответствии с традиционными стандартами.

[0193] По существу, назначение нового уникального значения типу потока или информации об атрибутах видеопотока дает возможность определения, могут ли способ декодирования кинофильма или устройство декодирования кинофильма, которые описаны в каждом из Вариантов осуществления, выполнять декодирование. Даже при вводе мультиплексированных данных, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования кинофильма либо способ или устройство декодирования кинофильма в Варианте 4 осуществления могут использоваться в устройствах и системах, описанных выше.

[0194] (Вариант 5 осуществления)

Каждый из способа кодирования кинофильма, устройства кодирования кинофильма, способа декодирования кинофильма и устройства декодирования кинофильма в каждом из Вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 30 иллюстрирует конфигурацию LSI ex500, которая превращена в одну микросхему. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины ex510. Схема ex505 питания активизируется путем подачи питания каждому из элементов, когда включается схема ex505 питания.

[0195] Например, когда выполняется кодирование, LSI ex500 принимает аудиовизуальный сигнал от микрофона ex117, камеры ex113 и других посредством аудиовизуального ввода/вывода ex509 под управлением узла ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и узел ex512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно сохраняется во внешнем запоминающем устройстве ex511, например SDRAM. Под управлением узла ex501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их узлу ex507 обработки сигналов. Затем узел ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из Вариантов осуществления. Кроме того, узел ex507 обработки сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и потоковый ввод-вывод ex506 предоставляет мультиплексированные данные наружу. Предоставленные мультиплексированные данные передаются базовой станции ex107 или записываются на носители ex215 записи. Когда мультиплексируются наборы данных, наборы данных следует временно сохранить в буфере ex508, чтобы наборы данных синхронизировались друг с другом.

[0196] Хотя запоминающее устройство ex511 является элементом вне LSI ex500, оно может включаться в LSI ex500. Буфер ex508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI ex500 можно превратить в одну микросхему или множество микросхем.

[0197] Кроме того, хотя узел ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, узел ex512 регулировки частоты возбуждения, конфигурация узла ex501 управления не ограничивается таковой. Например, узел ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в узел ex507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU ex502 может включать в себя узел ex507 обработки сигналов или узел обработки аудиосигнала, который является частью узла ex507 обработки сигналов. В таком случае узел ex501 управления включает в себя узел ex507 обработки сигналов или CPU ex502, включающий в себя часть узла ex507 обработки сигналов.

[0198] Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0199] Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI. Программируемое логическое устройство обычно может выполнять способ кодирования кинофильма и способ декодирования кинофильма в соответствии с Вариантами осуществления и Разновидностями путем загрузки или считывания с запоминающего устройства программы, включенной в программное обеспечение или микропрограммное обеспечение.

[0200] В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.

[0201] (Вариант 6 осуществления)

Когда декодируются видеоданные, сформированные по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанных в каждом из Вариантов осуществления, по сравнению со случаем декодирования видеоданных, которые соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, объем вычислений скорее всего увеличивается. Таким образом, LSI ex500 нужно настраивать на частоту возбуждения выше, чем у CPU ex502, который должен использоваться, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, имеется проблема, что увеличивается энергопотребление.

[0202] Чтобы решить эту проблему, устройство декодирования кинофильма, например телевизор ex300 и LSI ex500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 31 иллюстрирует конфигурацию ex800 в Варианте 6 осуществления. Узел ex803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные формируются по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанными в каждом из Вариантов осуществления. Затем узел ex803 переключения частоты возбуждения дает команду узлу ex801 декодирующей обработки, который выполняет способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, узел ex803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сформированных по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанными в каждом из Вариантов осуществления. Затем узел ex803 переключения частоты возбуждения дает команду узлу ex802 декодирующей обработки, который соответствует традиционному стандарту, декодировать видеоданные.

[0203] Точнее говоря, узел ex803 переключения частоты возбуждения включает в себя CPU ex502 и узел ex512 регулировки частоты возбуждения на фиг. 30. Здесь каждый из узла ex801 декодирующей обработки, который выполняет способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, и узла ex802 декодирующей обработки, который соответствует традиционному стандарту, соответствует узлу ex507 обработки сигналов на фиг. 30. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем узел ex512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Кроме того, узел ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в Варианте 4 осуществления, скорее всего используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в Варианте 4 осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения, как показано на фиг. 33. Частота возбуждения может выбираться путем сохранения справочной таблицы в буфере ex508 и внутреннем запоминающем устройстве LSI, и с помощью обращении к справочной таблице с помощью CPU ex502.

[0204] Фиг. 32 иллюстрирует этапы для выполнения способа в Варианте 6 осуществления. Сначала на этапе exS200 узел ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе exS201 CPU ex502 определяет, формируются ли видеоданные на основе идентификационной информации с помощью способа кодирования и устройства кодирования, описанных в каждом из Вариантов осуществления. Когда видеоданные формируются по способу кодирования или с помощью устройства кодирования, описанными в каждом из Вариантов осуществления, на этапе exS202 CPU ex502 передает узлу ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем узел ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, на этапе exS203 CPU ex502 передает узлу ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем узел ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные формируются по способу кодирования или с помощью устройства кодирования, описанными в каждом из Вариантов осуществления.

[0205] Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500. Например, когда частота возбуждения устанавливается ниже, напряжение, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.

[0206] Кроме того, в качестве способа для установки частоты возбуждения, когда объем вычислений для декодирования больше, частоту возбуждения можно установить выше, а когда объем вычислений для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ установки не ограничивается способами, описанными выше. Например, когда объем вычислений для декодирования видеоданных в соответствии с MPEG4-AVC больше объема вычислений для декодирования видеоданных, сформированных по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанными в каждом из Вариантов осуществления, частота возбуждения скорее всего устанавливается в обратном порядке к описанной выше установке.

[0207] Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные формируются по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанными в каждом из Вариантов осуществления, напряжение, которое будет подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, напряжение, которое будет подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные формируются по способу кодирования кинофильма или с помощью устройства кодирования видео, описанными в каждом из Вариантов осуществления, приведение в действие CPU ex502, скорее всего, не нужно приостанавливать. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, приведение в действие CPU ex502, скорее всего, приостанавливается в заданный момент, потому что у CPU ex502 есть избыточная производительность обработки. Даже когда идентификационная информация указывает, что видеоданные формируются по способу кодирования кинофильма или с помощью устройства кодирования кинофильма, описанными в каждом из Вариантов осуществления, в случае, где у CPU ex502 есть избыточная производительность обработки, приведение в действие CPU ex502 скорее всего приостанавливается в заданный момент.В таком случае время приостановки, скорее всего, устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1.

[0208] Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.

[0209](Вариант 7 осуществления)

Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и сотовому телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, узел ex507 обработки сигналов в LSI ex500 должен соответствовать разным стандартам. Однако возникают проблемы увеличения масштаба схемы LSI ex500 и увеличения стоимости при отдельном использовании узлов ex507 обработки сигналов, которые соответствуют соответствующим стандартам.

[0210] Чтобы решить эти проблемы, представляется конфигурация, в которой узел декодирующей обработки для реализации способа декодирования кинофильма, описанного в каждом из Вариантов осуществления, и узел декодирующей обработки, который соответствует традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, частично используются совместно. Ex900 на фиг. 34A показывает пример этой конфигурации. Например, способ декодирования кинофильма, описанный в каждом из Вариантов осуществления, и способ декодирования кинофильма, который соответствует MPEG4-AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и компенсацию движения. Подробности обработки, которые должны использоваться совместно, скорее всего включают в себя использование узла ex902 декодирующей обработки, который соответствует MPEG4-AVC. В отличие от этого специализированный узел ex901 декодирующей обработки, возможно, используется для другой обработки, которая уникальна для настоящего изобретения и не соответствует MPEG-4 AVC. Узел декодирующей обработки для реализации способа декодирования кинофильма, описанного в каждом из Вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный узел декодирующей обработки может использоваться для обработки, уникальной для обработки в MPEG4-AVC.

[0211] Кроме того, ex1000 на фиг. 34B показывает другой пример, в котором обработка частично распределяется. Этот пример использует конфигурацию, включающую специализированный узел ex1001 декодирующей обработки, который поддерживает обработку, уникальную для аспекта настоящего изобретения, специализированный узел ex1002 декодирующей обработки, который поддерживает обработку, уникальную для другого традиционного стандарта, и узел ex1003 декодирующей обработки, который поддерживает обработку, которую нужно распределить между способом декодирования кинофильма в аспекте настоящего изобретения и традиционным способом декодирования кинофильма. Здесь специализированные узлы ex1001 и ex1002 декодирующей обработки не обязательно являются специализированными для обработки по аспекту настоящего изобретения и обработки по традиционному стандарту, а могут быть узлами, допускающими реализацию общей обработки. Кроме того, конфигурация Варианта 7 осуществления может быть реализована с помощью LSI ex500.

[0212] По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования узла декодирующей обработки для обработки, которую нужно распределить между способом декодирования кинофильма в настоящем изобретении и способом декодирования кинофильма в соответствии с традиционным стандартом.

[Промышленная применимость]

[0213] Настоящее изобретение обладает преимуществом ускорения обработки почти без уменьшения эффективности кодирования и применимо к различным использованиям, например накоплению, передаче и обмену данными. Настоящее изобретение применимо, например, к устройствам отображения информации и устройствам захвата изображений, например телевизорам, устройствам записи цифрового видео, автомобильным навигационным системам, мобильным телефонам, цифровым фотокамерам и цифровым видеокамерам, и очень подходит для практического использования.

[Список позиционных обозначений]

[0214] 100 Устройство кодирования изображений

101 Узел разбиения на блоки

102 Узел вычитания

103 Узел преобразования

104 Узел кодирования переменной длины

105, 202 Узел обратного преобразования

106, 203 Узел сложения

107, 204 Узел обработки SAO

108, 206 Память кадров

109, 207 Узел предсказания

110 Узел кодирования параметров SAO

111 Узел кодирования sao_type_idx

112 Узел кодирования sao_offset

113 Узел преобразования sao_offset в двоичную форму

114 Узел переключения арифметического кодирования

115 Узел арифметического кодирования контекста 0

116 Узел арифметического кодирования контекста 1

117 Узел обходного арифметического кодирования

200 Устройство декодирования изображений

201 Узел декодирования переменной длины

205 Узел объединения декодированных блоков

210 Узел декодирования параметров SAO

211 Узел декодирования sao_type_idx

212 Узел декодирования sao_offset

213 Узел переключения арифметического декодирования

214 Узел арифметического декодирования контекста 0

215 Узел арифметического декодирования контекста 1

216 Узел обходного арифметического декодирования

217 Узел обратного преобразования sao_offset из двоичной формы

Изобретение относится к средствам для кодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений. Разделяют изображение, подлежащее кодированию, на множество блоков для формирования целевых блоков. Формируют предсказанный блок. Вычитают предсказанный блок из целевого блока для формирования остаточного блока. Преобразуют и осуществляют квантование остаточного блока для формирования квантованного блока. Осуществляют обратное квантование и обратное преобразование квантованного блока для формирования локального восстановленного остаточного блока. Формируют восстановленный блок посредством сложения восстановленного остаточного блока и предсказанного блока. Определяют параметр типа SAO для значения SAO для восстановленного блока, причем параметр типа SAO указывает, является ли значение SAO значением смещения по границе или значением смещения по диапазону, и значение SAO подлежит добавлению к значению пикселя восстановленного изображения. Определяют множество бинов, которое представляет целое число, указывающее величину значения SAO. 38 ил.

Способ кодирования значения адаптивного смещения выборок (SAO) с помощью арифметического кодирования в битовый поток, причем способ кодирования содержит этапы, на которых:

разделяют изображение, подлежащее кодированию, на множество блоков (S101) для формирования целевых блоков;

формируют предсказанный блок (S102);

вычитают предсказанный блок из целевого блока (S104) для формирования остаточного блока;

преобразуют и осуществляют квантование остаточного блока для формирования квантованного блока (S104);

осуществляют обратное квантование и обратное преобразование квантованного блока для формирования локального восстановленного остаточного блока (S106);

формируют восстановленный блок посредством сложения восстановленного остаточного блока и предсказанного блока;

определяют параметр типа SAO для значения SAO для восстановленного блока, причем параметр типа SAO указывает, является ли значение SAO значением смещения по границе или значением смещения по диапазону, и значение SAO подлежит добавлению к значению пикселя восстановленного изображения;

определяют множество бинов, причем множество бинов представляет целое число, указывающее величину значения SAO; и

кодируют в битовый поток параметр типа SAO и множество бинов с использованием обходного арифметического кодирования с постоянной вероятностью.