УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И СПОСОБ, И УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И СПОСОБ Российский патент 2018 года по МПК H04N19/46 H04N19/119 H04N19/50 H04N19/70 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования изображения и способу и устройству декодирования изображения и способу и более конкретно, к устройству кодирования изображения и способу и устройству декодирования изображения и способу, которые способны подавлять увеличение нагрузки кодирования или декодирования.

Уровень техники

В последнее время получили широкое распространение устройства для сжатия и кодирования изображения, использующие схему кодирования цифровой обработки информации изображения, и выполнения сжатия с помощью ортогонального преобразования, такого как дискретное косинусное преобразование и компенсацию движения, используя избыточность конкретной информации изображения, с целью передачи информации, и накопления с высокой эффективностью, когда информация изображения обрабатывается в цифровом виде. Экспертная группа по вопросам движущегося изображения (MPEG) и т.п. являются примерами таких схем кодирования.

В частности, MPEG-2 (ISO/IEC 13818-2) является стандартом, который определяется как схема кодирования изображения общего назначения, и охватывает изображения с чересстрочной разверткой, изображения с построчной разверткой, изображения стандартного разрешения и изображения высокой четкости. Например, MPEG-2 в настоящее время широко используется в широком диапазоне применений, как для профессионального использования, так и для бытового применения. При использовании схемы сжатия MPEG 2, например, для изображения с чересстрочной разверткой стандартного разрешения, имеющее 720×480 пикселей, выделяется величина кодирования (скорость передачи данных в битах) от 4 до 8 Мбит. Кроме того, с использованием схемы сжатия MPEG 2, например, в случае изображения с чересстрочной разверткой с высоким разрешением, имеющее 1920×1088 пикселей, выделяется величина кодирования (скорость передачи данных в битах) от 18 до 22 Мбит. Таким образом, можно реализовать высокую степень сжатия и предпочтительное качество изображения.

MPEG-2 предназначен в основном для кодирования изображений высокой четкости, пригодного для вещания, но не поддерживает схему кодирования, имеющую величину кодирования (скорость передачи данных в битах) ниже, чем MPEG 1, то есть схему кодирования с высокой степенью сжатия. С распространением мобильных терминалов, считается, что потребность в такой схеме кодирования будет увеличиваться в будущем и, таким образом, схема кодирования MPEG-4 была стандартизирована. Международный стандарт для схемы кодирования изображения был утвержден в качестве стандарта ISO/IEC 14496-2 в декабре 1998 года.

Дополнительно, в последние годы были стандартизированы стандарты, такие как H.26L (Сектор стандартизации Международного союза электросвязи Q6/16 Экспертная группа кодирования видео (ITU-T Q6/16 VCEG)) с целью кодирования изображения для видеоконференций. H.26L требует большего количества вычислений для кодирования и декодирования, чем в существующих схемах кодирования, таких как MPEG 2 или MPEG 4, но, как известно, обеспечивает высокую эффективность кодирования. Кроме того, в настоящее время, в качестве одного аспекта MPEG 4, стандартизация обеспечивает выполнение даже функции, которая не поддерживается в H.26L и реализации высокой эффективности кодирования на основе H.26L была выполнена как Совместная модель усовершенствованного сжатия при кодировании видео.

В соответствии с планами стандартизации был принят международный стандарт под названием Н.264 и MPEG-4 часть 10 (Усовершенствованное видеокодирование (далее - как было установлено "AVC") в марте 2003 года.

Более того, в качестве расширения H.264/AVC, Расширение диапазона достоверности (FRExt), включающий в себя инструмент кодирования, необходимый для профессионального использования, такой как RGB или 4:2:2 или 4:4:4 или 8×8 DCT и матрицу квантования, которые указаны в формате MPEG-2, был стандартизирован в феврале 2005 г. В результате, H.264/AVC стал схемой кодирования, способной также обеспечивать звуковое воспроизведение кинофильмов, включающие в себя художественные фильмы, и обеспечить использование в широком диапазоне применений, таких как Blu-Ray диски (товарный знак).

Тем не менее в последние годы есть растущая потребность в кодировании с высокой степенью сжатия, позволяющая сжимать изображение около 4000×2000 пикселей, что в 4 раза больше, чем на изображении высокой четкости, или доставлять изображение высокой четкости в среду передачу данных с ограниченными возможностями, например, интернет. Для этого способы повышения эффективности кодирования были вопросом постоянного внимания со стороны Экспертной группы кодирования видео (VCEG) ITU-T.

В связи с этим в настоящее время, в целях дальнейшего повышения эффективности кодирования, чтобы быть выше, чем в AVC, Объединенная команда по видеокодированию (JCTVC), которая является совместной организацией по стандартизации ITU-T и ISO/IEC, была стандартизирована схема кодирования, под названием Высокоэффективное видеокодирование (HEVC). Проект стандарта, который является проектом спецификации для стандарта HEVC, был выпущен в январе 2013 года (см. непатентный документ 1).

В HEVC можно выполнить параллельную обработку на основании плитки или волнового фронта параллельной обработки в дополнение к срезу, который также определен в AVC.

Кроме того, существующие схемы кодирования изображения, такие как MPEG-2 и AVC имеет функцию масштабируемости разделения изображения на множество уровней и кодирование множества уровней.

Другими словами, например, для терминала, имеющего низкую способность обработки, такого как мобильный телефон, передается информация сжатия изображения только базового уровня и воспроизводится движущееся изображение низкого пространственного и временного разрешений или низкого качества, и для терминала, имеющего высокую способность обработки, такого как телевизор или персональный компьютер, передается информация сжатия изображений усовершенствованного уровня как базового уровня и воспроизводится движущееся изображение с высоким пространственным и временным разрешением и высоким качеством. То есть информация сжатия изображений в соответствии с возможностями терминала или сети может передаваться от сервера без выполнения процесса перекодировки.

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "Высокоэффективное кодирование видео (HEVC) текстовая часть спецификации проекта 10 (для FDIS и одобрения), "JCTVC-L1003_v4, Объединенная команда по видеокодированию (JCT-VC) ITU-T S G 16 WP 3 и ISO/IEC JTC 1/SC 29/WG 11 12-е заседание: Женева, CH, 14-23 января 2013

Раскрытие изобретения

Техническая задача

Тем не менее в способе предшествующего уровня техники при кодировании информации, относящейся к базовому уровню, такой как информация декодированного изображения или информация о движении, упоминается для кодирования и декодирования усовершенствованного уровня, все изображение базового уровня было целевым для ссылки.

По этой причине, вероятно, нагрузка была повышенной, например, при кодировании и декодировании усовершенствованного уровня, число доступов к памяти для обращения к информации кодирования базового уровня увеличивается.

Настоящее изобретение было сделано в свете вышеизложенного и, желательно, не допустить увеличение нагрузки при кодировании или декодировании.

Решение технической задачи

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство кодирования изображения, включающее в себя: секцию генерирования, выполненную с возможностью генерирования информации управления, используемой для управления определенной области, в которой информация, относящаяся кодированию, другого уровня кодированного для каждой из множества определенных областей, полученных путем деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающий в себя множество уровней; секцию кодирования, выполненную с возможностью кодирования текущего уровня данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, сгенерированной секцией генерирования; и секцию передачи, выполненную с возможностью передачи кодированных данных изображения, сгенерированных секцией кодирования, и информации управления, сгенерированной секцией генерирования.

Информация управления может быть информацией для ограничения области, в которой делается ссылка на информацию, относящуюся к кодированию посредством назначения области, в которой допускается ссылка на информацию кодирования, относящуюся к другому уровню, назначением области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или посредством назначения области, в которой осуществляется ссылка на информацию, относящуюся к кодированию.

Информация управления может указывать область, используя идентификационный номер, выделенный в растровом порядке сканирования, информацию, указывающую позиции области в вертикальном и горизонтальном направлениях в кадре, или информацию, указывающую позицию данных в области кодированных данных.

Секция передачи может дополнительно передавать информацию, указывающую, следует ли контролировать область, в которой ссылаются на информацию, относящуюся к кодированию.

Информация, относящаяся к кодированию, может быть информацией, используемой для генерирования изображения предсказания, используемого при кодировании данных изображения.

Информация, используемая для генерирования изображения предсказания, может включать в себя информацию, используемую для предсказания текстуры данных изображения и информацию, используемую для предсказания синтаксиса данных изображения. Управляющая информация может быть информацией, используемой для независимого управления областью, на которую ссылается информация, используемая для предсказания текстуры, и областью, на которую ссылается информация, используемая для предсказания синтаксиса.

Секция генерирования может генерировать информацию управления для каждой из множества определенных областей, полученных путем деления изображения текущего уровня данных изображения. Секция кодирования может кодировать текущий уровень данных изображения со ссылкой на информацию кодирования, относящуюся к некоторым областям другого уровня для каждой из областей, в соответствии с управлением информации управления каждой области, сгенерированной секцией генерирования.

Секция передачи может дополнительно передавать информацию, указывающую является или нет область разделения текущего уровня, аналогичной области разделения другого уровня.

Область может быть срезом или плиткой данных изображения.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ кодирования изображений, включающий в себя этапы, на которых: генерируют информацию управления, используемую для управления определенной областью, в которой информация кодирования, относящаяся к другому уровню, кодируемая для каждой из множества определенных областей, полученных путем деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающих в себя множество уровней; кодируют текущий уровень данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, сгенерированной секцией генерирования; и передают кодированные данные изображения, сгенерированные посредством кодирования данных изображения, и сгенерированную информацию управления.

В соответствии с другим вариантом осуществления настоящего изобретения, предлагается устройство декодирования изображения, включающее в себя: секцию приема, выполненную с возможностью принимать кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющую информацию, используемую для управления определенной областью, в которой ссылается на информацию, относящуюся к кодированию другого уровня, закодирована для каждой из множества определенных областей, полученных путем деления изображения данных изображения; и секцию декодирования, выполненную с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, принятой секцией приема.

Информация управления может быть информацией для ограничения области, в которой делается ссылка на информацию, относящуюся к кодированию посредством назначения области, в которой допускается ссылка на информацию кодирования, относящуюся к другому уровню, назначением области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или посредством назначения области, в которой осуществляется ссылка на информацию относящуюся к кодированию.

Информация управления может указывать область, с использованием идентификационного номера, выделенного в растровом порядке сканирования, информацию, указывающую позиции области в вертикальном и горизонтальном направлениях в кадре, или информацию, указывающую позицию данных в области кодированных данных.

Секция приема может дополнительно принимать информацию, указывающую, следует ли управлять областью, в которой делается ссылка на информацию, относящуюся к кодированию.

Информация, относящаяся к кодированию, может быть информация, используемая для генерирования изображения предсказания, используемого при декодировании кодированных данных.

Информация, используемая для генерирования изображения предсказания, может включать в себя информацию, используемую для предсказания текстуры данных изображения и информацию, используемую для предсказания синтаксиса данных изображения. Управляющая информация может быть информацией, используемой для независимого управления областью, в которой делается ссылка на информацию, используемую для предсказания текстуры, и областью, в которой делается ссылка на информацию, используемую для предсказания синтаксиса.

Секция приема может принимать кодированные данные, кодированные для каждой из множества определенных областей, полученных путем деления изображения текущего уровня данных изображения, и информацию управления каждой из областей. Секция декодирования может декодировать кодированные данные, принятые секцией приема, со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня для каждой из областей, в соответствии с управлением информации управления каждой области.

Секция приема может дополнительно принимать информацию, указывающую, является или нет разделение области текущего уровня аналогичным разделению области другого уровня.

Область может быть срезом или плиткой данных изображения.

В соответствии с другим вариантом осуществления настоящего изобретения, предусмотрен способ декодирования изображений, включающий в себя этапы, на которых: принимают кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющую информацию, используемую для управления определенной областью, в которой делается ссылка на информацию, относящуюся к кодированию другого уровня, кодированную для каждой из множества определенных областей, полученных путем деления изображения данных изображения; и декодируют кодированные данные со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня, в соответствии с управлением принятой информации управления.

Согласно одному аспекту настоящего изобретения, генерируется информация управления, используемая для управления областью, в которой информация, относящаяся к кодированию, другого уровня кодируемая для каждой из множества отдельных областей, полученных путем деления изображения, ссыпается на соответствующий текущий уровень данных изображения, включающих в себя множество уровней, при этом текущий уровень данных изображения кодируется со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением сгенерированной управляющей информацией, и передаются кодированные данные, сгенерированные в процессе кодирования данных изображения и сгенерированная управляющая информация.

В соответствии с другим аспектом настоящего изобретения, принимаются кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющая информация, используемая для управления областью, в которой делается ссылка на информацию, относящуюся к кодированию другого уровня, кодируемую для каждой из множества определенных областей, полученных делением кадра данных изображения, и кодированные данные декодируются со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня, в соответствии с управлением принятой информации управления.

Преимущества изобретения

В соответствии с настоящим изобретением, можно кодировать и декодировать изображение. В частности, можно предотвратить увеличение нагрузки кодирования или декодирования.

Краткое описание чертежей

Фиг. 1 является схемой, предназначенной для описания примера конфигурации блока кодирования.

Фиг. 2 является схемой, иллюстрирующей пример схемы кодирования масштабируемого многоуровневого изображения.

Фиг. 3 является схемой, предназначенной для описания примера пространственного масштабируемого кодирования.

Фиг. 4 показывает схему для описания примера временного масштабируемого кодирования.

Фиг. 5 показывает схему, предназначенную для описания примера масштабируемого кодирования отношения сигнал-шум.

Фиг. 6 показывает схему, предназначенную для описания примера среза.

Фиг. 7 показывает схему, предназначенную для описания примера плитки.

Фиг. 8 показывает схему, описывающую пример управляющей ссылки базового уровня.

Фиг. 9 показывает схему, предназначенную для описания примера установки плитки.

Фиг. 10 является схемой для описания другого примера управляющей ссылки базового уровня.

Фиг. 11 является диаграммой для описания примера параллельного процесса.

Фиг. 12 является диаграммой для описания примера способа выделения идентификационного номера плитки.

Фиг. 13 является диаграммой для описания примера синтаксиса набора параметров изображения.

Фиг. 14 является продолжением фиг. 13 для описания примера синтаксиса набора параметров изображения.

Фиг. 15 является диаграммой для описания примера синтаксиса заголовка среза.

Фиг. 16 является продолжением фиг. 15 для описания примера синтаксиса заголовка среза.

Фиг.17 является продолжением фиг. 16 для описания примера синтаксиса заголовка среза.

Фиг. 18 является блок-схемой, иллюстрирующей пример основной конфигурации устройства кодирования изображения.

Фиг. 19 является блок-схемой, иллюстрирующей пример основной конфигурации секции кодирования изображения базового уровня.

Фиг. 20 является блок-схемой, иллюстрирующей пример основной конфигурации секции кодирования изображения усовершенствованного уровня.

Фиг. 21 является блок-схемой, иллюстрирующей пример основной конфигурации секции синхронизации области.

Фиг. 22 является блок-схемой алгоритма для описания примера потока процесса кодирования изображения.

Фиг. 23 является блок-схемой алгоритма для описания примера потока процесса кодирования базового уровня.

Фиг. 24 является блок-схемой алгоритма для описания примера потока процесса кодирования усовершенствованного уровня.

Фиг. 25 является блок-схемой алгоритма для описания примера потока процесса кодирования усовершенствованного уровня, продолжение фиг. 24.

Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации устройства декодирования изображения.

Фиг. 27 является блок-схемой, иллюстрирующей пример основной конфигурации секции декодирования изображения базового уровня.

Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации секции декодирования изображения усовершенствованного уровня.

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации секции синхронизации области.

Фиг. 30 является блок-схемой алгоритма для описания примера потока процесса декодирования изображения.

Фиг. 31 является блок-схемой алгоритма для описания примера потока процесса декодирования базового уровня.

Фиг. 32 является блок-схемой алгоритма для описания примера потока процесса декодирования усовершенствованного уровня.

Фиг. 33 является блок-схемой алгоритма для описания примера потока процесса декодирования усовершенствованного уровня, продолжение фиг. 32.

Фиг. 34 показывает схему, иллюстрирующую пример схемы кодирования многопроекционного изображения.

Фиг. 35 показывает схему, иллюстрирующую пример основной конфигурации устройства кодирования многопроекционного изображения, к которому применяется настоящее изобретение.

Фиг. 36 показывает схему, иллюстрирующую пример основной конфигурации устройства декодирования многопроекционного изображения, к которому применяется настоящее изобретение.

Фиг. 37 является блок-схемой, иллюстрирующей пример основной конфигурации компьютера.

Фиг. 38 является блок-схемой, иллюстрирующей пример схематичной конфигурации телевизионного устройства.

Фиг. 39 является блок-схемой, иллюстрирующей пример схематичной конфигурации мобильного телефона.

Фиг. 40 является блок-схемой, иллюстрирующей пример схематической конфигурации устройства записи/воспроизведения.

Фиг. 41 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства захвата изображения.

Фиг. 42 представляет собой блок-схему, иллюстрирующую пример использования масштабируемого кодирования.

Фиг. 43 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования.

Фиг. 44 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования.

Фиг. 45 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства воспроизведения видео.

Фиг. 46 является блок-схемой, иллюстрирующей пример схематичной конфигурации видеопроцессора.

Фиг. 47 представляет собой блок-схему, иллюстрирующую другой пример схематической конфигурации видеопроцессора.

Фиг. 48 представляет собой пояснительную схему, иллюстрирующую конфигурацию системы воспроизведения контента.

Фиг. 49 представляет собой пояснительную схему, иллюстрирующую поток данных в системе воспроизведения контента.

Фиг. 50 представляет собой пояснительную схему, иллюстрирующую конкретный пример MPD.

Фиг.51 является функциональной блок-схемой, иллюстрирующей конфигурацию контент-сервера системы воспроизведения контента.

Фиг. 52 показывает функциональную блок-схему, иллюстрирующую конфигурацию устройства воспроизведения контента, системы воспроизведения контента.

Фиг. 53 является функциональной блок-схемой, иллюстрирующей конфигурацию контент-сервера системы воспроизведения контента.

Фиг. 54 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 55 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 56 представляет собой схему, схематично иллюстрирующую пример конфигурации формата кадра, передаваемого и принимаемого в процессе связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 57 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Осуществление изобретения

Далее будет приведено описание вариантов (далее именуемые как «варианты осуществления») для осуществления настоящего изобретения. Описание будет приведено в следующем порядке.

1. Основное описание настоящего изобретения

2. Первый вариант осуществления (устройство кодирования изображения)

3. Второй вариант осуществления (устройство декодирования изображения)

4. Третий вариант осуществления (устройство кодирования многопроекционного изображения и устройство декодирования многопроекционного изображения)

5. Четвертый вариант осуществления (компьютер)

6. Примеры применения

7. Примеры применения масштабируемого кодирования

8. Пятый вариант осуществления (набор, блок, модуль и процессор)

9. Пример применения системы воспроизведения контента MPEG-DASH

10. Пример применения системы беспроводной связи Wi-Fi стандарта

1. Основное описание настоящего изобретения

Обзор

Схема кодирования

Далее настоящее изобретение будет описано в связи с применением схемы высокоэффективного видеокодирования (HEVC) к процессам кодирования и декодирования.

Блок кодирования

В схеме усовершенствованного кодирования видеосигнала (AVC) определяется иерархическая структура, основанная на макроблоке и суб макроблоке. Тем не менее макроблок 16×16 пикселей не является оптимальным для большого кадра изображения, такого как сверхвысокой четкости (UHD) (4000×2000 пикселей), служащего в качестве целевого для схемы кодирования следующего поколения.

С другой стороны, в HEVC схеме модуль (CU) кодирования определяется, как показано на фиг. 1.

CU также упоминается как блок (СТВ) кодового дерева, и служит в качестве частичной области изображения модуля кадра, выполняющий аналогичную роль макроблока в AVC схеме. Последнее прикреплен к размеру 16×16 пикселей, но первый не фиксируется до определенного размера, но обозначен в информации сжатия изображения в каждой последовательности.

Например, наибольший модуль кодирования (LCU) и наименьший модуль кодирования (SCU) CU указаны в наборе параметров последовательности (SPS), включенного в состав кодированных данных, для вывода.

Так как split_flag=1, являясь набором в диапазоне, в котором каждый LCU не меньше, чем SCU, то модуль кодирования может быть разделен на CUs, имеющие меньший размер. В примере на фиг. 1, размер LCU равен 128 и наибольшая масштабируемая глубина равна 5. CU размера 2N×2Ν делится на CUs, имеющие размер Ν×N, служащий в качестве уровня, который на один уровень ниже, чем значение split_flag равен 1.

Кроме того, CU делится на модули предсказания (PUs), которые являются областями (отдельные области изображения модуля кадра), выступающими в качестве модулей обработки внутрикадрового или межкадрового предсказания, и делятся на модули преобразования (TUs), которые являются областями (частичные области изображения модуля кадра), выступающие в качестве модулей обработки ортогонального преобразования. В настоящее время в схеме HEVC, в дополнение к 4×4 и 8×8, может использоваться ортогональное преобразование 16×16 и 32×32.

Как и в схеме HEVC, в случае схемы кодирования, в которой определяется CU и различные виды процессов выполняются в блоках CUs, в схеме AVC макроблок может рассматриваться как соответствующий LCU, и блок (подблок) можно считать, как соответствующий CU. Дополнительно, в схеме AVC блок компенсации движения может считаться, как соответствующий PU. Однако, поскольку CU имеет иерархическую структуру, размер в LCU самого верхнего уровня обычно установлен наибольшим, чем макроблок в схеме AVC, например, 128×128 пикселей.

Таким образом, далее предполагается, что LCU включает в себя макроблок в схеме AVC, и предполагается, что CU включает в себя блок (подблок) в схеме AVC. Другими словами, «блок», используемый в нижеследующем описании, обозначает произвольную часть области на изображении и, например, размер, форма и его характеристики не ограничиваются. Другими словами, «блок» включает в себя произвольную область (блок обработки), например, TU, PU, SCU, CU и LCU, подблок, макроблок или срез. Конечно, "блок" включает в себя также другие частичные области (блоки обработки). При необходимости ограничить размер, модуль обработки или тому подобного, это будет надлежащим образом описано.

Выбор режима

Более того, в схемах кодирования AVC и HEVC, для достижения высокой эффективности кодирования, важно выбрать подходящий режим предсказания.

В качестве примера такого способа отбора, существует способ, реализованный в эталонном программном обеспечении (см. http://iphome.hhi.de/suehring/tml/index.htm) H.264/MPEG-4 AVC, который называется совместная модель (JM).

В JM, как будет описано позже, можно выбрать два способа определения режима, то есть режим высокой сложности и режим низкой сложности. В обоих режимах, значения функции стоимости, относящиеся к соответствующим режимам предсказания, вычисляются, и выбирается режим предсказания, имеющий меньшее значение функции стоимости, в качестве оптимального режима для соответствующего блока или макроблока.

Функция стоимости в режиме повышенной сложности представляется следующей формулой (1):

[Выражение 1]

Здесь Ω показывает универсальный набор кандидатов режимов для кодирования соответствующего блока или макроблока, и D обозначает дифференциал энергии между декодированным изображением и входным изображением, когда выполняется кодирование в соответствующем режиме предсказания. λ обозначает неопределенный множитель Лагранжа, заданный как функция параметра квантования. R обозначает общее количество кодирования, включающее в себя коэффициент ортогонального преобразования, когда выполняется кодирование в соответствующем режиме.

Другими словами, чтобы выполнять кодирование в режиме повышенной сложности, необходимо выполнить процесс временного кодирования сразу всеми кандидатами режимов, чтобы вычислить параметры D и R и, таким образом, требуется большое количество вычислений.

Функция стоимости в режиме низкой сложности представлена следующей формулой (2):

[Выражение 2]

Здесь D отличается от режима высокой сложности и указывает на дифференциал энергии между изображением предсказания и входным изображением. QP2Quant (QP) задается в виде функции параметра QP квантования, и HeaderBit указывает на количество кодирования, относящийся к информации, принадлежащей к заголовку, такой как вектор движения или режим, в котором отсутствуют коэффициент ортогонального преобразования.

Другими словами, в режиме низкой сложности необходимо выполнить процесс предсказания для соответствующих кандидатов режимов, но так как декодированное изображение не является необходимым, то нет необходимости выполнять процесс кодирования. Таким образом, можно реализовать объем вычислений, меньший, чем в режиме высокой сложности.

Масштабируемое кодирование

Более того, существующие схемы кодирования изображения, такие как MPEG2 и AVC, имеет функцию масштабируемости. Масштабируемое кодирование относится к схеме разделения (иерархии) изображения на множество уровней и выполняется кодирование для каждого уровня. Фиг. 2 является схемой, иллюстрирующей пример схемы кодирования многоуровневого изображения.

Как показано на фиг. 2, в системе иерархии изображения, одно изображение разделено на множество уровней на основании некоторого параметра с функцией масштабирования. Другими словами, иерархия изображения (многоуровневое изображение) включает в себя множество уровней, которые отличаются на значение определенного параметра. Множество уровней многоуровневого изображения имеет базовый уровень, на котором выполняется кодирование и декодирование с использованием только изображения его собственного уровня без использования изображения другого уровня и без дополнительного уровня (который также упоминается как "усовершенствованный уровень"), на котором кодирование и декодирование выполняются с использованием изображение другого уровня. Для дополнительного уровня, изображение базового уровня может быть использовано и изображение другого не базового уровня может быть использовано.

Как правило, чтобы уменьшить избыточность, не-базовый уровень выполнен с данными (дифференциал данных) дифференциального изображения между своим собственным изображением и изображением другого уровня. Например, когда одно изображение расположено в два уровня, то есть базовый уровень и не-базовый уровень (также называемый как "усовершенствованный уровень"), изображение более низкого качества, чем исходное изображение, получают с использованием только данных базового уровня, и исходное изображение (то есть, изображение высокого качества) получают путем комбинирования данных базового уровня с данным усовершенствованного уровня.

Так как изображение имеет иерархическую структуру, как описано выше, то можно получить изображения различного качества в зависимости от ситуации. Например, для терминала, имеющего низкую способность обработки, такого как мобильный телефон, передается только информации сжатия изображения базового уровня, и воспроизводится движущееся изображение низких пространственных и временных разрешений или низкого качества, и для терминала, имеющего высокие характеристики обработки, такого как телевизор или персональный компьютер, информацию передается информация сжатия изображений усовершенствованного уровня, а также базового уровня, и воспроизводится движущееся изображение с высоким пространственным и временным разрешением или высокого качества. Другими словами, информация сжатия изображения в соответствии с возможностями терминала или сети может быть передана с сервера без выполнения процесса перекодировки.

Параметр масштабируемости

В таком процессе кодирования многоуровневого изображения и декодирования многоуровневого изображения (масштабируемого кодирования и масштабируемого декодирования), параметр с функцией масштабируемости является произвольным. Например, пространственное разрешение, как показано на фиг. 3, может быть таковым параметром (пространственная масштабируемость). Когда пространственная масштабируемость отличается, соответствующие уровни имеют разные величины разрешения изображения. Другими словами, каждое изображение раскладывается в иерархическом порядке на два уровня, то есть на базовый уровень с пространственным разрешением ниже, чем у исходного изображения, и на усовершенствованный уровень, который сочетается с изображением базового уровня, для получения исходного изображения (исходное пространственное разрешение), как показано на фиг. 3. Конечно, количество уровней является примерным, и каждое изображение может быть разложено на произвольное количество уровней.

В качестве другого параметра, имеющего такую масштабируемость, например, может рассматриваться временное разрешение (временная масштабируемость), как показано на фиг. 4. В случае временной масштабируемости, соответствующие уровни имеют разные частоты кадров. Другими словами, в этом случае, каждый кадр раскладывается в иерархическом порядке на уровни, имеющие различные частоты кадров, движущееся изображение с высокой частотой кадров может быть получено путем объединения уровня с высокой частотой кадров с уровнем с низкой частотой кадров, и исходное движущееся изображение (исходная частота кадров) может быть получено путем объединения всех уровней, как показано на фиг. 4. Число уровней является примерным, и каждое изображение может иметь произвольное число уровней.

Дополнительно, в качестве другого параметра, имеющего такую масштабируемость, например, может использоваться отношение сигнал-шум (SNR) (SNR масштабируемость). В случае масштабируемости SNR, соответствующие уровни имеют различные значения SNR. Другими словами, в этом случае, каждое изображение иерархически упорядочено на двух уровнях, то есть имеет базовый уровень SNR более низкого значения, чем у исходного изображения, и усовершенствованный уровень, который объединяется с изображением базового уровня, чтобы получить исходное значение SNR, как показано на фиг. 5. Другими словами, для информации сжатия изображения базового уровня передается информация, относящаяся к изображению низкого PSNR, и изображение с высоким PSNR может быть реконструировано путем объединения информации с информацией сжатия изображения усовершенствованного уровня. Конечно, количество уровней является примерным, и каждое изображение может быть иерархически упорядочено на произвольное число уровней.

Параметр, отличный от описанного выше примера, может быть применен в качестве параметра, имеющего масштабируемость. Например, битовая глубина масштабируемости, в которой базовый уровень содержит 8-битное изображение, и 10-битное изображение может быть получено путем добавления усовершенствованного уровня к базовому уровню.

Кроме того, существует масштабируемость цветности, в котором базовый уровень включает в себя компонент изображения формата 4:2:0, и компонент изображения формата 4:2:2 может быть получен путем добавления усовершенствованного уровня к базовому уровню.

Разделение области

Более того, в HEVC, можно выполнить параллельную обработку на основе плитки или волнового фронта параллельной обработки в дополнение к срезу, которая также определяется в AVC.

Фиг. 6 показывает схему, иллюстрирующую пример среза, определенного в HEVC. Аналогично AVC, срез является блоком, в которой процесс кодирования выполняется в порядке растрового сканирования, и включает в себя множество областей, полученных путем деления изображения, как показано на фиг. 6. Здесь, в HEVC разделение среза может быть выполнено только в блоках LCUs. На фиг. 6 весь квадрат указывает изображение, и маленький квадрат указывает на LCU. Кроме того, группы LCUs, имеющие различные шаблоны, показывают срезы. Например, срез, включающий в себя LCUs первой и второй линии сверху, который указан заштрихованным шаблоном, является первым срезом (Срез# 1) изображения. Срез, включающий в себя LCUs третьей и четвертой линии сверху, который обозначается белым фоном, является вторым срезом (Срез # 2) изображения. Срез, включающий в себя LCUs пятой и шестой строк сверху, который обозначен серым фоном, является третьим срезом (Срез#3) изображения. Срез, включающий в себя LCUs в седьмой и восьмой линиях сверху, который, обозначен сетчатым рисунком, является четвертым срезом (Срез # 4) изображения. Конечно, количество срезов или LCUs, сформированных на изображении, и способ разделения среза являются произвольными, и не ограничиваются примером на фиг. 6.

Фиг. 7 иллюстрирует пример плитки, определенной в HEVC. Плитка является областью, полученной делением изображения на блоки LCUs, аналогично срезу. Тем не менее срез представляет собой область, полученную делением изображения таким образом, что LCUs обрабатываются в порядке растрового сканирования, в то время как плитка представляет собой область, полученную делением изображения на произвольные прямоугольники, как показано на фиг. 7.

На фиг. 7, весь квадрат обозначает изображение, и маленький квадрат указывает на LCU. Дополнительно, группы LCUs, имеющие различные шаблоны, обозначают плитки. Например, срез, включающий в себя 4×4 LCUs в верхнем левом углу, который обозначен заштрихованным шаблоном, является первой плиткой (плитка #1) изображения. Плитка, включающая в себя 4×4 LCUs в правом верхнем углу, которая обозначена белым фоном, является второй плиткой (плитка # 2) изображения. Плитка, включающая в себя 4×4 LCUs в левом нижнем углу, которая обозначена серым фоном, является третьей плиткой (плитка # 3) изображения. Плитка, включающая в себя 4×4 LCUs в нижнем правом углу, которая обозначена рисунком сетки, является четвертой плиткой (плитка # 4) изображения. Конечно, количество плиток или LCUs, сформированных на изображении, и способ разделения плитки являются произвольными, и не ограничиваются примером на фиг. 7.

В каждой плитке, образованной, как описано выше, LCUs обрабатываются в порядке растрового сканирования. Поскольку плитка имеет более короткую граничную длину, чем срез, плитка имеет характеристику, в которой снижение эффективности кодирования путем деления экрана незначительное.

Срезы или плитки, разделенные, как описано выше, могут быть обработаны независимо друг от друга, так как нет зависимости отношения предсказания, САВАС и т.п. при кодировании или декодировании. Другими словами, например, данные срезов (или плиток) могут быть обработаны параллельно, с использованием различных центральных процессоров (CPU) (или разных ядер).

Разделение области в масштабируемом кодировании

Более того, в масштабируемом кодировании информация, относящаяся к кодированию базового уровня, может быть использована при кодировании усовершенствованного уровня. Контент, относящийся к информации кодирования, является произвольным, но включает в себя, например, информацию текстуры, такую как декодированное изображение, информацию синтаксиса, например информацию движения или информацию режима внутрикадрового предсказания и тому подобное.

В масштабируемом кодировании, после того, как изображение базового уровня кодируется, изображение усовершенствованного уровня, соответствующего изображения, кодируется со ссылкой на информацию, относящуюся к кодированию базового уровня. Другими словами, после того, как базовый уровень кодируется, поставляется полученная информация, относящаяся к кодированию базового уровня, и соответственно используется для кодирования усовершенствованного уровня. Декодирование также выполняется в соответствии с аналогичной процедурой.

Тем не менее, в способе предшествующего уровня техники не было способа управления областью, служащей в качестве ссылочного адресата информации относящейся к кодированию при кодировании и декодировании усовершенствованного уровня, как описано выше. Другими словами, например, даже когда информация, относящаяся к кодированию, отличается для каждой области, все изображение базового уровня последовательно использовалось в качестве целевой ссылки. По этой причине, поскольку даже область, которая не должна быть очевидно использована в качестве ссылочного адресата на изображении базового уровня, используется в качестве целевой ссылки, число доступов к памяти и т.п. излишне возрастает и, таким образом, нагрузка кодирования и декодирования усовершенствованного уровня, вероятно, излишне возрастает.

Дополнительно, даже при масштабируемом кодировании, путем удаления зависимости отношения между такими областями, как срез или плитка, как описано выше, можно выполнить процесс в каждой области независимо и, таким образом выполнить процессы в областях параллельно. Другими словами, в этом случае, можно последовательно выполнять кодирование и декодирование базового уровня, и кодирование и декодирование усовершенствованного уровня для каждой области.

Тем не менее, когда осуществляется ссылка на информацию, относящуюся к кодированию базового уровня при кодировании и декодировании усовершенствованного уровня, в способе предшествующего уровня техники используется все изображение в качестве целевой ссылки, и таким образом возникает зависимые отношения с другой областью. Таким образом, вероятно, будет трудно выполнить процессы в областях параллельно.

Ограничение целевой ссылки

В связи с этим, при кодировании и декодировании усовершенствованного уровня, управляется область, выступающая в качестве целевой ссылки информации относящейся к кодированию другого уровня (например, базовый уровень или другой усовершенствованный уровень). Например, область, в которой осуществляется ссылка на информацию, относящуюся к кодированию, ограничивается некоторыми областями изображения другого уровня.

Фиг. 8 представляет собой схему, иллюстрирующую пример аспекта ограничения целевой ссылки. В случае на фиг. 8, только плитка, обозначенная сетчатым рисунком, базового уровня, предназначена в качестве целевой ссылки информации относящейся к кодированию. В этом случае, информация, относящаяся к кодированию других областей (областей, обозначенных белым фоном) не сохранена в качестве целевой ссылки, и не считывается из памяти, относящаяся к кодированию и декодированию усовершенствованного уровня. Таким образом, увеличение нагрузки кодирования и декодирования усовершенствованного уровня соответственно подавляется.

Способ ограничения является произвольным, но область, в которой допускается ссылка на информацию, относящуюся к кодированию другого уровня, может быть определена. Дополнительно, например, область, в которой не осуществляется ссылка на информацию, относящуюся к кодированию другого уровня, может быть определена. Кроме того, например, область, к которой осуществляется ссылка информацией относящейся к кодированию другого уровня, может быть определена.

Поскольку область, служащая в качестве блока обработки кодирования и декодирования, такая как плитка или срез, используется в качестве блока управления целевой ссылки информации относящейся к кодированию, можно уменьшить зависимость отношений между областями и, таким образом, можно более легко выполнить процессы независимо параллельно.

Конкретный пример управления областью

Ниже будет приведен более конкретный пример такого управления.

Например, как в примере на фиг. 8, в случае кодирования базового уровня изображение делится на плитки и управление осуществляется таким образом, что можно ссылаться на информацию, относящуюся к кодированию, только в нескольких плитках. В этом случае, например, ссылка на информацию, относящуюся к кодированию, разрешается для тех нескольких плиток. Например, при кодировании базового уровня информация управления, назначающая плитку, в которой разрешается ссылка на информацию, относящуюся к кодированию, генерируется и подается для кодирования усовершенствованного уровня.

Кодирование усовершенствованного уровня выполняется в соответствии с информацией управления. Другими словами, может быть выполнена ссылка только на информацию, относящуюся к кодированию плитки, разрешенную информацией управления, относительно кодирования усовершенствованного уровня.

Дополнительно, что касается кодирования базового уровня, устанавливается способ установки области, в которой разрешается ссылка на информацию, относящуюся к кодированию произвольным образом. Например, область, в которой разрешается ссылка на информацию, относящуюся к кодированию, может быть определена пользователем, приложением или тому подобное, или область, в которой разрешена ссылка на информацию, относящуюся к кодированию, может быть определена заранее.

Например, когда есть область, в которой ссылка, очевидно, не нужна, например, почтовый ящик на общей позиции кадров движущегося изображения, область может быть исключена из "области, в которой разрешена ссылка на информацию, относящуюся к кодированию", т.е. другие области могут быть назначены как "область, в которой разрешена ссылка на информацию, относящуюся к кодированию" заранее, до кодирования кадров данных движущегося изображения.

Кроме того, например, пользователь может назначить "область, в которой разрешается ссылка на информацию, относящуюся к кодированию" каждого кадра, или пользователь может назначить признак изображения и приложение или т.п. может назначить область, имеющую обозначенный признак в каждом кадре, как "область, в которой разрешается ссылка на информацию, относящуюся к кодированию". Кроме того, приложение или т.п. может выполнять разделение области (например, разделение плитки, разделение среза и т.п.), так что область, включающая в себя определенный признак (или признак, указанный пользователем), формируется в каждом кадре.

Например, при кодировании базового уровня, предполагается, что входное изображение является изображением человека (А на фиг. 9). Приложение выполняет процесс распознавания лица на изображении и обнаруживает частичную область, включающую в себя лицо человека (В на фиг. 9). Затем приложение выполняет разделение плитки на кадре, так что частичная область устанавливается в качестве одной из плиток (С на фиг. 9). Затем приложение обозначает плитку (то есть обнаруженную частичную область), включающую в себя лицо человека, как "область, в которой разрешается ссылка на информацию, относящуюся к кодированию" (плитка с сетчатым рисунком в D на фиг. 9).

Как описано выше, разделение области (формирование плиток или срезов) может быть выполнено в состоянии, в котором распознается наличие ссылки на информацию, относящуюся к кодированию кодированием усовершенствованного уровня. В результате, "количество областей, в которых разрешается ссылка на информацию, относящуюся к кодированию", может быть снижено. Другими словами, при кодировании усовершенствованного уровня, вследствие того, что предоставляется возможность дополнительно сузить диапазон базового уровня, на который ссылаются, можно подавить увеличение нагрузки.

Дополнительно, может быть реализовано управление областью, в которой ссылаются на информацию относящуюся к кодированию, в блоках, больших, чем по меньшей мере области (плитки, срезы или тому подобное), как описано выше. Например, управление может быть выполнено в блоках кадров. Дополнительно, например, управление может быть выполнено в блоках последовательностей. Более того, управление может быть выполнено в блоках данных движущегося изображения. Более того, управляющая информация может быть подготовлена заранее.

Пример, в котором "область, в которой разрешается ссылка на информацию, относящуюся к кодированию", обозначена как было описано выше, но способ управления не ограничивается этим примером и, например, "область, в которой запрещена ссылка на информацию, относящуюся к кодированию", может быть назначена. В этом случае, плитки, кроме нескольких плиток, в которых запрещена ссылка, используются в качестве целевой ссылки.

В этом случае, например, при кодировании базового уровня, желательно генерировать информацию управления, обозначающую плитку, в которой запрещена ссылка на информацию, относящуюся к кодированию, и предоставлять информацию управления для кодирования усовершенствованного уровня.

Кодирование усовершенствованного уровня выполняется в соответствии с информацией управления, как и в случае, в котором разрешается ссылка. Другими словами, только выполняется ссылка на информацию, относящуюся к кодированию плиток, отличных от плиток, запрещенных управляющей информацией, относящихся к кодированию усовершенствованного уровня.

Конечно, в этом случае, способ установки является произвольным, как и в случае, в котором ссылка разрешена. Кроме того, количество областей, в которых ссылка на информацию, относящуюся к кодированию базового уровня, разрешена (или запрещена), может быть одна или более.

Как описано выше, независимо от того, разрешена ли ссылка на информацию, относящуюся к кодированию, или запрещена, при кодировании усовершенствованного уровня все равно делится ли кадр на плитки (или срезы). Кроме того, способ выполнения разделения также является произвольным. Даже если усовершенствованный уровень кодируется в блоках областях, как плитки или срезы, кодирование каждой области выполняется на основании информации управления. Другими словами, только информация, относящаяся к кодированию плитки (или среза) (кроме запрещенной плитки (или среза)), допускается управляющей информацией для ссылки при кодировании всех областей.

Как описано выше, когда усовершенствованный уровень кодируется в блоках областях, таких как плитки или срезы, область, в которых разрешается ссылка на информацию, относящуюся к кодированию (или запрещена), может быть установлена для каждой области усовершенствованного уровня. Другими словами, область, в которой ссылка разрешается на информацию, относящуюся к кодированию базового уровня (или запрещена), не могут быть одинаковыми в каждой области усовершенствованного уровня.

Например, информация управления может быть информацией (например, таблица соответствия), в которой области усовершенствованного уровня и области базового уровня ассоциированы (синхронизированы). В этом случае, только информация, относящаяся к кодированию областей базового уровня, ассоциированные таблицей соответствия, может использоваться для ссылки при кодировании областей усовершенствованного уровня.

Возможно выполнить более надлежащий процесс управления посредством управления адресатом ссылки информации относящейся к кодированию каждой области усовершенствованного уровня, как описано выше. Таким образом, можно предотвратить увеличение нагрузки кодирования или декодирования. Дополнительно, можно уменьшить зависимость соотношений между областями.

Например, в области усовершенствованного уровня может быть разрешена ссылка на информацию, относящуюся к кодированию различных областей базового уровня, как показано на фиг. 10. В случае примера, показанного на фиг. 10, адресат ссылки информации относящейся к кодированию базового уровня при кодировании плитки Е₀ усовершенствованного уровня ограничивается плиткой В₀ базового уровня. Адресат ссылки информации относящейся к кодированию базового уровня при кодировании плитки Ε₁ усовершенствованного уровня ограничивается плиткой B₁ базового уровня. Адресат ссылки информации относящейся к кодированию базового уровня при кодировании плитки Е₂ усовершенствованного уровня ограничивается плиткой В₂ базового уровня. Адресат ссылки информации относящейся к кодированию базового уровня при кодировании плитки Е₃ усовершенствованного уровня ограничивается плиткой В₃ базового уровня.

Так как в областях усовершенствованного уровня разрешается ссылаться на информацию, относящуюся к кодированию различных областей базового уровня, как в примере на фиг. 10, то можно уменьшить зависимость соотношений между областями и можно выполнить параллельный процесс без затруднений, как показано на фиг. 11.

В случае примера на фиг. 11, первый CPU # 0 выполняет кодирование на плитке # 0 соответствующих кадров в порядке плитки # 0 (В₀_0) базового уровня кадра # 0, плитки # 0 (Е₀_0) усовершенствованного уровня кадра # 0, плитки # 0 (В₀_1) базового уровня кадра # 1, плитки # 0 (Е₀_1) усовершенствованного уровня кадра # 1, плитки # 0 (В₀_2) базового уровня кадра # 2 и плитки # 0 (Е₀_2) усовершенствованного уровня кадра # 2.

Параллельно с этим, второй CPU # 1 выполняет кодирование на плитках # 1 соответствующих кадров в порядке плитка # 1 (В₁_0) базового уровня кадра # 0, плитка # 1 (Ε₁_0) усовершенствованного уровня кадра # 0, плитка # 1 (Β₁_1) базового уровня кадра # 1, плитка # 1 (Ε₁_1) усовершенствованного уровня кадра # 1, плитка # 1 (Β₁_2) базового уровня кадра # 2 и плитка # 1 (Ε₁_2) усовершенствованного уровня кадра # 2.

Дополнительно, параллельно с вышеописанными процессами, третий CPU # 2 выполняет кодирование на плитках # 2 соответствующих кадров в порядке плитка # 2 (В₂_0) базового уровня кадра # 0, плитка # 2 (Е₂_0) усовершенствованного уровня кадра # 0, плитка # 2 (В₂_1) базового уровня кадра # 1, плитка # 2 (Е₂_1) усовершенствованного уровня кадра # 1, плитка # 2 (В₂_2) базового уровня кадра # 2 и плитка # 2 (Е₂_2) усовершенствованного уровня кадра # 2.

Дополнительно, параллельно с вышеописанными процессами, четвертый CPU # 3 выполняет кодирование на плитках # 2 соответствующих кадров в порядке плитка # 2 (В₃_0) базового уровня кадра # 0, плитка # 3 (Е₃_0) усовершенствованного уровня кадра # 0, плитка # 3 (В₃_1) базового уровня кадра # 1, плитка # 3 (Е₃_1) усовершенствованного уровня кадра # 1, плитка # 3 (В₃_2) базового уровня кадра # 2 и плитка # 3 (Е₃_2) усовершенствованного уровня кадра # 2.

Обозначение области (плитки, среза или т.п.) базового уровня в управляющей информации может быть выполнено на основании позиции (например, значение смещения от заголовка) данных каждой области, включенной в состав кодированных данных (битового потока), или может быть выполнено на основании идентификационного номера, выделенного для каждой области базового уровня.

Например, как показано на фиг. 12, идентификационный номер может быть выделен каждой области в порядке растрового сканирования и область, в которой разрешена или запрещена ссылка на информацию, относящуюся к кодированию, может быть определена с помощью идентификационного номера. Конечно, способ назначения идентификационного номера является произвольным, и порядок растрового сканирования является примером.

Приведенный выше пример был описан в отношении случая кодирования, но аналогичным образом применить к случаю декодирования.

Передача информации управления

Информация управления, используемая для управления ссылкой на информацию, относящуюся к кодированию, может быть передана со стороны кодирования на сторону декодирования. Так как управляющая информация передается на сторону декодирования, управляющая информация может быть использована при декодировании. Другими словами, как и в случае кодирования, нагрузка декодирования может быть снижена. В этом случае, управляющая информация может быть указана, например, как набор параметров изображения (PPS) или заголовок среза. Конечно, информация управления может быть передана произвольным способом. Например, управляющая информация может быть указана в наборе параметров последовательности, наборе параметров видео или тому подобное. Кроме того, управляющая информация может быть передана как данные отдельно от кодированных данных изображения.

Фиг. 13 и 14 иллюстрируют пример синтаксиса набора параметров изображения усовершенствованного уровня, когда управляющая информация передается через набор параметров изображения.

В случае данного примера, как показано на фиг. 13, tile_setting_from_ref_layer_flag передается в качестве информации, указывающей аналогично или нет разделение области текущего уровня (то есть усовершенствованного уровня), выступающего в качестве цели обработки, разделению области другого уровня (то есть базового уровня). Когда значение равно 1, то это означает, что способ разделения области (например, разделение плитки) в усовершенствованном уровне аналогично разделению базового уровня.

Например, когда разделение области усовершенствованного уровня аналогично разделению области базового уровня, то можно обнаружить разделение области усовершенствованного уровня со ссылкой на разделение области информации базового уровня при декодировании усовершенствованного уровня и, следовательно, нет необходимости передавать информацию (например, num_tile_columns_minusl, num_tile_rows_minusl, uniform_spacing_flag и т.п. на фиг. 13), относящуюся к разделению области усовершенствованного уровня. Таким образом, можно предотвратить снижение эффективности кодирования.

Дополнительно, как показано на фиг. 14, inter_layer_tile_prediction_restriction_flag передается в качестве информации, которая указывает, следует ли управлять областью, в которой осуществляется ссылка на информацию, относящуюся к кодированию. Когда значение равно 1, то передается информация управления, используемая для управления ссылкой на информацию, относящуюся к кодированию (со второй по девятую строки сверху на фиг. 14). В случае примера, показанного на фиг. 14, усовершенствованный уровень кодируется в блоках областей, и передается управляющая информация, используемая для управления областью базового уровня, в которой делается ссылка на информацию, относящуюся к кодированию, для каждой области усовершенствованного уровня.

Поскольку передается информация, указывающая, следует ли управлять областью, в которой делается ссылка на информацию, относящуюся к кодированию, как описано выше, когда область, в которой делается ссылка на информацию, относящуюся к кодированию, не управляется, то передача управляющей информации может быть опущена (управляющая информация может быть передана только тогда, когда область, в которой делается ссылка на информацию, относящуюся к кодированию, управляется). Таким образом, можно предотвратить снижение эффективности кодирования.

В случае примера, показанного на фиг. 14, текущая область, служащая в качестве цели обработки, усовершенствованного уровня обозначается позицией (I, J) в горизонтальном направлении и в вертикальном направлении матрицы области. Кроме того, количество (num_ref_tiles_minusl) областей базового уровня, служащего в качестве адресата ссылки и области, определяется для каждой области. Кроме того, область базового уровня, служащего в качестве адресата ссылки, назначается идентификационным номером (ref_tile [K]). Идентификационный номер назначается каждой области базового уровня в порядке растрового сканирования, как в примере на фиг. 12.

Текущая область усовершенствованного уровня и область базового уровня, служащего в качестве адресата ссылки, могут быть назначены произвольным способом, отличным от вышеупомянутых способов. Например, текущая область усовершенствованного уровня может быть определена с помощью идентификационного номера. Например, область базового уровня, служащего в качестве адресата ссылки, может быть назначена позицией (I, J) в горизонтальном направлении и вертикальном направлении в массиве области, или может быть назначена информацией (например, значением смещения сверху), указывающей положение данных области в кодированных данных.

Фиг. 15-17 иллюстрируют пример синтаксиса заголовка среза усовершенствованного уровня, когда управляющая информация передается через заголовок среза. Как показано на фиг. 15-17, в случае заголовка среза, управляющая информация передается способом, аналогичным способу, что и в случае набора параметров изображения, описанного со ссылкой на фиг. 13 и 14.

В примере, показанном на фиг. 13-17, пример, в котором плитка используется в качестве области, как было описано, но то, что было описано выше, может аналогичным образом применено к срезу, используемому в качестве области.

Кроме того, как описано выше, информация, относящаяся к кодированию, включает в себя информацию текстуры, такую как декодированное изображение или информацию синтаксиса, например информацию движения или информацию режима внутрикадрового предсказания, например. Другими словами, например, в качестве межуровневого предсказания, в котором предсказание выполняется со ссылкой на информацию другого уровня, есть межуровневое предсказание текстуры, в котором информация текстуры, такая как информация декодированного изображения базового уровня, используется для предсказания и межуровневого предсказания синтаксиса, в котором информация синтаксиса, такая как информация движения и информация режима внутрикадрового предсказания базового уровня используется для предсказания. В настоящем изобретении, управление адресатом ссылки информации относящейся к кодированию может быть независимо выполнено в каждом процессе предсказания. Другими словами, например, адресат ссылки области информации текстуры и адресат ссылки области синтаксиса могут быть независимо назначены.

2. Первый вариант осуществления

Устройство кодирования изображения

Далее будет приведено описание устройства, реализующего настоящее изобретение, и его способ. Фиг. 18 представляет собой схему, иллюстрирующую устройство кодирования изображения в качестве примера устройства обработки изображения, в котором применяется настоящее изобретение. Устройство 100 кодирования изображения, показанное на фиг. 18, является устройством, которое выполняет кодирование многоуровневого изображения. Как показано на фиг. 18, устройство 100 кодирования изображения включает в себя секцию 101 кодирования изображения базового уровня, секцию 102 кодирования изображения усовершенствованного уровня и блок 103 мультиплексирования.

Секция 101 кодирования изображения базового уровня кодирует изображение базового уровня и генерирует кодированный поток изображения базового уровня. Секция 102 кодирования изображения усовершенствованного уровня кодирует изображение усовершенствованного уровня, и генерирует кодированный поток изображения усовершенствованного уровня. Блок 103 мультиплексирования мультиплексирует кодированный поток изображения базового уровня, сгенерированный в секции 101 кодирования изображения базового уровня, и кодированный поток изображения усовершенствованного уровня, сгенерированный в секции 102 кодирования изображения усовершенствованного уровня, и генерирует кодированный поток многоуровневого изображения. Блок 103 мультиплексирования передает сгенерированный кодированный поток многоуровневого изображения на сторону декодирования.

При кодировании изображения базового уровня, секция 101 кодирования изображения базового уровня выполняет разделение области, такое как разделение плитки или разделение среза на текущем изображении, и выполняет кодирование для каждой области (плитки, среза или т.п.). Секция 101 кодирования изображения базового уровня поставляет информацию, относящуюся к кодированию базового уровня, полученную при кодировании, в секцию 102 кодирования изображения усовершенствованного уровня.

При кодировании изображения усовершенствованного уровня, секция 102 кодирования изображения усовершенствованного уровня выполняет разделение области, такое как разделение плитки или разделение среза на текущем изображении, и выполняет кодирование для каждой области (плитки, среза или т.п.). В этом случае, секция 102 кодирования изображения усовершенствованного уровня управляет областью, выступающей в качестве адресата ссылки информации относящейся к кодированию, базового уровня. Более конкретно, секция 102 кодирования изображения усовершенствованного уровня ассоциирует области усовершенствованного уровня с областями базового уровня, служащими в качестве адресата ссылки информации относящейся к кодированию, и генерирует информацию управления, указывающую на их отношения.

Секция 102 кодирования изображения усовершенствованного уровня соответственно соотносит информацию, относящуюся к кодированию базового уровня в соответствии с управлением информации управления, и кодирует изображение усовершенствованного уровня. Секция 102 кодирования изображения усовершенствованного уровня передает управляющую информацию на сторону декодирования (как закодированный поток многоуровневого изображения) через блок 103 мультиплексирования.

Секция кодирования изображения базового уровня

Фиг. 19 является блок-схемой, иллюстрирующей пример основной конфигурации секции 101 кодирования изображения базового уровня, показанной на фиг. 18. Как показано на фиг. 19, секция 101 кодирования изображения базового уровня имеет секцию 111 A/D преобразования, буфер 112 реконфигурации экрана, операционную секцию 113, секцию 114 ортогонального преобразования, секцию 115 квантования, секцию 116 кодирования без потерь, буфер 117 накопления, секцию 118 обратного квантования и секцию 119 обратного ортогонального преобразования. Кроме того, секция 103 кодирования изображения базового уровня имеет операционную секцию 120, контурный фильтр 121, кадровую память 122, секцию 123 выбора, секцию 124 внутрикадрового предсказания, секцию 125 межкадрового предсказания, секцию 126 выбора предсказанного изображения и секцию 127 управления скоростью обработки. Дополнительно, секция 101 кодирования изображения базового уровня имеет секцию установки разделения области базового уровня.

Секция 111 A/D преобразования выполняет A/D преобразование данных входного изображения (информация изображения базового уровня) и поставляет преобразованные данные изображения (цифровые данные) на сохранение в буфер 112 реконфигурации экрана. Буфер 112 реконфигурации экрана переупорядочивает хранящиеся изображения кадров в порядке отображения, в порядок кадров для кодирования в соответствии с группой изображений (GOP), и поставляет изображения, на которых порядок кадров переупорядочен, в операционную секцию 113. Буфер 112 реконфигурации экрана также поставляет изображения, в которых порядок кадров переупорядочен, в секцию 124 внутрикадрового предсказания и секцию 125 межкадрового предсказания.

Операционная секция 113 вычитает предсказанное изображение, поставленное из секции 124 внутрикадрового предсказания или секции 125 межкадрового предсказания, посредством секции 126 выбора предсказанного изображения, из изображения, считанного из буфера 112 реконфигурации экрана, и выводит информацию разности в секцию 114 ортогонального преобразования. Например, в случае выполнения внутрикадрового предсказания изображения, операционная секция 113 вычитает предсказанное изображение, поставленное из секции 124 внутрикадрового предсказания, из изображения, считанного из буфера 112 реконфигурации экрана. Кроме того, например, в случае выполнения межкадрового предсказания изображения, операционная секция 113 вычитает предсказанное изображение, поставленное из секции 125 межкадрового предсказания, из изображения, считанного из буфера 112 реконфигурации экрана.

Секция 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва дифференциальной информации, поставляемой из операционной секции 113. Секция 114 ортогонального преобразования поставляет коэффициенты преобразования в секцию 115 квантования.

Секция 115 квантования выполняет квантование коэффициентов преобразования, поставляемые из секции 114 ортогонального преобразования. Секция 115 квантования устанавливает параметр квантования на основании информации, относящейся к целевому значению величины кодирования, поставленной из секции 127 управления скоростью обработки, и выполняет квантование. Секция 115 квантования поставляет квантованные коэффициенты преобразования в секцию 116 кодирования без потерь.

Секция 116 кодирования без потерь кодирует коэффициенты преобразования, квантованные в секции 115 квантования, в соответствии с произвольной схемой кодирования. Так как данные коэффициента, квантованные под управлением секции 127 управления скоростью обработки, величина кодирования становится целевым значением (или приближается к целевому значению), установленной секцией 127 управления скоростью обработки.

Секция 116 кодирования без потерь получает информацию, указывающую на режим внутрикадрового предсказания и т.п. из секции 124 внутрикадрового предсказания и получает информацию, указывающую на режим межкадрового предсказания, дифференциальную информацию о векторе движения и т.п. из секции 125 межкадрового предсказания. Дополнительно, секция 116 кодирования без потерь соответственно генерирует NAL блок базового уровня, включающий в себя набор параметров последовательности (SPS), набор параметров изображения (PPS) и тому подобное.

Секция 116 кодирования без потерь кодирует информацию (которая также упоминается как "информации разделения области базового уровня»), относящуюся к разделению области (например, плитки, срезу или т.п.) базового уровня, установленного секцией установки разделения области базового уровня.

Секция 116 кодирования без потерь кодирует различные виды информации в соответствии с произвольной схемой кодирования и устанавливает (мультиплексирует) кодированные данные как часть кодированных данных (также называемых как "кодированный поток"). Секция 116 кодирования без потерь поставляет кодированные данные, полученные при кодировании, для накопления в буфере 117 накопления.

Примеры схемы кодирования секции 116 кодирования без потерь включают в себя кодирование переменной длины и арифметическое кодирование. При кодировании с переменной длиной, например, существует контекстно-адаптивное кодирование с переменной длиной (CAVLC), определенное в схеме H.264/AVC. При арифметическом кодировании, например, существует контекстно-адаптивное двоичное арифметическое кодирование (СABAC).

Буфер 117 накопления временно удерживает кодированные данные (кодированные данные базового уровня), поставленные из секции 116 кодирования без потерь. Буфер 117 накопления выводит удерживаемые закодированные данные базового уровня в записывающее устройство (носитель записи), тракт передачи или тому подобное (не показано) на последующем этапе в определенный момент времени. Другими словами, буфер 117 накопления служит в качестве секции передачи, которая также передает кодированные данные.

Коэффициенты преобразования, квантованные секцией 115 квантования, также поставляются в секцию 118 обратного квантования. Секция 118 обратного квантования подвергает обратному квантованию квантованные коэффициенты преобразования согласно способу, который соответствует квантованию, выполненному секцией 115 квантования. Секция 118 обратного квантования поставляет полученные коэффициенты преобразования в секцию 119 обратного ортогонального преобразования.

Секция 19 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов преобразования, поставляемые из секции 118 обратного квантования в соответствии со способом, соответствующим процессу ортогонального преобразования, выполняемого секцией 114 ортогонального преобразования. Выходной сигнал (восстановленная дифференциальная информация), который был подвергнут обратному ортогональному преобразованию, поставляется в операционную секцию 120.

Операционная секция 120 получает локально декодированное изображение (декодированное изображение) посредством добавления предсказанного изображения, подаваемого из секции 124 внутрикадрового предсказания или секции 125 межкадрового предсказания, через секцию 126 выбора предсказанного изображения, для восстановления дифференциальной информации, служащей в качестве результирующей информации обратного ортогонального преобразования, поставленной из секции 119 обратного ортогонального преобразования. Декодированное изображение поставляется на контурный фильтр 121 или в кадровую память 122.

Контурный фильтр 121 включает в себя фильтр удаления блочности, адаптивный контурный фильтр и т.п. и соответствующим образом выполняет процесс фильтрации на восстановленном изображении, поставленного из операционной секции 120. Например, контурный фильтр 121 выполняет процесс фильтрации удаления блочности на восстановленном изображении и удаляет артефакты блочности восстановленного изображения. Кроме того, например, контурный фильтр 121 улучшает качество изображения посредством выполнения процесса фильтрации фильтром удаления блочности (реконструированное изображение, из которого были удалены артефакты блочности), используя фильтр Винера. Контурный фильтр 121 подает результат процесса фильтрации (далее как "декодированное изображение") в кадровую память 122.

Контурный фильтр 121 может дополнительно выполнять любой другой произвольный процесс фильтрации восстановленного изображения. Контурный фильтр 121 может поставлять информацию, используемую в процессе фильтрации, такую как коэффициент фильтрации, в секцию 116 кодирования без потерь по мере необходимости так, чтобы информация может быть закодирована.

Кадровая память 122 сохраняет предоставленное декодированное изображение и передает хранимое декодированное изображение в секцию 123 выбора в качестве опорного изображения в определенный момент времени.

Более конкретно, кадровая память 122 хранит восстановленное изображение, поставленное их операционной секции 120, и декодированное изображение, поставленное из контурного фильтра 121. Кадровая память 122 поставляет сохраненное восстановленное изображение в секцию 124 внутрикадрового предсказания через секцию 123 выбора в определенный момент времени или на основании внешнего запроса, например, из секции 124 внутрикадрового предсказания. Кроме того, кадровая память 122 поставляет сохраненное декодированное изображение в секцию 125 межкадрового предсказания посредством секции 123 выбора в определенный момент времени или на основании внешнего запроса, например, из секции 125 межкадрового предсказания.

Секция 123 выбора выбирает адресат поставки опорного изображения, поступающего из кадровой памяти 122. Например, в случае внутрикадрового предсказания, секция 123 выбора подает опорное изображение (значение пикселя текущего изображения), поставляемое из кадровой памяти 122, в секцию 124 внутрикадрового предсказания. Кроме того, например, в случае межкадрового предсказания, секция 123 выбора подает опорное изображение, поступающее из кадровой памяти 122, в секцию 125 межкадрового предсказания.

Секция 124 внутрикадрового предсказания выполняет процесс предсказания на текущем изображении, что представляет собой изображение обработки целевого кадра, и генерирует изображение предсказания. Секция 124 внутрикадрового предсказания выполняет процесс предсказания в блоках некоторых блоков (с использованием блока в качестве блока обработки). Другими словами, секция 124 внутрикадрового предсказания генерирует изображение предсказания текущего блока, служащего в качестве целевой обработки в текущем изображении. В этом случае, секция 124 внутрикадрового предсказания выполняет процесс предсказания (внутрикадровое предсказание (которое также называют "внутренним предсказанием")) с использованием восстановленного изображения, поставляемое в качестве опорного изображения из кадровой памяти 122 через секцию 123 выбора. Другими словами, секция 124 внутрикадрового предсказания генерирует изображение предсказания с использованием значений пикселей соседнего текущего блока, которые включены в состав восстановленного изображения. Значение соседних пикселей, используемое для внутреннего предсказания, является значением пикселя, которое было предварительно обработано в текущем изображении. Как внутреннее предсказание (то есть способ генерирования изображения предсказания), множество способов (которые также называют «режимы внутрикадрового предсказания") получают в качестве кандидатов заранее. Секция 124 внутрикадрового предсказания выполняет внутреннее предсказание во множестве режимов внутреннего предсказания, которые заранее подготовлены.

Секция 124 внутреннего предсказания генерирует изображение предсказания во всех режимах внутреннего предсказания, выступающие в качестве кандидатов, оценивает значения функции стоимости изображений предсказания с использованием входного изображения, поставленного из буфера 112 реконфигурации экрана, и выбирает оптимальный режим. Когда выбирается оптимальный режим предсказания режим внутрикадрового предсказания, то секция 124 внутрикадрового предсказания поставляет изображение предсказания, сгенерированное в оптимальном режиме, в секцию 126 выбора изображения предсказания.

Как описано выше, секция 124 внутрикадрового предсказания соответственно поставляет, например, информацию режима внутрикадрового предсказания, указывающую на применяемый режим внутрикадрового предсказания, в секцию 116 кодирования без потерь, так что информация кодируется.

Секция 125 межкадрового предсказания выполняет процесс предсказания на текущем изображении, и генерирует изображение предсказания. Секция 125 межкадрового предсказания выполняет процесс предсказания в блоках некоторых блоков (с использованием блока в качестве блока обработки). Другими словами, секция 125 межкадрового предсказания генерирует изображение предсказания текущего блока, служащего в качестве цели обработки в текущем изображении. В этом случае, секция 125 межкадрового предсказания выполняет процесс предсказания с помощью данных изображения входного изображения, поставляемого из буфера 112 реконфигурации экрана, и данные декодированного изображения, поставленные в качестве опорного изображения из кадровой памяти 122. Декодированное изображение является изображением (другое изображение, которое не является текущим изображением) кадра, который был обработан до текущего изображения. Другими словами, секция 125 межкадрового предсказания выполняет процесс предсказания (межкадровое предсказание (который также называют "внешним предсказанием") генерирования изображения предсказания с использованием изображение другого изображения.

Межкадровое предсказание включает в себя предсказание движения и компенсацию движения. Более конкретно, секция 125 межкадрового предсказания выполняет предсказание движения на текущем блоке с использованием входного изображения и опорного изображения, и обнаруживает вектор движения. Затем секция 125 межкадрового предсказания выполняет процесс компенсации движения с использованием опорного изображения в соответствии с определенным вектором движения, и генерирует изображение предсказания (информация изображения межкадрового предсказания) текущего блока. При межкадровом предсказании (то есть, способ генерирования изображения предсказания), множество способов (которые также называются «режимами межкадрового предсказания") получают в качестве кандидатов заранее. Секция 125 межкадрового предсказания выполняет межкадровое предсказание во множестве режимов межкадрового предсказания, которые заранее подготовлены.

Секция 125 межкадрового предсказания генерирует предсказанные изображения во всех режимах межкадрового предсказания, выступающие в качестве кандидатов. Секция 125 межкадрового предсказания оценивает значение функции стоимости предсказанных изображений с использованием входного изображения, поставленного из буфера 112 реконфигурации экрана, информацию генерируемого дифференциального вектора движения и т.п. и выбирает оптимальный режим. Когда оптимальный режим предсказания выбирается режим межкадрового предсказания, то секция 125 межкадрового предсказания поставляет предсказанное изображение, сгенерированное в оптимальном режиме, в секцию 126 выбора предсказанного изображения.

Секция 125 межкадрового предсказания поставляет информацию, указывающую на используемый режим межкадрового предсказания, информация, необходимая для выполнения обработки в режиме межкадрового предсказания при декодировании закодированных данных и т.п., в секцию 116 кодирования без потерь, так что информация кодируется. Например, в качестве необходимой информации, есть информация генерируемого дифференциального вектора движения и информация предсказания вектора движения, используется флаг, указывающий на индекс предсказанного вектора движения.

Секция 126 выбора изображения предсказания выбирает источник поставки изображения предсказания, поставляемого в операционную секцию 113 и операционную секцию 120. Например, в случае внутрикадрового кодирования, секция 126 выбора изображения предсказания выбирает секцию 124 внутрикадрового предсказания в качестве источника поставки изображения предсказания, и поставляет изображение предсказания, поставляемое из секции 124 внутрикадрового предсказания, в операционную секцию 113 и операционную секцию 120. Например, в случае межкадрового кодирования, секция 126 выбора изображения предсказания выбирает секцию 125 межкадрового предсказания в качестве источника поставки изображения предсказания, и поставляет изображение предсказания, подаваемое из секции 125 межкадрового предсказания, в операционную секцию 113 и операционную секцию 120.

Секция 127 управления скоростью обработки управляет скоростью выполнения операции квантования секции 115 квантования на основании количества кодирования закодированных данных, накопленных в буфере 117 накопления, таким образом, чтобы не допустить переполнение или не заполнение.

Секция 128 установки разделения области базового уровня устанавливает разделение области (например, плитки, среза или т.п.) изображения базового уровня. Секция 128 установки разделения области базового уровня поставляет эту настройку в соответствующие блоки секции 101 кодирования изображения базового уровня в качестве информации разделения области базового уровня. Соответствующие блоки секции 101 кодирования изображения базового уровня выполняют обработку для каждой области, указанной информацией разделения области базового уровня. Кодирование каждой области осуществляется независимо. Таким образом, например, можно выполнять кодирование областей параллельно с использованием множества процессоров.

Секция 101 кодирования изображения базового уровня выполняет кодирование без ссылки на другой уровень. Другими словами, секция 124 внутрикадрового предсказания и секция 125 межкадрового предсказания не ссылаются на информацию, относящуюся к кодированию других уровней.

Кадровая память 122 поставляет данные изображения декодированного изображения базового уровня, сохраненные в ней, в секцию 102 кодирования усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Аналогичным образом, секция 124 внутрикадрового предсказания поставляет информацию режима внутрикадрового предсказания и т.п. в секцию 102 кодирования изображения усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Аналогичным образом, секция 125 межкадрового предсказания поставляет информацию о движении и т.п. в секцию 102 кодирования изображения усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Кроме того, секция 128 установки разделения области базового уровня также поставляет информацию разделения области базового уровня в секцию 102 кодирования изображения усовершенствованного уровня.

Секция кодирования изображения усовершенствованного уровня

Фиг. 20 является блок-схемой, иллюстрирующей пример основной конфигурации секции 102 кодирования изображения усовершенствованного уровня, показанной на фиг. 18. Как показано на фиг. 20, секция 102 кодирования изображения усовершенствованного уровня имеет в основном конфигурацию, аналогичную секции 101 кодирования изображения базового уровня, показанную на фиг. 19.

Другими словами, секция 102 кодирования изображения усовершенствованного уровня включает в себя секцию 131 A/D преобразования, буфер 132 реконфигурации экрана, операционную секцию 133, секцию 134 ортогонального преобразования, секцию 135 квантования, секцию 136 кодирования без потерь, буфер 137 накопления, секцию 138 обратного квантования и секцию 139 обратного ортогонального преобразования, как показано на фиг. 20. Секция 102 кодирования изображения усовершенствованного уровня дополнительно включает в себя операционную секцию 140, контурный фильтр 141, кадровую память 142, секцию 143 выбора, секцию 144 внутрикадрового предсказания, секцию 145 межкадрового предсказания, секцию 146 выбора предсказанного изображения и секцию 147 управления скоростью обработки.

Секция 131 A/D преобразования до секции 147 управления скоростью соответствуют секции 111 A/D преобразования до секции 127 управления скоростью на фиг. 19, и выполняют те же процессы обработки, что выполняются соответствующими секциями. Тем не менее соответствующие блоки секции 102 кодирования изображения усовершенствованного уровня выполняют процесс кодирования информации изображения усовершенствованного уровня, в отличие от базового уровня. Таким образом, описание секции 11 A/D преобразования до секции 127 управления скоростью на фиг. 19 может быть применено в качестве описания обработки секции 131 A/D преобразования до секции 147 управления скоростью, но в этом случае необходимо установить данные усовершенствованного уровня, как данные, подлежащие обработке, вместо данных базового уровня. Кроме того, необходимо соответствующим образом интерпретировать секции обработки исходных входных данных и адресат выходных данных в качестве соответствующих секций обработки секции 131 A/D преобразования до секции 147 управления скоростью.

Дополнительно, секция 102 кодирования изображения усовершенствованного уровня не включает в себя секцию 128 установки разделения области базового уровня, но включает в себя секцию 148 синхронизации области и блок 149 дискретизации с повышением частоты.

Секция 148 синхронизации области устанавливает разделение области (например, плитка, срез и т.п.) на изображении усовершенствованного уровня. Секция 148 синхронизации области поставляет эти параметры установки в соответствующие блоки секции 102 кодирования изображения усовершенствованного уровня в качестве информации разделения области усовершенствованного уровня.

Дополнительно, секция 148 синхронизации области управляет областью, в которой осуществляется ссылка на информацию, относящуюся к кодированию базового уровня, относительно кодирования усовершенствованного уровня. Например, секция 148 синхронизации области генерирует информацию управления, используемую для управления областью, в которой осуществляется ссылка на информацию, относящуюся к кодированию базового уровня, и управления секцией 144 внутрикадрового предсказания или секцией 145 межкадрового предсказания в соответствии с информацией управления. Другими словами, секция 148 синхронизации области управляет областью базового уровня, в которой ссылается на информацию, относящуюся к кодированию, когда секция 144 внутрикадрового предсказания или секция 145 межкадрового предсказания выполняет межуровневое предсказание.

Дополнительно, секция 148 синхронизации области поставляет информацию управления в секцию 136 кодирования без потерь, так что управляющая информация кодируется и передается на сторону декодирования.

Секция 102 кодирования изображения усовершенствованного уровня осуществляет кодирование со ссылкой на информацию, относящуюся к кодированию другого уровня (например, базовый уровень).

Секция 148 синхронизации области получает информацию разделения области базового уровня, поставленную из секции 101 кодирования изображения базового уровня. Секция 148 синхронизации области генерирует управляющую информацию, используя информацию разделения области базового уровня.

Секция 149 дискретизации с повышением частоты получает информацию, относящуюся к кодированию базового уровня, поставленную из секции 101 кодирования изображения базового уровня. Например, секция 149 дискретизации с повышением частоты получает информацию текстуры, такую как декодированное изображение (которое также называют как "декодированное изображение базового уровня») базового уровня, в качестве информации относящейся к кодированию. Например, когда выполняется процесс межкадрового предсказания синтаксиса (межкадровое предсказание), то секция 149 дискретизации с повышением частоты также получает информацию синтаксиса, такую как информация движения и информацию режима внутрикадрового предсказания базового уровня, как информацию, относящуюся к кодированию.

Секция 149 дискретизации с повышением частоты выполняет процесс повышающей дискретизации на полученной информации, относящейся к кодированию базового уровня. В масштабируемом кодировании уровни различаются по значению определенного параметра (например, разрешение или тому подобное) с функцией масштабирования. По этой причине секция 149 дискретизации с повышением частоты выполняет процесс повышающей дискретизации (выполняет процесс преобразования параметра масштабирования) на информации, относящейся к кодированию базового уровня таким образом, что значение параметра преобразуется на основании усовершенствованного уровня. Поскольку процесс повышающей дискретизации выполняется, как описано выше, информация, относящаяся к кодированию базового уровня, может быть использована в кодировании усовершенствованного уровня.

Секция 149 дискретизации с повышением частоты поставляет информацию, относящуюся к кодированию базового уровня, которая прошла процесс повышающей дискретизации, для хранения в кадровой памяти 142. Например, информация, относящаяся к кодированию базового уровня, поставляется в секцию 144 внутрикадрового предсказания или секцию 145 межкадрового предсказания в качестве опорного изображения. Информация синтаксиса аналогично поставляется в секцию 144 внутрикадрового предсказания или секцию 145 межкадрового предсказания.

Секция синхронизации области

Фиг. 21 является блок-схемой, иллюстрирующей пример основной конфигурации секции 148 синхронизации области, показанной на фиг. 20.

Как показано на фиг. 21, секция 148 синхронизации области включает в себя буфер 171 информации разделения области базового уровня, секцию 172 установки разделения области усовершенствованного уровня и секцию 173 установки синхронизации области.

Буфер 171 информации разделения области базового уровня получает и хранит информацию разделения области базового уровня, поставленную из секции 101 кодирования изображения базового уровня. Буфер 171 информации разделения области базового уровня поставляет хранящуюся информацию разделения области базового уровня в секцию 173 установки синхронизации области в определенный момент времени или в соответствии с внешним запросом из секции 173 установки синхронизации области или тому подобное.

Секция 172 установки разделения области усовершенствованного уровня устанавливает разделение области (например, плитка, срез и т.п.) изображения усовершенствованного уровня. Способ установки разделения области является произвольным. Например, разделение области может быть установлено пользователем, приложением или тому подобное, или может принято решение заранее. Разделение области усовершенствованного уровня может быть аналогичным или отличаться от разделения области базового уровня.

Секция 172 установки разделения области усовершенствованного уровня поставляет этот параметр установки в соответствующие блоки секции 102 кодирования изображения усовершенствованного уровня в качестве информации разделения области усовершенствованного уровня. Соответствующие секции 102 кодирования изображения усовершенствованного уровня выполняют обработку для каждой области, указанной информацией разделения области усовершенствованного уровня. Кодирование каждой области осуществляется независимо. Таким образом, например, можно выполнять кодирование областей параллельно с использованием множества процессоров.

Секция 172 установки разделения области усовершенствованного уровня поставляет также сгенерированную информацию разделения области усовершенствованного уровня в секцию 173 установки синхронизации области.

Кроме того, секция 172 установки разделения области усовершенствованного уровня подает сгенерированную информацию разделения области усовершенствованного уровня в секцию 136 кодирования без потерь, так что информация разделения области усовершенствованного уровня кодируется и передается на сторону декодирования. В результате, поскольку сторона декодирования может выполнять декодирование со ссылкой на эту информацию, то можно снизить нагрузку декодирования.

Секция 173 установки синхронизации области выполняет ассоциацию области между уровнями с помощью поставленной информации разделения области базового уровня и информации разделения области усовершенствованного уровня. Другими словами, секция 173 установки синхронизации области устанавливает область, в которой осуществляется ссылка на информацию, относящуюся к кодированию базового уровня, в случае кодирования каждой области усовершенствованного уровня.

Секция 173 установки синхронизации области генерирует информацию синхронизации области, указывающую на эту установку. Информация какой-либо спецификации может быть использована в качестве информации синхронизации области так долго, как эта информация используется для управления областью базового уровня, служащей в качестве адресата ссылки информации относящейся к кодированию. Например, может быть использована информация, используемая для ассоциации области базового уровня, служащей адресатом ссылки информации относящейся к кодированию, с каждой областью усовершенствованного уровня. Например, может быть использована информация о синтаксисе, описанная в разделе <1. Основное описание настоящего изобретения>.

Способ установки является произвольным. Другими словами, область, которая ссылается на секцию 144 внутрикадрового предсказания или секцию 145 межкадрового предсказания, определяется произвольным способом. Например, область может быть установлена пользователем, приложением или тому подобное, или решение может быть принято заранее.

Секция 173 установки синхронизации области определяет область базового уровня, которая используется в качестве адресата ссылки информации относящейся к кодированию, в текущей области, служащей в качестве цели обработки, используя сгенерированную информацию синхронизации области, генерирует информацию адреса синхронизации, указывающую позицию (адрес) данных области в данных информации, относящейся к кодированию (например, информацию текстуры, такую как опорное изображение или информацию синтаксиса, такую как информация движения или информация режима внутрикадрового предсказания), которая подверглась повышающей дискретизации и хранится в кадровой памяти 142, и поставляет информацию адреса синхронизации в секцию 144 внутрикадрового предсказания или секцию 145 межкадрового предсказания.

Секция 144 внутрикадрового предсказания или секция 145 межкадрового предсказания выполняет межуровневое предсказание в соответствии с адресной информацией синхронизации и, таким образом, можно установить только некоторые области изображения базового уровня в качестве адресата ссылки, и можно предотвратить увеличение числа обращений к кадровой памяти 142. Другими словами, так как секция 173 установки синхронизации области выполняет этот процесс, то можно предотвратить увеличение нагрузки кодирования.

Дополнительно, секция 173 установки синхронизации области поставляет сгенерированную информацию синхронизации области в секцию 136 кодирования без потерь так, что информация синхронизации области кодируется и передается на сторону декодирования. В результате, сторона декодирования может выполнять декодирование со ссылкой на информацию синхронизации области и, таким образом, при декодировании аналогично можно предотвратить увеличение числа обращений к памяти, и можно уменьшить нагрузку декодирования.

Последовательность выполнения операций процесса кодирования изображения

Далее будет описана последовательность выполнения операций каждого процесса, выполняемого устройством 100 кодирования изображения. Во-первых, пример потока операций кодирования изображения будет описан со ссылкой на блок-схему алгоритма на фиг. 22.

Когда начинается процесс кодирования изображения на этапе S101, секция 101 кодирования изображения базового уровня устройства 100 кодирования изображения кодирует данные изображения базового уровня.

На этапе S102, секция 102 кодирования изображения усовершенствованного уровня кодирует данные изображения усовершенствованного уровня.

На этапе S103, блок 103 мультиплексирования мультиплексирует кодированный поток изображения базового уровня, сгенерированный в процессе на этапе S101, и кодированный поток изображения усовершенствованного уровня, сгенерированный в процессе на этапе S102 (то есть бытовые потоки соответствующих уровней), и генерирует кодированный поток многоуровневого изображения одной системы.

Когда процесс заканчивается на этапе S103, устройство 100 кодирования изображения завершает процесс кодирования изображения. Одно изображение обрабатывается в процессе кодирования изображения. Таким образом, устройство 100 кодирования изображения повторно выполняет процесс кодирования изображения на изображениях, расположенных в иерархическом порядке данных движущегося изображения.

Последовательность выполнения операций процесса кодирования базового уровня

Далее будет описан пример последовательности выполнения операций процесса кодирования базового уровня, выполняемого секцией 101 кодирования изображения базового уровня на этапе S101, показанном на фиг. 22, со ссылкой на фиг. 23.

Когда начинается процесс кодирования базового уровня на этапе S121, секция 128 установки разделения области базового уровня секции 101 кодирования изображения базового уровня определяет разделение области базового уровня определенным способом, и генерирует информацию разделения области базового уровня. Кроме того, секция 128 установки разделения области базового уровня поставляет информацию разделения области базового уровня в соответствующие секции 101 кодирования изображения базового уровня.

На этапе S122 секция 128 установки разделения области базового уровня поставляет информацию разделения области базового уровня, сформированную на этапе S121, в секцию 116 кодирования без потерь, так что передается информация разделения области базового уровня.

Последующие процессы выполняются для каждой из областей, установленных на этапе S121. Другими словами, каждый процесс выполняется с использованием области или определенного модуля меньше, чем область как модуль обработки.

На этапе S123, секция 111 A/D преобразования выполняет A/D преобразование на изображении каждого кадра (изображение) входного движущегося изображения.

На этапе S124, буфер 112 реконфигурации экрана сохраняет изображение, которое было подвергнуто A/D преобразованию на этапе S123, и выполняет изменение порядка от порядка отображения на порядок кодирования на каждом кадре.

На этапе S125, секция 124 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания режима внутрикадрового предсказания.

На этапе S126, секция 125 межкадрового предсказания выполняет процесс межкадрового предсказания, в котором предсказание движения, компенсация движения и т.п. выполняются в режиме межкадрового предсказания.

На этапе S127, секция 126 выбора изображения предсказания выбирает изображение предсказания на основании значения функции стоимости и тому подобное. Другими словами, секция 126 выбора изображения предсказания выбирает любое одно из изображения предсказания, генерируемого в режиме внутрикадрового предсказания на этапе S125, и изображение предсказания, генерируемое в режиме межкадрового предсказания на этапе S126.

На этапе S128 операционная секция 113 вычисляет разность между входным изображением, в котором порядок кадров переупорядочен в процессе на этапе S124, и изображение предсказания, выбранного в процессе на этапе S127. Другими словами, операционная секция 113 генерирует данные изображения из разностного изображения между входным изображением и изображением предсказания. Значение полученного изображения разностного изображения уменьшается, и становиться меньше, чем исходные данные изображения. Таким образом, объем данных может быть сжат, чтобы быть меньше, чем когда изображение кодируется без изменений.

На этапе S129, секция 114 ортогонального преобразования выполняет ортогональное преобразование данных изображения дифференциального изображения, генерируемого в процессе на этапе S128.

На этапе S130, секция 115 квантования квантует коэффициент ортогонального преобразования, полученный в процессе на этапе S129, используя параметр квантования, вычисленный секцией 127 управления скоростью.

На этапе S131, секция 118 обратного квантования подвергает обратному квантованию квантованный коэффициент (который также упоминается как "коэффициент квантования"), сгенерированный в процессе на этапе S130, в соответствии с характеристиками, соответствующими характеристикам секции 115 квантования.

На этапе S132, секция 119 обратного ортогонального преобразования выполняет обратное ортогональное преобразование на коэффициентах ортогонального преобразования, полученные в процессе на этапе S131.

На этапе S133 операционная секция 120 генерирует данные изображения восстановленного изображения путем добавления изображения предсказания, выбранного в процессе на этапе S127, к дифференциальному изображению, восстановленному в процессе на этапе S132.

На этапе S134, контурный фильтр 121 выполняет процесс фильтрации данных изображения восстановленного изображения, генерируемого в процессе на этапе S133. В результате, например, удаляются артефакты блочности восстановленного изображения.

На этапе S135, кадровая память 122 хранит данные, такие как декодированное изображение, полученное в процессе на этапе S134, восстановленного изображения, полученного в процессе на этапе S133, и тому подобное.

На этапе S136 секция 116 кодирования без потерь кодирует квантованные коэффициенты, полученные в процессе на этапе S130. Другими словами, выполняется кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, данных, соответствующих разностному изображению.

В это время, секция 116 кодирования без потерь кодирует информацию, относящуюся к режиму предсказания изображения предсказания, выбранного в процессе на этапе S127, и добавляет закодированную информацию к закодированным данным, полученным посредством кодирования разностного изображения. Другими словами, секция 116 кодирования без потерь кодирует, например, информацию в соответствии с информацией оптимального режима внутрикадрового предсказания, поставленной из секции 124 внутрикадрового предсказания, или информацией оптимального режима межкадрового предсказания, поставленной из секции 125 межкадрового предсказания, и добавляет кодированную информацию к кодированным данным.

Дополнительно, секция 116 кодирования без потерь устанавливает и кодирует синтаксические элементы, такие как различные нулевые блоки, и добавляет кодированные синтаксические элементы к кодированным данным.

На этапе S137, буфер 117 накопления накапливает кодированные данные, полученные в процессе на этапе S136. Кодированные данные, накопленные в буфере 117 накопления, соответствующим образом считываются и передаются на сторону декодирования по тракту передачи или носителем записи.

На этапе S138, в секции 127 управления скоростью управляет работой секции 115 квантования на основании количества кодирования (количество генерируемого кодирования) закодированных данных, накопленных в буфере 117 накопления, в процессе на этапе S137, так что не допускается переполнение или не заполнение буфера. Кроме того, секция 127 управления скоростью поставляет информацию, относящуюся к параметру квантования, в секцию 115 квантования.

На этапе S139, кадровую память 122, секция 124 внутрикадрового предсказания, секция 125 межкадрового предсказания и секция 128 установки разделения области базового уровня поставляют информацию, относящуюся к кодированию базового уровня, полученную в описанном ранее процессе кодирования базовой уровня, для выполнения процесса кодирования усовершенствованного уровня.

Когда процесс на этапе S139 заканчивается, то процесс кодирования базового уровня завершается, и процесс возвращается к фиг. 22.

Последовательность выполнения операций процесса кодирования усовершенствованного уровня

Далее будет описан пример последовательности выполнения операций процесса кодирования усовершенствованного уровня, выполняемого секцией 102 кодирования изображения усовершенствованного уровня на этапе S102 на фиг. 22, со ссылкой на блок-схемы алгоритма на фиг. 24 и фиг. 25.

Когда начинается процесс кодирования усовершенствованного уровня на этапе S151, буфер 171 информации разделения области базового уровня секции 102 кодирования изображения усовершенствованного уровня получает информацию разделения области базового уровня, которая генерируется и поставляется в процессе кодирования базового уровня.

На этапе S152, секция 149 дискретизации с повышением частоты получает декодированное изображение базового уровня (то есть информацию текстуры), которая генерируется в процессе кодирования базового уровня, и подается в качестве информации относящейся к кодированию. Когда выполняется предсказание межуровневого синтаксиса, секция 149 дискретизации с повышением частоты также получает информацию синтаксиса, которая генерируется в процессе кодирования базового уровня, и поставляется в качестве информации относящейся к кодированию.

На этапе S153, секция 149 дискретизации с повышением частоты выполняет процесс повышающей дискретизации на основании информации относящейся к кодированию (например, декодированное изображение базового уровня) базового уровня, полученной на этапе S152.

В этапе S154, кадровая память 142 хранит информацию, относящуюся к кодированию (например, декодированное изображение базового уровня) базового уровня, которая была подвергнута процессу повышающей дискретизации посредством выполнения процесса на этапе S153.

В этапе S155, секция 172 установки разделения области усовершенствованного уровня определяет разделение области усовершенствованного уровня определенным способом, и генерирует информацию разделения области усовершенствованного уровня. Кроме того, секция 172 установки разделения области усовершенствованного уровня поставляет информацию разделения области усовершенствованного уровня в соответствующие секции 102 кодирования изображения усовершенствованного уровня.

На этапе S156, секция 173 установки синхронизации области генерирует информацию синхронизации области определенным способом с использованием информации разделения базового уровня, полученной на этапе S151, и информации разделения области усовершенствованного уровня, сгенерированной на этапе S155. Другими словами, секция 173 установки синхронизации области устанавливает область базового уровня, служащего в качестве адресата ссылки информации относящейся к кодированию каждой области усовершенствованного уровня.

В этапе S157, секция 173 установки синхронизации области генерирует информацию адреса синхронизации, указывающую данные области базового уровня, служащие в качестве адресата ссылки информации относящейся к кодированию, с использованием информации о синхронизации области, генерируемой в процессе на этапе S156.

На этапе S158, секция 173 установки синхронизации области поставляет информацию синхронизации области, генерируемой в процессе на этапе S156, в секцию 136 кодирования без потерь, так что передается информация синхронизации области. Кроме того, секция 172 установки разделения области усовершенствованного уровня поставляет информацию разделения области усовершенствованного уровня, генерируемую в процессе на этапе S155, в секцию 136 кодирования без потерь, так что передается информация разделения области усовершенствованного уровня.

Когда процесс на этапе S158 заканчивается, то процесс переходит к этапу S161 на фиг. 25.

Последующие процессы выполняются для каждой из областей, установленных в этапе S155. Другими словами, каждый процесс выполняется с использованием области или определенного блока меньшего, чем область как блок обработки.

Процессы на этапах с S161 по S176 на фиг. 25 соответствуют и выполняются аналогично процессам на этапах с S123 по S138 на фиг. 23.

Когда процесс на этапе S176 заканчивается, то процесс кодирования усовершенствованного уровня заканчивается, и процесс возвращается к фиг. 22.

При выполнении соответствующих процессов, как описано выше, устройство 100 кодирования изображения может уменьшить количество доступов к памяти для обращения к информации, относящейся к кодированию другого уровня при межуровневом предсказании, и, таким образом, подавить увеличение нагрузки кодирования и декодирования.

3. Второй вариант осуществления

Устройство декодирования изображения

Далее будет описан процесс декодирования кодированных данных, закодированных, как описано выше. Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации устройства декодирования изображения устройства, соответствующее устройству 100 кодирования изображения на фиг. 18 в качестве примера устройства обработки изображения, в котором применяется настоящее изобретение.

Устройство 200 декодирования изображения, показанное на фиг. 26, декодирует кодированные данные, генерируемые устройством 100 кодирования изображения, с помощью способа декодирования, соответствующего способу кодирования (то есть, выполняет масштабируемое декодирование кодированных данных, которые были подвергнуты масштабируемому кодированию).

Как показано на фиг. 26, устройство 200 декодирования изображения включает в себя блок 201 демультиплексирования, секцию 202 декодирования изображения базового уровня и секцию 203 декодирования изображения усовершенствованного уровня.

Блок 201 демультиплексирования принимает кодированный поток многоуровневого изображения, в котором кодированный поток изображения базового уровня и кодированный поток изображения усовершенствованного уровня, мультиплексированы, который передается со стороны кодирования, демультиплексирует кодированный поток масштабируемого изображения, и извлекает кодированный поток изображения базового уровня и кодированный поток изображения усовершенствованного уровня.

Секция 202 декодирования изображения базового уровня декодирует кодированный поток изображения базового уровня, извлеченного посредством блока 201 демультиплексирования, и получает изображение базового уровня. В этом случае, секция 202 декодирования изображения базового уровня выполняет декодирование для каждой области (плитки, среза или т.п.), установленного в стороне кодирования, на основании информации разделения области базового уровня, поставленной со стороны кодирования.

Секцию 203 декодирования изображения усовершенствованного уровня декодирует кодированный поток усовершенствованного уровня, извлеченный посредством блока 201 демультиплексирования, и получает изображение усовершенствованного уровня. В этом случае, секция 203 декодирования изображения усовершенствованного уровня выполняет декодирование для каждой области (плитки, среза или т.п.), установленного на стороне кодирования, на основании информации разделения области усовершенствованного уровня, поставленной со стороны кодирования.

Дополнительно, секция 203 декодирования изображения усовершенствованного уровня выполняет межуровневое предсказание, используя информацию синхронизации области, служащий в качестве управляющей информации, которая подается со стороны кодирования, и используется для управления областью базового уровня, служащей в качестве адресата ссылки информации относящейся к кодированию каждой области усовершенствованного уровня. Другими словами, когда выполняется межуровневое предсказание при декодировании усовершенствованного уровня, секция 203 декодирования изображения усовершенствованного уровня осуществляет ссылку на информацию, относящуюся к кодированию области базового уровня, обозначенную информацией синхронизации области.

Секция декодирования изображения базового уровня Фиг.27 является блок-схемой, иллюстрирующей пример основной конфигурации секции 202 декодирования изображения базового уровня, показанной на фиг. 26. Как показано на фиг. 27, секция 202 декодирования изображения базового уровня включает в себя буфер 211 накопления, секцию 212 декодирования без потерь, секцию 213 обратного квантования, секцию 214 обратного ортогонального преобразования, операционную секцию 215, контурный фильтр 216, буфер 217 реконфигурации экрана и секцию 218 D/A преобразования. Секция 202 декодирования изображения базового уровня дополнительно включает в себя кадровую память 219, секцию 220 выбора, секцию 221 внутрикадрового предсказания, секцию 222 межкадрового предсказания и секцию 223 выбора изображения предсказания.

Буфер 211 накопления является секцией приема, которая принимает переданные закодированные данные. Буфер 211 накопления принимает и накапливает переданные кодированные данные и подает закодированные данные в секцию 212 декодирования без потерь в определенный момент времени. Информация, необходимая для декодирования, такая как информация режима предсказания, добавляется к кодированным данным. Секция 212 декодирования без потерь декодирует информацию, которая подается из буфера 211 накопления, и кодированная секцией 116 кодирования без потерь в соответствии со схемой декодирования, соответствующей схеме кодирования. Секция 212 декодирования без потерь поставляет квантованный коэффициент данных дифференциального изображения, полученного с помощью декодирования, в секцию 213 обратного квантования.

Дополнительно, секция 212 Декодирования без потерь определяет, выбран ли режим внутрикадрового предсказания или режим межкадрового предсказания в качестве оптимального режима предсказания, и подает информацию, относящуюся к оптимальному режиму предсказания, для выбора оптимального режима предсказания, то есть в секцию 221 внутрикадрового предсказания или в секцию 222 межкадрового предсказания. Другими словами, например, когда режим внутрикадрового предсказания выбран в качестве оптимального режима предсказания на стороне кодирования, то информация, относящаяся к оптимальному режиму предсказания, подается в секцию 221 внутрикадрового предсказания. Дополнительно, например, когда выбран режим межкадрового предсказания в качестве оптимального режима предсказания на стороне кодирования, то информация, относящаяся к оптимальному режиму предсказания, подается в секцию 222 межкадрового предсказания.

Дополнительно, секция 212 декодирования без потерь, например, поставляет информацию, необходимую для обратного квантования, такую как матрицы квантования или параметр квантования, в секцию 213 обратного квантования.

Дополнительно, секция 212 декодирования без потерь поставляет информацию разделения области базового уровня, поставленную со стороны кодирования, в соответствующие секции 202 декодирования изображения базового уровня. Соответствующие секции 202 декодирования изображения базового уровня выполнять обработку для каждой области, указанные информацией разделения области базового уровня. Декодирование каждой области выполняется независимо. Таким образом, например, можно выполнить декодирование соответствующих областей параллельно с использованием множества процессоров.

Секция 213 обратного квантования подвергает обратному квантованию квантованные данные коэффициента, полученные в результате декодирования, выполняемого секцией 212 декодирования без потерь в соответствии со схемой, соответствующей схеме квантования секции 115 квантования. Секция 213 обратного квантования является секцией обработки, аналогичной секции 118 обратного квантования. Другими словами, описание секции 213 обратного квантования может быть применено к описанию секции 118 обратного квантования. Тем не менее, следует интерпретировать данные входного источника, адресат выходных данных и т.п., для каждой секции обработки секции 202 декодирования изображения базового уровня.

Секция 213 обратного квантования поставляет полученные данные коэффициента в секцию 214 обратного ортогонального преобразования.

При необходимости, секция 214 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента ортогонального преобразования, поставленного из секции 213 обратного квантования, в соответствии со схемой, соответствующей схеме ортогонального преобразования секции 114 ортогонального преобразования. Секция 214 обратного ортогонального преобразования является секцией обработки, аналогично секции 119 обратного ортогонального преобразования. Другими словами, описание секции 214 обратного ортогонального преобразования может быть применено к секции 119 обратного ортогонального преобразования. Тем не менее следует интерпретировать данные входного источника, адресат выходных данных и т.п., для каждой секции обработки секции 202 декодирования изображения базового уровня.

Данные изображения дифференциального изображения восстанавливаются посредством выполнения процесса обратного ортогонального преобразования. Данные восстановленного изображения дифференциального изображения соответствует данным изображения разностного изображения до осуществления ортогонального преобразования в устройстве кодирования изображения. Далее, данные восстановленного изображения дифференциального изображения, полученные с помощью процесса обратного ортогонального преобразования, выполняемого секцией 214 обратного ортогонального преобразования, упоминается как "декодированные остаточные данные". Секция 214 обратного ортогонального преобразования поставляет декодированные остаточные данные в операционную секцию 215. Кроме того, операционная секция 215 получает данные изображения предсказанного изображения из секции 221 внутрикадрового предсказания или секции 222 межкадрового предсказания посредством секции 223 выбора предсказанного изображения.

Операционная секция 215 получает данные изображения восстановленного изображения, в которых дифференциальное изображение и изображения предсказания добавляются с помощью декодированных остаточных данных и данных изображения предсказанного изображения. Восстановленное изображение соответствует входному изображению, до того, как изображение предсказания вычитается операционной секцией 113. Операционная секция 215 поставляет восстановленное изображение в контурный фильтр 216.

Контурный фильтр 216 генерирует декодированное изображение путем выполнения соответствующего процесса фильтрации контурного фильтра, включающий в себя процесс фильтрации удаления блочности, адаптивного процесса фильтрации или т.п. поставленного восстановленного изображения. Например, контурный фильтр 216 удаляет артефакты блочности путем осуществления процесса фильтрации удаления блочности восстановленного изображения. Кроме того, например, контурный фильтр 216 улучшает качество изображения посредством выполнения процесса фильтрации после выполнения процесса фильтрации удаления блочности (восстановленное изображение, из которого были удалены артефакты блочности), используя фильтр Винера.

Тип процесса фильтрации, выполняемого контурным фильтром 216, является произвольным, и может быть выполнен процесс, кроме описанного выше процесса фильтрации. Более того, контурный фильтр 216 может выполнять процесс фильтрации, используя коэффициент фильтра, подаваемый из устройства кодирования изображения. Кроме того, контурный фильтр 216 может пропустить процесс фильтрации и может выводить данные без ввода выполнения процесса фильтрации.

Контурный фильтр 216 поставляет декодированное изображение (или восстановленное изображение), как результат процесса фильтрации, в буфер 217 реконфигурации экрана и кадровую память 219.

Буфер 217 реконфигурации экрана выполняет переупорядочивание порядка кадров на декодированном изображении. Другими словами, буфер 217 реконфигурации экрана переупорядочивает изображение соответствующих кадров переупорядоченных в порядке кодирования посредством буфера 112 реконфигурации экрана, в оригинальный порядок отображения. Другими словами, буфер 217 реконфигурации экрана сохраняет данные изображения декодированного изображения соответствующих кадров, поставляемых в порядке кодирования, в такой порядок, считывает данные изображения декодированного изображения соответствующих кадров, записанных в порядке кодирования, в порядок отображения, и поставляет их в секцию 218 D/A преобразования, секция 218 D/A преобразования выполняет D/A преобразование декодированного изображения (цифровые данные) соответствующих кадров, поступающих из буфера 217 реконфигурации экрана, и выводит аналоговые данные, которые будут отображаться на дисплее (не показан).

Кадровая память 219 сохраняет поставленное декодированное изображение, и поставляет хранимое декодированное изображение в секцию 221 внутрикадрового предсказания или секцию 222 межкадрового предсказания в качестве опорного изображения посредством секции 220 выбора в определенный момент времени или на основании внешнего запроса из секции 221 внутрикадрового предсказания, секции 222 межкадрового предсказания или тому подобное.

Информация режима внутрикадрового предсказания и т.п. соответственно поставляется из секции 212 декодирования без потерь в секцию 221 внутрикадрового предсказания. Секция 221 внутрикадрового предсказания выполняет внутреннее предсказание в режиме внутрикадрового предсказания (оптимальный режим внутрикадрового предсказания), используемого секцией 124 внутрикадрового предсказания, и генерирует изображение предсказания. В этом случае, секция 221 внутрикадрового предсказания выполняет внутреннего предсказания с помощью данных изображения восстановленного изображения, поступающего из кадровой памяти 219 с помощью секции 220 выбора. Другими словами, секция 221 внутрикадрового предсказания использует восстановленное изображение в качестве опорного изображения (соседний пиксель). Секция 221 внутрикадрового предсказания поставляет сгенерированное изображение предсказания в секцию 223 выбора изображения предсказания.

Информация оптимального режима предсказания, информация движения и тому подобное соответствующим образом подается из секции 212 декодирования без потерь в секцию 222 межкадрового предсказания. Секция 222 межкадрового предсказания выполняет межкадровое предсказание с использованием декодированного изображения (опорное изображение), полученное из кадровой памяти 219, в режиме межкадрового предсказания (оптимальный режим межкадрового предсказания), указанного информацией оптимального режима предсказания, полученной из секции 212 декодирования без потерь, и генерирует изображение предсказания.

Секция 223 выбора изображения предсказания поставляет изображение предсказания, поставленное из секции 221 внутрикадрового предсказания или изображения предсказания, поступающего из секции 222 межкадрового предсказания, в операционную секцию 215. Затем операционная секция 215 получает восстановленное изображение, в котором изображение предсказания суммируется с декодированными остаточными данными (информации разностного изображения), из секции 214 обратного ортогонального преобразования.

Дополнительно, секция 202 декодирования изображения базового уровня выполняет декодирование без ссылки на другой уровень. Другими словами, секция 221 внутреннего предсказания и секция 222 межкадрового предсказания не ссылается к информации, относящейся к кодированию другого уровня.

Дополнительно, кадровая память 219 поставляет сохраненные данные изображения декодированного изображения базового уровня в секцию 203 декодирования изображения усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Аналогичным образом, секция 221 внутрикадрового предсказания поставляет информацию режима внутрикадрового предсказания и т.п. в секцию 203 декодирования изображения усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Аналогичным образом, секция 222 межкадрового предсказания поставляет информацию движения и т.п. в секцию 203 декодирования изображения усовершенствованного уровня в качестве информации относящейся к кодированию базового уровня.

Кроме того, секция 221 внутрикадрового предсказания или секция 222 межкадрового предсказания (произвольное секция обработки базового уровня секции 202 декодирования изображения базового уровня, например, секция 212 декодирования без потерь) поставляет информацию разделения области базового уровня в секцию 203 декодирования изображения усовершенствованного уровня.

Секция декодирования изображения усовершенствованного уровня Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации секции 203 декодирования изображения усовершенствованного уровня, показанной на фиг. 26. Как показано на фиг. 28, секция 203 декодирования изображения усовершенствованного уровня имеет в основном конфигурацию, аналогичную секции 202 декодирования изображения базового уровня на фиг. 27.

Иными словами, секция 203 декодирования изображения усовершенствованного уровня включает в себя буфер 231 накопления, секцию 232 декодирования без потерь, секцию 233 обратного квантования, секцию 234 обратного ортогонального преобразования, операционную секцию 235, контурный фильтр 236, буфер 237 реконфигурации экрана, секцию 238 D/A преобразования, как показано на фиг. 28. Секция 203 декодирования изображения усовершенствованного уровня дополнительно включает в себя кадровую память 239, секцию 240 выбора, секцию 241 внутрикадрового предсказания, секцию 242 межкадрового предсказания и секцию 243 выбора изображения предсказания.

Буфер 231 накопления 231 до секции 243 выбора изображения предсказания соответствует буферу 211 накопления до секции 223 выбора изображения предсказания на фиг. 27, а также выполняют процессы, аналогичные тем, которые выполняются соответствующими секциями обработки. Тем не менее соответствующие секции 203 декодирования изображения усовершенствованного уровня выполняют обработку кодирования информации изображения усовершенствованного уровня, в отличие от базового уровня. Таким образом, описание буфера 211 накопления до секции 223 выбора изображения предсказания на фиг. 27 может быть применено в качестве описания процессов буфера 231 накопления до секции 243 выбора изображения предсказания, но в этом случае, данные, подлежащие обработке, необходимые для усовершенствованного уровня отличаются от данных базового уровня. Кроме того, следует интерпретировать секцию обработки источника входных данных и выходных данных назначения в соответствующей секции обработки секции 203 декодирования изображения усовершенствованного уровня соответственно.

Секция 203 декодирования изображения усовершенствованного уровня дополнительно включает в себя секцию 244 синхронизации области и секцию 245 дискретизации с повышением частоты.

Секция 244 синхронизации области получает информацию разделения области усовершенствованного уровня и информацию синхронизации области, поставленную из секции 232 декодирования без потерь. Информация генерируется на стороне декодирования и передается из декодирующей стороны. Кроме того, секция 244 синхронизации области получает информацию разделения области базового уровня, поставляемую из секции 202 декодирования изображения базового уровня.

Секция 244 синхронизации области управляет областью, в которой ссылается на информацию, относящуюся к кодированию базового уровня, при декодировании усовершенствованного уровня с использованием информации. Например, секция 244 синхронизации области управляет областью базового уровня, в которой делается ссылка на информацию, относящуюся к кодированию, когда секция 241 внутрикадрового предсказания или секция 242 межкадрового предсказания выполняет межуровневое предсказание, используя информацию. В результате, как и в момент кодирования, секция 244 синхронизации области может управлять областью, в которой осуществляется ссылка на информацию, относящуюся к кодированию базового уровня, при декодировании усовершенствованного уровня. Таким образом, секция 244 синхронизации области может уменьшить количество доступов к памяти и подавлять увеличение нагрузки при декодировании.

Секция 203 декодирования изображения усовершенствованного уровня выполняет декодирование со ссылкой на информацию, относящуюся к кодированию другого уровня (например, базовый уровень).

Секция 245 дискретизации с повышением частоты получает информацию, относящуюся к кодированию базового уровня, поставленную из секции 202 декодирования изображения базового уровня. Например, секция 245 дискретизации с повышением частоты получает информацию текстуры, такую как декодированное изображение (также упоминается как "декодируемое изображение базового уровня") базового уровня в качестве информации относящейся к кодированию. Кроме того, например, когда выполняется процесс межуровневого предсказания синтаксиса (межуровневое предсказание), то секция 245 дискретизации с повышением частоты получает информацию синтаксиса, такую как информация движения и информация о режиме внутрикадрового предсказания базового уровня в качестве информации относящейся к кодированию.

Секция 245 дискретизации с повышением частоты выполняет процесс повышающей дискретизации на полученной информации, относящейся к кодированию базового уровня. При масштабируемом кодировании, различные уровни различаются по значению определенного параметра (например, разрешение или тому подобное), имеющего функцию масштабируемости. Таким образом, секция 245 дискретизации с повышением частоты выполняет процесс повышающей дискретизации (выполняет процесс преобразования параметра масштабируемости) на информации, относящейся к кодированию базового уровня таким образом, что значение параметра преобразуется на основании усовершенствованного уровня. Поскольку процесс повышающей дискретизации выполняется, как описано выше, информация, относящаяся к кодированию базового уровня, может быть использована при декодировании усовершенствованного уровня.

Секция 149 дискретизации с повышением частоты поставляет информацию, относящуюся к кодированию базового уровня, которая была подвергнута процессу повышающей дискретизации для хранения в кадровой памяти 239. Например, информация, относящаяся к кодированию базового уровня, поставляется в секцию 241 внутрикадрового предсказания или секцию 242 межкадрового предсказания в качестве опорного изображения. Аналогичным образом, также информация синтаксиса подается в секцию 241 внутреннего предсказания или секцию 242 межкадрового предсказания.

Секция синхронизации области

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации секции 244 синхронизации области, показанной на фиг. 28.

Секция 244 синхронизации области включает в себя буфер 271 информации разделения области базового уровня, буфер 272 информации разделения области усовершенствованного уровня и секцию 273 декодирования информации синхронизации области, как показано на фиг. 29.

Буфер 271 информации разделения области базового уровня получает информацию разделения области базового уровня, поставленную из секции 202 декодирования изображения базового уровня, то есть информация разделения области базового уровня, поставленная со стороны кодирования, и удерживает полученную информацию разделения области базового уровня. Буфер 271 информации разделения области базового уровня поставляет удерживаемую информацию разделения области базового уровня в секцию 273 декодирования информации синхронизации в определенный момент времени или в соответствии с внешним запросом из секции 273 декодирования информации синхронизации области или тому подобное.

Буфер 272 информации разделения области усовершенствованного уровня получает информацию разделения области усовершенствованного уровня, поставленную из секции 232 декодирования без потерь, то есть информацию разделения области усовершенствованного уровня, поставленную со стороны кодирования, и удерживает полученную информацию разделения области усовершенствованного уровня. Буфер 272 информации разделения области усовершенствованного уровня поставляет удерживаемую информацию разделения области усовершенствованного уровня в секцию 273 декодирования информации синхронизации области в определенный момент времени или в зависимости от внешнего запроса из секции 273 декодирования информации синхронизации области или тому подобное.

Секция 273 декодирования информации синхронизации области получает информацию разделения области базового уровня из буфера 271 информации разделения области базового уровня, и получает информацию разделения области усовершенствованного уровня из буфера 272 информации разделения области усовершенствованного уровня. Кроме того, секция 273 декодирования информации синхронизации области получает информацию синхронизации области, поставленной из секции 232 декодирования без потерь, то есть получает информацию синхронизации области, поставленную со стороны кодирования, и удерживает полученную информацию синхронизации области.

Информация синхронизации области является информацией, используемой для управления областью базового уровня, служащей в качестве адресата ссылки информации относящейся к кодированию каждой области усовершенствованного уровня. Секция 273 декодирования информации синхронизации области декодирует информацию синхронизации области, используя информацию разделения области базового уровня и информацию разделения области усовершенствованного уровня. Другими словами, секция 273 декодирования информации синхронизации области обнаруживает позиционную связь между областями уровней, используя информацию разделения области базового уровня и информацию разделения области усовершенствованного уровня, и анализирует отношение соответствия между областями уровней, указанные информацией синхронизации области в соответствии с позиционным соотношением.

Более конкретно, секция 273 декодирования информации синхронизации области определяет положение данных области базового уровня, выступающей в качестве адресата ссылки информации относящейся к кодированию для текущей области, служащей в качестве цели обработки усовершенствованного уровня данных информации относящейся к кодированию, например, опорное изображение, поставленное из кадровой памяти 239. Секция 273 декодирования информации синхронизации области генерирует информацию адреса синхронизации, служащую в качестве информации, указанной позицией данных, и подает информацию об адресе синхронизации в секцию 241 внутрикадрового предсказания или секцию 242 межкадрового предсказания.

В результате, так как вся информация используется секцией 273 декодирования информации синхронизации области, информация поступает со стороны кодирования, секция 273 декодирования информации синхронизации области может генерировать информацию адреса синхронизации, аналогично сгенерированной секцией 173 установки синхронизации области. Другими словами, секция 273 декодирования информации синхронизации области может выполнять управление, аналогично тому, как выполняется секцией 173 установки синхронизации области.

Поскольку секция 241 внутрикадрового предсказания или секция 242 межкадрового предсказания выполняет межуровневое предсказание в соответствии с информацией адреса синхронизации, только некоторые области изображения базового уровня могут быть установлены в качестве адресата ссылки, и увеличение числа доступа к кадровой памяти 239 может быть подавлено. Другими словами, секция 273 декодирования информации синхронизации области может уменьшить количество доступов к памяти и подавлять увеличение нагрузки при декодировании посредством выполнения вышеописанного процесса.

Последовательность выполнения операций процесса декодирования изображений

Далее будет описана последовательность выполнения операций каждого процесса, выполняемого устройством 200 декодирования изображения. Во-первых, пример потока процесса декодирования изображения будет описан со ссылкой на блок-схему алгоритма на фиг. 30.

Когда начинается процесс декодирования изображения на этапе S201, блок 201 демультиплексирования устройства 200 декодирования изображения выполняет демультиплексирование кодированного потока многоуровневого изображения, передаваемого со стороны кодирования для каждого уровня.

На этапе S202, секция 202 декодирования базового уровня декодирует кодированный поток базового уровня, извлеченного в процессе на этапе S201. Секция 202 декодирования изображения базового уровня выводит данные изображений базового уровня, сгенерированные при декодировании.

На этапе S203, секция 203 декодирования изображения усовершенствованного уровня декодирует кодированный поток изображения усовершенствованного уровня, извлеченного в процессе на этапе S201. Секция 203 декодирования изображения усовершенствованного уровня выводит данные изображения усовершенствованного уровня, сгенерированные при декодировании.

Когда процесс заканчивается на этапе S203, устройство 200 декодирования изображения завершает процесс декодирования изображения. Одно изображение обрабатывается в этом процессе декодирования изображения. Таким образом, устройство 200 декодирования изображения повторно выполняет процесс декодирования изображения на каждом кадре данных движущегося изображения, расположенные в иерархическом порядке.

Последовательность выполнения операций процесса декодирования базового уровня

Далее будет описан пример последовательности выполнения операций процесса декодирования базового уровня, выполняемого секцией 202 декодирования изображения базового уровня на этапе S202 на фиг. 30, со ссылкой на блок-схему алгоритма на фиг. 31.

Когда начинается процесс декодирования базового уровня на этапе S221, секция 212 декодирования без потерь секции 202 декодирования изображения базового уровня декодирует кодированные данные, полученные через буфер 211 накопления, и получает информацию разделения области базового уровня, поставленную со стороны кодирования. Дополнительно, секция 212 декодирования без потерь поставляет информацию разделения области базового уровня в соответствующие секции 202 декодирования изображения базового уровня.

Последующие процессы выполняются для каждой из областей, установленных на этапе S221. Другими словами, каждый процесс выполняется с использованием области или определенного модуля меньше, чем область как модуль обработки.

На этапе S222, буфер 211 накопления накапливает передаваемый битовый поток (закодированные данные). На этапе S223 секция 212 декодирования без потерь декодирует битовый поток (кодированные данные), поставленного из буфера 211 накопления. Другими словами, данные изображения, такие как I-кадр, Ρ-кадр и В-кадр, кодированные секцией 116 кодирования без потерь, декодируются. В это время, различные виды информации декодируются в дополнение к данным изображения, включенные в состав битового потока, такие как информация заголовка.

На этапе S224, секция 213 обратного квантования подвергает обратному квантованию квантованные коэффициенты, полученные в процессе на этапе S223.

На этапе S225, секция 214 обратного ортогонального преобразования выполняет обратное ортогональное преобразование обратно квантованного коэффициента на этапе S224.

На этапе S226, секция 221 внутрикадрового предсказания или секция 222 межкадрового предсказания выполняет процесс предсказания, и генерирует изображение предсказания. Другими словами, процесс предсказания выполняется в режиме предсказания, который определен при использовании кодирования в секции 212 декодирования без потерь. Более конкретно, например, когда применяется внутреннее предсказание в случае кодирования, секция 221 внутрикадрового предсказания генерирует предсказанное изображение в режиме внутрикадрового предсказания, используемого в оптимальном режиме предсказания при кодировании. Дополнительно, например, когда применяется межкадровое предсказание в случае кодирования, секция 222 межкадрового предсказания генерирует изображение предсказания в режиме межкадрового предсказания признанного оптимальным в случае кодирования.

На этапе S227 операционная секция 215 добавляет разностное изображение, полученное путем выполнения обратного ортогонального преобразования на этапе S225, к изображению предсказания, генерируемое на этапе S226. В результате, получаются данные изображения восстановленного изображения.

На этапе S228 контурный фильтр 216 соответственно выполняет процесс фильтрации, включающий в себя процесс удаления артефакты блочности в процессе адаптивной фильтрации и т.п. данных изображения восстановленного изображения, полученного в процессе на этапе S227.

На этапе S229, буфер 217 реконфигурации экрана переупорядочивает соответствующие кадры восстановленного изображения, которые прошли процесс фильтрации на этапе S228. Другими словами, порядок переупорядоченных кадров в случае кодирования изменяется на исходный порядок отображения.

На этапе S230, секция 218 D/A преобразования выполняет D/A преобразование на изображении, в котором порядок кадров переупорядочен на этапе S229. Изображение выводится на дисплей (не показан) и изображение отображается.

На этапе S231, кадровая память 219 хранит данные, такие как декодированное изображение, полученное в процессе на этапе S228, восстановленного изображения, полученного в процессе на этапе S227 и тому подобное.

На этапе S232, кадровая память 219, секция 221 внутрикадрового предсказания и секция 222 межкадрового предсказания поставляет информацию, относящуюся к кодированию базового уровня, поставленную со стороны кодирования для процесса декодирования усовершенствованного уровня.

Когда процесс на этапе S232 заканчивается, процесс декодирования базового уровня заканчивается, и процесс возвращается к фиг. 30.

Последовательность выполнения операций процесса декодирования усовершенствованного уровня

Далее будет описан пример последовательности выполнения операций процесса декодирования усовершенствованного уровня, выполняемого секцией 203 декодирования изображения усовершенствованного уровня на этапе S203 на фиг. 30, со ссылкой на блок-схему алгоритма на фиг. 32 и 33.

Когда начинается процесс декодирования усовершенствованного уровня на этапе S251, буфер 271 информации разделения области базового уровня секции 203 декодирования изображения усовершенствованного уровня получает информацию разделения области базового уровня, поставленного из секции 202 декодирования изображения базового уровня, в процессе декодирования базового уровня. Информация разделения области базового уровня является информацией, поставленной со стороны кодирования.

На этапе S252, секция 245 дискретизации с повышением частоты получает декодированное изображение базового уровня (то есть информацию текстуры), поставленного из секции 202 декодирования изображения базового уровня в процессе декодирования базового уровня в качестве информации относящейся к кодированию. Дополнительно, когда выполняется предсказание межуровневого синтаксиса, секция 245 дискретизации с повышением частоты получает информацию синтаксиса, поставленную из секции 202 декодирования изображения базового уровня в процессе декодирования базового уровня в качестве информации относящейся к кодированию. Информация, относящаяся к кодированию, является информацией, поставленной со стороны кодирования, или информацией, восстановленной на основании информации, поставленной со стороны кодирования.

На этапе S253, секция 245 дискретизации с повышением частоты выполняет процесс повышающей дискретизации на основании информации относящейся к кодированию базового уровня (например, декодированное изображение базового уровня), полученной на этапе S252. Кадровая память 239 хранит информацию, относящуюся к кодированию базового уровня (например, декодированное изображение базового уровня), которое подверглось процессу повышающей дискретизации посредством процесса на этапе S253.

В этапе S254, буфер 272 информации разделения области усовершенствованного уровня получает информацию разделения области усовершенствованного уровня, поставленную из секции 232 декодирования без потерь. Информация разделения области усовершенствованного уровня является информацией, поставленной со стороны кодирования.

На этапе S255, секция 273 декодирования информации синхронизации области получает информацию синхронизации области, поставленную из секции 232 декодирования без потерь. Информации синхронизации области является информацией, поставленной со стороны кодирования.

На этапе S256, секция 273 декодирования информации синхронизации области анализирует информацию синхронизации области, полученную на этапе S255, используя информацию разделения области базового уровня, полученную на этапе S251, и информацию разделения области усовершенствованного уровня, полученную на этапе S254, устанавливает положение (адрес синхронизации) данных области базового уровня, служащих в качестве адресата ссылки, и генерирует информацию адреса синхронизации, указывающий на адрес синхронизации. Секция 273 декодирования информации синхронизации области поставляет сгенерированную информацию адреса синхронизации в секцию 241 внутреннего предсказания или секцию 242 межкадрового предсказания. Секция 241 внутрикадрового предсказания или секция 242 межкадрового предсказания, в которую была поставлена информация адреса синхронизации, выполняет межуровневое предсказание, используя информацию адреса синхронизации.

Когда процесс на этапе S256 заканчивается, процесс переходит к этапу S21 на фиг. 33.

Последующие процессы выполняются для каждой из областей, обозначенных информацией разделения области усовершенствованного уровня. Другими словами, каждый процесс выполняется с использованием области или определенного блока меньшего, чем область, как блок обработки.

Процесс на этапах с S261 по S270 на фиг. 33 соответствует и выполняется аналогично процессам на этапах с S222 по S231 на фиг. 31.

Тем не менее, когда выполняется межуровневое предсказание на этапе S265, секция 241 внутрикадрового предсказания или секция 242 межкадрового предсказания выполняет процесс в соответствии с адресной информацией синхронизации, генерируемой на этапе S256 на фиг. 32. Другими словами, секция 241 внутреннего предсказания или секция 242 межкадрового предсказания выполняет межуровневое предсказание со ссылкой только на информацию, относящуюся к кодированию областей базового уровня, обозначенных адресной информацией синхронизации.

Когда процесс заканчивается на этапе S270, процесс декодирования усовершенствованного уровня заканчивается, и процесс возвращается к фиг. 30.

Поскольку процесс выполняется, как описано выше, устройство 200 декодирования изображения может уменьшить количество доступов к памяти для обращения к информации, относящейся к кодированию другого уровня при межуровневом предсказании, и сдерживать увеличение нагрузки декодирования.

В приведенном выше примере, данные изображения размещены в иерархическом порядке и разделены на множество уровней посредством масштабируемого кодирования, но количество уровней является произвольным. Кроме того, в приведенном выше примере, относительно кодирования и декодирования, обрабатывается усовершенствованный уровень со ссылкой на базовый уровень, но настоящее изобретение не ограничивается этим примером, и усовершенствованный уровень может быть обработан со ссылкой на другой усовершенствованный уровень, который был обработан.

Например, в случае устройства 100 кодирования изображения на фиг. 18, кадровая память 142, секция 144 внутрикадрового предсказания и секция 145 межкадрового предсказания (фиг. 20) усовершенствованного уровня секции 102 кодирования изображения усовершенствованного уровня, в котором осуществляется ссылка на информацию, относящуюся к кодированию, могут поставлять информацию, относящуюся к кодированию усовершенствованного уровня, в секцию 102 кодирования изображения усовершенствованного уровня другого усовершенствованного уровня, в котором делается ссылка на информацию, относящуюся к кодированию, аналогично кадровой памяти 122, секции 124 внутреннего предсказания и секции 125 межкадрового предсказания (фиг. 19).

Дополнительно, например, в случае устройства 200 декодирования изображения на фиг. 26, кадровая память 239, секция 241 внутрикадрового предсказания и секция 242 межкадрового предсказания (фиг. 28) усовершенствованного уровня секции 203 декодирования изображения усовершенствованного уровня, в котором делается ссылка на информацию, относящуюся к кодированию, могут поставлять информацию, относящуюся к кодированию усовершенствованного уровня в секцию 203 декодирования изображения усовершенствованного уровня другого усовершенствованного уровня, в котором делается ссылка на информацию, относящуюся к кодированию усовершенствованного уровня, аналогичного кадровой памяти 219, секции 221 внутреннего предсказания и секции 222 межкадрового предсказания (фиг. 27).

Настоящее изобретение может быть применено к так называемому устройству кодирования изображения и устройству декодирования изображения на основании схемы масштабируемого кодирования/декодирования.

Например, настоящее изобретение может быть применено к устройству кодирования изображения и устройству декодирования изображения, используемые, когда информация изображения (битовый поток), сжатая с помощью ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсации движения, как в MPEG и Н.26Х, принимается через сетевую среду, например спутниковое вещание, кабельное телевидение, интернет или мобильный телефон. Кроме того, настоящее изобретение может быть применено для устройства кодирования изображения и устройства декодирования изображения, используемого, когда выполняется обработка на носителе информации, таком как оптический диск, магнитный диск или флэш-память.

4. Третий вариант осуществления

Применение к кодированию многопроекционного изображения/декодированию многопроекционного изображения>

Последовательность процессов, описанных выше, может быть применена к кодированию многопроекционного изображения и декодирования многопроекционного изображения. Фиг. 34 иллюстрирует примерную схему кодирования многопроекционного изображения.

Как показано на фиг. 34, многопроекционное изображение включает в себя изображения множества проекций. Множество проекций многопроекционного изображения включает в себя основную проекцию, в которой кодирование и декодирование выполняется с использованием только изображение ее собственной проекции, без использования информации другой проекции, и дополнительная проекция, в которой кодирование и декодирование выполняется с использованием информации другой проекции. Кодирование и декодирование дополнительной проекции может быть выполнено с использованием информации основной проекции или с использованием информации другого дополнительной проекции.

Другими словами, отношение ссылки между проекциями при кодировании многопроекционного изображения и декодировании аналогично соотношению ссылки между уровнями при масштабируемом кодировании и декодировании изображения. Таким образом, описанный выше способ, может быть применен к кодированию и декодированию многопроекционного изображения, показанного на фиг. 34. Другими словами, при кодировании и декодировании дополнительной проекции, область основной проекции (или другой дополнительной проекции), в которой ссылаются на информацию, относящуюся к кодированию, может быть управляемой. В результате, даже в случае многопроекционного изображения, аналогично, можно предотвратить увеличение нагрузки кодирования или декодирования.

Устройство кодирования многопроекционного изображения

Фиг. 35 показывает схему, иллюстрирующую устройство кодирования многопроекционного изображения, которое выполняет кодирование многопроекционного изображения. Как показано на фиг. 35, устройство 600 кодирования многопроекционного изображения включает в себя секцию 601 кодирования, секцию 602 кодирования и блок 603 мультиплексирования.

Секция 601 кодирования кодирует основную проекцию изображения и генерирует кодированный поток изображения основной проекции. Секция 602 кодирования кодирует изображение дополнительной проекции и генерирует кодированный поток изображения дополнительной проекции. Секция 603 мультиплексирования мультиплексирует кодированный поток изображения основной проекции, генерированной в секции 601 кодирования и кодированный поток изображения дополнительной проекции, генерируемый в секции 602 кодирования, и генерирует кодированный поток многопроекционного изображения.

Секция 101 кодирования изображения базового уровня (фиг. 19) может быть применена в качестве секции 601 кодирования устройства 600 кодирования многопроекционного изображения, и секция 102 кодирования изображения усовершенствованного уровня (фиг. 20) может быть применена в качестве секции 602 кодирования. Другими словами, в кодировании дополнительной проекции, область дополнительной проекции (или другой дополнительной проекции), в которой ссылаются на информацию, относящуюся к кодированию, может быть управляемой. В результате, даже в случае многопроекционного изображения, аналогично можно предотвратить увеличение нагрузки кодирования. Кроме того, даже в случае кодирования многопроекционного изображения, можно предотвратить увеличение нагрузки декодирования посредством передачи управляющей информации, используемой для управления областью, в которой ссылаются на информацию, относящуюся к кодированию, на сторону декодирования.

Устройство декодирования многопроекционного изображения

Фиг. 36 представляет собой схему, иллюстрирующую устройство декодирования многопроекционного изображения, которое выполняет декодирование многопроекционного изображения. Как показано на фиг. 36, устройство 610 декодирования многопроекционного изображения включает в себя блок 611 демультиплексирования, секцию 612 декодирования и секцию 613 декодирования.

Секция 611 обратного мультиплексирования обратно мультиплексирует кодированный поток многопроекционного изображения, в котором кодированный поток изображения основной проекции и кодированный поток изображения дополнительной проекции мультиплексированы, и извлекает кодированный поток изображения основной проекции и кодированный поток изображения дополнительной проекции. Секция 612 декодирования декодирует кодированный поток изображения основной проекции, извлеченный секцией 611 обратного мультиплексирования, и получает изображение основной проекции. Секция 613 декодирования декодирует кодированный поток изображения дополнительной проекции, извлеченный в секции 611 обратного мультиплексирования, и получает изображение дополнительной проекции.

Секция декодирования изображения основной проекции (фиг. 27) может быть применена в качестве секции 612 декодирования устройства 610 декодирования многопроекционного изображения, и секция 203 декодирования изображения усовершенствованного уровня (фиг. 28) может быть применена в качестве секции 613 декодирования. Другими словами, при декодировании изображения дополнительной проекции, область основной проекции (или другой дополнительной проекции), в которой ссылаются на информацию, относящуюся к кодированию, может быть управляемой. В результате, даже в случае многопроекционного изображения, аналогично можно предотвратить увеличение нагрузки декодирования.

4. Четвертый вариант осуществления

Компьютер

Вышеописанная последовательность операций процессов может быть выполнена с помощью аппаратных средств или может быть выполнена с помощью программного обеспечения. Когда последовательность процессов должна быть выполнена с помощью программного обеспечения, программы, составляющие программное обеспечение, установлены в компьютере. Здесь компьютер включает в себя компьютер, который инкорпорирован в специализированные аппаратные средства или персональный компьютер (PC) общего назначения, который может выполнять различные функции путем установки различных программ в компьютер, например.

Фиг. 37 является блок-схемой, иллюстрирующей пример конфигурации аппаратного обеспечения компьютера для выполнения описанной выше последовательности процессов с помощью программы.

В компьютере 800, показанном на фиг. 37, центральный процессор (CPU) 801, постоянное запоминающее устройство (ROM) 802 и оперативное запоминающее устройство (RAM) 803 соединены друг с другом с помощью шины 804.

Интерфейс 810 ввода и вывода дополнительно соединен с шиной 804. Входная секция 811, выходная секция 812, секция 813 хранения, секция 814 связи и привод 815 подключены к интерфейсу 810 ввода и вывода.

Входная секция 811 сформирована клавиатурой, мышью, микрофоном, сенсорной панелью, терминалом ввода и тому подобное. Выходная секция 812 образована с помощью дисплея, динамика, выходной клеммой и тому подобное. Секция 813 хранения выполнена в виде жесткого диска, RAM диска, энергонезависимой памяти или тому подобное. Секция 814 связи выполнена в виде сетевого интерфейса или тому подобное. Привод 815 приводит в действие сменный носитель 821, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, сконфигурированном, как описано выше, процессор 801 загружает программы, сохраненные в секции 813 хранения на RAM 803, через интерфейс 810 ввода и вывода и шину 804, и выполняет программы, так что выполняется описанная выше последовательность операций процессов. RAM 803 также хранит данные, необходимые для процессора 801, для выполнения различных процессов.

Программа, выполняемая компьютером (CPU 801), может быть обеспечена посредством записи на съемном носителе 821, как носитель упакованных данных или тому подобного. В этом случае, путем загрузки съемного носителя 821 в привод 815, программа может быть установлена в секции 813 хранения через интерфейс 810 ввода и вывода.

Дополнительно, программа может быть предоставлена посредством проводной или беспроводной среды передачи информации, такой как локальная сеть, интернет или цифровое вещание. В этом случае также можно получить программу по проводной или беспроводной среде передачи информации с использованием секции 814 связи, и установить программу в секции 813 хранения.

Более того, программа также может быть установлена заранее на ROM 802 или блоке 813 хранения.

Следует отметить, что программа, выполняемая компьютером, может быть программой, которая обрабатывается во временной последовательности в соответствии с описанной последовательностью, или программой, которая обрабатываются параллельно или в требуемый момент времени, такой как при вызове.

В настоящем изобретении, этапы описания программы, которые должны быть записаны на носителе записи, могут включать в себя обработку, выполняемую во временной последовательности, в соответствии с описанным порядком, и обработку, не выполняемую во временной последовательности, но выполняемую параллельно или по отдельности.

Кроме того, в данном описании, система означает набор множества составных элементов (устройств, модулей (частей) или тому подобное) независимо от того, расположены ли все составные элементы в одном корпусе. Таким образом, как множество устройств, которые размещены в отдельных корпусах и соединены через сеть, так и одно устройство, в котором множество модулей размещается в одном корпусе, являются системами.

Дополнительно, составной элемент, описанный выше в виде одного устройства (или блока обработки), может быть разделен и выполнен в виде множества устройств (или блоков обработки). Напротив, составные элементы, описанные выше как множество устройств (или блоков обработки), могут быть сконфигурированы вместе как единое устройство (или блок обработки). Дополнительно, составной элемент, отличный от тех, которые описаны выше, может быть добавлен к каждому устройству (или блоку обработки). Более того, часть составного элемента данного устройства (или блока обработки) может быть включена в состав составного элемента другого устройства (или другого блока обработки) до тех пор, как конфигурация или режим эксплуатации системы в целом, по существу, является той же самой.

Предпочтительные варианты осуществления настоящего изобретения были описаны выше со ссылкой на прилагаемые чертежи, в то время как настоящее изобретение не ограничивается приведенными выше примерами, конечно. Специалист в данной области техники может найти различные изменения и модификации в пределах объема прилагаемой формулы изобретения и следует понимать, что они, естественно, подпадают под технический объем настоящего изобретения.

Например, настоящее изобретение может принимать конфигурацию облачных вычислений, которая обрабатывает информацию с помощью выделения и соединения одной функции посредством множества устройств через сеть.

Дополнительно, каждый этап, описанный выше посредством блок-схем алгоритма, может быть выполнен одним устройством или путем выделения множества устройств.

Кроме того, в случае, когда множество процессов включено в один этап, то множество процессов, включенных в состав этого одного этапа, может быть выполнено одним устройством или путем выделения множества устройств.

Устройство кодирования изображения и устройство декодирования изображения в соответствии с вариантом осуществления могут быть применены к различных электронным устройствам, таким как передатчики и приемники для спутникового вещания, кабельного вещания, таким как кабельное телевидение, распространения информации в сети интернет, распространения информации для терминалов через сотовую связь и т.п., записывающим устройствам, которые записывают изображения на носитель, такой как оптические диски, магнитные диски и флэш-память, и устройствам воспроизведения, воспроизводящие изображения с такого носителя. Четыре варианта применения будут описаны ниже.

6. Вариант применения

Первый вариант применения: Телевизионный приемник

Фиг. 38 иллюстрирует пример схематичной конфигурации телевизионного устройства, к которому применяется вариант осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, секцию 905 обработки видеосигнала, секцию 906 отображения, секцию 907 обработки звукового сигнала, динамик 908, секцию 909 внешнего интерфейса (I/F), секцию 910 управления, пользовательский интерфейс (I/F) 911 и шину 912.

Тюнер 902 извлекает сигнал желаемого канала из широковещательных сигналов, принятых через антенну 901, и демодулирует извлеченный сигнал. Тюнер 902 затем выводит кодированный битовый поток, полученный с помощью демодуляции на демультиплексор 903. То есть, тюнер 902 служит в качестве блока передачи телевизионного устройства 900 для приема кодированного потока, в котором кодируется изображение.

Демультиплексор 903 демультиплексирует кодированный битовый поток для получения видеопотока и аудиопотока программы для просмотра, и выводит каждый поток, полученного посредством демультиплексирования, в декодер 904. Демультиплексор 903 также извлекает вспомогательные данные, такие как электронные гиды программ (EPGs) из кодированного битового потока, и передает извлеченные данные в секцию 910 управления. Дополнительно, демультиплексор 903 может выполнять дескремблирование, когда кодированный битовый поток скремблирован.

Декодер 904 декодирует видеопоток и аудио поток, поступившие из демультиплексора 903. Декодер 904 затем выводит видеоданные, генерируемые в процессе декодирования, в секцию 905 обработки видеосигнала. Декодер 904 также выводит звуковые данные, генерируемые в процессе декодирования, в секцию 907 обработки звукового сигнала.

Секция 905 обработки видеосигнала воспроизводит видео данные, поступившие из декодера 904, и вызывает секцию 906 отображения отобразить видео. Секция 905 обработки видеосигнала, также может вызывать секцию 906 отображения отображать экран приложений, поставляемый через сеть. Кроме того, секция 905 обработки видеосигнала может выполнять дополнительный процесс, такой как удаление шума, например, из видеоданных, в соответствии с настройкой. Кроме того, секция 905 обработки видеосигнала может генерировать изображение графического интерфейса пользователя (GUI), такой как меню, кнопки и курсор, и наложить изображение на сгенерированное выходное изображение.

Секция 906 отображения управляется посредством сигнала управления, поставленного из секции 905 обработки видеосигнала, и отображает видео или изображение на видеоэкране устройства отображения (например, жидкокристаллический дисплей, плазменный дисплей, органический дисплей электролюминесценции (OLED) и т.д.).

Секция 907 обработки звукового сигнала выполняет процесс воспроизведения, такой как D/A преобразование и усиление звуковых данных, поступивших из декодера 904, и выводит звук из громкоговорителя 908. Секция 907 обработки звукового сигнала может также выполнять дополнительный процесс, такой как удаление шума из звуковых данных.

Секция 909 внешнего интерфейса представляет собой интерфейс для подключения телевизионного устройства 900 к внешнему устройству или сети. Например, видеопоток или аудиопоток, полученные с помощью секции 909 внешнего интерфейса, может быть декодирован декодером 904. То есть, секция 909 внешнего интерфейса также служит в качестве блока передачи телевизионного устройства 900 для приема кодированного потока, в который кодируется изображение.

Секция 910 управления включает в себя процессор, такой как центральный процессор (CPU), память, такую как оперативное запоминающее устройство (RAM) и постоянное запоминающее устройство (ROM). Память хранит программу, которая будет выполнена процессором, программные данные, данные EPG, данные, полученные с помощью сети и тому подобное. Программа, хранимая в памяти, считывается и выполняется процессором во время активации телевизионного устройства 900, например. Процессор управляет работой телевизионного устройства 900, например, в соответствии с операционным сигналом, поступившим из секции 911 интерфейса пользователя, посредством выполнения программы.

Секция 911 пользовательского интерфейса подключена к секции 910 управления. Секция 911 пользовательского интерфейса включает в себя, например, кнопку и переключатель, используемый пользователем для управления телевизионным устройством 900, и секцию приема для сигнала дистанционного управления. Секция 911 пользовательского интерфейса обнаруживает операцию пользователя с помощью этих составных элементов, генерирует сигнал операции, и выводит сгенерированный сигнал операции в секцию 910 управления.

Шина 912 соединяет тюнер 902, демультиплексор 903, декодер 904, секцию 905 обработки видеосигнала, секцию 907 обработки звукового сигнала, секцию 909 внешнего интерфейса и секцию 910 управления друг с другом.

Декодер 904 имеет функцию устройства 200 декодирования изображения в соответствии с вариантом осуществления в телевизионном устройстве 900, сконфигурированным таким образом. Соответственно, можно подавлять увеличение нагрузки декодирования, когда изображение декодируется в телевизионном устройстве 900.

Второй пример применения: Мобильный телефон

Фиг. 39 иллюстрирует пример схематичной конфигурации мобильного телефона, к которому применяется вариант осуществления. Мобильный телефон 920 включает в себя антенну 921, секцию 922 связи, аудиокодек 923, динамик 924, микрофон 925, секцию 926 камеры, секцию 927 обработки изображений, секцию 928 демультиплексирования, секцию 929 записи/воспроизведения, секцию 930 отображения, секцию 931 управления, операционную секцию 932 и шину 933.

Антенна 921 подключена к секции 922 связи. Динамик 924 и микрофон 925 подключены к декодеру 923. Операционная секция 932 соединена с секцией 931 управления. Шина 933 соединяет секцию 922 связи, аудиокодек 923, секцию 926 камеры, секцию 927 обработки изображения, секцию 928 демультиплексирования, секцию 929 записи/воспроизведения, секцию 930 отображения и секцию 931 управления друг с другом.

Мобильный телефон 920 выполняет операцию, например, передачи и приема аудио сигнала, передачи и приема сообщений электронной почты или данные изображения, захвата изображения и записи данных в различных режимах работы, включающие в себя режим аудио вызова, режим передачи данных, режим захвата изображения и режим видеотелефона.

Аналоговый аудио сигнал, генерируемый микрофоном 925, подается в аудиокодек 923 в режиме аудио вызова. Аудиокодек 923 преобразует аналоговый аудио сигнал в аудио данные, преобразованные звуковые данные, которые подвергаются A/D преобразованию, и сжимает преобразованные данные. Аудиокодек 923 затем выводит сжатые аудиоданные в секцию 922 связи. Секция 922 связи кодирует и модулирует звуковые данные и генерирует сигнал передачи. Секция 922 связи затем передает сформированный сигнал передачи на базовую станцию (не показана) с помощью антенны 921. Секция 922 связи также усиливает беспроводной сигнал, принятый через антенну 921 и преобразует частоту сигнала беспроводной связи в принятый сигнал. Секция 922 связи затем демодулирует и декодирует принятый сигнал, генерирует аудиоданные и выводит сгенерированные аудиоданные в аудиокодек 923. Аудиокодек 923 поставляет аудиоданные, подвергнутые D/A преобразованию, и генерирует аналоговый аудио сигнал. Аудиокодек 923 затем подает сгенерированный звуковой сигнал на динамик 924 для вывода звука.

Секция 931 управления также генерирует данные, составляющие текст электронной почты в соответствии с операцией, выполняемой пользователем с помощью операционной секции 932, например. Кроме того, секция 931 управления вызывает секцию 930 отображения отобразить текст. Кроме того, секция 931 управления генерирует данные электронной почты в соответствии с командой передачи от пользователя через операционную секцию 932, и выводит сгенерированные данные электронной почты в секцию 922 связи. Секция 922 связи кодирует и модулирует данные электронной почты, и генерирует сигнал передачи. Секция 922 связи затем передает сформированный сигнал передачи на базовую станцию (не показана) с помощью антенны 921. Секция 922 связи также усиливает беспроводной сигнал, принятый через антенну 921 и преобразует частоту сигнала беспроводной связи в принятый сигнал. Секция 922 связи затем демодулирует и декодирует принятый сигнал, чтобы восстановить данные электронной почты, и выводит восстановленные данные электронной почты в секцию 931 управления. Секция 931 управления вызывает секцию 930 отображения отобразить контент электронной почты, а также вызывает носитель записи секции 929 записи/воспроизведения сохранить данные электронной почты.

Секция 929 записи/воспроизведения включает в себя носитель для считывания и записи данных. Например, носитель данных может быть встроенным носителем данных, таким как RAM и флэш-память, или внешне устанавливаемым носителем информации, таким как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, универсальная последовательная шина (USB) памяти и карты памяти.

Более того, секция 926 камеры, например, захватывает изображение предмета, чтобы сформировать данные изображения и выводит сформированные данные изображения в секцию 927 обработки изображения в режиме захвата изображения. Секция 927 обработки изображений кодирует данные изображения, поступившие из секции 926 камеры, и вызывает носитель информации секции 929 записи/воспроизведения сохранить данные кодированного потока.

Кроме того, секция 928 демультиплексирования, например, мультиплексирует видеопоток, закодированный с помощью секции 927 обработки изображений и звуковой поток, поступивший из аудиокодека 923, и выводит мультиплексированный поток в секцию 922 связи в режиме видеотелефона. Секция 922 связи кодирует и модулирует поток и генерирует сигнал передачи. Секция 922 связи затем передает сформированный сигнал передачи на базовую станцию (не показана) с помощью антенны 921. Секция 922 связи также усиливает беспроводной сигнал, принятый через антенну 921 и преобразует частоту сигнала беспроводной связи в принятый сигнал. Этот сигнал передачи и принятый сигнал может включать в себя кодированный битовый поток. Секция 922 связи затем демодулирует и декодирует принятый сигнал, чтобы восстановить поток, и выводит восстановленный поток в секцию 928 демультиплексирования Секция 928 демультиплексирования демультиплексирует входной поток для получения потока видео и аудиопотока, и выводит видеопоток в секцию 927 обработки изображений и аудиопоток в аудиокодек 923. Секция 927 обработки изображений декодирует видеопоток, и генерирует видеоданные. Видео данные передаются в секцию 930 отображения, и серия снимков отображается на секции 930 отображения. Аудиокодек 923 распаковывает звуковой поток, подвергнутый D/A преобразованию, и генерирует аналоговый аудио сигналов. Аудиокодек 923 затем подает сгенерированный аудио сигнал в динамик 924, и поставляет звуковой сигнал, который будет выводиться.

В мобильном телефоне 920, имеющего описанную выше конфигурацию, секция 927 обработки изображений имеет функцию устройства 100 кодирования изображения (фиг. 18) и устройства 200 декодирования изображения (фиг. 26) в соответствии с описанным выше вариантом осуществления. Таким образом, когда мобильный телефон 920 кодирует и декодирует изображение, можно подавить увеличение нагрузки.

Третий вариант применения: устройство записи/воспроизведения

Фиг. 40 иллюстрирует пример схематической конфигурации устройства записи/воспроизведения, к которому применяется вариант осуществления. Устройство 940 записи/воспроизведения, например, кодирует аудиоданные и видеоданные, полученной вещательной программы, и записывает закодированные аудиоданные и кодированные видеоданные на носитель записи. Например, устройство 940 записи/воспроизведения может также кодировать аудиоданные и видеоданные, полученные от другого устройства и записывать закодированные аудиоданные и кодированные видеоданные на носитель записи. Кроме того, устройство 940 записи/воспроизведения, например, использует монитор или динамик для воспроизведения данных, записанных на носителе записи, в соответствии с командой пользователя. Таким образом, устройство 940 записи/воспроизведения декодирует аудиоданные и видеоданные.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, секцию 942 внешнего интерфейса (I/F), кодер 943, жесткий диск (HDD) 944, дисковод 945, селектор 946, декодер 947, дисплей (OSD) 948, секцию 949 управления и секцию 950 пользовательского интерфейса (I/F).

Тюнер 941 извлекает сигнал желаемого канала из сигналов вещания, принятый через антенну (не показан), и демодулирует извлеченный сигнал. Тюнер 941 затем выводит кодированный битовый поток, полученный с помощью демодуляции, в селектор 946. То есть, тюнер 941 служит в качестве блока передачи устройства 940 записи/воспроизведения.

Секция 942 внешнего интерфейса представляет собой интерфейс для подключения устройства 940 записи/воспроизведения к внешнему устройству или сети. Например, секция 942 внешнего интерфейса может быть интерфейсом IEEE 1394, сетевым интерфейсом, интерфейсом USB, интерфейсом флэш-памяти или тому подобное. Например, видеоданные и аудиоданные, полученные с помощью секции 942 внешнего интерфейса, вводятся в кодер 943. То есть, секция 942 внешнего интерфейса служит в качестве блока передачи устройства 940 записи/воспроизведения.

Когда видеоданные и аудио данные, поступившие из секции 942 внешнего интерфейса, не были закодированы, то кодер 943 кодирует видеоданные и аудиоданные. Кодер 943 затем выводит кодированный битовый поток в селектор 946.

HDD 944 записывает на внутренний жесткий диск, кодированный битовый поток, в котором сжат контент данных видео и звука, различные программы и другие данные. Жесткий диск 944 также считывает данные с жесткого диска во время воспроизведения видео или звука.

Дисковод 945 записывает и считывает данные с носителя записи, который установлен. Носитель записи, который установлен на дисководе 945, может быть, например, DVD-диском (DVD-видео, DVD-RAM, DVD-R, DVD-RW, DVD-R+, DVD+RW и т.д.), Blu-Ray диском (зарегистрированный товарный знак) или тому подобное.

Селектор 946 выбирает во время видеозаписи или звука закодированный битовый поток, поступивший из тюнера 941 или 943 кодера, и выводит выбранный кодированный битовый поток на жесткий диск 944 или дисковод 945. Селектор 946 также выводит во время воспроизведения видео или звука закодированный битовый поток, поступивший из HDD 944 или дисковода 945, в декодер 947.

Декодер 947 декодирует кодированный битовый поток и генерирует видеоданные и аудиоданные. Декодер 947 затем выводит сгенерированные видеоданные в OSD 948. Декодер 947 также выводит сгенерированные аудиоданные на внешний громкоговоритель.

OSD 948 воспроизводит видео данные, поступившие из декодера 947, и показывает видео. OSD 948 может также наложить изображение GUI, такое как меню, кнопки и курсор, на отображаемое видео.

Секция 949 управления включает в себя процессор, такой как центральный процессор, и память, такую как RAM и ROM. Память хранит программу, которая будет выполнена процессором, данные программы и тому подобное. Например, программа, сохраненная в памяти, считывается и выполняется процессором во время активации устройства 940 записи/воспроизведения. Процессор управляет работой устройства 940 записи/воспроизведения, например, в соответствии с операционным сигналом, поступившим из секции 950 пользовательского интерфейса, посредством выполнения программы.

Секция 950 пользовательского интерфейса подключена к секции 949 управления. Секция 950 пользовательского интерфейса включает в себя, например, кнопку и переключатель, используемый пользователем для управления устройством 940 записи/воспроизведения, и секцию приема для сигнала дистанционного управления. Секция 950 пользовательского интерфейса обнаруживает операцию, сделанную пользователем с помощью этих составных элементов, генерирует сигнал операции, и выводит сгенерированный сигнал операции в секцию 949 управления.

В устройстве 940 записи/ воспроизведения, имеющего описанную выше конфигурацию, кодер 943 имеет функцию устройства 100 кодирования изображения (фиг. 18) в соответствии с приведенным выше вариантом осуществления. Декодер 947 имеет функцию устройства 200 декодирования изображения (фиг. 26) в соответствии с описанным выше вариантом осуществления. Таким образом, когда устройство 940 записи/воспроизведения кодирует и декодирует изображение, можно подавить увеличение нагрузки.

Четвертый вариант применения: Устройство захвата изображения

Фиг. 41 иллюстрирует пример схематичной конфигурации устройства захвата изображения, к которому применяется вариант осуществления. Устройство 960 захвата изображения захватывает изображение предмета для создания изображения, кодирует данные изображения, и записывает данные изображения на носитель записи.

Устройство 960 захвата изображения включает в себя оптический блок 961, секцию 962 захвата изображения, секцию 963 обработки сигнала, секцию 964 обработки изображения, секцию 965 отображения, секцию 966 внешнего интерфейса (I/F), память 967, привод 968, OSD 969, секцию 970 управления, секцию 971 пользовательского интерфейса (I/F) и шину 972.

Оптический блок 961 подсоединен к секции 962 захвата изображения. Секция 962 захвата изображения подключена к секции 963 обработки сигнала. Секция 965 отображения соединена с секцией 964 обработки изображений. Секция 971 пользовательского интерфейса подключена к секции 970 управления. Шина 972 соединяет секцию 964 обработки изображения, секцию 966 внешнего интерфейса, память 967, привод 968, OSD 969 и секцию 970 управления друг с другом.

Оптический блок 961 включает в себя фокусные линзы, механизм остановки диафрагмы и тому подобное. Оптические блок 961 формирует оптическое изображение предмета на поверхности захвата изображения секции 962 захвата изображения. Секция 962 захвата изображения включает в себя датчик изображения, такой как прибор с зарядовой связью (CCD) и комплементарный металлооксидный полупроводник (CMOS), и преобразует оптическое изображение, сформированное на поверхности захвата изображения, в сигнал изображения, который является электрическим сигналом, посредством фотоэлектрического преобразования. Секция 962 захвата изображения затем выводит сигнал изображения в секцию 963 обработки сигналов.

Секция 963 обработки сигнала выполняет различные процессы обработки сигнала камеры, такие как коррекция излома, гамма-коррекция, коррекция цвета на сигнале изображения, поступившего из секции 962 захвата изображения. Секция 963 обработки сигнала выводит данные изображения, подвергнутые процессу обработки сигнала камеры, в секцию 964 обработки изображения.

Секция 964 обработки изображений кодирует данные изображения, поступившие из секции 963 в обработки сигналов, и генерирует кодированные данные. Секция 964 обработки изображений затем выводит сгенерированные закодированные данные в секцию 966 внешнего интерфейса или дисковод 968. Секция 964 обработки изображений также декодирует кодированные данные, поступившие из секции 966 внешнего интерфейса или дисковода 968, и генерирует данные изображения. Секция 964 обработки изображений затем выводит сформированные данные изображения в секцию 965 отображения. Секция 964 обработки изображений также может выводить данные изображения, поступившие из секции 963 обработки сигнала, в секцию 965 отображения, и вызывать изображение, которое будет отображаться. Кроме того, секция 964 обработки изображения может наложить данные для отображения, полученные из OSD 969, на изображение для вывода в секцию 965 отображения.

OSD 969 генерирует изображение GUI, такое как меню, кнопки и курсор, и выводит сгенерированное изображение в секцию 964 обработки изображений.

Секция 966 внешнего интерфейса выполнена, например, как USB входной и выходной терминал. Секция 966 внешнего интерфейса соединяет устройство 960 захвата изображения и принтер, например, во время печати изображения. Привод дополнительно соединен с секцией 966 внешнего интерфейса, по мере необходимости. Съемный носитель, такой как магнитные диски и оптические диски, установлен на диске, и программа, считываемая со съемного носителя, может быть установлена в устройство 960 захвата изображения. Более того, секция 966 внешнего интерфейса может быть сконфигурирована как сетевой интерфейс для подключения к сети, такой как LAN и интернет. То есть секция 966 внешнего интерфейса служит в качестве блока передачи устройства 960 захвата изображения.

Носитель записи, устанавливаемый на приводе 968, может быть съемным носителем чтения и записи, такой как магнитные диски, магнитооптические диски, оптические диски и полупроводниковая память. Носитель записи может также быть неподвижно установлен на дисковод 968, образуя фиксированную секцию для хранения информации, такую как встроенный привод жесткого диска или твердотельных накопителей (SSD).

Секция 970 управления включает в себя процессор, такой как центральный процессор, и память, такую как RAM и ROM. Память хранит программу, которая будет выполнена процессором, данные программы и тому подобное. Программа, хранящаяся в памяти, считывается и выполняется процессором, например, в момент активации устройства 960 захвата изображения. CPU управляет работой устройства 960 захвата изображения, например, в соответствии с операционным сигналом, поступившим из секции 971 пользовательского интерфейса, посредством выполнения программы.

Секция 971 пользовательского интерфейса подключена к секции 970 управления. Секция 971 пользовательского интерфейса включает в себя, например, кнопку, переключатель и т.п., используемый пользователем для управления устройством 960 захвата изображения. Секция 971 пользовательского интерфейса обнаруживает операцию пользователя, выполняемую с помощью этих составных элементов, генерирует сигнал операции, и выводит сгенерированный сигнал операции в секцию 970 управления.

В устройстве 960 формирования изображения, имеющего описанную выше конфигурацию, секция 964 обработки изображений имеет функцию устройства 100 кодирования изображения (фиг. 18) и устройства 200 декодирования изображения (фиг. 26) в соответствии с описанным выше вариантом осуществления. Таким образом, когда устройство 960 формирования изображений кодирует и декодирует изображение, можно подавить увеличение нагрузки.

7. Пример применения масштабируемого кодирования

Первая система

Далее будет описан специфический пример использования масштабируемых кодированных данных, в котором выполняется масштабируемое кодирование (кодирование изображения). Масштабируемое кодирование, например, используется для выбора данных, которые должны передаваться, в качестве примеров, показанных на фиг. 42.

В системе 1000 передачи данных, показанной на фиг. 42, сервер 1002 распределения считывает масштабируемые кодированные данные, хранящиеся в секции 1001 хранения кодированных масштабируемых данных, и распределяет масштабируемые кодированные данные в терминальное устройство, такое как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 или мобильный телефон 1007 с помощью сети 1003.

В этом случае, сервер 1002 распределения выбирает и передает кодированные данные, имеющие надлежащее качество, в соответствии с возможностями терминального устройства, среды связи или тому подобное. Даже когда сервера 1002 распределения передает данные нетребуемого высокого качества, изображение с высоким качеством не обязательно получено в терминальном устройстве, и это может быть причиной возникновения задержки или переполнения. Кроме того, коммуникационный диапазон может быть излишне занят или нагрузка терминального устройства может излишне быть увеличена. В противоположность этому, даже когда сервер 1002 распределения передает данные необязательно низкого качества, изображение с достаточным качеством не может быть получено. Таким образом, сервер 1002 распределения соответственно считывает и передает закодированные масштабируемые данные, хранящиеся в секции 1001 хранения кодированных масштабируемых данных, как кодированные данные, имеющие надлежащее качество, в соответствии с возможностями терминального устройства, среды связи или тому подобное.

Например, секция 1001 хранения кодированных масштабируемых данных сконфигурирована для хранения масштабируемых кодированных данных (BL+EL) 1011, где выполняется масштабируемое кодирование. Масштабируемые кодированные данные (BL+EL) 1011 являются кодированными данными, включающими в себя как базовый уровень, так и усовершенствованный уровень, и являются данными, из которых базовый уровень изображения и изображение усовершенствованного уровня может быть получено путем выполнения декодирования.

Сервер 1002 распределения выбирает соответствующий уровень в зависимости от характеристик терминального устройства для передачи данных, среды связи или тому подобное и считывает данные выбранного уровня. Например, что касается персонального компьютера 1004 или планшетного устройства 1006, имеющего высокую способность обработки, сервер 1002 распределения считывает масштабируемые кодированные данные (BL+EI) 1011 из секции 1001 хранения кодированных масштабируемых данных и передает масштабируемые кодированные данные (BL+EL) 1011 без изменений. С другой стороны, например, что касается AV устройства 1005 или мобильного телефона 1007, имеющего низкую способность обработки, сервер 1002 распределения извлекает данные базового уровня из масштабируемых кодированных данных (BL+EL) 1011, и передает извлеченные данные базового уровня, как масштабируемые кодированные данные (BL) 1012 низкого качества, которые представляют собой данные, имеющие то же содержание, что и масштабируемые кодированные данные (BL+EL) 1011, но имеет более низкое качество, чем масштабируемые кодированные данные (BL+EL) 1011.

Поскольку объем данных может легко регулироваться путем использования масштабируемых кодированных данных, появление задержки или переполнения может быть подавлено или ненужное увеличение нагрузки оконечного устройства или средства коммуникации может быть подавлено. Кроме того, поскольку избыточность между уровнями уменьшается в масштабируемых кодированных данных (BL+EL) 1011, то можно дополнительно уменьшить количество данных, чем когда кодированные данные каждого уровня рассматриваются как отдельные данные. Таким образом, можно более эффективно использовать область хранения секции 1001 хранения кодированных масштабируемых данных.

Поскольку различные устройства, начиная с персонального компьютера 1004 и заканчивая мобильным телефоном 1007, используются в качестве терминального устройства, производительность аппаратных средств терминальных устройств различается в зависимости от устройства. Кроме того, поскольку существуют различные приложения, которые выполняются посредством терминального устройства, программное исполнение их также варьируется. Кроме того, поскольку все коммуникационные сети, включая проводные, беспроводные или обе, такие как интернет и локальная сеть (LAN) применимы как сеть 1003, выступающая в качестве коммуникационной среды, производительность передачи данных их меняется. Кроме того, производительность передачи данных может варьироваться в зависимости от других коммуникаций и тому подобное.

Таким образом, сервер 1002 распределения может осуществлять связь с терминальным устройством, которое является адресатом передачи данных, прежде чем начать передачу данных, а затем получить информацию, относящуюся к характеристикам терминального устройства, например, производительность оборудования терминального устройства, или производительность приложения (программное обеспечение), которая выполняется посредством терминального устройства, и информация, относящаяся к среде передачи, такой как доступной пропускной способности сети 1003. Затем сервер 1002 распределения может выбрать соответствующий уровень на основании полученной информации.

Кроме того, извлечение уровня может быть выполнено в терминальном устройстве. Например, персональный компьютер 1004 может декодировать передаваемые масштабируемые кодированные данные (BL+EL) 1011 и выводить изображение базового уровня или отобразить изображение усовершенствованного уровня. Кроме того, например, персональный компьютер 1004 может быть выполнен с возможностью извлекать масштабируемые кодированные данные (BL) 1012 базового уровня из переданных масштабируемых кодированных данных (BL+EL) 1011, хранить извлеченные масштабируемые кодированные данные (BL) 1012 базового уровня, передавать в другое устройство или декодировать и выводить изображение базового уровня.

Конечно, количество секций 1001 хранения кодированных масштабируемых данных, серверов 1002 распределения, сетей 1003 и терминальных устройств являются произвольным. Кроме того, хотя выше описан пример сервера 1002 распределения, передающего данные на терминальное устройство, пример использования не ограничивается этим. Система 1000 передачи данных применима к любой системе, которая выбирает и передает соответствующий уровень в зависимости от характеристик терминального устройства, среды связи и т.п., когда масштабируемые кодированные данные передаются в терминальное устройство.

Кроме того, путем применения настоящего изобретения в системе 1000 передачи данных 1000, такая как описанная выше со ссылкой на фиг. 42, аналогична для применения к кодированию и декодированию уровня, как описано со ссылкой на фиг. 1-33, могут быть получены преимущества, аналогично описанному способу со ссылкой на фиг. 1-33.

Вторая система

Кроме того, масштабируемое кодирование, например, используется для передачи через множество сред передачи данных, как в примере, показанном на фиг. 43.

В системе 1100 передачи данных, показанной на фиг. 43, радиовещательная станция 1101 передает масштабируемые кодированные данные (BL) 1121 базового уровня посредством наземного вещания 1111. Кроме того, радиовещательная станция 1101 передает масштабируемые кодированные данные (EL) 1122 усовершенствованного уровня по любой произвольной сети 1112, например, сети проводной, беспроводной или обеим сетям (например, данные пакетируются и передаются).

Терминальное устройство 1102 имеет функцию приема как наземного телевизионного вещания 1111, которое транслируется посредством радиостанции 1101, и принимает масштабируемые кодированные данные (BL) 1121 базового уровня, передаваемые через наземное вещание 1111. Кроме того, терминальное устройство 1102 дополнительно имеет функцию связи, с помощью которой осуществляется связь через сеть 1112, и принимает масштабируемые кодированные данные (EL) 1122 усовершенствованного уровня, передаваемые по сети 1112.

Например, в соответствии с командой пользователя или т.п., терминальное устройство 1102 декодирует масштабируемые кодированные данные (BL) 1121 базового уровня, полученные через наземное вещание 1111, получая или сохраняя изображение базового уровня или передавая изображение базового уровня на другие устройства.

Кроме того, например, в соответствии с командой пользователя, терминальное устройство 1102 объединяет масштабируемые кодированные данные (BL) 1121 базового уровня, полученные через наземное вещание 1111, и масштабируемые кодированные данные (EL) 1122 усовершенствованного уровня, полученные по сети 1112, получая тем самым масштабируемые кодированные данные (BL+EL), получая или сохраняя изображение усовершенствованного уровня путем декодирования масштабируемых кодированных данных (BL+EL), или передавая изображение усовершенствованного уровня на другие устройства.

Как описано выше, масштабируемые кодированные данные, например, могут быть переданы через другой канал связи для каждого уровня. Таким образом, можно распределить нагрузку и предотвратить возникновение задержки или переполнение.

Кроме того, в зависимости от ситуации, среда связи, используемая для передачи данных для каждого уровня, может иметь возможность выбора. Например, масштабируемые кодированные данные (BL) 1121 базового уровня, в котором объем данных сравнительно велик, могут быть переданы через среду связи, имеющую широкую полосу частот, и масштабируемые кодированные данные (EL) 1122 усовершенствованного уровня, в которых объем данных сравнительно невелик, могут быть переданы через средства коммуникации, имеющие более узкую полосу частот. Кроме того, например, среда связи, которая передает масштабируемые кодированные данные (EL) 1122 усовершенствованного уровня, сетью 1112 или наземным телевизионным вещанием 1111, может быть переключена в соответствии с доступной пропускной способностью сети 1112. Конечно, то, что было описано выше, может быть аналогичным образом применено к данным произвольного уровня.

Управляя таким образом, можно дополнительно подавить увеличение нагрузки при передаче данных.

Конечно, количество уровней является произвольным, и количество средств коммуникации, используемых при передаче, также является произвольным. Кроме того, количество терминальных устройств 1102, которые являются адресатом распределения данных, также является произвольным. Кроме того, хотя пример вещания вещательной станции 1101 был описан выше, пример использования не ограничивается этим. Система 1100 передачи данных может быть применена к любой системе, которая делит масштабируемые кодированные данные, используя уровень в качестве блока, и передает кодированные масштабируемые данные через множество линий связи.

Кроме того, путем применения настоящего изобретения в системе 1100 передачи данных, такая как описанная выше со ссылкой на фиг. 43, аналогично применению к кодированию и декодированию уровня, как описано со ссылкой на фиг. 1-33, могут быть получены преимущества, аналогичные тем, которые описаны со ссылкой на фиг. 1-33.

Третья система

Кроме того, масштабируемое кодирование используется в хранения кодированных данных, как пример, показанный на фиг. 44.

В системе 1200 захвата изображения, показанной на фиг. 44, устройство 1201 захвата изображения выполняет кодирование на масштабируемых данных изображения, полученных посредством захвата изображения объекта 1211, и поставляет результат масштабируемого кодирования, как масштабируемые кодированные данные (BL+EL) 1221 в устройство 1202 хранения масштабируемых кодированных данных.

Устройство 1202 хранения масштабируемых кодированных данных хранит масштабируемые кодированные данные (BL+EL) 1221, поставляемые из устройства 1201 захвата изображения, с качеством в соответствии с ситуацией. Например, в случае нормальных условий, устройство 1202 хранения масштабируемых кодированных данных извлекает данные базового уровня из масштабируемых кодированных данных (BL+EL) 1221, и сохраняет извлеченные данные как масштабируемые кодированные данные (BL) 1222 базового уровня, имеющий небольшой объем данных низкого качества. С другой стороны, например, в случае наличия примечательных обстоятельств, устройство 1202 хранения масштабируемых кодированных данных хранит масштабируемые кодированные (BL+EL) данные 1221, имеющие большое количество данных высокого качества без изменений.

Таким образом, в связи с тем, что устройство 1202 хранения масштабируемых кодированных данных может сохранять изображения высокого качества только в необходимом случае, можно подавить уменьшение величины изображения из-за ухудшения качества изображения и подавить увеличение количества данных, и можно повысить эффективность использования области хранения.

Например, устройство 1201 захвата изображения 1201 предполагается использовать в качестве автомобильной камеры. Когда контент захваченного изображения вряд ли будет важен, когда предмет мониторинга (например, правонарушитель) не показан на захваченном изображении (при нормальных условиях), приоритетом является сокращение объема данных и данные изображения (масштабируемые кодированные данные) хранятся при низком качестве. С другой стороны, так как контент захваченного изображения может быть важен, когда целевой объект контроля показан как объект 1211 в захваченном изображении (в случае важных обстоятельств), приоритетом является качество изображения, и данные изображения (масштабируемые кодированные данные) хранятся при высоком качестве.

Например, факт наличия случая нормальных условий или важных условий может быть определен с помощью устройства 1202 хранения масштабируемых кодированных данных на основании анализа изображения. Кроме того, устройство 1201 захвата изображения может быть выполнено с возможностью определять и передавать результат определения в устройство 1202 хранения масштабируемых кодированных данных.

Критерием определения наличия нормальных условий или важных обстоятельств является произвольный критерий, и контент изображения, который является критерием определения, является произвольным. Конечно, условие, отличное от контента изображения, может быть обозначено в качестве критерия определения. Например, переключение может быть выполнено в соответствии с величиной сигнала или записанного звука, с помощью заранее определенного интервала времени или с помощью внешней команды, такой как команда пользователя.

Кроме того, хотя были описаны два состояния, а именно, нормальное условие и важные обстоятельства, количество состояний является произвольным и, например, переключение может быть выполнено на основании трех или более состояний, таких как нормальные условия, слегка отличающиеся обстоятельства, известные обстоятельства и очень заметные обстоятельства. Однако верхний предел количества состояний для переключения зависит от количества уровней масштабируемых кодированных данных.

Кроме того, устройство 1201 захвата изображения может определить количество уровней масштабируемого кодирования согласно состоянию. Например, в случае наличия нормальных условий, устройство 1201 захвата изображения может генерировать масштабируемые кодированные данные (BL) 1222 базового уровня, имеющего небольшой объем данных низкого качества, и поставлять данные в устройство 1202 хранения масштабируемых кодированных данных. Кроме того, например, в случае наличия важных обстоятельств, устройство 1201 захвата изображения может генерировать масштабируемые кодированные данные (BL+EL) 1221 базового уровня, имеющего большое количество данных высокого качества и поставлять данные в устройство 1202 хранения масштабируемых кодированных данных.

Хотя камера мониторинга была описана выше в качестве примера, использование системы 1200 захвата изображения является произвольным и не ограничено камерой наблюдения.

Кроме того, путем применения настоящего изобретения в системе 1200 захвата изображения, такой как фиг. 44, как описано выше способом, аналогичным применению к кодированию и декодированию уровня, как описано со ссылкой на фиг. 1-33, могут быть получены преимущества, аналогичные описанным со ссылкой на фиг. 1-33.

8. Пятый вариант осуществления

Другие варианты осуществления

Вышеупомянутые варианты осуществления были описаны со ссылкой на пример устройства, системы и т.п., к которым применяется настоящее изобретение, но настоящее изобретение не ограничивается приведенными выше примерами и может быть реализовано как любой составной элемент, установленный в устройство, или как устройство, конфигурирующее систему, например, процессор, выступающий в качестве системы (большая интегральная схема) LSI или т.п., модуль с использованием множества процессоров или тому подобное, блок, используя множество модулей и т.п., набор (то есть некоторые составные элементы устройства), в котором любая другая функция дополнительно добавляется к блоку или тому подобное.

Видеоустройство

Пример, в котором настоящее изобретение реализовано в виде устройства, будет описан со ссылкой на фиг. 45. На фиг. 45 иллюстрирует пример схематичной конфигурации видеоустройства, к которому применяется настоящее изобретение.

В последние годы функции электронных устройств стали разнообразны, и также находятся в постоянной развитии или изготовлении, есть много случаев, в которых множество составных элементов, где соответствующие функции объединены, и реализованы в виде набора, имеющего множество функций, а также как корпус, в котором, некоторые составные элементы поставлены путем продажи, обеспечения и т.п., или корпус, который изготовлен как составной элемент, имеющий одну функцию.

Видеоустройство 1300, показанное на фиг. 45, имеет мультифункциональную конфигурацию, в которой устройство, имеющее функцию, относящуюся к кодированию изображения и/или декодированию изображения, объединено с устройством, имеющим любую другую функцию, относящуюся к функции.

Видеоустройство 1300 включает в себя группу модулей, такую как видео модуль 1311, внешнюю память 1312, модуль 1313 управления питанием и фронтальный модуль 1314, и устройство, имеющее соответствующие функции, такие как соединение 1321, камера 1322 и датчик 1323, как показано на фиг. 45.

Модуль представляет собой часть, имеющую набор функций, в котором несколько соответствующих частей функций взаимно интегрированы. Конкретная физическая конфигурация является произвольной, но, например, выполнена так, что множество процессов, имеющих соответствующие функции, электронные элементы схемы, такие как резистор и конденсатор, и другие устройства расположены и интегрированы на подложке проводки. Кроме того, новый модуль может быть получен путем объединения с другим модулем или процессором.

В случае примера, показанного на фиг. 45, видео модуль 1311 представляет собой объединение конфигураций, имеющих функции, относящиеся к обработке изображений, и включает в себя процессор приложений, видео процессор, широкополосный модем 1333 и радиочастотный (RF) модуль 1334.

Процессор является процессом, в котором конфигурация, имеющая определенную функцию, интегрирована на полупроводниковом кристалле с помощью системы на кристалле (SoC), и также относится, например, к системе LSI или тому подобное. Конфигурация, имеющая определенную функцию, может быть (аппаратная конфигурация) логической схемой, может быть процессором, ROM, RAM и программой (конфигурация программного обеспечения), выполняемой CPU, ROM и RAM, и может быть комбинацией аппаратной конфигурации и конфигурации программного обеспечения. Например, процессор может включать в себя логическую схему процессора, ROM, RAM и т.п., некоторые функции могут быть реализованы с помощью логической схемы (аппаратной конфигурации) и другие функции могут быть реализованы с помощью программы (конфигурация программного обеспечения), которая выполняется процессором.

Процессор 1331 приложений, показанный на фиг. 45, представляет собой процессор, который выполняет приложение, относящееся к обработке изображений. Приложение, выполняемое процессором 1331 приложений, может не только выполнять процесс расчета, но также может управлять составными элементами внутри и вне видео модуля 1311, например, видеопроцессором 1332, по мере необходимости, для реализации определенной функции.

Видеопроцессор 1332 является процессором, имеющим функцию, относящуюся к кодированию изображений и/или декодированию изображений.

Широкополосный модем 1333 является процессором (или модулем), который выполняет обработку, относящуюся к проводной и/или беспроводной широкополосной связи, реализуемой с помощью широкополосной линии, такой как интернет или телефонная сеть связи общего пользования. Например, широкополосный модем 1333 выполняет цифровую модуляцию данных (цифровой сигнал), который должен передаваться, и преобразует данные в аналоговый сигнал, или выполняет демодуляцию на принятом аналоговом сигнале и преобразует аналоговый сигнал в данные (цифровой сигнал). Например, широкополосный модем 1333 может выполнять цифровую модуляцию и демодуляцию произвольной информации, такой как данные изображения, обработанные видеопроцессором 1332, поток, включающий в себя кодированные данные изображений, прикладную программу или установочные данные.

RF модуль 1334 представляет собой модуль, который выполняет процесс частотного преобразования, процесс модуляции/демодуляции, процесс усиления, процесс фильтрации и т.п. на RF сигнале, переданного и принятого через антенну. Например, RF модуль 1334 выполняет, например, преобразование частоты в полосе частот сигнала, генерируемого широкополосным модемом 1333, и генерирует радиочастотный сигнал. Дополнительно, например, RF модуль 1334 выполняет, например, частотное преобразование RF сигнала, принятого посредством фронтального модуля 1314, и генерирует сигнал основной полосы частот.

Дополнительно, как показано пунктирной линией 1341 на фиг. 45, процессор приложений 1331 и видеопроцессор 1332 могут быть интегрированы в одном процессоре.

Внешняя память 1312 представляет собой модуль, который устанавливается снаружи видео модуля 1311 и имеет запоминающее устройство, используемое видео модулем 1311. Запоминающее устройство внешней памяти 1312 может быть реализовано с помощью любой физической конфигурации, но обычно используется для хранения большого массива данных, например, данные изображения блоков кадров, и при этом желательно реализовать запоминающее устройство внешней памяти 1312, используя относительно недорогое большой емкости полупроводниковое запоминающее устройство, такое как динамическую оперативную память (DRAM).

Модуль 1313 управления питанием управляет и контролирует электропитание видео модуля 1311 (соответствующие составляющие элементы в видео модуле 1311).

Фронтальный модуль 1314 представляет собой модуль, который обеспечивает коммуникационные функции (схема передачи и приема на стороне антенны) для RF модуля 1334. Фронтальный модуль 1314 включает в себя, например, секцию 2351 антенны, фильтр 1352 и секцию 1353 усиления, как показано на фиг. 45.

Секция 1351 антенны включает в себя антенну, которая передает и принимает радиосигнал, и периферийную конфигурацию. Секция 1351 антенны передает сигнал, предоставляемый из секции 1353 усиления, как радиосигнал, и выдает принятый радиосигнал в фильтр 1352 в виде электрического сигнала (RF сигнала). Фильтр 1352 выполняет, например, процесс фильтрации RF сигнала, принимаемого секцией 1351 антенны, и поставляет обработанный RF сигнал в RF модуль 1334. Секция 1353 усиления усиливает RF сигнал, предоставляемый из RF модуля 1334, и поставляет усиленный радиочастотный сигнал в секцию 1351 антенны.

Соединение 1321 представляет собой модуль, имеющий функцию, относящуюся к соединению с внешней стороной. Физическая конфигурация соединения 1321 является произвольной. Например, соединение 1321 включает в себя конфигурацию, имеющую функцию связи, отличную от стандартной связи, поддерживаемой широкополосным модемом 1333, внешним терминалом ввода/вывода или тому подобное.

Например, соединение 1321 может включать в себя модуль, имеющий функцию связи, основанную на стандарте беспроводной связи, таком как Bluetooth (зарегистрированный товарный знак), IEЕЕ 802.11 (например, беспроводная достоверность (Wi-Fi) (зарегистрированный товарный знак)), ближняя бесконтактная связь (NFC), ассоциация передачи данных в инфракрасном диапазоне (IrDA), антенну, которая передает и принимает сигнал, удовлетворяющий стандарту, или тому подобное. Дополнительно, например, соединение 1321 может включать в себя модуль, имеющий функцию связи на основе стандарта проводной связи, такого как универсальная последовательная проводная шина (USB) или мультимедийный интерфейс высокой четкости (HDMI) (зарегистрированная торговая марка) или терминал, который удовлетворяет стандарту. Кроме того, например, соединение 1321 может включать в себя любые другие данные (сигнал) функции передачи или тому подобное, такие как аналоговый терминал I/O.

Дополнительно, соединение 1321 может включать в себя адресат передачи данных (сигнал). Например, соединение 1321 может включать в себя диск (включая жесткий диск, твердотельный диск (SSD), сеть хранения данных (NAS) или тому подобное, а также привод съемного носителя), который считывает/записывает данные с/на носитель записи, такой как магнитный диск, оптический диск, магнитооптический диск, оптический или полупроводниковое запоминающее устройство. Кроме того, соединение 1321 может включать в себя устройство вывода (монитор, громкоговоритель и т.п.), который выводит изображение или звук.

Камера 1322 представляет собой модуль, имеющий функцию фотографирования объекта и получения данных изображения предмета. Например, данные изображения, полученные посредством захвата изображения камерой 1322, предоставляются и кодируются видеопроцессором 1332.

Датчик 1323 является модулем, имеющим произвольную функцию датчика, например, звуковой датчик, ультразвуковой датчик, оптический датчик, датчик освещенности, ИК-датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, датчик идентификации магнитного поля, датчик удара или датчик температуры. Например, данные, обнаруженные датчиком 1323, поступают в процессор приложений 1331, и используются приложением или тому подобное.

Конфигурация, описанная выше как модуль, может быть реализована как процессор, и конфигурация, описанная как процессор, может быть реализована в виде модуля.

В видео устройстве 1300, имеющее вышеуказанную конфигурацию, настоящее изобретение может быть применено к видеопроцессору 1332, как будет описано ниже. Таким образом, видео устройство 1300 может быть реализовано в виде набора, к которому применяет настоящее изобретение.

Примерная конфигурация видеопроцессора

Фиг. 46 иллюстрирует пример схематичной конфигурации видеопроцессора 1332 (фиг. 45), к которому применяется настоящее изобретение.

В случае примера, показанного на фиг. 46, видеопроцессор 1332 имеет функцию приема входного видеосигнала и аудиосигнала, и кодирования видеосигнала и аудиосигнала согласно определенной схеме, и функцию декодирования закодированных видеоданных и аудиоданных и воспроизведения и вывода видеосигнала и аудиосигнала.

Видеопроцессор 1332 включает в себя секцию 1401 обработки входного видеосигнала, первую секцию 1402 увеличения/уменьшения изображения, вторую секцию 1403 увеличения/уменьшения изображения, секцию 1404 обработки выходного видеосигнала, кадровую память 1405 и секцию 1406 управления памятью, как показано на фиг. 46. Видеопроцессор 1332 дополнительно включает в себя блок 1407 управления кодированием/декодированием, буферы 1408А и 1408В элементарного потока (ES) видео и буферы 1409А и 1409В ES аудио. Видеопроцессор 1332 дополнительно включает в себя аудио кодер 1410, аудио декодер 1411, мультиплексор (мультиплексор (MUX)) 1412, демультиплексор (демультиплексор (DMUX)) 1413 и буфер 1414 потока.

Например, секция 1401 обработки входного видеосигнала получает видеосигнал, поступивший от соединения 1321 (фиг. 45) и т.п., и преобразует видеосигнал в цифровые данных изображения. Первая секция 1402 увеличения/уменьшения изображения выполняет, например, процесс преобразования формата и процесс увеличения/уменьшения на данных изображения. Вторая секция 1403 увеличения/уменьшения изображения выполняет процесс увеличения/уменьшения изображения на данных изображения в соответствии с форматом назначения, к которому данные изображения выводится через секцию 1404 обработки выходного видеосигнала или выполняет процесс преобразования формата и процесс увеличения/уменьшения изображения, которые аналогичны процессам, которые выполняются первой секцией 1402 увеличения/уменьшения изображения. Секция 1404 обработки выходного видеосигнала выполняет преобразование формата и преобразование в аналоговый сигнал данных изображения, и выводит воспроизводимый видеосигнал, например, в соединение 1321 (фиг. 45) или тому подобное.

Кадровая память 1405 является памятью данных изображения, которые совместно используются секцией 1401 обработки входного видеосигнала, первой секцией 1402 увеличения/уменьшения изображения, второй секцией 1403 увеличения/уменьшения изображения, секцией 1404 обработки выходного видеосигнала и блоком 1407 управления кодированием/декодированием. Кадровая память 1405 реализована как, например, полупроводниковая память, такая как DRAM.

Секция 1406 управления памятью принимает синхронный сигнал из блока 1407 управления кодированием/декодированием, и управляет доступом к записи/чтению кадровой памяти 1405 согласно расписанию доступа для кадровой памяти 1405, записанного в таблице 1406А управления доступом. Таблица 1406А управления доступом обновляется через секцию 1406 управления памятью в соответствии с процессом обработки, выполняемым блоком 1407 управления кодированием/декодированием, первой секцией 1402 увеличения/уменьшения изображения, второй секцией 1403 увеличения/уменьшения изображения или тому подобное.

Блок 1407 управления кодированием/декодированием выполняет процесс кодирования для кодирования данных изображения, и процесс декодирования для декодирования видеопотока, который представляется собой данные, полученные путем кодирования данных изображения. Например, блок 1407 управления кодированием/декодированием кодирует данные изображения, считанные из кадровой памяти 1405, и последовательно записывает закодированные данные изображения в буфер 1408A ES видео, как видеопоток. Дополнительно, например, блок 1407 управления кодированием/декодированием последовательно считывает поток видео с буфера 1408В ES видео, последовательно декодирует видеопоток и последовательно записывает данные декодированного изображения в кадровой памяти 1405. В отношении кодирования или декодирования, блок 1407 управления кодированием/декодированием использует кадровую память 1405 в качестве рабочей области. Дополнительно, блок 1407 управления кодированием/декодированием выдает синхронный сигнал в секцию 1406 управления памятью, например, в соответствии с которым, начинается процесс обработки каждого макроблока.

Буфер 1408A ES видео буферизует видеопоток, сгенерированный блоком 1407 управления кодированием/декодированием, и затем обеспечивает видеопоток в мультиплексор (MUX) 1412. Буфер 1408В ES видео буферизует видеопоток, поставленный из демультиплексора (DMUX) 1413, и затем предоставляет видео поток в блок 1407 управления кодированием/декодированием.

Буфер 1409A ES аудио буферизует аудио поток, генерируемый аудио кодером 1410, и затем предоставляет аудио поток в мультиплексор (MUX) 1412. Буфер 1409В ES аудио буферизует аудио поток, предоставленный из демультиплексора (DMUX) 1413, и затем обеспечивает аудио поток в аудио декодер 1411.

Например, аудио кодер 1410 преобразует аудио сигнал, поступивший, например, из соединения 1321 (фиг. 45) или тому подобное, в цифровой сигнал, и кодирует цифровой сигнал в соответствии с определенной схемой, такой как MPEG аудио схемой или схемой Аудиокод номер 3 (АС3). Аудио кодер 1410 последовательно записывает аудио поток, который представляет собой данные, полученные кодированием звукового сигнала, в буфер 1409А аудио ES. Аудио декодер 1411 декодирует аудио поток, поступающий из буфера 1409В аудио ES, выполняет, например, преобразование в аналоговый сигнал, и поставляет воспроизводимый аудио сигнал, например, в соединение 1321 (фиг. 45) или тому подобное.

Мультиплексор (MUX) 1412 выполняет мультиплексирование видеопотока и аудио потока. Способ мультиплексирования (то есть формат битового потока, генерируемого мультиплексированием) является произвольным. Кроме того, в случае мультиплексирования, мультиплексор (MUX) 1412 может добавить определенную информацию заголовка или тому подобное в битовый поток. Другими словами, мультиплексор (MUX) 1412 может преобразовать формат потока посредством мультиплексирования. Например, мультиплексор (MUX) 1412 мультиплексирует поток видео- и аудиопоток для преобразования в транспортный поток, который является поток битов формата передачи. Кроме того, например, мультиплексор (MUX) 1412 мультиплексирует поток видео- и аудиопоток для преобразования в данные (файл данных) формата записи файла.

Демультиплексор (DMUX) 1413 демультиплексирует поток битов, полученный посредством мультиплексирования видеопотока и аудио потока, способом, соответствующему мультиплексированию, выполненного мультиплексором (MUX) 1412. Другими словами, демультиплексор (DMUX) 1413 извлекает видеопоток и аудио поток (отделяет видеопоток и аудио поток) из потока битов, считываемого из буфера 1414 потока. Другими словами, демультиплексор (DMUX) 1413 может выполнять преобразование (обратное преобразование преобразования, выполняемого мультиплексором (MUX) 1412) формата потока посредством демультиплексирования. Например, демультиплексор (DMUX) 1413 может получить транспортный поток, предоставленный, например, из соединения 1321 или широкополосного модема 1333 (как на фиг. 45) через буфер 1414 потока и преобразует транспортный поток в видеопоток и аудио поток посредством демультиплексирования. Кроме того, например, демультиплексор (DMUX) 1 413 может получать данные файла, считанные с различных видов носителей записи, например, посредством соединения 1321 (фиг. 45) через буфер 1414 потока, и преобразует данные файла в видеопоток и аудио поток посредством демультиплексирования.

Буфер 1414 потока буферизует битовый поток. Например, буфер 1414 потока буферизует транспортный поток, поступающий из мультиплексора (MUX) 1412, и обеспечивает транспортный поток, например, в соединение 1321 или широкополосный модем 1333 (как на фиг. 45) в соответствии с определенной синхронизацией или на основании внешнего запроса или тому подобное.

Дополнительно, например, буфер 1414 потока буферизует данные файла, предоставленные из мультиплексора (MUX) 1412, поставляет данные файла, например, в соединение 1321 (фиг. 45) или тому подобное в определенный момент времени или на основании внешнего запроса или тому подобное, и вызывает данные файла для записи на различные виды носителей записи.

Более того, буфер 1414 потока буферизует транспортный поток, полученный с помощью, например, соединения 1321 или широкополосного модема 1333 (как на фиг. 45), и подставляет транспортный поток в демультиплексор (DMUX) 1413 в определенный момент времени или на основании внешнего запроса или тому подобное.

Дополнительно, буфер 1414 потока буферизует данные файла, считанные с различных видов носителей, например, в соединение 1321 (фиг. 45) и т.п., и предоставляет данные файла в демультиплексор (DMUX) 1413 в определенный момент времени или на основании внешнего запроса или тому подобное.

Далее описывается операция видеопроцессора 1332, имеющего описанную выше конфигурацию. Видеосигнал, поступивший в видеопроцессор 1332, например, из соединения 1321 или тому подобное, преобразуется в цифровые данные изображения в соответствии с определенной схемой, такой как схемой 4:2:2Y/Cb/Cr, в секции 1401 обработки входного видеосигнала и последовательно записывается в кадровой памяти 1405. Цифровые данные изображения считываются в первую секцию 1402 увеличения/уменьшения изображения или вторую секцию 1403 увеличения/уменьшения изображения, подвергнутые процессу преобразования формата при выполнении процесса преобразования формата в определенную схему, такую как 4:2:0Y/Cb/Cr схему, и процесса увеличения/уменьшения, и записываются в кадровую память 1405 снова. Данные изображения кодируются блоком 1407 управления кодированием/декодированием, и записываются в буфер 1408A ES видео, как видеопоток.

Дополнительно, аудио сигнал, поступивший в видеопроцессор 1332 из соединения 1321 (фиг. 45) и т.п., кодируется аудио кодером 1410, и записывается в буфер 1409А ES аудио в качестве звукового потока.

Видео поток буфера 1408A ES видео- и аудиопоток буфера 1409A ES аудио считываются и мультиплексируются с помощью мультиплексора (MUX) 1412, и преобразуются в транспортный поток, данные файла или тому подобное. Транспортный поток, генерируемый мультиплексором (MUX) 1412, буферируется в буфер 1414 потока, и затем выводится во внешнюю сеть с помощью, например, соединения 1321 или широкополосного модема 1333 (как на фиг. 45). Кроме того, данные файла, сгенерированные мультиплексором (MUX) 1412, буферизуются в буфере 1414 потока, затем выводятся, например, в соединение 1321 (фиг. 45) или тому подобное, и записываются на различные виды носителей записи.

Дополнительно, транспортный поток, поступивший на вход видеопроцессора 1332 из внешней сети через, например, соединение 1321 или широкополосный модем 1333 (оба показаны на фиг. 45), буферизуется в буфере 1414 потока, и затем демультиплексируется демультиплексором (DMUX) 1413. Кроме того, данные файла, которые считываются с различных видов носителей записи, например, в соединение 1321 (фиг. 45) или т.п., и затем поступают на вход видеопроцессора 1332 и буферизуются в буфере 1414 потока, и затем демультиплексируются демультиплексором (DMUX) 1413. Другими словами, транспортный поток или данные файла, поступившие на вход видеопроцессора 1332, демультиплексируется в видеопоток и аудио поток посредством демультиплексора (DMUX) 1413.

Аудио поток поставляется в аудио декодер 1411 через буфера 1409В ES аудио и декодируется, и звуковой сигнал воспроизводится. Кроме того, видеопоток записывается в буфер 1408В видео ES, последовательно считывается и декодируется блоком 1407 управления кодированием/декодированием, и записывается в кадровую память 1405. Данные декодированного изображения подвергается процессу увеличения/уменьшения, выполняемого второй секцией 1403 увеличения/уменьшения изображения, и надписываются в кадровую память 1405. Затем данные декодированного изображения, считанные в секции 1404 обработки выходного видеосигнала, подвергаются процессу преобразования формата при выполнении преобразования формата в определенной схеме, такой как 4:2:2Y/Cb/Cr, и преобразуются в аналоговый сигнал, и видеосигнал воспроизводится.

Когда данная технология применяется для видеопроцессора 1332, имеющего описанную выше конфигурацию, то предпочтительно, чтобы вышеописанные варианты осуществления настоящего изобретения были применены к блоку 1407 управления кодированием/декодированием. Другими словами, например, блок 1407 управления кодированием/декодированием предпочтительно имеет функции устройства 100 кодирования изображения (фиг. 18) и устройства 200 декодирования изображения (фиг. 26) в соответствии с вышеописанными вариантами осуществления. Соответственно, видеопроцессор 1332 можно получить выгодные преимущества, аналогичные выгодным преимуществам, описанные выше со ссылкой на фиг. 1-33.

Дополнительно, блок 1407 управления кодированием/декодированием, в соответствии с настоящим изобретением (то есть, функции устройства кодирования изображения или устройства декодирования изображения в соответствии с описанным выше вариантом осуществления), может быть реализован посредством одного, так и обоих вариантов, а именно, посредством аппаратных средств, таких как логическая схема, так и программным обеспечением, таким как встроенная программа.

Другая примерная конфигурации видеопроцессора

Фиг. 47 иллюстрирует другой пример схематичной конфигурации видеопроцессора 1332 (фиг. 45), к которому применяется настоящее изобретение. В случае примера, показанного на фиг. 47, видеопроцессор 1332 имеет функцию кодирования и декодирования видеоданных в соответствии с определенной схемой.

Более конкретно, видеопроцессор 1332 включает в себя секцию 1511 управления, интерфейс 1512 отображения, блок 1513 управления отображением, блок 1514 обработки изображения и внутреннюю память 1515, как показано на фиг. 47. Видеопроцессор 1332 дополнительно включает в себя блок 1516 управления кодеком, интерфейс 1517 памяти, мультиплексор/демультиплексор (MUX/DMUX) 1518, сетевой интерфейс 1519 и видеоинтерфейс 1520.

Секция 1511 управления управляет работой каждой секции обработки видеопроцессора 1332, таких как интерфейс 1512 отображения, блок 1513 управления отображением, блок 1514 обработки изображения и блок 1516 управления кодеком.

Секция 1511 управления включает в себя, например, основной CPU 1531, суб-CPU 1532 и системный контроллер 1533, как показано на фиг. 47. Основной CPU 1531 выполняет, например, программу для управления работой каждой секции обработки в видеопроцессоре 1332. Основной CPU 1531 генерирует управляющий сигнал, например, в соответствии с программой, и обеспечивает сигнал управления для каждой секции обработки (то есть, управляет работой каждой секции обработки). Суб-CPU 1532 является вспомогательным процессором основного CPU 1531. Например, Суб-CPU 1532 выполняет дочерние процессы или подпрограмму программы, выполняемую основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и суб-CPU 1532, для примера, обозначает программу, выполняемую основным CPU 1531 и суб-CPU 1532.

Интерфейс 1512 отображения поставляет данные изображения, например, в соединение 1321 (фиг. 45) или тому подобное под управлением секции 1511 управления. Например, интерфейс 1512 отображения преобразует данные изображения цифровых данных в аналоговый сигнал, и выводит аналоговый сигнал, например, на монитор соединения 1321 (фиг. 45) в качестве воспроизводимого видеосигнала или выводит данные изображения цифровых данных, например, на монитор соединения 1321 (фиг. 45).

Блок 1513 управления отображением выполняет процессы различных видов преобразований, таких как процесс преобразования формата, процесс преобразования размера и процесс преобразования цветовой гаммы данных изображения под управлением секции 1511 управления в соответствии, например, с аппаратной спецификацией монитора, который отображает изображение.

Блок 1514 обработки изображения выполняет определенную обработку изображений, такую как процесс фильтрации для улучшения качества изображения данных изображения под управлением секции 1511 управления.

Внутренняя память 1515 представляет собой память, которая устанавливается в видеопроцессор 1332, и совместно используется блоком 1513 управления дисплеем, блоком 1514 обработки изображения и блоком 1516 управления кодеком. Внутренняя память 1515 используется для обмена данными между, например, блоком 1513 управления дисплеем, блоком 1514 обработки изображения и блоком 1516 управления кодеком. Например, внутренняя память 1515 хранит данные, поставленные из блока 1513 управления дисплеем, блока 1514 обработки изображения или блока 1516 управления кодеком, и предоставляет данные в блок 1513 управления дисплеем, блок 1514 обработки изображения или блок 1516 управления кодеком, по мере необходимости (например, в соответствии с запросом). Внутренняя память 1515 может быть реализована с помощью любого устройства хранения, но так как внутренняя память 1515 в основном используется для хранения данных малой емкости, таких как данные изображения блоков или параметров, то желательно реализовать внутреннюю память 1515 с помощью полупроводниковой памяти, которая имеет относительно небольшую емкость (например, по сравнению с внешней памятью 1312) и быструю скорость реагирования, такую как статическая оперативная память (SRAM).

Блока 1516 управления кодеком выполняет процессы обработки, относящиеся к кодированию и декодированию данных изображения. Схема кодирования/декодирования, поддерживаемая блоком 1516 управления кодеком, является произвольной, и одна или более схем может поддерживаться блоком 1516 управления кодеком. Например, блок 1516 управления кодеком может иметь функции кодека, поддерживаемые множеством схем кодирования/декодирования и выполнять кодирование данных изображения и декодирование кодированных данных с использованием выбранной схемы из числа схем.

В примере, показанном на фиг. 47, блок 1516 управления кодеком включает в себя, например, MPEG-2 видео 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (масштабируемые) 1544, HEVC/H. 265 (многоракурсные) 1545 и MPEG-DASH 1551 как функциональные блоки обработки, относящиеся к кодеку.

MPEG-2 видео 1541 представляет собой функциональный блок для кодирования или декодирования данных изображений в соответствии со схемой MPEG-2. AVC/H.264 1542 является функциональным блоком для кодирования или декодирования данных изображений в соответствии со схемой AVC. HEVC/H.265 1543 является функциональным блоком для кодирования или декодирования данных изображений в соответствии со схемой HEVC. HEVC/H.265 (масштабируемые) 1544 является функциональным блоком для выполнения масштабируемого кодирования или масштабируемого декодирования данных изображения в соответствии со схемой HEVC. HEVC/H.265 (многоракурсные) 1545 представляет собой функциональный блок для выполнения многопроекционного кодирования или многопроекционного декодирования данных изображения в соответствии со схемой HEVC.

MPEG-DASH 1551 является функциональным блоком для передачи и приема данных изображения в соответствии с MPEG-динамическое адаптивное потоковое вещание по HTTP (MPEG-DASH). MPEG-DASH представляет собой технологию передачи потокового видео по протоколу передачи гипертекста (HTTP), и имеет признак выбора соответствующего одного из множества элементов кодированных данных, которые отличаются в предварительно подготовленном разрешении или т.п., в блоках сегментов, и передачу выбранного элемента. MPEG-DASH 1551 выполняет генерацию потока, соответствующего стандарту управления передачей потока и т.п., и использует с MPEG-2 видео 1541 по HEVC/H.265 (многоракурсные) 1545 для кодирования и декодирования данных изображения.

Интерфейс 1517 памяти представляет собой интерфейс для внешней памяти 1312. Данные, предоставленные из блока 1514 обработки изображения или блока 1516 управления кодеком, поставляются во внешнюю память 1312 через интерфейс 1517 памяти. Дополнительно, данные, считанные из внешней памяти 1312, поставляются в видеопроцессор 1332 (блок 1514 обработки изображения или блок 1516 управления кодеком) через интерфейс 1517 памяти.

Мультиплексор/демультиплексор (MUX/DMUX) 1518 выполняет мультиплексирование и демультиплексирование различных видов данных, относящихся к изображению, такие как битовый поток кодированных данных, данные изображения и видеосигнал. Способ мультиплексирования/демультиплексирования является произвольным. Например, в случае мультиплексирования,

мультиплексор/демультиплексор (MUX/DMUX) 1518 может не только объединить множество частей данных в один поток, но также может добавить определенную информацию заголовка или тому подобное к данным. Дополнительно, в случае демультиплексирования, мультиплексор/демультиплексор (MUX/DMUX) 1518 может не только разделить одну часть данных на множество частей данных, но также может добавить определенную информацию заголовка или тому подобное к каждой отдельной части данных. Другими словами, мультиплексор/демультиплексор (MUX/DMUX) 1518 может преобразовать формат данных посредством мультиплексирования и демультиплексирования. Например, мультиплексор/демультиплексор (MUX/DMUX) 1518 может мультиплексировать поток битов для преобразования в транспортный поток, служащий в качестве потока битов в формате передачи данных, или данных (файл) формата записи файла. Конечно, обратное преобразование может также быть выполнено посредством демультиплексирования.

Сетевой интерфейс 1519 представляет собой интерфейс, например, для широкополосного модема 1333 или соединения 1321 (оба показаны на фиг. 45). Видео интерфейс 1520 является интерфейсом для, например, соединения 1321 или камеры 1322 (оба показаны на фиг. 45).

Далее будет описан пример работы видеопроцессора 1332. Например, когда транспортный поток поступает из внешней сети через, например, соединение 1321 или широкополосный модем 1333 (оба показаны на фиг. 45), транспортный поток поступает на мультиплексор/демультиплексор (MUX/DMUX) 1518 через сетевой интерфейс 1519, демультиплексируется и затем декодируется блоком 1516 управления кодеком. Данные изображения, полученные посредством декодирования блоком 1516 управления кодеком, подвергается определенной обработке, например, с помощью блока 1514 обработки изображения, подвергаются определенной обработке преобразования, выполненного блоком 1513 управления дисплеем, и поставляются, например, в соединение 1321 (фиг. 45) и т.п. через интерфейс 1512 отображения, и изображение отображается на мониторе. Дополнительно, например, данные изображения, полученные посредством декодирования блоком 1516 управления кодеком, кодируется блоком 1516 управления кодеком еще раз, мультиплексируются с помощью мультиплексора/демультиплексора (MUX/DMUX) 1518, для преобразования в данные файла, выводятся, например, в соединение 1321 (фиг. 45) или тому подобное через видеоинтерфейс 1520, и затем записываются на различных видах носителей записи.

Более того, например, данные файла закодированных данных, полученных посредством кодирования данных изображения, считываются с носителя записи (не показано) через соединение 1321 (фиг. 45) или т.п. и поставляются в мультиплексор/демультиплексор (MUX/DMUX) 1518 через видеоинтерфейс 1520, и демультиплексируются и декодируется посредством блока 1516 управления кодеком. Данные изображения, полученные посредством декодирования блоком 1516 управления кодеком, подвергается определенной обработке, выполняемой блоком 1514 обработки изображения, подвергаются определенному преобразованию, выполняемому блоком 1513 управления дисплеем, и поставляются, например, в соединение 1321 (фиг. 45) или тому подобное через интерфейс 1512 отображения, и изображение отображается на мониторе. Кроме того, например, данные изображения, полученные посредством декодирования блоком 1516 управления кодеком, кодируются блоком 1516 управления кодеком еще раз, мультиплексируются с помощью мультиплексора/демультиплексора (MUX/DMUX) 1518 для преобразования в транспортный поток, поставляемый, например, в соединение 1321 или широкополосный модем 1333 (оба показаны на фиг. 45) через сетевой интерфейс 1519, и передаются на другое устройство (не показано).

Дополнительно, передача данных изображения или других данных между секциями обработки в видеопроцессоре 1332 выполняется, например, с использованием внутренней памяти 1515 или внешней памяти 1312. Более того, модуль 1313 управления питанием управляет, например, секцией 1511 управления электропитанием.

Когда данная технология применяется к видеопроцессору 1332, имеющего описанную выше конфигурацию, желательно применять вышеизложенные варианты осуществления настоящего изобретения к блоку 1516 управления кодеком. Другими словами, например, предпочтительно, чтобы блок 1516 управления кодеком имел функциональный блок для реализации устройства 100 кодирования изображения (фиг. 18) и устройства 200 декодирования изображения (фиг. 26) в соответствии с вышеописанным вариантом осуществления. Кроме того, например, видеопроцессор 1332 может иметь выгодные преимущества, аналогичные выгодным преимуществам, описанные выше со ссылкой на фиг. 1-43.

Кроме того, в блоке 1516 управления кодеком, настоящее изобретение (то есть, функции устройства кодирования изображения или устройства декодирования изображения в соответствии с описанным выше вариантом осуществления) может быть реализовано один или обоими способами в форме аппаратных средств, таких как логической схемы, и программного обеспечения, такого как встроенные программы.

Две примерные конфигураций видеопроцессора 1332 были описаны выше, но конфигурация видеопроцессора 1332 является произвольной и может быть любой конфигурацией, кроме указанных выше двух примерных конфигураций. Кроме того, видеопроцессор 1332 может быть сконфигурирован с помощью одной полупроводниковой микросхемы или может быть сконфигурирован с помощью множества полупроводниковых микросхем. Например, видеопроцессор 1332 может быть сконфигурирован трехмерно уложенными LSI, в которой укладываются множество полупроводников. Кроме того, видеопроцессор 1 332 может быть реализован с помощью множества LSIs.

Примеры применения в устройствах

Видеоустройство 1300 может быть инкорпорировано в различные типы устройств, которые обрабатывают данные изображения. Например, видеоустройство 1300 может быть инкорпорировано в телевизионное устройство 900 (фиг. 38), мобильный телефон 920 (фиг. 39), устройства 940 записи/воспроизведения (фиг. 40), устройство 960 формирования изображения (фиг. 41) или тому подобное. Так, как видеоустройство 1300 инкорпорировано, то устройства могут иметь выгодные преимущества, аналогичные выгодным преимуществам, описанные выше со ссылкой на фиг. 1-33.

Дополнительно, видеоустройство 1300 также может быть включено в состав терминального устройства, такое как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 или мобильный телефон 1007 в системе 1000 передачи данных на фиг. 42, то радиостанция 1101 или терминальное устройство 1102 в системе 1100 передачи данных 1100 на фиг. 43, или устройство 1201 формирования изображений или устройство 1202 хранения масштабируемых кодированных данных в системе 1200 формирования изображения на фиг. 44. Так как видеоустройство 1300 инкорпорировано, то устройства могут иметь выгодные преимущества, аналогичные выгодным преимуществам, описанным выше со ссылкой на фиг. 1-33. Кроме того, видеоустройство 1300 может быть инкорпорировано в систему воспроизведения контента на фиг. 48 или систему беспроводной связи, показанную на фиг. 54.

Дополнительно, поскольку конфигурации включают в себя видеопроцессор 1332, каждый составной элемент видеоустройства 1300, описанного выше, может быть реализован в виде конфигурации, к которой применяется настоящее изобретение. Например, видеопроцессор 1332 может быть реализован как видеопроцессор, к которому применяется настоящее изобретение. Дополнительно, например, процессоры, обозначенные пунктирной линией 1341, как описано выше, видео модуль 1311 или тому подобное могут быть реализованы как, например, процессор или модуль, к которому применяется настоящее изобретение. Кроме того, например, объединение видео модуля 1311, внешней памяти 1312, модуля 1313 управления питанием и фронтального модуля 1314 может быть реализовано в виде видео блока 1361, к которому применяется настоящее изобретение. Эти конфигурации могут иметь выгодные преимущества, аналогичные выгодным преимуществам, описанным выше со ссылкой на фиг. 1-33.

Другими словами, конфигурация, включающая в себя видеопроцессор 1332, может быть инкорпорирована в различные виды устройств, которые обрабатывают данные изображения, как и в случае с видеоустройством 1300. Например, видеопроцессор 1332, процессоры, указанные пунктирной линией 1341, видео модуль 1311 или видео блок 1361 могут быть включены в состав телевизионного устройства 900 (фиг. 38), мобильного телефона 920 (фиг. 39), устройства 940 записи/воспроизведения (фиг. 40), устройства 960 формирования изображения (фиг. 41), терминального устройства, например, персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 или мобильный телефон 1007 в системе 1000 связи на фиг. 43, то радиостанция 1101 или терминальное устройство 1102 в системе 1100 связи на фиг. 43, устройство 1201 формирования изображения или устройство 1202 хранения масштабируемых кодированных данных в системе 1200 формирования изображения на фиг. 44, или тому подобное. Дополнительно, конфигурация, включающая в себя видеопроцессор 1332, может быть инкорпорирована в систему воспроизведения контента на фиг. 48 или систему беспроводной связи на фиг. 54. Более того, путем включения в состав конфигурации, к которой применяется настоящее изобретение, устройства могут иметь выгодные преимущества, аналогичные выгодным преимуществам, описанным выше со ссылкой на фиг. 1-33, по аналогии с видеоустройством 1300.

Данная технология также может быть применена к системе выбора соответствующих данных из множества частей кодированных данных, имеющих разные разрешения, которые подготовлены заранее в блоках сегментов, и, используя выбранные данные, например, система воспроизведения контента HTTP потоковой передачи или система беспроводной связи стандарта Wi-Fi, такие как MPEG DASH, который будет описан ниже.

9. Пример применения MPEG-DASH

Обзор системы воспроизведения контента

Во-первых, система воспроизведения контента, к которой применяется настоящее изобретение, будет схематично описана со ссылкой на фиг. 48-50.

Основная конфигурация, которая является общей в вариантах осуществления, будет описана ниже со ссылкой на фиг. 48 и 49.

Фиг. 48 представляет собой пояснительную схему конфигурации системы воспроизведения контента. Система воспроизведения контента включает в себя серверы-контент 1610 и 1611, сеть 1612 и устройство 1620 воспроизведения контента (устройство-клиент), как показано на фиг. 48.

Серверы-контент 1610 и 1611 подключены к устройству 1620 воспроизведения контента через сеть 1612. Сеть 1612 является проводным или беспроводным каналом передачи информации, переданной от устройства, подключенного к сети 1612.

Например, сеть 1612 может включать в себя сеть общественной линии связи, такой как интернет, сеть телефонной линии связи или сеть спутниковой связи, различные виды локальных сетей, таких как Ethernet (зарегистрированная торговая марка), глобальная сеть (WAN) или т.п.. Кроме того, сеть 1612 может включать в себя сеть выделенной линии связи, такую как интернет-протокол-виртуальная частная сеть (IP-VPN).

Сервер-контент 1610 кодирует данные контента, и генерирует и сохраняет файл данных, включающий в себя метаинформацию кодированных данных и кодированные данные. Когда сервер-контент 1610 генерирует файл данных в формате МР4, закодированные данные соответствует "mdat", и метаинформация соответствует «moov".

Дополнительно, данные контента могут быть данными музыки, такие как музыка, лекции или радиопрограммы, видео данными, такие как кино, телевизионная программа, видео программа, фотографии, документ, картины или графика, игры, программное обеспечение или тому подобное.

Здесь, сервер-контент 1610 генерирует множество файлов данных того же контента на разных скоростях передачи. Дополнительно, в ответ на запрос воспроизведения контента, принятый от устройства 1620 воспроизведения контента, сервер-контент 1611 включает в себя информацию параметра, добавленного к соответствующему URL посредством устройства 1620 воспроизведения контента в URL информацию сервера-контента 1610, и передает результирующую информацию в устройство 1620 воспроизведения контента. Подробное описание данной операции будет приведено ниже со ссылкой на фиг. 49.

Фиг. 49 представляет собой пояснительную схему потока данных в системе воспроизведения контента, показанной на фиг. 48. Сервер-контент 1610 кодирует те же данные контента на разных скоростях передачи, и генерирует, например, файл А 2 Мбит, файл В 1,5 Мбит, а файл С 1 Мбит, как показано на фиг. 49. Соответственно, файл А имеет высокую скорость передачи, файл В имеет стандартную скорость передачи и файл С имеет низкую скорость передачи данных.

Дополнительно, кодированные данные для каждого файла делятся на множество сегментов, как показано на фиг. 49. Например, кодированные данные файла А делится на сегменты, такие как "A1", "А2", "A3",и "An", кодированные данные файла В делятся на сегменты, такие как «В1», «В2», «В3», и «Вn», и кодированные данные файла С разделены на сегменты, такие как "C1", "С2", "С3" …, Сn".

Кроме того, каждый сегмент может быть сконфигурирован с образцом конфигурации, отличным от одного или более частей закодированных видеоданных и закодированных аудиоданных, что начинается от отбора МР4 (например, IDR-кадр при видео кодировании AVC/H.264) и независимо воспроизводимым. Например, когда видеоданные 30 кадров в секунду кодируются посредством GOP, имеющей фиксированную длину 15 кадров, каждый сегмент может быть закодирован видео и аудио данных в 2 секунды, соответствующий 4 GOPs, или могут быть закодированы видео и аудио данные в 10 секунд, что соответствует 20 GOPs.

Дополнительно, сегменты, которые расположены в том же порядке в каждом файле, имеют те же диапазоны воспроизведение (диапазоны временной задержки с заголовка контента). Например, диапазоны воспроизведение сегмента "А2", сегмента "В2" и сегмента "С2" являются одинаковыми, и когда каждый сегмент кодируется данные 2 секунд, диапазоны воспроизведение сегмента "А2", сегмента "В2" и сегмента "С2" составляют от 2 до 4 секунд контента.

Когда генерируются с файла А по файл С, сконфигурированные с помощью множества сегментов, сервер-контент 1610 хранит с файла А по файл С. Кроме того, как показано на фиг. 49, сервер-контент 1610 последовательно передает сегменты, конфигурируя различные файлы, в устройстве 1620 воспроизведения контента, и устройство 1620 воспроизведения контента выполняет потоковое воспроизведение на принятых сегментах.

Здесь сервер-контент 1610 в соответствии с настоящим вариантом осуществления передает файл списка воспроизведения (далее "описание медиа представления (MPD)"), включающий в себя информацию битовой скорости и информацию доступа каждой части кодированных данных, в устройство 1620 воспроизведения контента, и устройство 1620 воспроизведения контента выбирает любую из множества скоростей передачи, на основании MPD, и запрашивает сервер-контент 1610 передать сегмент, соответствующий выбранной скорости передачи данных.

Фиг. 48 иллюстрирует только один сервер-контент 1610, но настоящее изобретение не ограничивается этим примером.

Фиг. 50 представляет собой пояснительную схему, иллюстрирующую конкретный пример MPD. MPD включает в себя информацию доступа множества частей кодированных данных, которые имеют различные скорости передачи данных (полосы пропускания), как показано на фиг. 50. Например, MPD, как показано на фиг. 50, показывает, что есть кодированные данные 256 Кбит, кодированные данные 1024 Мбит кодированные данные 1384 Мбит, кодированные данные 1536 Мбит и кодированные данные 2048 Мбит, и включает в себя информацию доступа, относящуюся к каждой части кодированных данных. Устройство 1620 воспроизведения контента может динамически изменять скорость передачи кодированных данных при потоковом воспроизведении на основании MPD.

Дополнительно, фиг. 48 иллюстрирует мобильный терминал в качестве примера устройства 1620 воспроизведения контента, но устройство 1620 воспроизведения контента не ограничивается этим примером. Например, устройство 1620 воспроизведения контента может быть устройством обработки информации, таким как персональный компьютер (PC), устройством обработки домашнего видео (DVD рекордер, кассетный видеомагнитофон (VCR)), персональным цифровым помощником (PDA), игровой приставкой для домашнего использования, или бытовым электрическим прибором. Дополнительно, устройство 1620 воспроизведения контента может быть устройством обработки информации, таким как мобильный телефон, системой персонального миниатюрного радиотелефона (PHS), портативным музыкальным плеером, портативным устройством обработки видео или портативной игровой машиной.

Конфигурация сервера-контента 1610

Описание системы воспроизведения контента было приведено выше со ссылкой на фиг. 48-50. Далее будет приведено описание конфигурации сервера-контента 1610 со ссылкой на фиг. 51.

Фиг. 51 является функциональной блок-схемой, иллюстрирующей конфигурацию сервер-контента 1610. Сервер-контент 1610 включает в себя секцию 1631 генерирования файла, секцию 1632 хранения и секцию 1633 связи, как показано на фиг. 51.

Секция 1631 генерирования файла включает в себя кодер 1641, который кодирует данные контента, и генерирует множество частей кодированных данных, которые имеют различные скорости передачи данных для того же контента и MPD. Например, когда кодированные данные 256 Кбит, кодированные данные 1024 Мбит, кодированные данные 1384 Мбит, кодированные данные 1536 Мбит и кодированные данные 2048 Мбит генерируются, то секция 1631 генерирования файла генерирует MPD, как показано на фиг. 50.

Секция 1632 хранения хранит множество частей кодированных данных, которые имеют различные скорости связи, и MPD, сгенерированный секцией 1631 генерирования файла. Секция 1632 хранения может быть носителем информации, таким как энергонезависимая память, магнитный диск, оптический диск или магнитооптический диск (МО). Примеры энергонезависимой памяти включают в себя электрически стираемую программируемую постоянную память (EEPROM) и стираемую программируемую ROM (EPROM). В качестве магнитного диска, может использоваться жесткий диск, магнитный диск и тому подобное. Кроме того, в качестве оптического диска, используется компакт-диск (CD) (цифровой записываемый видеодиск (DVD-R), Blu-Ray диск (BD) (зарегистрированный товарный знак)) и тому подобное.

Секция 1633 связи представляет собой интерфейс с устройством 1620 воспроизведения контента, и взаимодействует с устройством 1620 воспроизведения контента через сеть 1612. Более подробно, секция 1633 связи имеет функцию HTTP сервера, взаимодействующего с устройством 1633 воспроизведения контента в соответствии с HTTP. Например, секция 1633 связи передает MPD в устройство 1620 воспроизведения контента, извлекает кодированные данные, запрашиваемые на основании MPD устройством 1620 воспроизведения контента в соответствии с HTTP из секции 1632 хранения, и передает кодированные данные в устройство 1620 воспроизведения контента в качестве ответа HTTP.

Конфигурация устройства 1620 воспроизведения контента

Конфигурация сервера-контента 1610, в соответствии с настоящим вариантом осуществления, была описано выше. Далее будет описана конфигурация устройства 1620 воспроизведения контента со ссылкой на фиг. 52.

Фиг. 52 показывает функциональную блок-схему конфигурации устройства 1620 воспроизведения контента. Устройство 1620 воспроизведения контента включает в себя секцию 1651 связи, секцию 1652 хранения, секцию 1653 воспроизведения, секцию 1654 выбора и секцию 1656 получения настоящего местоположения, как показано на фиг. 52.

Секция 1651 связи является интерфейсом с сервером-контент 1610, запрашивает сервер-контент 1610 для связи, и получает данные с сервера-контента 1610. Более подробно, секция 1651 связи имеет функцию в качестве устройства-клиента HTTP, взаимодействующим с устройством 1620 воспроизведения контента в соответствии с HTTP. Например, секция 1651 связи может выборочно получить MPD и сегменты закодированных данных с сервера-контент 1610, используя диапазон HTTP.

Секция 1652 хранения хранит различные виды информации, относящиеся к воспроизведению контента. Например, сегменты, полученные из сервера-контент 1610 посредством секции 1651 связи, последовательно буферизуются. Сегменты кодированных данных, буферизованные в секции 1652 хранения, последовательно подаются в секцию 1653 воспроизведения в порядке «первый принят - первый передан» (FIFO).

Кроме того, секция 1652 хранения добавляет параметр в URL через секцию 1651 связи на основании команды добавить параметр в URL контента, который описан в MPD, и запрашивается с сервера-контент 1611, который будет описан позже, и хранит определение для доступа к URL.

Секция 1653 воспроизведения последовательно воспроизводит сегменты, поставленные из секции 1652 хранения. В частности, секция 1653 воспроизведения выполняет декодирование сегмента, преобразование DA, визуализацию и тому подобное.

Секция 1654 выбора выбирает последовательно битовую скорость, с которой получаемый сегмент кодированных данных соответствует скорости передачи, включенных в состав MPD, того же контента. Например, когда секция 1654 выбора последовательно выбирает сегменты "A1", "В2" и "A3" в зависимости от полосы частоты сети 1612, секция 1651 связи последовательно получает сегменты "A1", "В2" и "A3" с сервера-контент 1610, как показано на фиг. 49.

Секция 1656 получения текущего местоположения может быть реализован с помощью модуля, который получает текущее положение устройства 1620 воспроизведения контента, например, получает текущее положение приемника глобальной системы позиционирования (GPS) или тому подобное. Кроме того, секция 1656 получения текучего местоположения может получить информацию о текущей позиции устройство 1620 воспроизведения контента, используя беспроводную сеть.

Конфигурация сервера-контента 1611

Фиг. 53 является схемой для описания примерной конфигурации сервер-контент 1611. Сервер-контент 1611 включает в себя секцию 1671 хранения и секцию 1672 связи, как показано на фиг. 53.

Секция 1671 хранения хранит информацию о URL MPD. URL информация MPD передается из сервера-контент 1611 в устройство 1620 воспроизведения контента в соответствии с запросом, принятым из устройства 1620 воспроизведения контента, которое запрашивает воспроизведение контента. Дополнительно, когда URL информация MPD предоставляется в устройство 1620 воспроизведения контента, секция 1671 хранения хранит информацию определения, используемую, когда устройство 1620 воспроизведения контента добавляет параметр в URL, описанной в MPD.

Секция 1672 связи представляет собой интерфейс с устройством 1620 воспроизведения контента, и осуществляет связь с устройством 1620 воспроизведения контента через сеть 1612. Другими словами, секция 1672 связи принимает запрос для запроса информации о URL MPD от устройства 1620 воспроизведения контента, которое запрашивает воспроизведение контента, и передает информацию URL MPD в устройство 1620 воспроизведения контента. URL MPD, переданный из секции 1672 связи, включает в себя информацию, к которой добавляется параметр посредством устройства 1620 воспроизведения контента.

Различные настройки могут быть выполнены на параметре, который добавляется к URL MPD посредством устройства 1620 воспроизведения контента, на основании информации о четкости, совместно используемый сервером-контент 1611 и устройством 1620 воспроизведения контента. Например, информация, такая как текущее положение устройства 1620 воспроизведения контента, идентификатор пользователя, используя устройство 1620 воспроизведения контента, объем памяти устройства 1620 воспроизведения контента и емкость хранения устройства 1620 воспроизведения контента могут быть добавлены к URL MPD посредством устройства 1620 воспроизведения контента.

В системе воспроизведения контента, имеющей вышеуказанную конфигурацию, применяется к описанному выше настоящему изобретению со ссылкой на фиг. 1-33, выгодные преимущества, аналогичные выгодным преимуществам, описанные выше со ссылкой на фиг. 1-33 могут быть получены.

Другими словами, кодер 1641 сервера-контента 1610 имеет функцию устройства 100 кодирования изображения (фиг. 18) в соответствии с приведенным выше вариантом осуществления. Кроме того, секция 1653 воспроизведения контента устройства 1620 воспроизведения контента имеет функцию устройства 200 декодирования изображения (фиг. 26) в соответствии с описанным выше вариантом осуществления. Таким образом, можно предотвратить увеличение нагрузки в случае кодирования и декодирования изображения.

Кроме того, в системе воспроизведения содержания, так как данные, закодированные в соответствии с настоящим изобретением, передаются и принимаются, то можно предотвратить снижение эффективности кодирования.

10. Примеры применения системы беспроводной связи Wi-Fi стандарта

Основной пример работы устройства беспроводной связи

Приводится описание основного примера операции устройства беспроводной связи в системе беспроводной связи, к которой применяется настоящее изобретение.

Во-первых, беспроводные пакеты передаются и принимаются при установке однорангового (Р2Р) соединения и используется конкретный вариант применения.

Затем, прежде чем будет установлено соединение через второй уровень, беспроводные пакеты передаются и принимаются до тех пор, пока конкретное приложение, которое будет использоваться, не будет определено, затем устанавливается соединение Р2Р и выполняется конкретное приложение. После этого, как только устанавливается соединение через второй уровень, беспроводные пакеты для активации конкретного приложения передаются и принимаются.

Пример связи при начале работы конкретного приложения

Фиг. 54 и 55 являются диаграммами последовательности выполнения операций, иллюстрирующие пример процесса связи, выполняемого устройствам, функционирующими в беспроводной связи, в качестве примера передачи и приема пакетов по беспроводной сети до установления соединения Р2Р и конкретное приложение работает. В частности, в качестве примера, показан процесс установления прямого соединения установления соединения в стандарте Direct Wi-Fi (который также называют "Wi-Fi" Р2Р), стандартизованный Wi-Fi Альянсом.

Здесь, в Wi-Fi Direct, множество устройств беспроводной связи обнаруживает присутствие устройства беспроводной связи другой стороны (обнаружение устройств и служб). Кроме того, при выполнении выбора устройства подключения, выполняется аутентификация устройства между выбранными устройствами через Wi-Fi стандарт безопасной настройки беспроводной связи (WPS) и затем устанавливается прямое соединение. В Wi-Fi Direct, множество беспроводных устройств связи определяется ведущее устройство (владелец группы) или ведомое устройство (клиент), и формируются группы связи.

Тем не менее, в этом примере процесс связи передачи и приема некоторых пакетов не показан. Например, в момент первого соединения, обмен пакетами для использования WPS является необходимым, как описано выше, и обмен пакетами также необходим при аутентификации по принципу запрос/ответ или тому подобное. Тем не менее на фиг. 54 и 55, например, процесс обмена пакетами не показан, и проиллюстрировано только второе соединение и последующее.

Кроме того, на фиг. 54 и 55 показан примерный процесс связи между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи, но описанный выше процесс, может быть аналогичным образом, применим к способу связи между другими устройствами беспроводной связи.

Во-первых, обнаружение устройств выполняется между первым устройством 1701 беспроводной связи и вторым устройством 1702 (1711) беспроводной связи. Например, первое устройство 1701 беспроводной связи передает пробный запрос (сигнал запроса на ответ) и принимает ответ на пробный запрос (ответный сигнал) на пробный запрос из второго устройства 1702 беспроводной связи. Таким образом, первое устройство 1701 беспроводной связи и второе устройство 1701 беспроводной связи могут обнаружить присутствие другой стороны. Дополнительно, через обнаружение устройства можно получить наименование устройства или тип (телевизор, компьютер, смартфон или подобное) другой стороны.

Затем, выполняется обнаружения сервисов между первым устройством 1701 беспроводной связи и вторым устройством 1702 (1712) беспроводной связи. Например, первое устройство 1701 беспроводной связи передает запрос на обнаружение сервиса, поддерживаемого вторым устройством 1702 беспроводной связи, обнаруженным в результате процесса обнаружения устройства. Затем первое устройство 1701 беспроводной связи может получить услугу, поддерживаемую вторым устройством 1702 беспроводной связи, посредством приема ответа обнаружения сервисов со второго устройства 1702 беспроводной связи. Другими словами, посредством процесса обнаружения службы, можно получить, например, службу, выполняемую другой стороной. Например, служба, исполняемая другой стороной, является сервисом или протоколом (Альянс цифровых сетей для дома (DLNA), цифровое средство визуализации медиа (DMR) или тому подобное).

Затем пользователь выполняет операцию (операция выбора партнера по соединению) выбора партнера (1713) по соединению. Операция выбора партнера по соединению может быть выполнена только одним первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи. Например, экран выбора партнеров по соединению отображается на секции отображения первого устройства 1701 беспроводной связи, и второе устройство 1702 беспроводной связи выбрано на экране выбора партнера по соединению в качестве партнера соединения согласно операции пользователя.

Когда пользователь выполняет операцию (1713) выбора партнера по соединению, устанавливается владелец переговорной группы между первым устройством 1701 беспроводной связи и вторым устройством 1702 (1714) беспроводной связи. В примере, показанном на фиг. 54 и 55, как результат определения владельца группы переговоров, первое устройство 1701 беспроводной связи становится владельцем 1715 группы и второе устройство 1702 беспроводной связи становится клиентом 1716.

Затем процессы (с 1717 по 1720) выполняется между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи и, таким образом, устанавливается прямое соединение. Другими словами, последовательно выполняется объединение (L2 (второй уровень) установление связи) (1717) и установление (1718) безопасной линии связи. Кроме того, ЕР-адрес присваивание (1719) и L4 установка (1720) на L3 с помощью простого протокола обнаружения сервисов (SSDP) последовательно выполняются. Кроме того, L2 (уровень 2) показывает второй уровень (канальный уровень), L3 (уровень 3) указывает на третий уровень (сетевой уровень) и L4 (уровень 4) указывает на четвертый уровень (транспортный уровень).

Затем пользователь выполняет определенную операцию обозначения приложения или операцию активации (операция обозначения/активации приложения) (1721). Операция обозначения/активации приложения может быть выполнена только в одном первом устройстве 1701 беспроводной связи и втором устройстве 1702 беспроводной связи. Например, рабочий экран обозначения/активации приложения отображается на секции отображения первого устройства 1701 беспроводной связи, и конкретное приложение выбирается на экране операции обозначения/активации приложения в соответствии с операцией пользователя.

Когда пользователь выполняет операцию (1721) обозначения/активации приложения, конкретное приложение, соответствующее операции обозначения/активации приложения, выполняется между первым устройством 1701 беспроводной связи и вторым устройством 1702 (1722) беспроводной связи.

Здесь, соединение считается установленным между точками доступа станций (АР-STAs) в пределах диапазона характеристик (спецификация стандартизирована в IEEE802.il) более позднего стандарта Wi-Fi Direct. В этом случае, трудно обнаружить устройство для подключения заранее, до установления соединения через второй уровень (по терминологии IEEE802.11, до выполнения "ассоциации").

С другой стороны, как показано на фиг. 54 и 55, в Wi-Fi Direct, когда осуществляется поиск кандидата партнера соединения посредством обнаружения устройства или обнаружения службы (опция), можно получить информацию о партнере соединения. Примеры информации партнера по соединению включают в себя тип базового устройства и поддерживаемое конкретное приложение. Кроме того, можно разрешить пользователю выбрать партнера по соединению на основании полученной информации о партнере соединения.

Посредством расширения этой спецификации, можно также реализовать систему беспроводной связи, в которой обозначается конкретное приложение до установления соединения через второй уровень, выбирается партнер по связи и конкретное приложение автоматически активируется после выбора. Пример последовательности установления соединения в этом случае показан на фиг. 57. Кроме того, в качестве примера конфигурация формата кадра, передаваемого и принимаемого, в процессе коммуникации показана на фиг. 56.

Примерная конфигурация формата кадра

Фиг. 56 представляет собой схему, схематично иллюстрирующую примерную конфигурацию формата кадра передаваемого и принимаемого в процессе связи, выполняемого устройствами, действующие в качестве основы технологии по настоящему изобретению. Другими словами, на фиг. 56 иллюстрируется примерная конфигурация MAC кадра, используемого для установления соединения через второй уровень. В частности, проиллюстрирован пример формата кадра ассоциации запрос/ответ (1787) для осуществления последовательности, показанной на фиг. 57.

Часть от этапа управления (1751) кадра до последовательности управления (1756) служит в качестве заголовка MAC. Кроме того, когда ассоциация запроса передается, В3В2="0b00" и В7В6В5В4="0b0000" устанавливаются в кадре управления (1751). Кроме того, когда ассоциация ответа инкапсулируется, В3В2="0b00" и В7В6В5В4="0b0001" устанавливаются в кадре управления (1751). Кроме того, "0b00" является "00" в двоичной записи, "0b0000" является "0000" в двоичной записи и "0b0001" является "0001" в двоичной системе.

Здесь MAC кадр на фиг. 56 представляет собой в основном ассоциацию запроса/ответа формата кадра, описанного в разделах 7.2.3.4 и 7.2.3.5 спецификации IEEE802.11-2007. Тем не менее, разница заключается в том, что независимо расширенные информационные элементы (далее сокращенно как «IEs») включены в состав в дополнение к IEs, определенных в спецификации IEEE 802.11.

Дополнительно, чтобы указывать на конкретного поставщика IE (1760), десятичное число 127 установлено на IE тип (информационного элемента ID (1761)). В этом случае, как описано в разделе 7.3.2.26 спецификации IEEE802.11-2007, поле (1762) длины и OUI поле (1763) являются последующими, и впоследствии расположен контент (1764) конкретного поставщика.

Как контент (1764) конкретного поставщика, поле (IЕ типа (1765)), указывающее на тип конкретного поставщика IE, является первым набором. Впоследствии, рассматривается конфигурация, способная хранить множество субэлементов (1766).

Как контент субэлемента (1766), может быть включено в состав наименование (1767) конкретного приложения, которое будет использоваться, и роль (1768) устройства, когда конкретное приложение работает. Кроме того, информация (информация для установки L4) (1769) конкретного приложения, номер порта, используемого для его управления, или т.п., и информация (информация о возможностях), относящаяся к возможности конкретного приложения, могут быть включены в состав. Здесь, например, когда обозначенное приложение является DLNA, информация о возможностях представляет собой информацию для определения, поддерживается или нет передача/воспроизведение аудио, поддерживается или нет передача/воспроизведение видео или тому подобное.

В системе беспроводной связи, имеющую описанную выше конфигурацию, где применяется настоящее изобретение, описанное выше со ссылкой на фиг. 1-33, могут быть получены выгодные преимущества, аналогичные выгодным преимуществам, описанным выше со ссылкой на фиг. 1-33. Другими словами, можно подавить увеличение нагрузки в случае кодирования и декодирования изображения. Кроме того, в системе беспроводной связи, где осуществляется передача и прием данных, закодированных в соответствии с настоящим изобретением, можно не допустить уменьшения эффективности кодирования.

Дополнительно, в данном описании был описан пример, в котором различные виды информации мультиплексируются в закодированный поток, и передается со стороны кодирования на сторону декодирования. Тем не менее способ передачи информации не ограничивается этим примером. Например, информация может быть передана или записана в виде отдельных данных, ассоциированных с кодированным битовым потоком без мультиплексирования в кодированном потоке. Здесь термин "ассоциированный" относится к изображению, включенному в состав битового потока (который может быть частью изображения, например, срез или блок), и информации, соответствующей изображению, выполненному с возможностью быть связанным во время декодирования. То есть, информация может быть передана по отдельному тракту передачи от изображения (или битового потока). Кроме того, эта информация может быть записана на отдельном носителе записи (или отдельной области записи одного и того же носителя записи) из изображения (или битового потока). Кроме того, информация и изображение (или битовый поток), например, могут быть ассоциированы друг с другом в произвольном блоке, таком как множества кадров, один кадр или часть в кадре.

Предпочтительные варианты осуществления настоящего изобретения были описаны выше со ссылкой на прилагаемые чертежи, в то время как настоящее изобретение не ограничивается приведенными выше примерами, конечно. Специалист в данной области техники может найти различные изменения и модификации в пределах объема прилагаемой формулы изобретения и следует понимать, что они, естественно, подпадают под технический объем настоящего изобретения.

Кроме того, настоящее изобретение также может быть сконфигурировано, как показано ниже.

(1) Устройство кодирования изображения, включающее в себя:

секцию генерирования, выполненную с возможностью генерирования информации управления, используемой для управления определенной областью, в которой информация, относящаяся к кодированию другого уровня, кодирована для каждой из множества отдельных областей, полученных посредством деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающих в себя множество уровней;

секцию кодирования, выполненную с возможностью кодирования текущего уровня данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня, в соответствии с управлением информацией управления, сгенерированной секцией генерирования; и

секцию передачи, выполненную с возможностью передачи кодированных данных указанных данных изображения, сгенерированных секцией кодирования, и информации управления, сгенерированной секцией генерирования.

(2) Устройство кодирования изображения по любому из (1) и (3)-(9), в котором информация управления является информацией, ограничивающей область, в которой информация, относящаяся к кодированию, ссылается путем назначения области, в которой разрешена ссылка на информацию, относящуюся к кодированию другого уровня, назначения области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или назначения области, в которой осуществляется ссылка на информацию, относящуюся к кодированию.

(3) Устройство кодирования изображения по любому из (1), (2) и (4)-(9), в котором

информация управления указывает область, с использованием идентификационного номера, выделенного в порядке растрового сканирования, информации с указанием позиции области в вертикальном и горизонтальном направлениях в кадре, или информации, указывающей положение данных области в кодированных данных.

(4) Устройство кодирования изображения по любому из (1)-(3) и (5)-(9), в котором секция передачи дополнительно выполнена с возможностью передачи информации, указывающей, осуществляется ли управление или областью, в которой осуществляется ссылка на информацию, относящуюся к кодированию.

(5) Устройство кодирования изображения по любому из (1)-(4) и (6)-(9), в котором

информация, относящаяся к кодированию, представляет собой информацию, используемую для генерирования изображения предсказания, используемого при кодировании данных изображения.

(6) Устройство кодирования изображения по любому из (1)-(5) и (7)-(9), в котором

информация, используемая для генерирования изображения предсказания, включает в себя информацию, используемую для предсказания текстуры данных изображения, и информацию, используемую для предсказания синтаксиса данных изображения, и

информация управления является информацией используемой для независимого управления областью, в которой осуществляется ссылка на информацию, используемую для предсказания текстуры, и область, в которой осуществляется ссылка на информацию, используемую для предсказания синтаксиса.

(7) Устройство кодирования изображения по любому (1)-(6), (8) и (9), в котором

секция генерирования выполнена с возможностью генерирования информации управления для каждой из множества определенных областей, полученных посредством деления изображения текущего уровня данных изображения, а

секция кодирования выполнена с возможностью кодирования текущего уровня данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня для каждой из областей, в соответствии с управлением информации управления каждой области, сгенерированной секцией генерирования.

(8) Устройство кодирования изображения по любому (1)-(7) и (9), в котором секция передачи дополнительно выполнена с возможностью передачи информации,

указывающей аналогично ли разделение области текущего уровня разделению области другого уровня.

(9) Устройство кодирования изображения по любому из (1)-(8), в котором область представляет собой срез или плитку данных изображения.

(10) Способ кодирования изображения, включающий в себя этапы, на которых: генерируют информацию управления, используемую для управления определенной областью, в которой информация, относящаяся к кодированию другого уровня, кодируется для каждой из множества отдельных областей, полученных посредством деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающий в себя множество уровней;

кодируют текущий уровень данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением сгенерированной информацией управления; и

передают закодированные данные, полученные с помощью кодирования данных изображения, и сгенерированной информации управления.

(11) Устройство декодирования изображения, включающее в себя:

секцию приема, выполненную с возможностью приема кодированных данных текущего уровня данных изображения, включающих в себя множество уровней и информацию управления, используемую для управления определенной областью, в которой ссылаются на информацию, относящуюся к кодированию другого уровня, закодированной для каждой из множества отдельных областей, полученных делением изображения данных изображения; и

секцию декодирования, выполненную с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, принятой секцией приема.

(12) Устройство декодирования изображения по любому из (11) и (13)-(19), в котором

информация управления является информацией, ограничивающей область, в которой информация, относящаяся к кодированию ссылается путем назначения области, в которой разрешена ссылка на информацию, относящуюся к кодированию другого уровня, назначения области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или назначения области, в которой осуществляется ссылка на информацию, относящуюся к кодированию.

(13) Устройство декодирования изображения по любому из (11), (12) и (14)-(19), в котором

информация управления обозначает область, с использованием идентификационного номера, выделенного в порядке растрового сканирования, информации с указанием позиции области в вертикальном и горизонтальном направлениях в кадре, или информации, указывающей положение данных области в кодированных данных.

(14) Устройство декодирования изображения по любому из (11)-(13) и (15)-(19), в котором

секция приема дополнительно выполнена с возможностью приема информации, указывающую осуществляется ли управление областью, в которой ссылаются на информацию, относящуюся к кодированию.

(15) Устройство декодирования изображения по любому из (11)-(14) и (16)-(19), в котором

Информация, относящаяся к кодированию, представляет собой информацию, используемую для генерирования изображения предсказания, используемого при декодировании кодированных данных.

(16) Устройство декодирования изображения по любому из (11)-(15) и (17)-(19), в котором

информация, используемая для генерирования изображения предсказания, включает в себя информацию, используемую для предсказания текстуры данных изображения, и информацию, используемую для предсказания синтаксиса данных изображения, а

информация управления является информацией используемой для независимого управления областью, в которой ссылаются на информацию, используемую для предсказания текстуры, и областью, в которой ссылаются на информацию, используемую для предсказания синтаксиса.

(17) Устройство декодирования изображения по любому из (11)-(16), (18) и (19), в котором

секция приема выполнена с возможностью приема кодированных данных, закодированных для каждой из множества определенных областей, полученных посредством деления кадра текущего уровня данных изображения, и информации управления каждой из областей, а

секция декодирования выполнена с возможностью декодирования кодированных данных, принятых с помощью секции приема со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня для каждой из областей, в соответствии с управлением информацией управления каждой области.

(18) Устройство декодирования изображения по любому из (11)-(17) и (19), в котором

секция приема дополнительно выполнена с возможностью приема информации, указывающей, аналогично ли разделение области текущего уровня разделению области другого уровня.

(19) Устройство декодирования изображения по любому из (11)-(18), в котором область представляет собой срез или плитку данных изображения.

(20) Способ декодирования изображения, включающий в себя этапы, на которых: принимают кодированные данные текущего уровня данных изображения,

включающие в себя множество уровней, и информацию управления, используемую для управления определенной областью, в которой ссылаются на информацию, относящуюся к кодированию другого уровня, закодированную для каждой из множества отдельных областей, полученных посредством деления кадра данные изображения; и

декодируют кодированные данные со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением, принятой информацией управления.

Перечень ссылочных позиций

100 устройство кодирования изображения

101 секция кодирования изображение базового уровня

102 секция кодирования изображение усовершенствованного уровня

103 блок мультиплексирования

116 секция кодирования без потерь

117 буфер накопления

122 кадровая память

124 секция внутрикадрового предсказания

125 секция межкадрового предсказания

136 секция кодирования без потерь

137 буфер накопления

142 кадровая память

144 секция внутрикадрового предсказания

145 секция межкадрового предсказания

148 секция синхронизации области

149 секция дискретизации с повышением частоты

171 буфер информации разделения области базового уровня

172 секция установки разделения области усовершенствованного уровня

173 секция установки синхронизации области

200 устройство декодирования изображения

201 блок демультиплексирования

202 секция декодирования изображения базового уровня

203 секция декодирования изображения усовершенствованного уровня

211 буфер накопления

212 секция, декодирования без потерь

219 кадровая память

221 секция внутрикадрового предсказания

222 секция межкадрового предсказания

231 буфер накопления

232 секция декодирования без потерь

239 кадровая память

241 секция внутрикадрового предсказания

242 секция межкадрового предсказания

244 секция синхронизации области

245 секция повышающей дискретизации

271 буфер информации разделения области базового уровня

272 буфер информации разделения области усовершенствованного уровня

273 секция декодирования информации синхронизации области.

Изобретение относится к области кодирования и декодирования изображений. Технический результат – обеспечение понижения нагрузки при декодировании изображения посредством предотвращения числа доступов к памяти, за счет указания конкретной области из множества областей базового уровня в информации управления. Устройство декодирования изображения содержит: секцию приема, выполненную с возможностью приема кодированных данных определенной области текущего уровня данных изображения и приема информации управления, используемой для управления областью другого уровня данных изображения, причем другой уровень закодирован для каждой из множества областей, полученных делением кадра данных изображения; и секцию декодирования, выполненную с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию конкретной области из множества областей другого уровня в соответствии с информацией управления, принятой секцией приема. 2 н. и 14 з.п. ф-лы, 57 ил.

1. Устройство декодирования изображения, содержащее:

секцию приема, выполненную с возможностью приема кодированных данных определенной области текущего уровня данных изображения и приема информации управления, используемой для управления областью другого уровня данных изображения, причем другой уровень закодирован для каждой из множества областей, полученных делением кадра данных изображения; и

секцию декодирования, выполненную с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию конкретной области из множества областей другого уровня в соответствии с информацией управления, принятой секцией приема.

2. Устройство декодирования изображения по п. 1, в котором информация управления выполнена с возможностью определения области другого уровня, в которой разрешается ссылка на информацию, относящуюся к кодированию указанного другого уровня.

3. Устройство декодирования изображения по п. 1, в котором информация управления выполнена с возможностью указания области другого уровня, в которой запрещена ссылка на информацию, относящуюся к кодированию указанного другого уровня.

4. Устройство декодирования изображения по п. 1, в котором информация управления выполнена с возможностью определения области, в которой ссылаются на информацию, относящуюся к кодированию указанного другого уровня.

5. Устройство декодирования изображения по любому из пп. 2-4, в котором информация управления выполнена с возможностью указания области с использованием идентификационного номера, выделенного в порядке растрового сканирования.

6. Устройство декодирования изображения по любому из пп. 2-4, в котором информация управления выполнена с возможностью указания области с использованием информации, указывающей позицию области в кадре.

7. Устройство декодирования изображения по п. 1, в котором секция приема дополнительно выполнена с возможностью приема информации, указывающей, аналогично ли разделение области текущего уровня разделению области указанного другого уровня.

8. Устройство декодирования изображения по п. 1, в котором секция приема выполнена с возможностью приема информации определения информации управления, служащей в качестве информации, используемой для управления, передавать ли информацию управления, и приема информации управления на основании информации определения информации управления.

9. Устройство декодирования изображения по п. 1, в котором секция приема дополнительно выполнена с возможностью приема информации, указывающей, осуществляется ли управление областью указанного другого уровня, в которой ссылаются на информацию, относящуюся к кодированию.

10. Устройство декодирования изображения по п. 1, в котором информация, относящаяся к кодированию, представляет собой информацию, используемую для генерирования изображения предсказания, используемого при декодировании данных изображения.

11. Устройство декодирования изображения по п. 10, в котором информация, используемая для генерирования изображения предсказания, включает в себя информацию, используемую для предсказания текстуры данных изображения, и информацию, используемую для предсказания синтаксиса данных изображения, а

информация управления является информацией, используемой для независимого управления областью указанного другого уровня, в которой ссылаются на информацию, используемую для предсказания текстуры, и областью, в которой ссылаются на информацию, используемую для предсказания синтаксиса.

12. Устройство декодирования изображения по п. 1, в котором секция приема выполнена с возможностью приема кодированных данных, закодированных для каждой из множества определенных областей, полученных посредством деления кадра текущего уровня данных изображения, и информации управления для каждой из множества областей, а

секция декодирования выполнена с возможностью декодирования кодированных данных, принятых с помощью секции приема со ссылкой на информацию, относящуюся к кодированию конкретной области из множества областей указанного другого уровня для каждой из множества областей, в соответствии с информацией управления каждой из множества областей.

13. Устройство декодирования изображения по п. 1, в котором область представляет собой срез или плитку данных изображения.

14. Устройство декодирования изображения по п. 1, в котором секция декодирования выполнена с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию только областей другого уровня, отличных от запрещенной области указанного другого уровня.

15. Устройство декодирования изображения по п. 1, в котором секция декодирования выполнена с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию, ограниченную для конкретной области из множества областей другого уровня в соответствии с информацией управления, принятой секцией приема.

16. Способ декодирования изображения, содержащий этапы, на которых:

принимают кодированные данные определенной области текущего уровня данных изображения,

принимают информацию управления, используемую для управления областью другого уровня данных изображения, причем другой уровень кодирован для каждой из множества областей, полученных посредством деления кадра данных изображения; и

декодируют кодированные данные со ссылкой на информацию, относящуюся к кодированию конкретной области из множества областей другого уровня, в соответствии с управлением принятой информации управления.