СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК H04N19/50 G06T9/00 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к способу кодирования изображений, способу декодирования изображений, устройству кодирования изображений, устройству декодирования изображений и устройству кодирования и декодирования изображений.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] H.264 широко известен в качестве стандартизованного способа кодирования изображений. В таком способе кодирования изображений используются секции в качестве методики разделения и кодирования изображения. Используя секции, устройство декодирования изображений может независимо декодировать соответствующие секции, включенные в изображение.

[0003] Кроме того, в последние годы методика кодирования, названная фрагментами, предложена в качестве новой методики для разделения и кодирования изображения (см., например, Непатентную литературу 1).

СПИСОК ИСТОЧНИКОВ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0004] [NPL 1] "Tiles" (JCTVC-F355) 6-ое заседание Объединенной группы по кодированию видеосигнала (JCT-VC) в ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11: Турин, IT, 14-22 июля 2011 г.

[NPL 2] "New results for parallel decoding for Tiles" (JCTVC-F594) 6-ое заседание Объединенной группы по кодированию видеосигнала (JCT-VC) в ITU-T SG16 WP3 и ISO/IEC JTC1/SC29/WG11: Турин, IT, 14-22 июля 2011 г.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0005] К такому способу кодирования изображений и способу декодирования изображений предъявлены требования к уменьшению нагрузки по обработке и повышению эффективности кодирования.

[0006] В связи с этим настоящее изобретение имеет целью предоставить способы кодирования изображений и способы декодирования изображений, которые допускают уменьшение нагрузки по обработке и повышение эффективности кодирования.

РЕШЕНИЕ ПРОБЛЕМЫ

[0007] Способ кодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: разделение изображения на фрагменты; кодирование фрагментов для формирования порций кодированных данных, каждая из которых соответствует разному фрагменту из тех фрагментов; и формирование потока двоичных сигналов, включающего в себя порции кодированных данных, причем кодирование фрагментов включает в себя: формирование первой кодовой цепочки путем кодирования первого фрагмента, который является одним из фрагментов, без обращения к информации кодирования, используемой при кодировании другого фрагмента из тех фрагментов; и добавление битовой строки после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2.

[0008] Следует отметить, что эти общие и специфические аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или машиночитаемого носителя записи, например CD-ROM, или любого сочетания систем, способов, интегральных схем, компьютерных программ или машиночитаемых носителей записи.

ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

[0009] Настоящее изобретение предоставляет способ кодирования изображений и способ декодирования изображений, которые допускают уменьшение нагрузки по обработке и повышение эффективности кодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0010] Фиг. 1 - блок-схема устройства кодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 2 - блок-схема последовательности операций разделения картинки в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 3A - схема, показывающая пример шаблона разделения на фрагменты в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 3B - схема, показывающая пример шаблона разделения на фрагменты в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 3C - схема, показывающая пример шаблона разделения на фрагменты в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 4A - схема, показывающая пример информации о независимости границ фрагмента в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 4B - схема, показывающая пример информации о независимости границ фрагмента в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 5 - блок-схема устройства декодирования изображений в соответствии с Вариантом 1 осуществления настоящего изобретения.

Фиг. 6 - блок-схема устройства кодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 7A - схема, показывающая пример порядка сканирования фрагментов в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 7B - схема, показывающая пример порядка сканирования фрагментов в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 7C - схема, показывающая пример порядка сканирования фрагментов в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 7D - схема, показывающая пример порядка сканирования фрагментов в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 8 - блок-схема устройства декодирования изображений в соответствии с Вариантом 2 осуществления настоящего изобретения.

Фиг. 9 - блок-схема устройства кодирования изображений в соответствии с Вариантом 3 осуществления настоящего изобретения.

Фиг. 10 - блок-схема последовательности операций процесса вставки маркера в соответствии с Вариантом 3 осуществления настоящего изобретения.

Фиг. 11 - блок-схема устройства декодирования изображений в соответствии с Вариантом 3 осуществления настоящего изобретения.

Фиг. 12 - блок-схема устройства кодирования изображений в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 13A - блок-схема последовательности операций для способа кодирования изображений в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 13B - блок-схема последовательности операций для кодирования в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 14 - схема, показывающая выравнивание байтов в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 15 - блок-схема устройства декодирования изображений в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 16A - блок-схема последовательности операций для способа декодирования изображений в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 16B - блок-схема последовательности операций для декодирования в соответствии с Вариантом 4 осуществления настоящего изобретения.

Фиг. 17A - схема, показывающая пример шаблона разделения на фрагменты.

Фиг. 17B - схема, показывающая порядок обработки блоков, включенных во фрагмент.

Фиг. 18 - схема общей конфигурации системы предоставления контента для реализации услуг распространения контента.

Фиг. 19 - схема общей конфигурации системы цифрового вещания.

Фиг. 20 - блок-схема, показывающая пример конфигурации телевизора.

Фиг. 21 - блок-схема, показывающая пример конфигурации блока воспроизведения/записи информации, который считывает и записывает информацию с носителя записи или на него, который является оптическим диском.

Фиг. 22 - схема, показывающая пример конфигурации носителя записи, который является оптическим диском.

Фиг. 23A - схема, показывающая пример сотового телефона.

Фиг. 23B - блок-схема, показывающая пример конфигурации сотового телефона.

Фиг. 24 - схема, иллюстрирующая структуру мультиплексированных данных.

Фиг. 25 - схема, схематически иллюстрирующая, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 26 - схема, подробнее иллюстрирующая, как видеопоток сохраняется в потоке пакетов PES.

Фиг. 27 - схема, иллюстрирующая структуру пакетов TS и исходных пакетов в мультиплексированных данных.

Фиг. 28 - схема, иллюстрирующая структуру данных PMT.

Фиг. 29 - схема, иллюстрирующая внутреннюю структуру информации о мультиплексированных данных.

Фиг. 30 - схема, иллюстрирующая внутреннюю структуру информации об атрибутах потока.

Фиг. 31 - схема, иллюстрирующая этапы для идентификации видеоданных.

Фиг. 32 - блок-схема, иллюстрирующая пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений в соответствии с каждым из вариантов осуществления.

Фиг. 33 - схема, иллюстрирующая конфигурацию для переключения между частотами возбуждения.

Фиг. 34 - схема, иллюстрирующая этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 35 - схема, иллюстрирующая пример справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения.

Фиг. 36A - схема, иллюстрирующая пример конфигурации для совместного использования модуля в блоке обработки сигналов.

Фиг. 36B - схема, иллюстрирующая другой пример конфигурации для совместного использования модуля в блоке обработки сигналов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0011] (Основные сведения, образующие основу настоящего изобретения)

Сначала будут описываться фрагменты с использованием фиг. 17A и фиг. 17B.

[0012] Изображение (картинка) разделяется на произвольное количество столбцов и строк. Тогда каждая область, которая окружена границами, называется фрагментом.

[0013] Фиг. 17A показывает пример, в котором изображение (картинка) разделяется на три столбца и три строки. В результате этого разделения в изображении присутствуют девять фрагментов T1-T9. Ширину столбца можно установить в разное значение на каждый столбец с наибольшим блоком кодирования (LCU) в качестве единицы. Кроме того, для всех столбцов также можно установить одинаковую ширину. Таким же образом высоту строки (вертикальную ширину фрагментов) можно установить в разное значение на каждую строку с LCU в качестве единицы. Кроме того, для всех строк также можно установить одинаковую высоту.

[0014] При кодировании изображения фрагменты обрабатываются в порядке растрового сканирования в изображении. В частности, фрагменты обрабатываются в числовом порядке от фрагмента T1 в верхнем левом углу к T2, T3 и до T9 в нижнем правом углу.

[0015] Фиг. 17B показывает пример LCU, включенных в соответствующие фрагменты. Каждый из фрагментов включает в себя один или несколько LCU. Например, фрагмент T1 включает в себя 16 LCU от номера 1 до номера 15. При кодировании изображения LCU обрабатываются в порядке растрового сканирования в изображении. Как описано выше, фрагменты обрабатываются в порядке растрового сканирования в изображении, и LCU соответственно обрабатываются в порядке, например от номера 1 до номера 53, как показано на фиг. 17B.

[0016] Таким образом, когда изображение разделяется на фрагменты, существуют случаи, где порядок обработки LCU меняется по сравнению с тем, когда изображение не разделяется. С другой стороны, когда изображение разделяется на секции, порядок обработки LCU не изменяется по сравнению с тем, когда изображение не разделяется. Таким образом, использование фрагментов допускает произвольное разделение и оптимальное задание порядка обработки, и соответственно можно повысить эффективность кодирования по сравнению с тем, когда используются секции.

[0017] Кроме того, при кодировании текущего LCU, который нужно обработать, обычно используется информация кодирования о соседних LCU текущего LCU. Например, при внутреннем предсказании и предсказании вектора движения обращаются к информации о соседних LCU текущего LCU, и такая информация используется при кодировании текущего LCU. Другими словами, текущий LCU зависит от соседних LCU. Обычно точность предсказания увеличивается с большим количеством LCU, которые могут использоваться в качестве эталона. Соответственно, повышается эффективность кодирования. Однако LCU, который зависит от другого LCU, нельзя декодировать отдельно от LCU, от которого он зависит.

[0018] Кроме того, предоставляется флаг (флаг независимости границ фрагмента: tile_boundary_independence_idc), указывающий отношение зависимости кодирования на границе фрагментов. Этому флагу независимости границ фрагмента выделяется 1 бит. К тому же флаг независимости границ фрагмента отправляется в устройство декодирования изображений путем его включения в набор параметров последовательности (SPS) или набор параметров изображения (PPS).

[0019] Когда флаг независимости границ фрагмента установлен, соответствующие фрагменты являются независимыми. В частности, при кодировании некоторого LCU во фрагменте невозможно обратиться к информации кодирования о LCU за границами фрагмента, и только информация кодирования о LCU внутри фрагмента используется при предсказании. В отличие от этого, когда флаг независимости границ фрагмента снят, соответствующие фрагменты состоят в отношении зависимости. Другими словами, при кодировании может использоваться информация о всех LCU, включенных во фрагмент, в который включается текущий LCU и другие фрагменты, которые состоят в используемом отношении.

[0020] Следует отметить, что фрагмент может включать в себя более одной секции, а секция может включать в себя более одного фрагмента. Однако, когда секция включает в себя более одного фрагмента, LCU, принадлежащие одной и той же секции, присутствуют в многочисленных фрагментах. В результате нельзя сохранить независимость кодирования у пар фрагментов, и флаг независимости границ фрагмента должен быть снят.

[0021] К такому способу кодирования изображений и способу декодирования изображений предъявлены требования к уменьшению нагрузки по обработке и повышению эффективности кодирования.

[0022] В связи с этим способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений, которые допускают уменьшение нагрузки по обработке или повышение эффективности кодирования, будут описываться в этих вариантах осуществления.

[0023] Чтобы решить такую проблему, способ кодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: разделение изображения на фрагменты; кодирование фрагментов для формирования порций кодированных данных, каждая из которых соответствует разному фрагменту из тех фрагментов; и формирование потока двоичных сигналов, включающего в себя порции кодированных данных, причем кодирование фрагментов включает в себя: формирование первой кодовой цепочки путем кодирования первого фрагмента, который является одним из фрагментов, без обращения к информации кодирования, используемой при кодировании другого фрагмента из тех фрагментов; и добавление битовой строки после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2.

[0024] Соответственно, кодированные данные каждого фрагмента становятся кратными заранее установленному количеству битов. Поэтому становится проще оперировать кодированными данными в устройстве декодирования изображений. Кроме того, устройство декодирования изображений может легко идентифицировать начальное положение кодированных данных фрагмента. Таким образом, способ кодирования изображений может уменьшить нагрузку по обработке в устройстве декодирования изображений.

[0025] Например, формирование первой кодовой цепочки может включать в себя выполнение арифметического кодирования для формирования первой кодовой цепочки, и при выполнении арифметического кодирования может выполняться завершение, которое закрывает первую кодовую цепочку.

[0026] Соответственно, устройство декодирования изображений может независимо оперировать кодированными данными каждого фрагмента.

[0027] Например, при разделении границы между фрагментами можно классифицировать на первую границу или вторую границу, при кодировании фрагментов каждый фрагмент можно кодировать путем обращения к информации кодирования фрагмента, расположенного на первой границе, без обращения к информации кодирования фрагмента, расположенного на второй границе, среди кодированных фрагментов, соседних с каждым фрагментом, и при формировании потока двоичных сигналов может формироваться поток двоичных сигналов, включающий в себя информацию о независимости границ фрагмента, причем информация о независимости границ фрагмента указывает, является ли каждая из границ первой границей или второй границей.

[0028] Соответственно, отношения зависимости для пар фрагментов устанавливаются на основе границ фрагмента. Поэтому эффективность кодирования повышается по сравнению с тем, когда отношения зависимости пар фрагментов устанавливаются, например, на основе изображения.

[0029] Например, информация о независимости границ фрагмента может включаться в набор параметров изображения или набор параметров последовательности, включенные в поток двоичных сигналов.

[0030] Например, при разделении может определяться порядок кодирования фрагментов, при кодировании фрагментов фрагменты можно кодировать в определенном порядке кодирования, и при формировании потока двоичных сигналов может формироваться поток двоичных сигналов, включающий в себя информацию о порядке обработки фрагментов, указывающую порядок кодирования.

[0031] Соответственно, порядок декодирования фрагментов в устройстве декодирования изображений может устанавливаться произвольно. Поэтому, например, среди изображений областей, включенных в изображение, изображение области, имеющей высокий приоритет, можно декодировать раньше в устройстве декодирования изображений.

[0032] Например, информация о порядке обработки фрагментов может включаться в набор параметров изображения или набор параметров последовательности, включенные в поток двоичных сигналов.

[0033] Например, при формировании потока двоичных сигналов маркер можно вставлять только на границе данных, для которой граница между двумя из фрагментов, соответствующих двум порциям кодированных данных, расположенных на противоположных сторонах границы данных, является второй границей среди границ данных порций кодированных данных, при этом маркер идентифицирует границу данных.

[0034] Соответственно, способ кодирования изображений может повысить эффективность кодирования по сравнению с тем, когда маркеры вставляются на всех границах фрагментов.

[0035] Кроме того, способ декодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: получение порций кодированных данных, включенных в поток двоичных сигналов и сформированных путем кодирования фрагментов, полученных путем разделения изображения; и декодирование порций кодированных данных для формирования данных изображения фрагментов, причем декодирование порций кодированных данных включает в себя: формирование данных изображения первого фрагмента, который является одним из фрагментов, путем декодирования первой кодовой цепочки, включенной в первые кодированные данные, без обращения к информации декодирования, используемой при декодировании другого из фрагментов, причем первые кодированные данные являются одной из порций кодированных данных; и пропуск заранее установленной битовой строки, расположенной после первой кодовой цепочки в первых кодированных данных.

[0036] Соответственно, способ декодирования изображений может легко идентифицировать начальное положение кодированных данных фрагмента. Таким образом, способ декодирования изображений может уменьшить нагрузку по обработке в устройстве декодирования изображений.

[0037] Например, формирование данных изображения может включать в себя выполнение арифметического декодирования над первой кодовой цепочкой, а выполнение арифметического декодирования может включать в себя выполнение завершения перед пропуском, которое заканчивает арифметическое декодирование над первой кодовой цепочкой.

[0038] Соответственно, устройство декодирования изображений может независимо оперировать кодированными данными каждого фрагмента.

[0039] Например, декодирование порций кодированных данных может включать в себя формирование данных изображения второго фрагмента, который является одним из фрагментов, путем декодирования второй кодовой цепочки, включенной во вторые кодированные данные, которые располагаются после первых кодированных данных в порциях кодированных данных.

[0040] Кроме того, устройство кодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: блок разделения, сконфигурированный для разделения изображения на фрагменты; блок кодирования, сконфигурированный для кодирования фрагментов для формирования порций кодированных данных, каждая из которых соответствует разному фрагменту из тех фрагментов; и блок формирования потока двоичных сигналов, сконфигурированный для формирования потока двоичных сигналов, включающего в себя порции кодированных данных, причем блок кодирования конфигурируется для: формирования первой кодовой цепочки путем кодирования первого фрагмента, который является одним из фрагментов, без обращения к информации кодирования, используемой при кодировании другого фрагмента из тех фрагментов; и добавления битовой строки после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2.

[0041] Соответственно, кодированные данные каждого фрагмента становятся кратными заранее установленному количеству битов. Поэтому становится проще оперировать кодированными данными в устройстве декодирования изображений. Кроме того, устройство декодирования изображений может легко идентифицировать начальное положение кодированных данных фрагмента. Таким образом, устройство кодирования изображений допускает уменьшение нагрузки по обработке в устройстве декодирования изображений.

[0042] Кроме того, устройство декодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: блок анализа, сконфигурированный для получения порций кодированных данных, включенных в поток двоичных сигналов и сформированных путем кодирования фрагментов, полученных путем разделения изображения; и блок декодирования, сконфигурированный для декодирования кодированных данных, чтобы сформировать данные изображения фрагментов, причем блок декодирования конфигурируется для: формирования данных изображения первого фрагмента, который является одним из фрагментов, путем декодирования первой кодовой цепочки, включенной в первые кодированные данные, без обращения к информации декодирования, используемой при декодировании другого из фрагментов, причем первые кодированные данные являются одной из порций кодированных данных; и пропуска заранее установленной битовой строки, расположенной после первой кодовой цепочки в первых кодированных данных.

[0043] Соответственно, устройство декодирования изображений допускает простую идентификацию начального положения кодированных данных фрагмента. Таким образом, устройство декодирования изображений допускает уменьшение нагрузки по обработке.

[0044] Кроме того, устройство кодирования и декодирования изображений в соответствии с аспектом настоящего изобретения включает в себя: устройство кодирования изображений; и устройство декодирования изображений.

[0045] Следует отметить, что эти общие и специфические аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или машиночитаемого носителя записи, например CD-ROM, или любого сочетания систем, способов, интегральных схем, компьютерных программ или машиночитаемых носителей записи.

[0046] Ниже будут описываться варианты осуществления настоящего изобретения со ссылкой на чертежи.

[0047] Нужно отметить, что каждый из описанных ниже вариантов осуществления показывает общий или специфический пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.п., показанные в нижеследующих вариантах осуществления, являются всего лишь примерами и поэтому не ограничивают настоящее изобретение. Поэтому среди структурных элементов в нижеследующих типовых вариантах осуществления структурные элементы, не перечисленные ни в одном из независимых пунктов формулы изобретения, задающих самую общую идею, описываются как произвольные структурные элементы.

[0048] ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ

Как описано выше, когда отношения зависимости пар фрагментов устанавливаются на основе изображения, отношения зависимости у всех пар фрагментов в изображении разрываются в соответствии с такой установкой. При этом авторы изобретения обнаружили, что существует проблема в том, что ухудшается эффективность кодирования.

[0049] В отличие от этого в устройстве кодирования изображений в соответствии с этим вариантом осуществления отношения зависимости пар фрагментов устанавливаются на основе границ фрагмента. При этом устройство кодирования изображений допускает повышение эффективности кодирования по сравнению с тем, когда отношения зависимости пар фрагментов устанавливаются на основе изображения.

[0050] Фиг. 1 - блок-схема, показывающая конфигурацию устройства 100 кодирования изображений, которое использует способ кодирования изображений в соответствии с этим вариантом осуществления.

[0051] Устройство 100 кодирования изображений, показанное на фиг. 1, кодирует сигнал 120 входного изображения, чтобы сформировать кодированный сигнал 134 изображения. Устройство 100 кодирования изображений включает в себя блок 115 кодирования, блок 112 управления разделением изображения и блок 114 мультиплексирования. Кроме того, блок 115 кодирования включает в себя вычитающее устройство 101, блок 102 ортогонального преобразования, блок 103 квантования, блок 104 обратного квантования, блок 105 обратного ортогонального преобразования, сумматор 106, запоминающее устройство 107 блоков, запоминающее устройство 108 кадров, блок 109 внутреннего предсказания, блок 110 внешнего предсказания, блок 111 определения типа изображения и блок 113 кодирования переменной длины.

[0052] Блок 112 управления разделением изображения, который является примером блока разделения, разделяет изображение более чем на один фрагмент и определяет отношение зависимости пар фрагментов на соответствующих границах фрагментов. Потом блок 112 управления разделением изображения передает в блок 114 мультиплексирования информацию 135 о разделении изображения, которая является информацией о разделении на фрагменты. В частности, информация 135 о разделении изображения указывает шаблон разделения изображения и отношения зависимости пар фрагментов.

[0053] Кроме того, блок 112 управления разделением изображения передает информацию 135 о разделении изображения в блок 114 мультиплексирования как часть набора параметров последовательности (SPS) или набора параметров изображения (PPS). Набор параметров изображения является набором параметров, соответствующим заголовку изображения. Набор параметров последовательности является набором параметров, соответствующим заголовку, который может использоваться совместно для одного или нескольких изображений. Набор параметров изображения включает в себя тип кодирования переменной длины, начальное значение шага квантования, количество контрольных изображений и так далее. Набор параметров последовательности включает в себя максимальное количество изображений, к которому можно обращаться, размер изображения, информацию по отображению видеоизображения (VUI: Информация об используемости видеоизображения) и так далее.

[0054] Кроме того, блок 112 управления разделением изображения формирует на основе шаблона разделения изображения и отношений зависимости пар фрагментов управляющий сигнал 132 разделения для управления блоком 109 внутреннего предсказания, блоком 110 внешнего предсказания и блоком 113 кодирования переменной длины.

[0055] Блок 115 кодирования кодирует сигнал 120 входного изображения, чтобы сформировать кодированные данные 133.

[0056] Вычитающее устройство 101 вычисляет разность между данными 131 предсказанного изображения, сформированными блоком обработки, описанным позже, и сигналом 120 входного изображения, чтобы сформировать данные 121 ошибки предсказания. Блок 102 ортогонального преобразования преобразует данные 121 ошибки предсказания из области изображения в частотную область, чтобы сформировать коэффициенты 122 преобразования. Блок 103 квантования квантует коэффициенты 122 преобразования, чтобы сформировать квантованные коэффициенты 123.

[0057] Блок 104 обратного квантования обратно квантует квантованные коэффициенты 123, чтобы сформировать преобразованные коэффициенты 124. Блок 105 обратного ортогонального преобразования преобразует преобразованные коэффициенты 124 из частотной области в область изображения, чтобы сформировать данные 125 ошибки предсказания. Сумматор 106 складывает данные 131 предсказанного изображения и данные 125 ошибки предсказания, чтобы сформировать декодированные данные 126 изображения. Запоминающее устройство 107 блоков сохраняет декодированные данные 126 изображения в блоках в качестве декодированных данных 127 изображения. Запоминающее устройство 108 кадров сохраняет декодированные данные 126 изображения в кадрах в качестве декодированных данных 128 изображения.

[0058] Блок 109 внутреннего предсказания выполняет внутреннее предсказание с использованием единичного блока декодированных данных 127 изображения, сохраненных в запоминающем устройстве 107 блоков, чтобы сформировать данные 129 предсказанного изображения текущего блока. Кроме того, блок 109 внутреннего предсказания обнаруживает отношения зависимости пар фрагментов на основе управляющего сигнала 132 разделения, отправленного из блока 112 управления разделением изображения. Затем блок 109 внутреннего предсказания выполняет внутреннее предсказание без использования информации изображения о блоке, включенном во фрагмент, чье отношение зависимости с текущим фрагментом, который нужно обработать, разрывается.

[0059] Блок 110 внешнего предсказания выполняет внешнее предсказание с использованием единичного кадра декодированных данных 128 изображения, сохраненных в запоминающем устройстве 108 кадров, чтобы сформировать данные 130 предсказанного изображения текущего блока. Кроме того, блок 110 внешнего предсказания обнаруживает отношения зависимости пар фрагментов на основе управляющего сигнала 132 разделения, отправленного из блока 112 управления разделением изображения. Затем блок 110 внешнего предсказания выполняет предсказание вектора движения без использования информации вектора движения о блоке, включенном во фрагмент, чье отношение зависимости с текущим фрагментом разрывается.

[0060] Блок 113 кодирования переменной длины выполняет кодирование переменной длины над квантованными коэффициентами 123, чтобы сформировать кодированные данные 133. Блок 113 кодирования переменной длины обнаруживает отношения зависимости пар фрагментов на основе управляющей информации 132 разделения, отправленной из блока 112 управления разделением изображения. К тому же блок 113 кодирования переменной длины сбрасывает энтропийное кодирование на границе фрагмента, на которой отношение зависимости разрывается.

[0061] Блок 114 мультиплексирования, который является примером блока формирования потока двоичных сигналов, получает набор параметров изображения или набор параметров последовательности, который включается в информацию 135 о разделении изображения, и мультиплексирует параметры кодированными данными 133, чтобы сформировать поток 134 двоичных сигналов.

[0062] Ниже будет описываться процесс разделения изображения на фрагменты в соответствии с блоком 112 управления разделением изображения. Фиг. 2 - блок-схема последовательности операций разделения изображения блоком 112 управления разделением изображения в соответствии с этим вариантом осуществления.

[0063] Сначала блок 112 управления разделением изображения определяет количество столбцов, которое является количеством столбцов фрагментов (этап S101). Далее блок 112 управления разделением изображения определяет количество строк, которое является количеством строк фрагментов (этап S102). Затем блок 112 управления разделением изображения определяет, равны ли 1 определенное количество столбцов и количество строк (этап S103). В частности, блок 112 управления разделением изображения определяет, можно ли разделить изображение на фрагменты. Когда количество столбцов и количество строк равны 1 (Да на этапе S103), то есть когда изображение нельзя разделить на фрагменты, блок 112 управления разделением изображения завершает процесс.

[0064] С другой стороны, когда по меньшей мере одно из количества столбцов и количества строк равно 2 или больше (Нет на этапе S103), то есть когда изображение можно разделить на фрагменты, блок 112 управления разделением изображения определяет отношение зависимости кодирования на границе фрагмента и формирует информацию о независимости границ фрагмента, указывающую определенное отношение зависимости (этап S104).

[0065] Далее блок 112 управления разделением изображения определяет ширину каждого столбца (горизонтальную ширину фрагментов) с использованием Наибольшего блока кодирования в качестве единицы. В частности, сначала блок 112 управления разделением изображения определяет, устанавливать ли одинаковую ширину для всех столбцов, включенных в изображение (этап S105). Когда ширины всех столбцов устанавливаются одинаковыми (Да на этапе S105), блок 112 управления разделением изображения устанавливает флаг одинаковой ширины столбцов в "1" (этап S106). С другой стороны, когда ширины столбцов в изображении отличаются (Нет на этапе S105), блок 112 управления разделением изображения устанавливает флаг одинаковой ширины столбцов в "0" (этап S107) и определяет ширину для каждого столбца (этап S108).

[0066] Далее блок 112 управления разделением изображения определяет высоту строк с LCU в качестве единицы. В частности, сначала блок 112 управления разделением изображения определяет, устанавливать ли одинаковую высоту всем строкам, включенным в изображение (этап S109). Когда высоты всех строк одинаковы (Да на этапе S109), блок 112 управления разделением изображения устанавливает флаг одинаковой высоты строк в "1" (этап S110). С другой стороны, когда высоты строк в изображении отличаются (Нет на этапе S109), блок 112 управления разделением изображения устанавливает флаг одинаковой высоты строк в "0" (этап S111) и определяет высоту для каждой строки (этап S112).

[0067] Таким образом блок 112 управления разделением изображения разделяет изображение на фрагменты. Затем блок 112 управления разделением изображения формирует информацию 135 о разделении изображения, которая включает в себя информацию, указывающую шаблон разделения изображения, а также информацию о независимости границ фрагмента, и передает в блок 114 мультиплексирования сформированную информацию 135 о разделении изображения как часть набора параметров последовательности (SPS) или набора параметров изображения (PPS). Здесь информация, указывающая шаблон разделения изображения, включает в себя, например, количество столбцов, количество строк, флаг одинаковой ширины столбцов и флаг одинаковой высоты строк. Кроме того, такая информация при необходимости включает в себя ширину столбца или высоту строки.

[0068] Фиг. 3A - 3C являются схемами, показывающими примеры шаблонов при разделении изображения на фрагменты. Пунктирная линия на фиг. 3A - 3C указывает, что фрагменты по обеим сторонам границы являются зависимыми, а сплошная линия указывает, что фрагменты по обеим сторонам границы фрагмента являются независимыми друг от друга, то есть их отношение зависимости разрывается. В частности, когда два фрагмента состоят в отношении зависимости, устройство 100 кодирования изображений кодирует один из фрагментов путем обращения к информации кодирования другого фрагмента. Кроме того, когда два фрагмента являются независимыми друг от друга, устройство 100 кодирования изображений кодирует один из фрагментов без обращения к информации кодирования другого фрагмента. Здесь информация кодирования является информацией, которая используется при кодировании, и в частности является информацией о пикселе (значением пикселя) при внутреннем предсказании, а также информацией вектора движения при внешнем предсказании. В последующем описании, когда два фрагмента состоят в отношении зависимости, говорят, что два фрагмента (пара фрагментов) являются зависимыми, а когда отношение зависимости между двумя фрагментами разрывается, говорят, что два фрагмента (пара фрагментов) являются независимыми. Кроме того, когда фрагменты по обеим сторонам границы являются зависимыми, граница считается зависимой, а когда фрагменты по обеим сторонам границы фрагмента являются независимыми, граница считается независимой.

[0069] На фиг. 3A пары фрагментов в вертикальном направлении (например, пара T1 и T4) являются зависимыми, а пары фрагментов в горизонтальном направлении (например, пара T1 и T2) являются независимыми. Кроме того, отношение зависимости фрагментов на границе фрагмента указывается с использованием информации о независимости границ фрагмента, для которой выделяется 2 бита. Например, первый бит указывает отношения зависимости пар фрагментов в горизонтальном направлении, а второй бит указывает отношения зависимости пар фрагментов в вертикальном направлении. Бит устанавливается в "1", когда фрагменты являются независимыми, и бит устанавливается в "0", когда фрагменты являются зависимыми. В этом случае информацией о независимости границ фрагмента для фиг. 3A является "0b10".

[0070] На фиг. 3B фрагменты в горизонтальном направлении являются независимыми, и фрагменты в вертикальном направлении являются независимыми. Поэтому информацией о независимости границ фрагмента является "0b01". Следует отметить, что информацией о независимости границ фрагмента является "0x11", когда все пары фрагментов являются независимыми, и информацией о независимости границ фрагмента является "0b00", когда все пары фрагментов являются зависимыми.

[0071] На фиг. 3C отношение зависимости пар фрагментов отличается на каждой границе фрагмента. Даже для пар фрагментов в вертикальном направлении фрагмент T1 и фрагмент T4 являются независимыми, тогда как фрагмент T2 и T5 являются зависимыми. Следует отметить, что фиг. 3(c) является одним примером, и отношение зависимости пар фрагментов во время кодирования и декодирования может задаваться произвольно для каждой границы соседних фрагментов.

[0072] Фиг. 4A и фиг. 4B - схемы, показывающие информацию о независимости границ фрагмента при установке отношений зависимости пар фрагментов на основе границ фрагмента. Информация 140 о независимости границ фрагмента, показанная на фиг. 4A, включает в себя: 1 бит информации 141 об общей зависимости, указывающей общее отношение зависимости пар фрагментов; несколько битов ((количество столбцов −1)× количество строк) информации 142 о горизонтальной зависимости, указывающей отношение зависимости пар фрагментов в горизонтальном направлении; и несколько битов (количество столбцов × (количество строк − 1)) информации 143 о вертикальной зависимости, указывающей отношение зависимости пар фрагментов в вертикальном направлении. Кроме того, фиг. 4A и фиг. 4B являются примерами информации о независимости границ фрагмента в случае отношения зависимости, показанного на фиг. 3C.

[0073] Соответствующие биты, включенные в информацию 142 о горизонтальной зависимости, указывают последовательно от начального бита отношение зависимости между T1 и T2, отношение зависимости между T2 и T3, отношение зависимости между T3 и T4, отношение зависимости между T4 и T5, отношение зависимости между T5 и T6, отношение зависимости между T6 и T7, отношение зависимости между T7 и T8 и отношение зависимости между T8 и T9. Кроме того, соответствующие биты, включенные в информацию 143 о вертикальной зависимости, указывают последовательно от начального бита отношение зависимости между T1 и T4, отношение зависимости между T2 и T5, отношение зависимости между T3 и T6, отношение зависимости между T4 и T7, отношение зависимости между T5 и T8 и отношение зависимости между T6 и T9.

[0074] В примере на фиг. 3C, поскольку T2 и T5 и T5 и T8 являются зависимыми, второй бит и пятый бит от начального бита в информации 143 о вертикальной зависимости устанавливаются в "0" в информации 140 о независимости границ фрагмента, показанной на фиг. 4A. Следует отметить, что когда все пары фрагментов являются независимыми, 1 начальный бит в информации 141 об общей зависимости устанавливается в "1", а информация 142 о горизонтальной зависимости и информация 143 о вертикальной зависимости исключаются.

[0075] Фиг. 4B - схема, показывающая другой пример информации о независимости границ фрагмента. Информация 145 о независимости границ фрагмента, показанная на фиг. 4B, включает в себя: 2 бита информации 146 об общей зависимости, указывающей отношения зависимости пар фрагментов; несколько битов ((количество столбцов − 1) × количество строк) информации 142 о горизонтальной зависимости, указывающей отношения зависимости пар фрагментов в горизонтальном направлении; и несколько битов (количество столбцов × (количество строк − 1)) информации 143 о вертикальной зависимости, указывающей отношения зависимости пар фрагментов в вертикальном направлении. Здесь два начальных бита информации 145 о независимости границ фрагмента являются информацией о независимости границ фрагмента, используемой на фиг. 3A и фиг. 3B. В частности, первый бит в информации 145 о независимости границ фрагмента указывает отношения зависимости пар фрагментов в горизонтальном направлении, а второй бит указывает отношения зависимости пар фрагментов в вертикальном направлении. Следует отметить, что информация 142 о горизонтальной зависимости и информация 143 о вертикальной зависимости являются такими же, как описаны на фиг. 4A. В примере на фиг. 3C пары фрагментов в горизонтальном направлении являются независимыми. Поэтому информацией 146 об общей зависимости является "0b10". Кроме того, поскольку пары фрагментов в горизонтальном направлении являются независимыми, информация 142 о горизонтальной зависимости исключается. В частности, когда отношение зависимости между всеми парами фрагментов в горизонтальном направлении является независимым в информации 145 о независимости границ фрагмента, показанной на фиг. 4B, информация 142 о горизонтальной зависимости исключается. Кроме того, когда отношение зависимости между всеми парами фрагментов в вертикальном направлении является независимым, информация 143 о вертикальной зависимости исключается. При этом можно уменьшить количество битов в информации 145 о независимости границ фрагмента.

[0076] Здесь одно из преимуществ разделения изображения состоит в том, что становится возможной параллельная обработка. Например, на фиг. 3A - 3C изображение разделяется на девять фрагментов, и когда все фрагменты являются независимыми, устройство кодирования изображений и устройство декодирования изображений могут кодировать или декодировать параллельно девять фрагментов. При кодировании и декодировании изображений высокой четкости, называемых Super Hi-Vision и Телевидением сверхвысокой четкости (UHDTV), которые превышают уровень четкости в Hi-Vision, вычислительная нагрузка является высокий, и обработка в реальном масштабе времени затруднительна. По существу, при кодировании и декодировании изображений высокой четкости особенно высока потребность в параллельной обработке. С другой стороны, при кодировании точность предсказания ухудшается тем сильнее, чем больше разрывается отношений зависимости пар фрагментов. Соответственно, ухудшается эффективность кодирования. Поэтому разрыв отношений зависимости у пар фрагментов больше необходимого является нежелательным с точки зрения эффективности кодирования.

[0077] Например, предполагается, что устройство кодирования изображений и устройство декодирования изображений могут использовать вплоть до трех процессоров, и может выполняться тройная параллельная обработка. В этой ситуации даже в случае разделения на девять фрагментов, как показано на фиг. 3A - 3C, достаточно установить группы независимых фрагментов в 3 (группы, включающие в себя один или несколько фрагментов), что эквивалентно количеству процессоров, с которым возможна параллельная обработка. Разделение изображения более чем на три группы независимых фрагментов приводит к ненужному уменьшению эффективности кодирования. В частности, когда отношения зависимости пар фрагментов (делающие пары фрагментов зависимыми или независимыми) устанавливаются на основе изображения, даже когда устройство кодирования изображений или устройство декодирования изображений допускают только тройную параллельную обработку, отношения зависимости у всех пар фрагментов в изображении разрываются. Это приводит к ухудшению эффективности кодирования.

[0078] С другой стороны, в соответствии с этим вариантом осуществления отношение зависимости у пар фрагментов может устанавливаться на основе границ. При этом можно, например, сформировать группы независимых фрагментов, соответствующие количеству параллельных процессов, которое устройство кодирования изображений или устройство декодирования изображений способны обрабатывать параллельно. Поэтому устройство 100 кодирования изображений в соответствии с этим вариантом осуществления допускает сдерживание ухудшения эффективности кодирования и выполнение параллельной обработки с произвольным количеством параллельных процессов. Таким образом, устройство 100 кодирования изображений в соответствии с этим вариантом осуществления допускает повышение эффективности кодирования.

[0079] Как описано выше, в устройстве 100 кодирования изображений в соответствии с этим вариантом осуществления блок 112 управления разделением изображения разделяет изображение на фрагменты. Блок 115 кодирования кодирует соответствующие фрагменты, чтобы сформировать порции кодированных данных 133, соответствующие разному фрагменту из тех фрагментов. Блок 114 мультиплексирования формирует поток двоичных сигналов, включающий в себя порции кодированных данных 133.

[0080] К тому же блок 112 управления разделением изображения классифицирует каждую границу между соответствующими парами фрагментов среди многочисленных фрагментов на первую границу (зависимую) и вторую границу (независимую). Для каждого из фрагментов блок 115 кодирования кодирует фрагмент путем обращения к информации кодирования фрагмента, который располагается на первой границе, и без обращения к информации кодирования фрагмента, расположенного на второй границе, среди кодированных фрагментов, соседних с фрагментом, который нужно кодировать. Кроме того, блок 114 мультиплексирования формирует поток 134 двоичных сигналов, включающий в себя информацию о независимости границ фрагмента, указывающую, является ли каждая из границ пары фрагментов у многочисленных фрагментов первой границей или второй границей.

[0081] Это позволяет устанавливать отношение зависимости между фрагментами на основе границы пары фрагментов. Поэтому эффективность кодирования повышается по сравнению с тем, когда отношения зависимости у фрагментов устанавливаются, например, на основе изображения.

[0082] Ниже будет описываться устройство декодирования изображений в соответствии с этим вариантом осуществления.

[0083] Фиг. 5 - блок-схема устройства 200 декодирования изображений, которое использует способ декодирования изображений в соответствии с этим вариантом осуществления.

[0084] Устройство 200 декодирования изображений, показанное на фиг. 5, декодирует поток 234 двоичных сигналов, чтобы сформировать декодированные данные 226 изображения. Устройство 200 декодирования изображений включает в себя блок 215 декодирования, блок 201 анализа и блок 212 управления разделением изображения. Кроме того, блок 215 декодирования включает в себя блок 204 обратного квантования, блок 205 обратного ортогонального преобразования, сумматор 206, запоминающее устройство 207 блоков, запоминающее устройство 208 кадров, блок 209 внутреннего предсказания, блок 210 внешнего предсказания, блок 211 определения типа изображения и блок 213 декодирования переменной длины.

[0085] Здесь поток 234 двоичных сигналов соответствует потоку 134 двоичных сигналов, сформированному вышеописанным устройством 100 кодирования изображений.

[0086] Блок 201 анализа анализирует поток 234 двоичных сигналов, чтобы получить кодированные данные 233 и информацию 235 о разделении изображения, которые включаются в набор параметров последовательности или набор параметров изображения в потоке 234 двоичных сигналов. Информация 235 о разделении изображения соответствует вышеописанной информации 135 о разделении изображения и указывает шаблон разделения изображения и отношения зависимости пар фрагментов.

[0087] На основе шаблона разделения изображения и отношений зависимости пар фрагментов, которые указываются информацией 235 о разделении изображения, блок 212 управления разделением изображения формирует управляющий сигнал 232 разделения для управления блоком 209 внутреннего предсказания, блоком 210 внешнего предсказания и блоком 213 декодирования переменной длины.

[0088] Блок 215 декодирования декодирует кодированные данные 233, чтобы сформировать декодированные данные 226 изображения.

[0089] Блок 213 декодирования переменной длины выполняет декодирование переменной длины над кодированными данными 233, чтобы сформировать квантованные коэффициенты 223.

[0090] Блок 204 обратного квантования обратно квантует квантованные коэффициенты 223, чтобы сформировать преобразованные коэффициенты 224. Блок 205 обратного ортогонального преобразования преобразует преобразованные коэффициенты 224 из частотной области в область изображения, чтобы сформировать данные 225 ошибки предсказания. Сумматор 206 складывает данные 231 предсказанного изображения и данные 225 ошибки предсказания, чтобы сформировать декодированные данные 226 изображения. Запоминающее устройство 207 блоков сохраняет декодированные данные 226 изображения в блоках в качестве декодированных данных 227 изображения. Запоминающее устройство 208 кадров сохраняет декодированные данные 226 изображения в кадрах в качестве декодированных данных 228 изображения.

[0091] Блок 209 внутреннего предсказания выполняет внутреннее предсказание с использованием единичного блока декодированных данных 227 изображения, сохраненных в запоминающем устройстве 207 блоков, чтобы сформировать данные 229 предсказанного изображения текущего блока, который нужно декодировать. Кроме того, блок 209 внутреннего предсказания обнаруживает отношения зависимости пар фрагментов на основе управляющего сигнала 232 разделения, отправленного из блока 212 управления разделением изображения. Затем блок 209 внутреннего предсказания выполняет внутреннее предсказание без использования информации изображения о блоке, включенном во фрагмент, чье отношение зависимости разрывается.

[0092] Блок 210 внешнего предсказания выполняет внешнее предсказание с использованием единичного кадра декодированных данных 228 изображения, сохраненных в запоминающем устройстве 208 кадров, чтобы сформировать данные 230 предсказанного изображения текущего блока. Кроме того, блок 210 внешнего предсказания обнаруживает отношения зависимости пар фрагментов на основе управляющего сигнала 232 разделения, отправленного из блока 212 управления разделением изображения. Затем блок 210 внешнего предсказания выполняет предсказание вектора движения без использования информации вектора движения о блоке, включенном во фрагмент, чье отношение зависимости разрывается.

[0093] В соответствии с вышеописанной конфигурацией устройство 200 декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование потока двоичных сигналов, сформированного вышеописанным устройством 100 кодирования изображений.

[0094] ВАРИАНТ 2 ОСУЩЕСТВЛЕНИЯ

В этом варианте осуществления будет описываться модификация ранее описанного устройства 100 кодирования изображений в соответствии с Вариантом 1 осуществления. Нужно отметить, что ниже будет выполняться в основном описание расхождений с Вариантом 1 осуществления, и пересекающееся описание будет пропущено.

[0095] Фиг. 6 - блок-схема, показывающая конфигурацию устройства кодирования изображений, которое использует способ кодирования изображений в соответствии с этим вариантом осуществления. Составляющим элементам, которые являются такими же, как на фиг. 1, назначается та же ссылочная позиция.

[0096] Устройство 100A кодирования изображений, показанное на фиг. 6, включает в себя блок 150 управления входным изображением в дополнение к конфигурации устройства 100 кодирования изображений, показанного на фиг. 1. Кроме того, функция блока 112A управления разделением изображения отличается от таковой у блока 112 управления разделением изображения.

[0097] В частности, в дополнение к функции разделения изображения на фрагменты, которая описана в Варианте 1 осуществления, блок 112A управления разделением изображения, который является примером блока разделения, определяет порядок для кодирования и декодирования фрагментов и формирует информацию 135A о разделении изображения, включающую в себя информацию о порядке обработки фрагментов, указывающую определенный порядок. Затем блок 112A управления разделением изображения передает в блок 114 мультиплексирования информацию 135A о разделении изображения, включающую в себя информацию о порядке обработки фрагментов, как часть набора параметров последовательности (SPS) или набора параметров изображения (PPS).

[0098] Кроме того, блок 112A управления разделением изображения на основе шаблона разделения изображения, отношений зависимости пар фрагментов и порядка кодирования формирует управляющий сигнал 132A разделения для управления блоком 109 внутреннего предсказания, блоком 110 внешнего предсказания, блоком 113 кодирования переменной длины, запоминающим устройством 108 кадров и блоком 150 управления входным изображением. Следует отметить, что основанная на информации 135A о разделении изображения работа блока 109 внутреннего предсказания, блока 110 внешнего предсказания и блока 113 кодирования переменной длины является такой же, как в Варианте 1 осуществления.

[0099] Блок 150 управления входным изображением перестраивает сигнал 120 входного изображения на основе блоков к заранее установленному порядку, чтобы посредством этого ввести перестроенный сигнал 160 изображения в блок кодирования. Когда изображение разделяется на фрагменты, блок 150 управления входным изображением определяет порядок блоков в соответствии с порядком кодирования, указанным управляющим сигналом 132A разделения, переданным из блока 112 управления разделением изображения.

[0100] В соответствии с управляющим сигналом 132A разделения запоминающее устройство 108 кадров распознает порядок, в котором нужно обработать фрагменты, и сохраняет декодированные данные 128 изображения в подходящей области памяти.

[0101] Далее будет описываться информация о порядке обработки фрагментов, указывающая порядок для обработки (сканирования) фрагментов. Используя информацию о порядке обработки фрагментов, устройство кодирования изображений и устройство декодирования изображений могут идентифицировать направление сканирования фрагментов и порядок сканирования столбцов или строк, и однозначно идентифицировать порядок кодирования или декодирования фрагментов в изображении.

[0102] Фиг. 7A - 7D являются схемами, показывающими порядок, в котором нужно обработать (сканировать) фрагменты, для изображения, которое разделено на девять фрагментов. Следует отметить, что фрагменты нужно обработать в порядке от T1 к T9.

[0103] Фиг. 7A показывает случай для растрового сканирования. В частности, выбирается верхняя строка, и в выбранной строке последовательно выбираются фрагменты в горизонтальном направлении (направлении направо) от фрагмента слева. Когда выбираются все фрагменты в одной строке, выбирается следующая строка ниже, и в выбранной строке фрагменты также последовательно выбираются в направлении направо от фрагмента слева.

[0104] На фиг. 7B выбирается левый столбец, и в выбранном столбце фрагменты последовательно выбираются в вертикальном направлении (направлении вниз) от фрагмента наверху. Когда выбираются все фрагменты в одном столбце, выбирается следующий столбец слева, и в выбранном столбце фрагменты также последовательно выбираются в направлении вниз от фрагмента сверху. Другими словами, фрагменты сканируются в вертикальном направлении.

[0105] Таким образом, направления сканирования в общих чертах классифицируются на горизонтальное направление и вертикальное направление. Далее будет описываться порядок сканирования строк. На фиг. 7A фрагменты сканируются в горизонтальном направлении, а строки сканируются сверху вниз (в порядке первой строки, второй строки и третьей строки). В отличие от этого на фиг. 7C сканирование фрагментов в горизонтальном направлении является таким же, как на фиг. 7A, но строки сканируются в порядке центральной, верхней, нижней (второй столбец, первый столбец, третий столбец). Кроме того, хотя и не показано на фигуре, строки могут сканироваться в порядке центральной, нижней, верхней (третья, вторая, первая) или снизу вверх (третья, вторая, первая).

[0106] Кроме того, порядку сканирования строк заранее назначается заранее установленный ID, и устройство кодирования изображений и устройство декодирования изображений совместно используют такую информацию. Например, "1" назначается в качестве ID сканирования строк порядку сканирования на фиг. 7A, и "2" назначается в качестве ID сканирования строк порядку сканирования на фиг. 7C. Затем ID сканирования строк отправляется из устройства кодирования изображений в устройство декодирования изображений. При этом устройство декодирования изображений способно идентифицировать порядок сканирования строк с использованием ID сканирования строк.

[0107] Подробности для порядка сканирования столбцов такие же, как для порядка сканирования строк. На фиг. 7B фрагменты сканируются в вертикальном направлении, а столбцы сканируются слева направо (в порядке первого столбца, второго столбца и третьего столбца). В отличие от этого на фиг. 7D сканирование фрагментов в вертикальном направлении является таким же, но столбцы сканируются в порядке центрального, левого, правого (второй столбец, первый столбец, третий столбец). Кроме того, хотя и не показано на фигуре, столбцы могут сканироваться в порядке центрального, правого, левого (второй, третий, первый) или справа налево (третий, второй, первый). Кроме того, порядку сканирования столбцов также заранее назначается заранее установленный ID, и устройство кодирования изображений и устройство декодирования изображений совместно используют такую информацию.

[0108] Информация о порядке обработки фрагментов включает в себя направление сканирования фрагментов (горизонтальное направление или вертикальное направление) и ID сканирования столбцов или строк. Используя информацию о порядке обработки фрагментов, устройство декодирования изображений способно однозначно идентифицировать порядок декодирования фрагментов в изображении. Следует отметить, что хотя на фиг. 7A - 7D показан пример, в котором изображение разделяется на 9 фрагментов, приемлемы другие способы разделения на фрагменты (количество столбцов и количество строк).

[0109] Таким образом, устройство 100A кодирования изображений в этом варианте осуществления допускает изменение порядка обработки фрагментов в изображении. С помощью управления порядком обработки фрагментов таким способом можно передавать только начальную группу фрагментов в зависимости от состояния связи и применения. Например, для телефонной конференции и т.п. группа фрагментов в центральном столбце, в котором появляется человек, может кодироваться первой.

[0110] Как описано выше, в устройстве 100A кодирования изображений в соответствии с этим вариантом осуществления блок 112A управления разделением изображения определяет порядок кодирования многочисленных фрагментов. Блок 115 кодирования кодирует фрагменты в порядке кодирования, определенном блоком 112A управления разделением изображения. Блок 114 мультиплексирования формирует поток 134 двоичных сигналов, включающий в себя информацию о порядке обработки фрагментов, указывающую определенный порядок кодирования.

[0111] При этом порядок декодирования фрагментов в устройстве декодирования изображений может устанавливаться произвольно. Поэтому, например, среди изображений областей, включенных в изображение, изображение области, имеющей высокий приоритет, можно декодировать раньше в устройстве декодирования изображений.

[0112] Ниже будет описываться устройство декодирования изображений в соответствии с этим вариантом осуществления.

[0113] Фиг. 8 - блок-схема, показывающая конфигурацию устройства декодирования изображений, которое использует способ декодирования изображений в соответствии с этим вариантом осуществления. Следует отметить, что составляющим элементам, которые являются такими же, как на фиг. 5, назначается та же ссылочная позиция.

[0114] Здесь поток 234 двоичных сигналов соответствует потоку 134 двоичных сигналов, сформированному вышеописанным устройством 100A кодирования изображений.

[0115] Устройство 200A декодирования изображений, показанное на фиг. 8, включает в себя блок 250 управления выходным изображением в дополнение к конфигурации устройства 200 декодирования изображений, показанного на фиг. 5. Кроме того, функции блока 201A анализа и блока 212A управления разделением изображения отличаются от таковых у блока 201 анализа и блока 212 управления разделением изображения.

[0116] В частности, блок 201A анализа анализирует поток 234 двоичных сигналов, чтобы получить кодированные данные 233 и информацию 235A о разделении изображения. Информация 235A о разделении изображения соответствует вышеописанной информации 135A о разделении изображения и включает в себя информацию о порядке обработки фрагментов, указывающую порядок, в котором нужно декодировать фрагменты.

[0117] Блок 212A управления разделением изображения на основе шаблона разделения изображения, отношений зависимости пар фрагментов и порядка декодирования, которые указываются информацией 235A о разделении изображения, формирует управляющий сигнал 232A разделения для управления блоком 209 внутреннего предсказания, блоком 210 внешнего предсказания, блоком 213 декодирования переменной длины, запоминающим устройством 208 кадров и блоком 250 управления выходным изображением. Следует отметить, что основанная на информации 135A о разделении изображения работа блока 209 внутреннего предсказания, блока 210 внешнего предсказания и блока 213 декодирования переменной длины является такой же, как в Варианте 1 осуществления.

[0118] Блок 250 управления выходным изображением перестраивает декодированные данные 226 изображения к заранее установленному порядку на основе блоков и выводит перестроенный сигнал 260 изображения вовне из устройства. Когда изображение разделяется на фрагменты, блок 250 управления выходным изображением определяет порядок блоков в соответствии с порядком декодирования, указанным управляющим сигналом 232A разделения, переданным из блока 212A управления разделением изображения.

[0119] В соответствии с управляющим сигналом 232A разделения запоминающее устройство 208 кадров распознает порядок, в котором нужно обработать фрагменты, и сохраняет декодированные данные 228 изображения в подходящей области памяти.

[0120] В соответствии с вышеописанной конфигурацией устройство 200A декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование потока двоичных сигналов, сформированного вышеописанным устройством 100A кодирования изображений.

[0121] ВАРИАНТ 3 ОСУЩЕСТВЛЕНИЯ

В этом варианте осуществления будет описываться модификация ранее описанного устройства 100 кодирования изображений в соответствии с Вариантом 1 осуществления. Нужно отметить, что ниже будет выполняться в основном описание расхождений с Вариантом 1 осуществления, и пересекающееся описание будет пропущено.

[0122] Как описано в Варианте 1 осуществления, при декодировании изображений высокой четкости, называемых Super Hi-Vision и UHDTV, которые превышают уровень четкости в Hi-Vision, вычислительная нагрузка является высокий, и обработка в реальном масштабе времени затруднительна. По существу, при декодировании изображений высокой четкости устройству декодирования изображений нужно выполнять параллельную обработку над потоком двоичных сигналов. Поскольку отношения зависимости пар фрагментов разрываются, устройство декодирования изображений может декодировать некий фрагмент независимо от других фрагментов.

[0123] Однако при декодировании параллельную обработку нельзя реализоваться, если устройство декодирования изображений не может обнаружить начальное положение (точку входа) каждого фрагмента в потоке двоичных сигналов. Способ для решения этой проблемы уже известен (см. Непатентную литературу 2). В соответствии с этим способом устройство кодирования изображений вставляет маркер фрагмента в начальное положение каждого фрагмента в потоке двоичных сигналов. Устройство декодирования изображений способно распознать начальное положение (точку входа) каждого фрагмента в потоке двоичных сигналов путем сканирования потока двоичных сигналов и обнаружения маркеров фрагментов.

[0124] Однако вставка маркера фрагмента в начальное положение (границу фрагмента) всех фрагментов в потоке двоичных сигналов привела бы к ухудшению эффективности кодирования. Поток двоичных сигналов, выведенный блоком кодирования переменной длины, не является выровненным по байтам на границах фрагментов. Поэтому для того, чтобы вставить маркер фрагмента в начальное положение каждого фрагмента, необходимо сбросить энтропийное кодирование (например, CABAC) с помощью блока кодирования переменной длины. К тому же сброс энтропийного кодирования приводит к ухудшению эффективности кодирования.

[0125] В отличие от этого устройство кодирования изображений в соответствии с этим вариантом осуществления для каждой границы фрагмента в потоке двоичных сигналов определяет, вставлять ли маркер фрагмента, и вставляет маркер фрагмента только в части границ фрагментов. Соответственно, устройство кодирования изображений способно уменьшить количество раз, которое сбрасывается энтропийное кодирование, и соответственно можно повысить эффективность кодирования.

[0126] Фиг. 9 - блок-схема, показывающая конфигурацию устройства 100B кодирования изображений, которое использует способ кодирования изображений в соответствии с этим вариантом осуществления. Следует отметить, что составляющим элементам, которые являются такими же, как на фиг. 1, назначается та же ссылочная позиция.

[0127] Устройство 100B кодирования изображений, показанное на фиг. 9, включает в себя блок 151 вставки маркера в дополнение к конфигурации устройства 100 кодирования изображений, показанного на фиг. 1. Кроме того, функции блока 113B кодирования переменной длины и блока 114B мультиплексирования отличаются от таковых у блока 113 кодирования переменной длины и блока 114 мультиплексирования соответственно.

[0128] На основе управляющего сигнала 132 разделения, переданного из блока 112 управления разделением изображения, блок 151 вставки маркера на каждой границе фрагмента между порциями кодированных данных 133 вставляет маркер 161 фрагмента для идентификации границы фрагмента. В частности, блок 151 вставки маркера управляет блоком 113B кодирования переменной длины, чтобы сбросить энтропийное кодирование (CABAC) на независимой границе путем уведомления блока 113B кодирования переменной длины о такой независимой границе фрагмента. Кроме того, блок 151 вставки маркера передает маркер 161 фрагмента в блок 114B мультиплексирования на независимой границе фрагмента.

[0129] Блок 113B кодирования переменной длины сбрасывает энтропийное кодирование (CABAC) на заданной границе фрагмента в соответствии с уведомлением от блока 151 вставки маркера.

[0130] Блок 114B мультиплексирования формирует поток 134 двоичных сигналов путем вставки маркера 161 фрагмента, переданного блоком 151 вставки маркера, на заданной границе фрагмента у порций кодированных данных 133.

[0131] Фиг. 10 - блок-схема последовательности операций процесса вставки маркера, выполняемого блоком 151 вставки маркера в соответствии с этим вариантом осуществления.

[0132] Сначала блок 151 вставки маркера принимает управляющий сигнал 132 разделения от блока 112 управления разделением изображения (этап S121). Этот управляющий сигнал 132 разделения представляет информацию о разделении на фрагменты. Следует отметить, что блок 151 вставки маркера может принимать информацию 135 о разделении изображения вместо управляющего сигнала 132 разделения. Следует отметить, что информация о разделении всех фрагментов в изображении не должна приниматься вся сразу, и информация о фрагменте может приниматься в момент, в который такой фрагмент нужно обработать с помощью устройства 100B кодирования изображений.

[0133] Далее блок 151 вставки маркера получает отношение зависимости на границе между фрагментом, обрабатываемым в настоящее время, и фрагментом, который нужно обработать вслед за ним, которое включается в управляющий сигнал 132 разделения (этап S122), и определяет отношение зависимости между фрагментом, обрабатываемым в настоящее время, и фрагментом, который нужно обработать вслед за ним (этап S123).

[0134] Когда фрагменты являются зависимыми (Да на этапе S123), блок 151 вставки маркера завершает процесс. С другой стороны, когда фрагменты не являются зависимыми, то есть фрагменты являются независимыми (Нет на этапе S123), блок 151 вставки маркера управляет блоком 113B кодирования переменной длины, чтобы сбросить энтропийное кодирование (CABAC) (этап S124). При этом блок 113B кодирования переменной длины сбрасывает энтропийное кодирование (CABAC) в конце фрагмента, обрабатываемого в настоящее время, и выполняет выравнивание байтов. Затем блок 113B кодирования переменной длины отправляет кодированные данные 133 фрагмента, обрабатываемого в настоящее время, в блок 114B мультиплексирования.

[0135] Далее блок 151 вставки маркера передает маркер 161 фрагмента в блок 114B мультиплексирования. Блок 114B мультиплексирования вставляет маркер 161 фрагмента непосредственно после потока двоичных сигналов фрагмента, обрабатываемого в настоящее время, то есть в начало потока двоичных сигналов фрагмента, который нужно обработать вслед за ним (этап S125).

[0136] Как описано выше, блок 151 вставки маркера переключается между вставкой и отказом от вставки маркеров 161 фрагментов на соответствующих границах фрагментов в потоке двоичных сигналов в зависимости от отношения зависимости на границе фрагмента.

[0137] Следует отметить, что на этапе S121, когда принятый управляющий сигнал 132 разделения указывает, что все границы фрагментов в изображении являются зависимыми, блок 151 вставки маркера может пропустить процесс с этапа S122 по S125 для такого изображения.

[0138] Таким образом, устройство 100B кодирования изображений в соответствии с этим вариантом осуществления допускает уменьшение количества раз, которое сбрасывается энтропийное кодирование (CABAC), путем управления вставкой маркеров фрагментов на соответствующих границах фрагментов в потоке двоичных сигналов. Соответственно, устройство 100B кодирования изображений допускает повышение эффективности кодирования.

[0139] Как описано выше, в устройстве 100B кодирования изображений в соответствии с этим вариантом осуществления среди границ данных у порций кодированных данных 133 блок 151 вставки маркера вставляет только на границе данных, для которой граница между двумя фрагментами, соответствующими двум порциям кодированных данных на противоположных сторонах границы данных, является второй границей (независимой), маркер для идентификации такой границы данных.

[0140] Соответственно, устройство 100B кодирования изображений допускает повышение эффективности кодирования по сравнению с тем, когда маркеры вставляются на всех границах фрагментов.

[0141] Ниже будет описываться устройство декодирования изображений в соответствии с этим вариантом осуществления.

[0142] Фиг. 11 - блок-схема, показывающая конфигурацию устройства декодирования изображений, которое использует способ декодирования изображений в соответствии с этим вариантом осуществления. Следует отметить, что составляющим элементам, которые являются такими же, как на фиг. 5, назначается та же ссылочная позиция.

[0143] Здесь поток 234 двоичных сигналов соответствует потоку 134 двоичных сигналов, сформированному вышеописанным устройством 100B кодирования изображений.

[0144] В устройстве 200A декодирования изображений, показанном на фиг. 11, функция блока 201B анализа отличается от таковой у блока 201 анализа.

[0145] В частности, блок 201B анализа анализирует поток 234 двоичных сигналов, чтобы получить кодированные данные 233 и информацию 235 о разделении изображения. Кроме того, блок 201B анализа обнаруживает маркер 161 фрагмента, вставленный на границе фрагмента, и распознает обнаруженное положение в качестве границы фрагмента. Кроме того, блок 201B анализа сообщает обнаруженную границу фрагмента блоку 213 декодирования переменной длины.

[0146] Кроме того, когда блок 215 декодирования выполняет параллельную обработку, блок 201B анализа извлекает из потока 234 двоичных сигналов кодированные данные 233, соответствующие каждому фрагменту в зависимости от границы фрагмента, и отправляет кодированные данные 233 в блок 215 декодирования.

[0147] В соответствии с вышеописанной конфигурацией устройство 200B декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование потока двоичных сигналов, сформированного вышеописанным устройством 100B кодирования изображений.

[0148] ВАРИАНТ 4 ОСУЩЕСТВЛЕНИЯ

В этом варианте осуществления будут описываться устройство кодирования изображений и устройство декодирования изображений, которые выполняют выравнивание байтов на границе фрагмента.

[0149] Фиг. 12 - блок-схема, показывающая конфигурацию устройства 100C кодирования изображений в соответствии с этим вариантом осуществления. Составляющим элементам, которые являются такими же, как на фиг. 1, назначается та же ссылочная позиция.

[0150] Устройство 100C кодирования изображений, показанное на фиг. 12, при сравнении с конфигурацией устройства 100 кодирования изображений, показанного на фиг. 1, отличается тем, что функции блока 112C управления разделением изображения и блока 113C кодирования переменной длины отличаются от таковых у блока 112 управления разделением изображения и блока 113 кодирования переменной длины.

[0151] Блок 112C управления разделением изображения, который является примером блока разделения, разделяет изображение на фрагменты. Кроме того, хотя блок 112 управления разделением изображения переключает отношение зависимости на основе границ фрагмента в Варианте 1 осуществления, блок 112C управления разделением изображения оперирует всеми фрагментами как независимыми. Кроме того, блок 112C управления разделением изображения формирует информацию 135C о разделении изображения, указывающую шаблон разделения изображения. Здесь информация, указывающая шаблон разделения изображения, включает в себя, например, количество столбцов, количество строк, флаг одинаковой ширины столбцов и флаг одинаковой высоты строк, ширину столбца и высоту строки, которые описаны ранее.

[0152] Следует отметить, что хотя ниже будет описываться пример, в котором блок 112C управления разделением изображения оперирует всеми фрагментами как независимыми, блок 112C управления разделением изображения также может переключать отношение зависимости фрагментов на основе границ фрагмента таким же образом, как и в Варианте 1 осуществления.

[0153] Затем блок 112C управления разделением изображения передает в блок 114 мультиплексирования сформированную информацию 135C о разделении изображения как часть набора параметров последовательности или набора параметров изображения.

[0154] Кроме того, блок 112C управления разделением изображения формирует на основе шаблона разделения изображения управляющий сигнал 132C разделения для управления блоком 109 внутреннего предсказания, блоком 110 внешнего предсказания и блоком 113C кодирования переменной длины. Следует отметить, что основанная на информации 135C о разделении изображения работа блока 109 внутреннего предсказания и блока 110 внешнего предсказания является такой же, как работа, когда фрагменты являются независимыми в Варианте 1 осуществления.

[0155] Блок 113C кодирования переменной длины выполняет обработку для сброса энтропийного кодирования на границах фрагментов и выполняет выравнивание байтов.

[0156] Ниже будет описываться последовательность операций работы устройства 100C кодирования изображений в соответствии с этим вариантом осуществления.

[0157] Фиг. 13A - блок-схема последовательности операций способа кодирования изображений, выполняемого устройством 100C кодирования изображений в соответствии с этим вариантом осуществления.

[0158] Сначала блок 112C управления разделением изображения разделяет изображение на фрагменты (этап S201). Кроме того, блок 112C управления разделением изображения формирует информацию 135C о разделении изображения, указывающую шаблон разделения изображения.

[0159] Далее блок 115 кодирования кодирует соответствующие фрагменты, чтобы сформировать порции кодированных данных 133, соответствующие разному фрагменту из тех фрагментов (этап S202).

[0160] Далее блок 114 мультиплексирования формирует поток 134 двоичных сигналов, включающий в себя порции кодированных данных 133 и информацию 135C о разделении изображения (этап S203).

[0161] Фиг. 13B - блок-схема последовательности операций кодирования (этап S202), выполняемого блоком 115 кодирования.

[0162] Сначала блок 115 кодирования кодирует текущий фрагмент, который нужно обработать, который является одним из фрагментов, чтобы сформировать кодовую цепочку (этап S211). Следует отметить, что конкретный способ для кодирования с помощью блока 115 кодирования является, например, таким же, как в Варианте 1 осуществления. Кроме того, блок 115 кодирования кодирует текущий фрагмент без обращения к информации кодирования, используемой при кодировании другого фрагмента.

[0163] Здесь кодирование включает в себя процесс формирования кодовой цепочки посредством энтропийного кодирования (арифметического кодирования), выполняемый блоком 113C кодирования переменной длины.

[0164] Кроме того, блок 113C кодирования переменной длины сбрасывает энтропийное кодирование (арифметическое кодирование) после того, как завершается кодирование текущего фрагмента (этап S212). Здесь сброс включает в себя завершение в арифметическом кодировании (также называемое очисткой). Завершение является процессом, чтобы сделать кодовую цепочку текущего фрагмента независимой от кодовой цепочки другого фрагмента. Другими словами, завершение является процессом закрытия кодовой цепочки текущего фрагмента. В частности, посредством завершения все обрабатываемые кодовые цепочки выводятся в независимо-декодируемом состоянии.

[0165] Далее блок 113C кодирования переменной длины выполняет выравнивание байтов над текущей кодовой цепочкой, которую нужно обработать (этап S213). Здесь выравнивание байтов является процессом добавления заранее установленной битовой строки после текущей кодовой цепочки, чтобы сформировать единичный байт кодированных данных 133. Другими словами, выравнивание байтов является процессом регулирования количества битов в текущей кодовой цепочке, чтобы формировать кодированные данные 133 в байтах.

[0166] Фиг. 14 - схема, показывающая пример выравнивания байтов. Как показано на фиг. 14, блок 113C кодирования переменной длины добавляет битовую строку 282 сзади текущей кодовой цепочки 281, которую нужно обработать, чтобы сформировать кодированные данные 133 в байтах. Например, битовая строка 282 является битовой строкой, которая начинается с "1" и потом продолжается нулями "0".

[0167] Следует отметить, что хотя здесь описывается пример, в котором блок 113C кодирования переменной длины выполняет выравнивание байтов, чтобы сформировать кодированные данные 133 в байтах, достаточно, чтобы выравнивание было процессом для приведения кодированных данных 133 к кратному заранее установленным N битам (N - целое число, больше либо равное 2). Например, блок 113C кодирования переменной длины может выполнять выравнивание для формирования кодированных данных 133 в единицах слов.

[0168] Кроме того, хотя здесь описывается пример, в котором выравнивание выполняется, когда в качестве энтропийного кодирования выполняется арифметическое кодирование (например, CABAC), такое же выравнивание может выполняться, даже когда выполняется энтропийное кодирование, отличное от арифметического кодирования.

[0169] Кроме того, блок 112C управления разделением изображения может формировать информацию 135C о разделении изображения, включающую в себя информацию, указывающую начальное положение кодированных данных 133. К тому же информация, указывающая начальное положение, может быть информацией, указывающей положение в байтах (или в единице, которая является такой же, как используется при выравнивании).

[0170] При этом устройство 100C кодирования изображений в соответствии с этим вариантом осуществления выполняет выравнивание байтов на границах фрагментов. Соответственно, кодированные данные 133 каждого фрагмента становятся единичным байтом. Поэтому становится проще оперировать кодированными данными в устройстве декодирования изображений. Кроме того, устройство декодирования изображений может легко идентифицировать начальное положение кодированных данных фрагмента. Таким образом, устройство 100C кодирования изображений допускает уменьшение нагрузки по обработке в устройстве декодирования изображений.

[0171] Кроме того, устройство 100C кодирования изображений сбрасывает энтропийное кодирование на границах фрагментов. Соответственно, устройство декодирования изображений может независимо оперировать кодированными данными 133 каждого фрагмента.

[0172] Ниже будет описываться устройство декодирования изображений в соответствии с этим вариантом осуществления.

[0173] Фиг. 15 - блок-схема, показывающая конфигурацию устройства декодирования изображений, которое использует способ декодирования изображений в соответствии с этим вариантом осуществления. Следует отметить, что составляющим элементам, которые являются такими же, как на фиг. 5, назначается та же ссылочная позиция.

[0174] Здесь поток 234 двоичных сигналов соответствует потоку 134 двоичных сигналов, сформированному вышеописанным устройством 100C кодирования изображений.

[0175] Устройство 200C декодирования изображений, показанное на фиг. 15, при сравнении с устройством 200 декодирования изображений, показанным на фиг. 5, отличается тем, что функции блока 201C анализа, блока 212C управления разделением изображения и блока 213C декодирования переменной длины отличаются от таковых у блока 201 анализа, блока 212 управления разделением изображения и блока 213 декодирования переменной длины.

[0176] В частности, блок 201C анализа анализирует поток 234 двоичных сигналов, чтобы получить кодированные данные 233 и информацию 235C о разделении изображения. Информация 235C о разделении изображения соответствует вышеописанной информации 135C о разделении изображения и указывает шаблон разделения изображения.

[0177] На основе шаблона разделения изображения, указанного информацией 235C о разделении изображения, блок 212C управления разделением изображения формирует управляющий сигнал 232C разделения для управления блоком 209 внутреннего предсказания, блоком 210 внешнего предсказания и блоком 213C декодирования переменной длины. Следует отметить, что основанная на информации 135C о разделении изображения работа блока 209 внутреннего предсказания и блока 210 внешнего предсказания является такой же, как работа, когда фрагменты являются независимыми в Варианте 1 осуществления.

[0178] Блок 213C декодирования переменной длины пропускает заранее установленную битовую строку, расположенную после кодовой цепочки в кодированных данных 233. В частности, блок 213C декодирования переменной длины пропускает заранее установленную битовую строку, вставленную на границе фрагмента при выравнивании.

[0179] Ниже будет описываться последовательность операций работы устройства 200C декодирования изображений в соответствии с этим вариантом осуществления.

[0180] Фиг. 16A - блок-схема последовательности операций способа декодирования изображений, выполняемого устройством 200C декодирования изображений в соответствии с этим вариантом осуществления.

[0181] Сначала блок 201C анализа получает информацию 235C о разделении изображения и порции кодированных данных 233, сформированные путем кодирования соответствующих фрагментов, которые включаются в поток 234 двоичных сигналов (этап S221).

[0182] Далее блок 215 декодирования декодирует каждую из порций кодированных данных 233, чтобы сформировать декодированные данные 226 изображения, которые являются данными изображения фрагментов (этап S222).

[0183] Фиг. 16B - блок-схема последовательности операций декодирования (этап S222), выполняемого блоком 215 декодирования. Кроме того, фиг. 16B показывает декодирование одной порции кодированных данных 233, которые нужно обработать.

[0184] Сначала блок 215 декодирования декодирует кодовую цепочку, включенную в текущие кодированные данные 233, которые нужно обработать, которая соответствует одному из фрагментов, чтобы сформировать текущие декодированные данные 226 изображения, которые нужно обработать (этап S231). Следует отметить, что конкретный способ для декодирования с помощью блока 215 декодирования является, например, таким же, как в Варианте 1 осуществления. Кроме того, блок 215 декодирования декодирует текущий фрагмент, который нужно обработать, без обращения к информации декодирования, используемой при декодировании другого фрагмента.

[0185] Здесь декодирование включает в себя процесс формирования кодовой цепочки (квантованные коэффициенты 223) посредством энтропийного декодирования (арифметического декодирования) с помощью блока 213C декодирования переменной длины.

[0186] Кроме того, блок 213C декодирования переменной длины сбрасывает энтропийное декодирование (арифметическое декодирование) после того, как завершается декодирование текущего фрагмента (этап S232). Здесь сброс включает в себя завершение в арифметическом декодировании (также называемое очисткой). Завершение является обработкой для окончания арифметического кодирования над текущей кодовой цепочкой, которую нужно обработать.

[0187] Далее блок 213C декодирования переменной длины пропускает заранее установленную битовую строку, расположенную после кодовой цепочки в текущих кодированных данных 233 (этап S233). Эта битовая строка соответствует потоку 282 двоичных сигналов, который был вставлен при выравнивании байтов с помощью устройства 100C кодирования изображений.

[0188] Вышеописанная обработка выполняется для каждой из порций кодированных данных 233, которые соответствуют соответствующим фрагментам. В частности, блок 213C декодирования переменной длины декодирует первую кодовую цепочку, включенную в первые кодированные данные, которые являются одной из порций кодированных данных 233, чтобы сформировать данные изображения первого фрагмента, и пропускает заранее установленную битовую строку, расположенную после первой кодовой цепочки в первых кодированных данных, и кодирует вторую кодовую цепочку, включенную во вторые кодированные данные, расположенные после первых кодированных данных, чтобы сформировать данные изображения второго фрагмента.

[0189] С помощью этой обработки блок 213C декодирования переменной длины может игнорировать битовую строку, вставленную на границе фрагмента при выравнивании байтов с помощью устройства 100C кодирования изображений, и декодировать только необходимые данные. Другими словами, блок 213C декодирования переменной длины допускает пропуск такой битовой строки и выполнение декодирования от начала следующей порции кодированных данных 233.

[0190] В соответствии с вышеописанной конфигурацией устройство 200C декодирования изображений в соответствии с этим вариантом осуществления допускает декодирование потока двоичных сигналов, сформированного вышеописанным устройством 100C кодирования изображений.

[0191] Следует отметить, что хотя вышеприведенное описание описывает пример, в котором устройство 200C декодирования изображений хронологически декодирует порции кодированных данных 233, которые соответствуют соответствующим фрагментам, устройство 200C декодирования изображений может декодировать порции кодированных данных 233 параллельно. В этом случае устройство 200C декодирования изображений идентифицирует начальное положение каждой порции данных 233 путем обращения к информации, указывающей начальное положение порций кодированных данных 233, которая включается в информацию 235C о разделении изображения. Кроме того, информация, указывающая начальное положение, может быть информацией, указывающей положение в байтах.

[0192] Хотя до этого места в настоящем изобретении описаны устройства кодирования изображений и устройства декодирования изображений в соответствии с вариантами осуществления, настоящее изобретение не ограничивается такими вариантами осуществления.

[0193] Кроме того, соответствующие блоки обработки, включенные в устройства кодирования изображений и устройства декодирования изображений в соответствии с вышеописанными вариантами осуществления, обычно реализуются в виде LSI, которая является интегральной схемой. Эти блоки обработки могут конфигурироваться по отдельности в виде однокристальных ИС либо могут конфигурироваться так, чтобы часть или все блоки обработки включались в однокристальную ИС.

[0194] Кроме того, способ схемной интеграции не ограничивается LSI, и также возможна реализация посредством специализированной схемы или универсального процессора. Также может использоваться Программируемая пользователем вентильная матрица (FPGA), которая допускает программирование после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединений и настроек элементов схемы внутри LSI.

[0195] В соответствующих вариантах осуществления соответствующие составляющие элементы конфигурируются с использованием специализированных аппаратных средств, но также могут реализовываться путем выполнения компьютерных программ, подобранных к соответствующим составляющим элементам. Соответствующие составляющие элементы могут быть реализованы посредством считывания и выполнения компьютерной программы, записанной на носителе записи, например жестком диске или полупроводниковом запоминающем устройстве, с помощью блока выполнения программ, например CPU или процессора.

[0196] К тому же настоящее изобретение может быть вышеупомянутой компьютерной программой или неизменяемым со временем машиночитаемым носителем, на котором хранится вышеупомянутая программа. Кроме того, должно быть очевидно, что вышеупомянутая программа может распространяться посредством передающей среды, такой как Интернет.

[0197] Кроме того, все численные значения, используемые в вышеприведенном описании, являются лишь примерами для описания настоящего изобретения в специальных условиях, и соответственно настоящее изобретение не ограничивается проиллюстрированными численными значениями.

[0198] Кроме того, разделение функциональных блоков на блок-схемах является всего лишь примером, и многочисленные функциональные блоки могут быть реализованы в виде единого функционального блока, единый функциональный блок можно разделить на многочисленные функциональные блоки, или часть функций функционального блока можно перенести в другой функциональный блок. Кроме того, функции функциональных блоков, имеющих аналогичные функции, могут обрабатываться параллельно или с разделением времени отдельными аппаратными средствами или программным обеспечением.

[0199] Кроме того, последовательность, в которой выполняются вышеописанные этапы, включенные в вышеописанные способы кодирования изображений и способы декодирования изображений, приводится в качестве примера для описания настоящего изобретения в специальных условиях, и соответственно возможны другие последовательности. Кроме того, часть вышеописанных этапов может выполняться одновременно (параллельно) с другим этапом.

[0200] ВАРИАНТ 5 ОСУЩЕСТВЛЕНИЯ

Обработка, описанная в каждом из вариантов осуществления, может быть просто реализована в независимой компьютерной системе путем записи на носитель записи программы для реализации конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что на них можно записать программу, например магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковой памятью.

[0201] Ниже будут описываться применения к способу кодирования движущихся изображений (способу кодирования изображений) и способу декодирования движущихся изображений (способу декодирования изображений), описанным в каждом из вариантов осуществления, и системы, их использующие. Система обладает признаком наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе можно при необходимости менять в зависимости от случаев.

[0202] Фиг. 18 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями.

[0203] Система ex100 предоставления контента подключается к устройствам, например компьютеру ex111, персональному цифровому помощнику (PDA) ex112, камере ex113, сотовому телефону ex114 и игровому устройству ex115, через Интернет ex101, поставщика ex102 услуг Интернета, телефонную сеть ex104, а также базовые станции ex106 - ex110 соответственно.

[0204] Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 18, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое устройство может быть подключено к телефонной сети ex104 напрямую, а не через базовые станции ex106 - ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.

[0205] Камера ex113, например цифровая видеокамера, допускает съемку видеоизображения. Камера ex116, например цифровая камера, допускает съемку как неподвижных изображений, так и видеоизображения. Кроме того, сотовый телефон ex114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM, зарегистрированный товарный знак), Коллективному доступу с кодовым разделением каналов (CDMA), Широкополосному коллективному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон ex114 может относиться к Системе персональных переносных телефонов (PHS).

[0206] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, что дает возможность распространения изображений "живого" выступления и прочих. При таком распространении контент (например, видеоизображение музыкального "живого" выступления), снятый пользователем с использованием камеры ex113, кодируется как описано выше в каждом из вариантов осуществления (то есть камера функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет потоковое распространение данных переданного контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровое устройство ex115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0207] Записанные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видеоизображения, снятых не только камерой ex113, но также и камерой ex116, могут передаваться серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, либо распределяться между ними.

[0208] Кроме того, процессы кодирования и декодирования могут выполняться с помощью LSI ex500, обычно включенной в каждый из компьютера ex111 и устройств. LSI ex500 может конфигурироваться из одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видеоизображения может включаться в некоторый тип носителя записи (например, CD-ROM, гибкий диск и жесткий диск), который считывается компьютером ex111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, можно передавать видеоданные, полученные камерой. Видеоданные являются данными, кодированными LSI ex500, включенной в сотовый телефон ex114.

[0209] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0210] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе ex100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.

[0211] Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в системе ex200 цифрового вещания, проиллюстрированной на фиг. 19. Точнее говоря, вещательная станция ex201 сообщает или передает посредством радиоволн вещательному спутнику ex202 мультиплексированные данные, полученные путем мультиплексирования видеоданных звуковыми данными и прочими. Видеоданные являются данными, кодированными по способу кодирования движущихся изображений, описанному в каждом из вариантов осуществления (то есть данными, кодированными устройством кодирования изображений в соответствии с аспектом настоящего изобретения). При приеме мультиплексированных данных вещательный спутник ex202 передает радиоволны для транслирования. Затем домашняя антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Далее устройство, например телевизор ex300 (приемник) и телевизионная приставка ex217 (STB), декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения).

[0212] Кроме того, считывающе-записывающее устройство ex218 (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования кодированных данных звуковым сигналом. Считывающе-записывающее устройство ex218 может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, которые показаны в каждом из вариантов осуществления. В этом случае восстановленные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой с использованием носителя ex215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования движущихся изображений в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования движущихся изображений может быть реализовано не в телевизионной приставке, а в телевизоре ex300.

[0213] Фиг. 20 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в каждом из вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования видеоданных звуковыми данными, через антенну ex204 или кабель ex203 и т.д., который принимает трансляцию; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их вовне блока; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и звуковые данные либо мультиплексирует видеоданные и звуковые данные, кодированные блоком ex306 обработки сигналов, в данные.

[0214] Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки звукового сигнала и блок ex305 обработки видеосигнала, которые декодируют звуковые данные и видеоданные и кодируют звуковые данные и видеоданные соответственно (которые функционируют в качестве устройства кодирования изображений и устройства декодирования изображений в соответствии с аспектами настоящего изобретения); и блок ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный звуковой сигнал, и блок ex308 отображения, который показывает декодированный видеосигнал, например дисплей. Кроме того, телевизор ex300 включает в себя интерфейсный блок ex317, включающий в себя блок ex312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет в общем каждым составляющим элементом телевизора ex300, и схему ex311 питания, которая снабжает энергией каждый из элементов. Помимо блока ex312 ввода операции интерфейсный блок ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, например считывающе-записывающему устройству ex218; гнездо ex314 для обеспечения присоединения носителя ex216 записи, например карты SD; привод ex315, который нужно подключить к внешнему носителю записи, например жесткому диску; и модем ex316, который нужно подключить к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединяются друг с другом по синхронной шине.

[0215] Сначала будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и прочее, и воспроизводит декодированные данные. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя CPU. Кроме того, в телевизоре ex300 блок ex304 обработки звукового сигнала декодирует демультиплексированные звуковые данные, а блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из вариантов осуществления. Блок ex309 вывода предоставляет вовне декодированный видеосигнал и звуковой сигнал соответственно. Когда блок ex309 вывода предоставляет видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не путем трансляции и прочего, а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор ex300 кодирует звуковой сигнал и видеосигнал и передает данные вовне или записывает данные на носитель записи. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex304 обработки звукового сигнала кодирует звуковой сигнал, а блок ex305 обработки видеосигнала кодирует видеосигнал под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и звуковой сигнал и предоставляет вовне результирующий сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и звуковой сигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы ex318, ex319, ex320 и ex321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре ex300. Кроме того, данные могут храниться в буфере, чтобы можно было избежать переполнения и незаполнения системы, например, между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.

[0216] Кроме того, телевизор ex300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры, помимо конфигурации для получения звуковых данных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор ex300 может кодировать, мультиплексировать и предоставлять вовне данные, он может допускать только прием, декодирование и предоставление вовне данных, но не кодирование, мультиплексирование и предоставление данных вовне.

[0217] Кроме того, когда считывающе-записывающее устройство ex218 считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора ex300 и считывающе-записывающего устройства ex218 может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и считывающе-записывающее устройство ex218 могут распределять декодирование или кодирование.

[0218] В качестве примера фиг. 21 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации, когда данные считываются или записываются с оптического диска или на него. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны ниже. Оптическая головка ex401 излучает лазерное пятно на поверхность записи у носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи у носителя ex215 записи для считывания информации. Блок ex402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерное излучение в соответствии с записанными данными. Блок ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе ex215 записи, чтобы воспроизвести необходимую информацию. Буфер ex404 временно хранит информацию, которую нужно записать на носитель ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Блок ex406 сервоуправления перемещает оптическую головку ex401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя ex405 диска, чтобы следовать за лазерным пятном. Блок ex407 системного управления управляет в целом блоком ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком ex407 системного управления, использующим различную информацию, сохраненную в буфере ex404, и формирующим и добавляющим новую информацию по необходимости, и блоком ex402 модуляционной записи, блоком ex403 демодуляции при воспроизведении и блоком ex406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки ex401, будучи управляемыми при этом согласованным способом. Блок ex407 системного управления включает в себя, например, микропроцессор и выполняет обработку путем побуждения компьютера выполнить программу для считывания и записи.

[0219] Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.

[0220] Фиг. 22 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя ex215 записи направляющие канавки образуются по спирали, и информационная дорожка ex230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может привести к определению положений блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутренней окружности и область ex234 внешней окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней окружности и область ex234 внешней окружности, которые находятся внутри и снаружи области ex233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Блок ex400 воспроизведения/записи информации считывает и записывает кодированные звуковые данные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных звуковых и видеоданных, из области ex233 записи данных в носителе ex215 записи и на нее.

[0221] Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и для записи информации, имеющей разные слои, с различных углов.

[0222] Кроме того, в системе ex200 цифрового вещания автомобиль ex210, имеющий антенну ex205, может принимать данные со спутника ex202 и других и воспроизводить видеоизображение на устройстве отображения, например автомобильной навигационной системе ex211, установленной в автомобиле ex210. Здесь конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя приемный блок GPS из конфигурации, проиллюстрированной на фиг. 20. То же самое будет справедливо для конфигурации компьютера ex111, сотового телефона ex114 и прочих.

[0223] Фиг. 23A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; камеру ex365, допускающую съемку подвижных и неподвижных изображений; и блок ex358 отображения, например жидкокристаллический дисплей для отображения данных, например декодированного видеоизображения, снятого камерой ex365 или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: корпус, включающий в себя панель ex366 операционных кнопок; блок ex357 вывода звука, например динамик для вывода звукозаписи; блок ex356 ввода звука, например микрофон для ввода звукозаписи; запоминающее устройство ex367 для хранения снятого видеоизображения или фотоснимков, записанного звука, кодированных или декодированных данных принятого видеоизображения, фотоснимков, электронных писем или прочего; и гнездо ex364, которое является интерфейсным блоком для носителя записи, который хранит данные таким же образом, что и запоминающее устройство ex367.

[0224] Далее пример конфигурации сотового телефона ex114 будет описываться со ссылкой на фиг. 23B. В сотовом телефоне ex114 главный блок ex360 управления, спроектированный для управления в целом каждым блоком корпуса, включающего блок ex358 отображения, а также панель ex366 операционных кнопок, взаимно подключается через синхронную шину ex370 к схеме ex361 питания, блоку ex362 управления вводом операции, блоку ex355 обработки видеосигнала, интерфейсному блоку ex363 камеры, блоку ex359 управления жидкокристаллическим дисплеем (LCD), блоку ex352 модуляции/демодуляции, блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки звукового сигнала, гнезду ex364 и запоминающему устройству ex367.

[0225] Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема ex361 питания снабжает соответствующие блоки энергией от аккумуляторной батареи, чтобы активизировать сотовый телефон ex114.

[0226] В сотовом телефоне ex114 блок ex354 обработки звукового сигнала преобразует звуковые сигналы, собранные блоком ex356 ввода звука в режиме разговора, в цифровые звуковые сигналы под управлением главного блока ex360 управления, включающего CPU, ROM и RAM. Затем блок ex352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми звуковыми сигналами, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350. Также в сотовом телефоне ex114 блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме разговора, и выполняет преобразование частоты и аналого-цифровое преобразование над данными. Затем блок ex352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а блок ex354 обработки звукового сигнала преобразует их в аналоговые звуковые сигналы, чтобы вывести их через блок ex357 вывода звука.

[0227] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные из электронной почты, введенные путем воздействия на панель ex366 операционных кнопок и прочее в корпусе, отправляются главному блоку ex360 управления через блок ex362 управления вводом операции. Главный блок ex360 управления побуждает блок ex352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратно обработке для передачи электронной почты, и результирующие данные предоставляются блоку ex358 отображения.

[0228] Когда передаются видеоизображение, неподвижные изображения или видеоизображение и звукозапись в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, поступившие от камеры ex365, используя способ кодирования движущихся изображений, показанный в каждом из вариантов осуществления (то есть функционирует в качестве устройства кодирования изображений в соответствии с аспектом настоящего изобретения), и передает кодированные видеоданные блоку ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера ex365 снимает видеоизображение, неподвижные изображения и другие, блок ex354 обработки звукового сигнала кодирует звуковые сигналы, собранные блоком ex356 ввода звука, и передает кодированные звуковые данные блоку ex353 мультиплексирования/демультиплексирования.

[0229] Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от блока ex355 обработки видеосигнала, и кодированные звуковые данные, поступившие от блока ex354 обработки звукового сигнала, используя заранее установленный способ. Затем блок ex352 модуляции/демодуляции (схема модуляции/демодуляции) выполняет обработку по расширению спектра над мультиплексированными данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350.

[0230] При приеме данных видеофайла, который связан с веб-страницей и другими, в режиме передачи данных или при приеме электронной почты с прикрепленным видеоизображением и/или звукозаписью, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные на поток двоичных сигналов видеоданных и поток двоичных сигналов звуковых данных, и снабжает блок ex355 обработки видеосигнала кодированными видеоданными, а блок ex354 обработки звукового сигнала - кодированными звуковыми данными посредством синхронной шины ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, показанному в каждом из вариантов осуществления (то есть функционирует в качестве устройства декодирования изображений в соответствии с аспектом настоящего изобретения), а затем блок ex358 отображения отображает, например, видеоизображение и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока ex359 управления LCD. Кроме того, блок ex354 обработки звукового сигнала декодирует звуковой сигнал, и блок ex357 вывода звука предоставляет звукозапись.

[0231] Кроме того, аналогично телевизору ex300, терминалу, например сотовому телефону ex114, можно иметь 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования видеоданных звуковыми данными, мультиплексированные данные могут быть данными, полученными путем мультиплексирования видеоданных не звуковыми данными, а символьными данными, имеющими отношение к видеоизображению, и могут быть не мультиплексированными данными, а самими видеоданными.

[0232] По существу, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления может использоваться на любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из вариантов осуществления.

[0233] Кроме того, настоящее изобретение не ограничивается вариантами осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.

[0234] ВАРИАНТ 6 ОСУЩЕСТВЛЕНИЯ

Видеоданные могут формироваться путем переключения, по необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с другим стандартом, например MPEG-2, MPEG-4 AVC и VC-1.

[0235] Здесь, когда формируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако, поскольку нельзя определить стандарт, которому соответствуют каждые из множества видеоданных, которые нужно декодировать, существует проблема, что нельзя выбрать подходящий способ декодирования.

[0236] Чтобы решить эту проблему, мультиплексированные данные, полученные путем мультиплексирования видеоданных звуковыми данными и другими, имеют структуру, включающую в себя идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные по способу кодирования движущихся изображений и с помощью устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG-2.

[0237] Фиг. 24 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 24, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видеоизображение и вторичное видеоизображение фильма, аудиопоток представляет первичную звуковую часть и вторичную звуковую часть, которую нужно смешать с первичной звуковой частью, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видеоизображение является обычным видеоизображением, показанным на экране, а вторичное видеоизображение является видеоизображением, которое нужно показать на меньшем окне в первичном видеоизображении. Кроме того, поток интерактивной графики представляет интерактивный экран, который нужно сформировать путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования движущихся изображений или с помощью устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления, либо по способу кодирования движущихся изображений или с помощью устройства кодирования движущихся изображений в соответствии с традиционным стандартом, например MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.

[0238] Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0x1011 назначается видеопотоку, который нужно использовать для видеоизображения фильма, 0x1100-0x111F назначаются аудиопотокам, 0x1200-0x121F назначаются потокам демонстрационной графики, 0x1400-0x141F назначаются потокам интерактивной графики, 0x1B00-0x1B1F назначаются видеопотокам, которые нужно использовать для вторичного видеоизображения фильма, и 0x1A00-0x1A1F назначаются аудиопотокам, которые нужно использовать для вторичного звука, который нужно смешать с первичным звуком.

[0239] Фиг. 25 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из звуковых кадров, преобразуются в поток ex236 пакетов PES и поток ex239 пакетов PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS соответственно. Аналогичным образом данные из потока ex241 демонстрационной графики и данные из потока ex244 интерактивной графики преобразуются в поток ex242 пакетов PES и поток ex245 пакетов PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.

[0240] Фиг. 26 подробнее иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 26 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 26, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является блоком видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.

[0241] Фиг. 27 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS соответственно. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Временную отметку поступления (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS нужно передать в фильтр PID. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 27. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0242] Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки звукозаписи, видеоизображения, субтитров и прочих, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видеоизображения, звукозаписи, субтитров и прочих, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени ATS, и Системным таймером (STC), который является осью времени PTS и DTS.

[0243] Фиг. 28 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации о потоке, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации о потоке включает в себя дескрипторы потока, описывающие информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию об атрибутах потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.

[0244] Когда мультиплексированные данные записываются на носитель записи и прочее, они записываются вместе с информационными файлами мультиплексированных данных.

[0245] Каждый из информационных файлов мультиплексированных данных является управляющей информацией о мультиплексированных данных, как показано на фиг. 29. Информационные файлы мультиплексированных данных находятся в однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию о мультиплексированных данных, информацию об атрибутах потока и карту входов.

[0246] Как проиллюстрировано на фиг. 29, информация о мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал в один кадр добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.

[0247] Как показано на фиг. 30, порция информации об атрибутах регистрируется в информации об атрибутах потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации об атрибутах содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации об атрибутах видеопотока несет информацию, включающую, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров у порций данных изображения, которые включаются в видеопоток. Каждая порция информации об атрибутах аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация об атрибутах видеопотока и информация об атрибутах аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.

[0248] В настоящем варианте осуществления мультиплексированные данные, которые нужно использовать, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных. Точнее говоря, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанные в каждом из вариантов осуществления, включают в себя этап или блок для назначения уникальной информации, указывающей видеоданные, сформированные по способу кодирования движущихся изображений или с помощью устройства кодирования движущихся изображений в каждом из вариантов осуществления, типу потока, включенному в PMT, или информации об атрибутах видеопотока. С помощью этой конфигурации видеоданные, сформированные способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

[0249] Кроме того, фиг. 31 иллюстрирует этапы способа декодирования движущихся изображений в соответствии с настоящим вариантом осуществления. На Этапе exS100 тип потока, включенный в PMT, или информация об атрибутах видеопотока, включенная в информацию о мультиплексированных данных, получаются из мультиплексированных данных. Далее на Этапе exS101 определяется, указывает ли тип потока или информация об атрибутах видеопотока, что мультиплексированные данные формируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений в каждом из вариантов осуществления. Когда определяется, что тип потока или информация об атрибутах видеопотока указывает, что мультиплексированные данные формируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений в каждом из вариантов осуществления, то на Этапе exS102 выполняется декодирование по способу декодирования движущихся изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG-4 AVC и VC-1, то на Этапе exS103 выполняется декодирование по способу декодирования движущихся изображений в соответствии с традиционными стандартами.

[0250] По существу, назначение нового уникального значения типу потока или информации об атрибутах видеопотока дает возможность определения, могут ли способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описаны в каждом из вариантов осуществления, выполнять декодирование. Даже когда вводятся мультиплексированные данные, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования движущихся изображений либо способ или устройство декодирования движущихся изображений в настоящем варианте осуществления могут использоваться в устройствах и системах, описанных выше.

[0251] ВАРИАНТ 7 ОСУЩЕСТВЛЕНИЯ

Каждое из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений и устройства декодирования движущихся изображений в каждом из вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 32 иллюстрирует конфигурацию LSI ex500, которая превращена в одну микросхему. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины ex510. Схема ex505 питания активизируется путем подачи питания каждому из элементов, когда включается схема ex505 питания.

[0252] Например, когда выполняется кодирование, LSI ex500 принимает аудиовизуальный сигнал от микрофона ex117, камеры ex113 и других посредством аудиовизуального ввода/вывода ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и блок ex512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно сохраняется во внешнем запоминающем устройстве ex511, например SDRAM. Под управлением блока ex501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их блоку ex507 обработки сигналов. Затем блок ex507 обработки сигналов кодирует звуковой сигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, блок ex507 обработки сигналов иногда мультиплексирует кодированные звуковые данные и кодированные видеоданные, и ввод-вывод ex506 потока предоставляет мультиплексированные данные вовне. Предоставленные мультиплексированные данные передаются базовой станции ex107 или записываются на носитель ex215 записи. Когда мультиплексируются наборы данных, данные следует временно сохранить в буфере ex508, чтобы наборы данных синхронизировались друг с другом.

[0253] Хотя запоминающее устройство ex511 является элементом вне LSI ex500, оно может включаться в LSI ex500. Буфер ex508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI ex500 можно превратить в одну микросхему или множество микросхем.

[0254] Кроме того, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 регулировки частоты возбуждения, конфигурация блока ex501 управления не ограничивается таковой. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок ex507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU ex502 может работать в качестве блока ex507 обработки сигналов или быть его частью и, например, может включать в себя блок обработки звукового сигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.

[0255] Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0256] Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т. д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.

[0257] В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.

[0258] ВАРИАНТ 8 ОСУЩЕСТВЛЕНИЯ

Когда декодируются видеоданные, сформированные по способу кодирования движущихся изображений или с помощью устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, возможно, что объем обработки увеличивается по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1. Таким образом, LSI ex500 нужно настраивать на частоту возбуждения выше, чем у CPU ex502, которую нужно использовать, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, имеется проблема в том, что увеличивается энергопотребление.

[0259] Чтобы решить эту проблему, устройство декодирования движущихся изображений, например телевизор ex300 и LSI ex500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 33 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные формируются способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex801 декодирующей обработки, который выполняет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сформированных способом кодирования движущихся изображений или устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает команду блоку ex802 декодирующей обработки, который соответствует традиционному стандарту, декодировать видеоданные.

[0260] Точнее говоря, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 регулировки частоты возбуждения на фиг. 32. Здесь каждый из блока ex801 декодирующей обработки, который выполняет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и блока ex802 декодирующей обработки, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на фиг. 32. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Кроме того, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, возможно, что идентификационная информация, описанная в Варианте 6 осуществления, используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в Варианте 6 осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных ассоциируются с частотами возбуждения, как показано на фиг. 35. Частота возбуждения может выбираться путем сохранения справочной таблицы в буфере ex508 и во внутреннем запоминающем устройстве LSI, и при обращении к справочной таблице с помощью CPU ex502.

[0261] Фиг. 34 иллюстрирует этапы для выполнения способа в настоящем варианте осуществления. Сначала на этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе exS201 на основе идентификационной информации CPU ex502 определяет, формируются ли видеоданные с помощью способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, на Этапе exS202 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, на Этапе exS203 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные формируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления.

[0262] Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500. Например, когда частота возбуждения устанавливается ниже, возможно, что напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.

[0263] Кроме того, в качестве способа для установки частоты возбуждения, когда объем обработки для декодирования больше, частоту возбуждения можно установить выше, а когда объем обработки для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ установки не ограничивается способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC больше объема обработки для декодирования видеоданных, сформированных способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, возможно, что частота возбуждения устанавливается в обратном порядке к установке, описанной выше.

[0264] Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, возможно, что напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, возможно, что напряжение, которое нужно подать на LSI ex500 или устройство, включающее в себя LSI ex500, устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, возможно, что приведение в действие CPU ex502 не приостанавливается, а когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, приведение в действие CPU ex502 приостанавливается в заданный момент, потому что у CPU ex502 есть избыточная производительность обработки. Возможно, что когда идентификационная информация указывает, что видеоданные формируются способом кодирования движущихся изображений и устройством кодирования движущихся изображений, описанными в каждом из вариантов осуществления, приведение в действие CPU ex502 приостанавливается в заданный момент в случае, где у CPU ex502 есть избыточная производительность обработки. В таком случае возможно, что время приостановки устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1.

[0265] Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.

[0266] ВАРИАНТ 9 ОСУЩЕСТВЛЕНИЯ

Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и сотовому телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов в LSI ex500 должен соответствовать разным стандартам. Однако возникают проблемы увеличения масштаба схемы LSI ex500 и увеличения стоимости при отдельном использовании блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.

[0267] Чтобы решить эту проблему, представляется конфигурация, в которой блок декодирующей обработки для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, и блок декодирующей обработки, который соответствует традиционному стандарту, например MPEG-2, MPEG-4 AVC и VC-1, частично используются совместно. Ex900 на фиг. 36A показывает пример этой конфигурации. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который соответствует MPEG-4 AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и предсказание с компенсацией движения. Возможно, что блок ex902 декодирующей обработки, который соответствует MPEG-4 AVC, совместно используется общими операциями обработки, а специализированный блок ex901 декодирующей обработки используется для обработки, которая уникальна для аспекта настоящего изобретения и не соответствует MPEG-4 AVC. В частности, поскольку аспект настоящего изобретения характеризуется энтропийным декодированием, возможно, например, что специализированный блок ex901 декодирующей обработки используется для энтропийного декодирования, а блок декодирующей обработки совместно используется любой или всеми остальными обработками, например обратным квантованием, фильтрацией уменьшения блочности и компенсацией движения. Блок декодирующей обработки для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный блок декодирующей обработки может использоваться для обработки, уникальной для обработки в MPEG-4 AVC.

[0268] Кроме того, ex1000 на фиг. 36B показывает другой пример, в котором обработка частично распределяется. Этот пример использует конфигурацию, включающую специализированный блок ex1001 декодирующей обработки, который поддерживает обработку, уникальную для аспекта настоящего изобретения, специализированный блок ex1002 декодирующей обработки, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок ex1003 декодирующей обработки, который поддерживает обработку, которую нужно распределить между способом декодирования движущихся изображений в соответствии с аспектом настоящего изобретения и традиционным способом декодирования движущихся изображений. Здесь специализированные блоки ex1001 и ex1002 декодирующей обработки не обязательно являются специализированными для обработки в соответствии с аспектом настоящего изобретения и обработки по традиционному стандарту соответственно, а могут быть блоками, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована с помощью LSI ex500.

[0269] По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования блока декодирующей обработки для обработки, которую нужно распределить между способом декодирования движущихся изображений в соответствии с аспектом настоящего изобретения и способом декодирования движущихся изображений в соответствии с традиционным стандартом.

[0270] Хотя способы кодирования изображений и способы декодирования изображений в соответствии с многочисленными аспектами описываются на основе Вариантов осуществления, настоящее изобретение не ограничивается такими Вариантами осуществления. Различные модификации к настоящим вариантам осуществления, которые могут представить себе специалисты в данной области техники, и формы, сконфигурированные путем объединения составляющих элементов в разных вариантах осуществления без отклонения от идей настоящего изобретения, включаются в объем одного или нескольких аспектов.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0271] Настоящее изобретение может применяться к способу кодирования изображений, способу декодирования изображений, устройству кодирования изображений и устройству декодирования изображений. Кроме того, настоящее изобретение может использоваться в устройствах отображения информации высокой четкости или в устройствах захвата изображений, которые включают в себя устройство кодирования изображений, например в телевизоре, цифровом видеомагнитофоне, автомобильной навигационной системе, сотовом телефоне, цифровой фотокамере, цифровой видеокамере и так далее.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0272] 100, 100A, 100B, 100C Устройство кодирования изображений

101 Вычитающее устройство

102 Блок ортогонального преобразования

103 Блок квантования

104, 204 Блок обратного квантования

105, 205 Блок обратного ортогонального преобразования

106, 206 Сумматор

107, 207 Запоминающее устройство блоков

108, 208 Запоминающее устройство кадров

109, 209 Блок внутреннего предсказания

110, 210 Блок внешнего предсказания

111, 211 Блок определения типа изображения

112, 112A, 112C, 212, 212A, 212C Блок управления разделением изображения

113 Блок кодирования переменной длины

114, 114B Блок мультиплексирования

115 Блок кодирования

120 Сигнал входного изображения

121, 125, 225 Данные ошибки предсказания

122, 124, 224 Коэффициенты преобразования

123, 223 Квантованные коэффициенты

126, 127, 128, 226, 227, 228 Декодированные данные изображения

129, 130, 131, 229, 230, 231 Данные предсказанного изображения

132, 132A, 132C, 232, 232A, 232C Управляющий сигнал разделения

133, 233 Кодированные данные

134, 234 Поток двоичных сигналов

135, 135A, 135C, 235, 235A, 235C Информация о разделении изображения

140, 145 Информация о независимости границ фрагмента

141, 146 Информация об общей зависимости

142 Информация о горизонтальной зависимости

143 Информация о вертикальной зависимости

150 Блок управления входным изображением

151 Блок вставки маркера

160, 260 Сигнал изображения

161 Маркер фрагмента

200, 200A, 200B, 200C Блок декодирования изображений

201, 201A, 201B, 201C Блок анализа

213, 213C Блок декодирования переменной длины

215 Блок декодирования

250 Блок управления выходным изображением

281 Кодовая цепочка

282 Битовая строка

Изобретение относится к области кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования и декодирования изображений. Технический результат достигается за счет формирования первой кодовой цепочки путем кодирования первого фрагмента, который является одним из упомянутых фрагментов, без обращения к информации кодирования, используемой при кодировании другого фрагмента из упомянутых фрагментов; и добавления битовой строки после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2. 4 н. и 8 з.п. ф-лы, 47 ил.

1. Способ кодирования изображений, содержащий этапы, на которых:
разделяют изображение на фрагменты;
кодируют фрагменты для формирования порций кодированных данных, каждая из которых соответствует разному фрагменту из упомянутых фрагментов; и
формируют поток двоичных сигналов, включающий в себя порции кодированных данных,
причем этап, на котором кодируют фрагменты, включает в себя этапы, на которых:
формируют первую кодовую цепочку путем кодирования первого фрагмента, который является одним из фрагментов, (i) обращаясь к информации кодирования кодированного фрагмента из упомянутых фрагментов, который расположен рядом с первым фрагментом, когда граница между первым фрагментом и кодированным фрагментом является первой границей, и (ii) без обращения к информации кодирования кодированного фрагмента, когда граница между первым фрагментом и кодированным фрагментом является второй границей; и
добавляют битовую строку после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2, и
на этапе, на котором формируют поток двоичных сигналов, формируют поток двоичных сигналов, включающий в себя информацию о независимости границ фрагмента, причем информация о независимости границ фрагмента указывает, является ли граница между фрагментами первой границей или второй границей.

2. Способ кодирования изображений по п. 1,
в котором этап, на котором формируют первую кодовую цепочку, включает в себя этап, на котором выполняют арифметическое кодирование, чтобы сформировать первую кодовую цепочку, и
на этапе, на котором выполняют арифметическое кодирование, выполняют завершение, которое закрывает первую кодовую цепочку.

3. Способ кодирования изображений по п. 1 или 2,
в котором информацию о независимости границ фрагмента включают в набор параметров изображения или набор параметров последовательности, включенные в поток двоичных сигналов.

4. Способ кодирования изображений по п. 1 или 2,
в котором на этапе, на котором разделяют, определяют порядок кодирования фрагментов,
на этапе, на котором кодируют фрагменты, фрагменты кодируют в определенном порядке кодирования, и
на этапе, на котором формируют поток двоичных сигналов, формируют поток двоичных сигналов, включающий в себя информацию о порядке обработки фрагментов, указывающую порядок кодирования.

5. Способ кодирования изображений по п. 4,
в котором информацию о порядке обработки фрагментов включают в набор параметров изображения или набор параметров последовательности, включенные в поток двоичных сигналов.

6. Способ кодирования изображений по п. 1 или 2,
в котором на этапе, на котором формируют поток двоичных сигналов, маркер вставляют только на границе данных, для которой граница между двумя из фрагментов, соответственно соответствующих двум порциям кодированных данных, расположенных на противоположных сторонах границы данных, является второй границей среди границ данных порций кодированных данных, при этом маркер идентифицирует границу данных.

7. Способ декодирования изображений, содержащий этапы, на которых:
получают порции кодированных данных, включенные в поток двоичных сигналов и сформированные путем кодирования фрагментов, полученных путем разделения изображения; и
декодируют порции кодированных данных, чтобы сформировать данные изображения фрагментов,
причем на этапе, на котором получают порции кодированных данных, из потока двоичных сигналов дополнительно получают информацию о независимости границ фрагмента, причем информация о независимости границ фрагмента указывает, является ли граница между фрагментами первой границей или второй границей, и
этап, на котором декодируют порции кодированных данных, включает в себя этапы, на которых:
формируют данные изображения первого фрагмента, который является одним из упомянутых фрагментов, путем (i) декодирования первой кодовой цепочки, включенной в первые кодированные данные, обращаясь к информации декодирования другого из упомянутых фрагментов, который уже декодирован, когда первая граница указана информацией о независимости границ фрагмента, и (ii) декодирования первой кодовой цепочки без обращения к информации декодирования другого из упомянутых фрагментов, когда указана вторая граница, причем первые кодированные данные являются одной из порций кодированных данных; и
пропускают заранее установленную битовую строку, расположенную после первой кодовой цепочки в первых кодированных данных.

8. Способ декодирования изображений по п. 7,
в котором этап, на котором формируют данные изображения, включает в себя этап, на котором выполняют арифметическое декодирование над первой кодовой цепочкой, а
этап, на котором выполняют арифметическое декодирование, включает в себя этап, на котором перед пропуском выполняют завершение, которое заканчивает арифметическое декодирование над первой кодовой цепочкой.

9. Способ декодирования изображений по п. 7 или 8,
в котором этап, на котором декодируют порции кодированных данных, включает в себя этап, на котором формируют данные изображения второго фрагмента, который является одним из упомянутых фрагментов, путем декодирования второй кодовой цепочки, включенной во вторые кодированные данные, которые расположены после первых кодированных данных в порциях кодированных данных.

10. Устройство кодирования изображений, содержащее:
блок разделения, сконфигурированный для разделения изображения на фрагменты;
блок кодирования, сконфигурированный для кодирования фрагментов для формирования порций кодированных данных, каждая из которых соответствует разному фрагменту из упомянутых фрагментов; и
блок формирования потока двоичных сигналов, сконфигурированный для формирования потока двоичных сигналов, включающего в себя порции кодированных данных,
причем блок кодирования сконфигурирован для:
формирования первой кодовой цепочки путем кодирования первого фрагмента, который является одним из упомянутых фрагментов, (i) обращаясь к информации кодирования кодированного фрагмента из фрагментов, соседних с первым фрагментом, когда граница между первым фрагментом и кодированным фрагментом является первой границей, и (ii) без обращения к информации кодирования кодированного фрагмента, когда граница между первым фрагментом и кодированным фрагментом является второй границей; и
добавления битовой строки после первой кодовой цепочки, чтобы сделать длину в битах первых кодированных данных, которые являются одной из порций кодированных данных, кратной заранее установленным N битам, причем N - целое число, больше либо равное 2, и
блок формирования потока двоичных сигналов сконфигурирован для формирования потока двоичных сигналов, включающего в себя информацию о независимости границ фрагмента, указывающую, является ли граница между фрагментами первой границей или второй границей.

11. Устройство декодирования изображений, содержащее:
блок анализа, сконфигурированный для получения порций кодированных данных, включенных в поток двоичных сигналов и сформированных путем кодирования фрагментов, полученных путем разделения изображения; и
блок декодирования, сконфигурированный для декодирования кодированных данных, чтобы сформировать данные изображения фрагментов,
причем блок анализа сконфигурирован для дополнительного получения информации о независимости границ фрагмента из потока двоичных сигналов, причем информация о независимости границ фрагмента указывает, является ли граница между фрагментами первой границей или второй границей, и
блок декодирования сконфигурирован для:
формирования данных изображения первого фрагмента, который является одним из упомянутых фрагментов, путем (i) декодирования первой кодовой цепочки, включенной в первые кодированные данные, обращаясь к информации декодирования другого из упомянутых фрагментов, который уже декодирован, когда первая граница указана информацией о независимости границ фрагмента, и (ii) декодирования первой кодовой цепочки без обращения к информации декодирования другого из упомянутых фрагментов, который уже декодирован, когда указана вторая граница, причем первые кодированные данные являются одной из порций кодированных данных; и
пропуска заранее установленной битовой строки, расположенной после первой кодовой цепочки в первых кодированных данных.

12. Устройство кодирования и декодирования изображений, содержащее:
устройство кодирования изображений по п. 10; и
устройство декодирования изображений по п. 11.