Область техники
[0001] Настоящее изобретение относится к способу кодирования движущихся изображений для кодирования изображений на поблочной основе и к способу декодирования движущихся изображений для декодирования изображений на поблочной основе.
Уровень техники
[0002] При декодировании с внешним прогнозированием в H.264 данные изображений текущего блока декодируются посредством прогнозирования бипрогнозного опорного блока, включенного в срез B, с использованием, в качестве опорных, двух элементов данных изображений, которые являются данными изображений, отличающихся от изображения, включающего в себя текущий блок.
[0003] Для стандарта H.264 существуют режимы извлечения векторов движения, доступные для прогнозирования изображений. Режимы упоминаются в качестве прямых режимов (см. 8.4.1.2.1, 3.45 и т.д. в NPL 1).
[0004] Следующие два режима (S) и (T) доступны в качестве прямых режимов в H.264.
[0005] (T): Временной прямой режим (временной режим). Текущий блок прогнозируется с использованием вектора mvCol движения совместно размещенного блока (Col_Blk), который является пространственно идентичным текущему блоку (но временно отличающимся), масштабированным на некоторый процент.
[0006] (S): Пространственный прямой режим. Текущий блок прогнозируется с использованием данных относительно вектора движения (данных движения) блока, который пространственно отличается (но должен отображаться одновременно с текущим блоком).
Список библиографических ссылок
Непатентные документы
[0007] NPL 1. ITU-T H.264 03/2010
NPL 2. WD4: Working Draft 4 of High-Efficiency Video Coding Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 июля 2011 года, документ: JCTVC-F803_d2
Сущность изобретения
Техническая проблема
[0008] Тем не менее, прогнозирование во временном прямом режиме заключает в себе умножение для масштабирования. Такое умножение может приводить к увеличению нагрузки при кодировании или декодировании, поскольку векторы движения, используемые при кодировании или декодировании, могут требовать обработки при большей битовой точности.
[0009] С учетом этого, один неограничивающий и примерный вариант осуществления предоставляет способ кодирования движущихся изображений и способ декодирования движущихся изображений, каждый из которых может приводить к уменьшенной нагрузке и осуществляться с идентичной эффективностью кодирования.
Решение задачи
[0010] Способ кодирования движущихся изображений согласно аспекту настоящего изобретения представляет собой способ кодирования движущихся изображений для кодирования изображений на поблочной основе и включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть кодировано, и пространственно соседним с текущим блоком, который должен быть кодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для кодирования текущего блока; и кодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом, при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
[0011] Кроме того, способ декодирования движущихся изображений согласно аспекту настоящего изобретения представляет собой способ декодирования движущихся изображений для декодирования изображений на поблочной основе и включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть декодировано, и пространственно соседним с текущим блоком, который должен быть декодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для декодирования текущего блока; и декодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
[0012] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.
Преимущества изобретения
[0013] Способы кодирования движущихся изображений и способы декодирования движущихся изображений согласно настоящему изобретению обеспечивают кодирование или декодирование движущихся изображений с уменьшенной нагрузкой по обработке без вызывания снижения эффективности кодирования.
Краткое описание чертежей
[0014] Фиг. 1 иллюстрирует два изображения, к которым обращаются для декодирования текущего блока (Curr_Blk).
Фиг. 2A иллюстрирует список (RefPicList0) опорных изображений.
Фиг. 2B иллюстрирует список (RefPicList1) опорных изображений.
Фиг. 3 иллюстрирует picNum в списках RefPicList0 и RefPicList1 опорных изображений включенного CurrBlk.
Фиг. 4 иллюстрирует информацию для использования во временном режиме (T).
Фиг. 5A иллюстрирует процесс масштабирования во временном режиме, показывая упрощенную схему совместно размещенного блока и вектора mvL0Col движения.
Фиг. 5B иллюстрирует процесс масштабирования во временном режиме с использованием схемы общего представления процесса масштабирования.
Фиг. 6 иллюстрирует взаимосвязь между этапами 1-3 и уравнениями для извлечения векторов движения, описанных в NPL 1.
Фиг. 7 иллюстрирует пространственный прямой режим (S).
Фиг. 8 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования движущихся изображений согласно варианту 1 осуществления.
Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей работу устройства кодирования движущихся изображений согласно варианту 1 осуществления.
Фиг. 10 иллюстрирует блоки-кандидаты [1…6] слияния, заданные посредством модуля внутреннего - внешнего прогнозирования.
Фиг. 11 иллюстрирует общее представление списка (mergeCandList) кандидатов слияния.
Фиг. 12 иллюстрирует примерный случай, когда модуль внешнего - внутреннего прогнозирования определяет то, что данные движения являются копией.
Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс для получения данных движения блока-кандидата [i] слияния.
Фиг. 14 является блок-схемой последовательности операций способа, иллюстрирующей пример процесса масштабирования, выполняемого посредством модуля внешнего - внутреннего прогнозирования.
Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей другой пример процесса масштабирования, выполняемого посредством модуля внешнего - внутреннего прогнозирования.
Фиг. 16 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования движущихся изображений согласно варианту 1 осуществления.
Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей работу устройства декодирования движущихся изображений согласно варианту 1 осуществления.
Фиг. 18 иллюстрирует обновление списка (mergeCandList) кандидатов слияния с использованием (a) сформированного начального списка (mergeCandList) кандидатов слияния и (b) списка кандидатов слияния после обновления.
Фиг. 19A иллюстрирует предиктор mvpLX вектора движения в HEVC.
Фиг. 19B иллюстрирует список mvpListLX (mvpListL0 и mvpListL1) кандидатов для предиктора mvpLX вектора движения.
Фиг. 20 иллюстрирует блоки-кандидаты предикторов или блок-кандидат предиктора.
Фиг. 21 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.
Фиг. 22 показывает общую конфигурацию цифровой широковещательной системы.
Фиг. 23 показывает блок-схему, иллюстрирующую пример конфигурации телевизионного приемника.
Фиг. 24 показывает блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.
Фиг. 25 показывает пример конфигурации носителя записи, который является оптическим диском.
Фиг. 26A показывает пример сотового телефона.
Фиг. 26B является блок-схемой, показывающей пример конфигурации сотового телефона.
Фиг. 27 иллюстрирует структуру мультиплексированных данных.
Фиг. 28 схематично показывает то, как каждый поток мультиплексируется в мультиплексированных данных.
Фиг. 29 показывает то, как видеопоток сохраняется в потоке PES-пакетов.
Фиг. 30 показывает структуру TS-пакетов и исходных пакетов в мультиплексированных данных.
Фиг. 31 показывает структуру данных PMT.
Фиг. 32 показывает внутреннюю структуру информации мультиплексированных данных.
Фиг. 33 показывает внутреннюю структуру информации атрибутов потока.
Фиг. 34 показывает этапы для идентификации видеоданных.
Фиг. 35 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления.
Фиг. 36 показывает конфигурацию для переключения между частотами возбуждения.
Фиг. 37 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.
Фиг. 38 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.
Фиг. 39A является схемой, показывающей пример конфигурации для совместного использования модуля процессора сигналов.
Фиг. 39B является схемой, показывающей другой пример конфигурации для совместного использования модуля процессора сигналов.
Подробное описание вариантов осуществления
[0015] Базовая основа формирования знаний настоящего изобретения
Фиг. 1 иллюстрирует два изображения, к которым обращаются для декодирования текущего блока (Curr_Blk). На фиг. 1, номера ʺ300ʺ-ʺ304ʺ являются номерами (PicNum) изображений, и изображения размещаются в порядке возрастания значений порядка (PicOrderCnt) отображения. Текущий блок, который должен быть декодирован, включается в изображение с номером 302 (CurrPic). В этом примере, текущий блок, который должен быть декодирован, обращается к изображению, имеющему PicNum 301, и изображению, имеющему PicNum 304. Изображение, имеющее PicNum 301, предшествует изображению, включающему в себя текущий блок в порядке отображения, и изображение, имеющее PicNum 304, идет после изображения, включающего в себя текущий блок, в порядке отображения. На нижеприведенных чертежах начальная точка стрелки указывает изображение, из которого обращаются (изображение, которое должно быть декодировано), и острие стрелки указывает изображение, которое должно использоваться для декодирования (изображение, к которому следует обращаться), как описано в легенде к фиг. 1.
[0015] Текущие блоки, которые должны быть декодированы, указываются посредством сплошного черного блока на нижеприведенных чертежах и называются просто Curr_Blk на чертежах и в нижеприведенном описании. С другой стороны, начальная точка стрелки указывает изображение, из которого обращаются (изображение, которое должно быть декодировано), и острие стрелки указывает изображение, которое должно использоваться для декодирования (изображение, к которому следует обращаться), как описано в легенде к фиг. 1. Изображение, имеющее picNum 302, представляет собой изображение, включающее в себя текущий блок, который должен быть декодирован (текущее изображение, которое должно быть декодировано).
[0016] Фиг. 2A и фиг. 2B иллюстрируют два списка опорных изображений, RefPicList0 и RefPicList1, соответственно.
[0017] Фиг. 2A иллюстрирует список 0 (RefPicList0) опорных изображений, который является списком для идентификации одного из двух опорных изображений. Фиг. 2B показывает список 1 (RefPicList1) опорных изображений, который является списком для идентификации другого из двух опорных изображений. Посредством использования списков опорных изображений, можно указывать опорное изображение, к которому обращаются посредством текущего изображения, которое должно быть декодировано, с использованием индекса, имеющего небольшое значение, к примеру, ʺ0ʺ или ʺ1ʺ (refIdxL0 и refIdxL1) вместо picNum, имеющего большое значение, к примеру, ʺ302ʺ. Изображения, к которым обращаются посредством текущих блоков, которые должны быть декодированы (Curr_Blk), которые являются блоками в срезе, указываются с использованием значений в этих списках.
[0018] Эти списки инициализируются (формируются), когда декодируется срез B, включающий в себя текущий блок.
[0019] Записи в списках RefPicList0 и RefPicList1 опорных изображений переупорядочиваются таким образом, что индексы, имеющие меньшие значения в списке RefPicList0 опорных изображений и списке RefPicList1 опорных изображений, указывают изображения, имеющие различные номера picNum изображений. Каждый из списков опорных изображений разделяется на первую половину, включающую в себя изображения, предшествующие picNum302, и вторую половину, включающую в себя изображения, идущие после picNum302. В первой половине списка 0 опорных изображений, индексам изображений назначаются номера изображений в порядке убывания (301, 300…). В первой половине списка 1 опорных изображений, индексам изображений назначаются номера изображений в порядке возрастания (303, 304…).
[0020] Например, когда кодовая последовательность имеет индекс, имеющий минимальное значение ʺ0ʺ для каждого из списка 0 опорных изображений и списка 1 опорных изображений, следующие два опорных изображения определяются для изображения 302.
[0021] Одно из опорных изображений представляет собой изображение, указываемое посредством RefPicList0[0], которое представляет собой изображение 301 непосредственно перед изображением 302. Другое из опорных изображений представляет собой изображение, указываемое посредством RefPicList1[0], которое представляет собой изображение 303 сразу после изображения 302.
[0022] В примере, проиллюстрированном на фиг. 1, один индекс refIdxL0 равен 0, и, следовательно, текущее изображение 302 обращается к изображению 301. Другой индекс refIdxL1 равен 1, и, следовательно, текущее изображение 302 обращается к изображению 304.
[0023] Фиг. 3 иллюстрирует picNum в случае, если значения refIdxL0 и refIdxL1 в каждом из списков RefPicList0 и RefPicList1 опорных изображений CurrBlk, включенного в изображения 302, увеличиваются от ʺ0ʺ. Большие значения в списке (значение refIdxL0 и значение refIdxL1) указывают изображения, более удаленные от текущего изображения, которое должно быть декодировано (picNum302).
[0024] В частности, RefPicList1, который указывает другой опорный элемент, хранит индексы согласно такому правилу, что индексам, имеющим меньше значений в списке, назначаются изображения после изображения 302 CurrPic (т.е. изображения, большие PicOrderCnt (CurrPic) и уже декодированные и сохраненные в запоминающем устройстве) в порядке убывания (правило упоминается в качестве правила 1). Согласно правилу 1 изображение, указываемое посредством RefPicList1[0], представляет собой изображение picNum 303, указываемое посредством пунктирного круга на фиг. 3.
[0025] Как видно выше, один список опорных изображений называется просто RefPicList0, и индексы в списке называются просто refIdxL0 в описании и на чертежах, если не указано иное. Аналогично, другой список опорных изображений называется просто RefPicList1, и индексы в списке называются просто refIdxL1 (см. легенды к фиг. 3 и NPL 1, 8.2.4.2.3 в ʺ8.2.4. Decoding process for reference picture lists constructionʺ на предмет дополнительных сведений).
[0026] Далее описываются временной режим (T) и пространственный прямой режим (S) в H.264.
[0027] Фиг. 4 иллюстрирует информацию для использования во временном режиме (T).
[0028] Заштрихованный блок на фиг. 4 представляет совместно размещенный блок (Col_Blk), который является пространственно идентичным текущему блоку (но временно отличающимся от текущего блока). Временное местоположение совместно размещенного блока указывается посредством индекса, имеющего значение ʺ0ʺ в RefPicList1 в другом списке 1 опорных изображений на фиг. 3, т.е. совместно размещенный блок находится в изображении 303. В списке RefPicList1, инициализированном согласно правилу 1, изображение, указываемое посредством индекса, имеющего значение ʺ0ʺ (т.е. значение RefPicList1[0]), представляет собой изображение, временно ближайшее из изображений, которые находятся в опорном запоминающем устройстве и идут после текущего изображения в порядке отображения с исключительными случаями, в которых, например, опорное запоминающее устройство не сохраняет изображения, идущие временно после текущего изображения.
[0029] Затем, во временном режиме, векторы mvL0 и mvL1 движения текущего блока Curr_Blk, который должен быть декодирован, представленного в качестве сплошного черного блока, извлекаются с использованием ʺданных движенияʺ Col_Blk, представленного в качестве заштрихованного блока. ʺДанные движенияʺ включают в себя следующее.
[0030] (i) Опорное изображение refIdxL0[refidx], к которому обращаются посредством Col_Blk
[0031] В этом примере, Col_Blk обращается к изображению, имеющему picNum 301 (это указывается посредством значения RefPicList0[1]).
[0032] (ii) Вектор mvL0Col движения в опорном изображении
[0033] На фиг. 4, пунктирная стрелка в изображении, имеющем picNum 301, указывает один вектор mvL0Col движения, который должен быть использован для декодирования Col_Blk.
[0034] Далее, пунктирные стрелки в настоящем описании и на чертежах представляют векторы движения. Вектор mvL0Col движения указывает прогнозное изображение, используемое для декодирования Col_Blk.
[0035] Фиг. 5A и фиг. 5B иллюстрируют процесс масштабирования во временном режиме.
[0036] Процесс масштабирования является процессом для извлечения векторов mvL0 и mvL1 движения текущего блока Curr_Blk, который должен быть декодирован, посредством масштабирования значения вектора mvL0Col движения с использованием отношения между расстояниями от текущего блока до опорных изображений.
[0037] Фиг. 5A иллюстрирует опорную структуру, совместно размещенный блок и вектор mvL0Col движения на фиг. 1-4 с использованием упрощенной схемы.
[0038] Фиг. 5B иллюстрирует общее представление процесса масштабирования.
[0039] Процесс масштабирования основан на идее подобия между треугольником DEF и треугольником ABC, как проиллюстрировано на фиг. 5B.
[0040] Треугольник DEF является треугольником для Col_Blk.
[0041] Точка D находится в Col_Blk. Точка E находится в изображении, к которому обращаются посредством Col_Blk. Точка F является точкой, в которой вектор mvL0Col движения, начинающийся в точке E, имеет верхушку.
[0042] Треугольник ABC является треугольником для Curr_Blk.
[0043] Точка A находится в текущем блоке Curr_Blk, который должен быть декодирован. Точка B находится в изображении, к которому обращаются посредством блока Curr_Blk. Точка C является точкой, в которой вектор, который должен извлекаться, имеет верхушку.
[0044] Во-первых, на этапе 1 извлекается ScaleFactor, который является отношением (2) относительного расстояния (tx) от Col_Blk до изображения, к которому обращаются посредством Col_Blk, к (1) относительному расстоянию (tb) от Curr_Blk до изображения, к которому обращаются посредством Curr_Blk. Например, ссылаясь на фиг. 5B, ScaleFactor является отношением tb=302-301=1 к tx=303-301=2 (tb/tx), т.е. коэффициентом масштабирования 0,5 (1/2) (или отношением гомотетии 1:2). Следовательно, имеет место то, что отношение гомотетии треугольника ABC к треугольнику DEF составляет 1/2.
[0045] ScaleFactor=tb/tx=(302-301)/(303-301)=1/2… (этап 1)
[0046] На этапе 2, вектор EF, имеющий абсолютную величину, равную длине данной стороны EF, умножается на коэффициент масштабирования, чтобы получать вектор BC. Вектор BC является одним из двух векторов, которые должны извлекаться, вектор mvL0.
[0047] mvL0=ScaleFactor Ч mvL0Col… (этап 2)
[0048] На этапе 3, другой вектор, который должен извлекаться, вектор mvL1, извлекается с использованием mvL0, извлекаемого на этапе 2, и инвертированного mvL0Col.
[0049] mvL1=mvL0-mvL0Col… (этап 3)
[0050] Фиг. 6 иллюстрирует взаимосвязь между этапами 1-3 и уравнениями для извлечения векторов движения, описанных в ʺ8.4.1.2.3. Derivation process for temporal direct luma motion vector and reference index prediction modeʺ в NPL 1.
[0051] Фиг. 7 иллюстрирует другой из двух прямых режимов, т.е. пространственный прямой режим (S).
[0052] Текущий блок (Curr_Blk), который должен быть декодирован, включается в блок единицы компенсации движения. В этом режиме данные относительно вектора движения (они представляют собой данные движения, включающие в себя комбинацию значений (вектор mvLXN движения и опорный индекс refIdxLXN), как описано выше, то же применимо в дальнейшем), получаются для блока n, который граничит с блоком единицы компенсации движения (блок n является, например, соседним блоком A, соседним блоком B или соседним блоком C).
[0053] Из данных по вектору движения (в дальнейшем также называемых данными движения), элемент данных движения (refIdxL0 и refIdxL0 и mvL0 и mvL1, соответствующие им, соответственно) блока, имеющего наименьшее значение опорного индекса (refIdxLXN), используется как есть (см. уравнения 8-186 и 8-187 в NPL 1). Опорные индексы имеют значения натуральных чисел, включающие в себя ʺ0ʺ (значения для значений MinPositive). В частности, refIdxL0 и refIdxL1 извлекаются с использованием следующих уравнений, соответственно:
[0054] refIdxL0=MinPositive (refIdxL0A, MinPositive (refIdxL0B, refIdxL0C)) (8-186); и
[0055] refIdxL1=MinPositive (refIdxL1A, MinPositive (refIdxL1B, refIdxL1C)) (8-187).
[0056] В пространственном прямом режиме, в наборе используются элементы ʺданных движенияʺ, включающих в себя данные относительно вектора mvL0 или mvL1 движения, такие как расстояние от текущего изображения до опорного изображения (refIdxL0, refIdxL1). Следовательно, в отличие от этого, во временном режиме извлечение вектора движения, в общем, не заключает в себе масштабирование mvL0 или mvL1, а только обращается к опорному изображению, используемому для соседнего блока.
[0057] Как описано выше, извлечение вектора mvL0 движения с использованием ScaleFactor (DistScaleFactor) во временном режиме (T) заключает в себе умножение mvL0Col на ScaleFactor. Соответственно, когда вектор движения, который должен обрабатываться при декодировании, ограничивается абсолютной величиной таким образом, что вектор движения может быть представлен с некоторой битовой точностью, необходимо управлять формированием вектора движения таким образом, что вектор движения, полученный в качестве результата умножения, выполняемого при кодировании во временном режиме, имеет такую абсолютную величину. Такое управление увеличивает нагрузку по обработке при кодировании.
[0058] Кроме того, согласно традиционному стандарту H.264, переключение между временным режимом (T) и пространственным прямым режимом (S) разрешается только не более одного раза в расчете на срез.
[0059] Для HEVC-стандарта поясняется использование режима слияния, в котором векторы движения извлекаются с использованием способа, более гибкого, чем тогда, когда пространственный прямой режим или временной режим используется для каждого среза в H.264. Здесь, требуется обеспечивать надлежащий баланс между уменьшением нагрузки по обработке и поддержанием эффективности кодирования для извлечения таких векторов движения, имеющих ограниченную абсолютную величину, посредством использования этих режимов в сочетании с режимом слияния для нового стандарта, HEVC.
[0060] Способ кодирования движущихся изображений согласно аспекту настоящего изобретения представляет собой способ кодирования движущихся изображений для кодирования изображений на поблочной основе и включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть кодировано, и пространственно соседним с текущим блоком, который должен быть кодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для кодирования текущего блока; и кодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
[0061] Таким образом, можно ограничивать векторы движения, обрабатываемые при кодировании и декодировании, некоторой абсолютной величиной таким образом, что векторы движения могут быть представлены с некоторой битовой точностью.
[0062] Кроме того, при добавлении, когда определяется то, что второй вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, второй вектор движения усекается так, чтобы иметь абсолютную величину в пределах предварительно определенного диапазона абсолютных величин, и вектор движения, полученный в результате усечения второго вектора движения, добавляется в список в качестве вектора движения соответствующего блока.
[0063] Кроме того, при добавлении, когда определяется то, что второй вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, второй вектор движения не добавляется в список.
[0064] Кроме того, список является списком кандидатов слияния, который перечисляет вектор движения соответствующего блока и задающую информацию для задания изображения, к которому обращаются посредством соответствующего блока, при добавлении задающая информация добавляется в список кандидатов слияния в дополнение к вектору движения соответствующего блока, при выборе вектор движения и задающая информация, которые должны использоваться для кодирования текущего блока, выбираются из числа векторов движения в списке кандидатов слияния, и при кодировании текущий блок кодируется посредством формирования прогнозного изображения текущего блока с использованием вектора движения и задающей информации, выбранных при выборе.
[0065] Кроме того, список является списком кандидатов предикторов вектора движения, при добавлении дополнительно определяется то, имеет четвертый вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, и четвертый вектор движения добавляется в список кандидатов предикторов вектора движения в качестве кандидата вектора предиктора движения, когда определяется то, что четвертый вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, причем четвертый вектор движения вычисляется посредством выполнения процесса масштабирования в отношении третьего вектора движения пространственно соседнего соответствующего блока, при выборе, предиктор вектора движения, который должен быть использован для кодирования текущего блока, выбирается из списка кандидатов предикторов вектора движения, и при кодировании выполняется кодирование текущего блока, которое включает в себя кодирование вектора движения текущего блока с использованием предиктора вектора движения, выбранного при выборе.
[0066] Кроме того, при добавлении, когда определяется то, что четвертый вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, четвертый вектор движения усекается так, чтобы иметь абсолютную величину в пределах предварительно определенного диапазона абсолютных величин, и вектор движения, полученный в результате усечения четвертого вектора движения, добавляется в список кандидатов предикторов вектора движения в качестве кандидата предиктора вектора движения.
[0067] Кроме того, предварительно определенный диапазон абсолютных величин определяется на основе битовой точности вектора движения, и битовая точность имеет либо значение, заданное посредством одного из профиля и уровня, либо значение, включенное в заголовок.
[0068] Кроме того, способ декодирования движущихся изображений согласно аспекту настоящего изобретения представляет собой способ декодирования движущихся изображений для декодирования изображений на поблочной основе и включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть декодировано, и пространственно соседним с текущим блоком, который должен быть декодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для декодирования текущего блока; и декодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
[0069] Таким образом, можно ограничивать векторы движения, обрабатываемые при кодировании и декодировании, определенной абсолютной величиной таким образом, что векторы движения могут быть представлены с определенной битовой точностью.
[0070] Кроме того, при добавлении, когда определяется то, что второй вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, второй вектор движения усекается так, чтобы иметь абсолютную величину в пределах предварительно определенного диапазона абсолютных величин, и вектор движения, полученный в результате усечения второго вектора движения, добавляется в список.
[0071] Кроме того, при добавлении, когда определяется то, что второй вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, второй вектор движения не добавляется в список.
[0072] Кроме того, список является списком кандидатов слияния, который перечисляет вектор движения соответствующего блока и задающую информацию для задания изображения, к которому обращаются посредством соответствующего блока, при добавлении задающая информация добавляется в список кандидатов слияния в дополнение к вектору движения соответствующего блока, при выборе вектор движения и задающая информация, которые должны использоваться для декодирования текущего блока, выбираются из числа векторов движения в списке кандидатов слияния, и при декодировании текущий блок декодируется посредством формирования прогнозного изображения текущего блока с использованием вектора движения и задающей информации, выбранных при выборе.
[0073] Кроме того, список является списком кандидатов предикторов вектора движения, при добавлении дополнительно определяется то, имеет ли четвертый вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, и четвертый вектор движения добавляется в список кандидатов предикторов вектора движения в качестве кандидата вектора предиктора движения, когда определяется то, что четвертый вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, причем четвертый вектор движения вычисляется посредством выполнения процесса масштабирования в отношении третьего вектора движения пространственно соседнего соответствующего блока, при выборе, предиктор вектора движения, который должен быть использован для декодирования текущего блока, выбирается из списка кандидатов предикторов вектора движения, и при декодировании выполняется декодирование текущего блока, которое включает в себя декодирование вектора движения текущего блока с использованием предиктора вектора движения, выбранного при выборе.
[0074] Кроме того, при добавлении, когда определяется то, что четвертый вектор движения имеет абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин, четвертый вектор движения усекается так, чтобы иметь абсолютную величину в пределах предварительно определенного диапазона абсолютных величин, и вектор движения, полученный в результате усечения четвертого вектора движения, добавляется в список кандидатов предикторов вектора движения в качестве кандидата предиктора вектора движения.
[0075] Кроме того, предварительно определенный диапазон абсолютных величин определяется на основе битовой точности вектора движения, и битовая точность имеет либо значение, заданное посредством одного из профиля и уровня, либо значение, включенное в заголовок.
[0076] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, способа, интегральной схемы, компьютерной программы или считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.
[0077] Далее конкретно описаны варианты осуществления настоящего изобретения со ссылками на чертежи.
[0078] Каждый из вариантов осуществления, описанных ниже, показывает общий или конкретный пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.д., показанные в следующих вариантах осуществления, являются просто примерами, и, следовательно, не ограничивают объем формулы изобретения. Следовательно, из структурных элементов в следующих примерных вариантах осуществления, структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, описываются как произвольные структурные элементы.
Первый вариант осуществления
[0079] Фиг. 8 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования движущихся изображений согласно варианту 1 осуществления.
[0080] Как проиллюстрировано на фиг. 8, устройство 100 кодирования движущихся изображений включает в себя, в качестве основной части, модуль 101 вычитания, модуль 102 преобразования, модуль 103 квантования, модуль 110 энтропийного кодирования, модуль 104 обратного квантования, модуль 105 обратного преобразования, модуль 106 суммирования, запоминающее устройство 109, модуль 107 внутреннего - внешнего прогнозирования и модуль 108 управления кодированием.
[0081] Модуль 101 вычитания выводит разностный сигнал, который является разностью между входным видеосигналом и прогнозирующим видеосигналом.
[0082] Модуль 102 преобразования преобразует разностный сигнал из области изображений в частотную область. Модуль 103 квантования квантует разностный сигнал в частотной области в качестве результата преобразования и выводит квантованный разностный сигнал.
[0083] Модуль 110 энтропийного кодирования энтропийно кодирует квантованный разностный сигнал и управляющий сигнал декодирования и выводит кодированный поток битов.
[0084] Модуль 104 обратного квантования обратно квантует квантованный разностный сигнал. Модуль 105 обратного преобразования обратно преобразует обратно квантованный разностный сигнал из частотной области в область изображений и выводит восстановленный разностный сигнал.
[0085] Модуль 106 суммирования суммирует восстановленный разностный сигнал и прогнозный видеосигнал, чтобы формировать декодированный видеосигнал.
[0086] Модуль 107 внутреннего - внешнего прогнозирования сохраняет декодированный видеосигнал на основе предварительно определенной единицы, к примеру, на покадровой основе или на поблочной основе, в запоминающем устройстве 109 и, после инструкции из модуля 108 управления кодированием, формирует и выводит прогнозный видеосигнал (пиксельные значения, извлекаемые на основе декодированного видеосигнала и векторов движения), который должен предоставляться в модуль 101 вычитания и модуль 106 суммирования.
[0087] Кроме того, модуль 107 внутреннего - внешнего прогнозирования извлекает список (mergeCandList) кандидатов слияния, который является списком векторов движения кандидатов для использования при кодировании и декодировании, выполняемом в режиме слияния. Чтобы извлекать список кандидатов слияния, модуль 107 внутреннего - внешнего прогнозирования избирательно добавляет, в список кандидатов слияния, вектор движения соответствующего блока. Каждый из соответствующих блоков является (i) блоком, включенным в текущее изображение, которое должно быть кодировано, и пространственно соседним с текущим блоком, который должен быть кодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком. Кроме того, модуль 107 внутреннего - внешнего прогнозирования выполняет процесс масштабирования в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, и определяет то, имеет второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенного диапазона абсолютных величин. При определении, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, модуль 107 внутреннего - внешнего прогнозирования добавляет, в список кандидатов слияния, второй вектор движения в качестве вектора движения соответствующего блока. Модуль 107 внутреннего - внешнего прогнозирования выбирает вектор движения, который должен быть использован для кодирования текущего блока, из списка кандидатов слияния. Другими словами, процесс масштабирования согласно варианту 1 осуществления выполняется, главным образом, посредством модуля 107 внутреннего - внешнего прогнозирования. Следует отметить, что модуль 107 внутреннего - внешнего прогнозирования устройства 100 кодирования движущихся изображений согласно варианту 1 осуществления соответствует модулю добавления и модулю выбора, и модуль 101 вычитания, модуль 102 преобразования, модуль 103 квантования и модуль 110 энтропийного кодирования устройства 100 кодирования движущихся изображений согласно варианту 1 осуществления соответствуют модулю кодирования.
[0088] Модуль 108 управления кодированием определяет параметры управления для управления единицами обработки на фиг. 8 и для управления кодированием изображения на основе результата испытания и предоставляет параметры, в частности, в модуль 107 внутреннего - внешнего прогнозирования. (Параметры управления соответствуют управляющему сигналу декодирования). Испытание выполняется с использованием, например, функции для уменьшения длины в битах кодированного потока битов, представленного посредством пунктирной линии на фиг. 8. Параметры управления для кодирования видеоданных (например, параметры, указывающие внешнее прогнозирование или внутреннее прогнозирование) в силу этого определяются и выводятся. Выведенный сигнал включает в себя индексы векторов движения, которые описываются ниже.
[0089] Когда результат испытания является утвердительным, модуль 108 управления кодированием определяет индекс (merge_idx) слияния, который является значением, указывающим то, что этот процесс масштабирования согласно варианту 1 осуществления применен к изображению, и включает индекс слияния в управляющий сигнал декодирования, который должен быть выведен. В этом случае, квантованный разностный сигнал имеет значения, извлеченные из прогнозирующего видеосигнала, сформированного с использованием процесса масштабирования согласно варианту 1 осуществления.
[0090] Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей работу устройства кодирования движущихся изображений согласно варианту 1 осуществления.
[0091] Далее описываются операция кодирования в режиме слияния в случае, если модуль 108 управления кодированием определяет (1) внешне кодировать текущий блок (MODE_INTER), и (2) использовать режим слияния (MergeMODE) (или получать результат использования режима слияния).
[0092] Режим слияния в HEVC является концептуально эквивалентным прямому режиму, предоставленному в качестве нового в стандарте H.264. Аналогично прямому режиму в H.264, вектор движения извлекается не с использованием кодовой последовательности, а с использованием вектора движения (S) пространственно или (T) временно различного блока.
[0093] Режим слияния и прямой режим в H.264 отличаются в следующих аспектах.
[0094] (a) Единица обработки: Переключение между использованием и не использованием режима слияния является возможным посредством переключения merge_flag, который может переключаться в единице прогнозирования (PU), меньшей чем срез.
[0095] (b) Варианты: Выбор пространственного прямого режима (S) или временного режима (T) не является определением с двумя альтернативами. Предусмотрено больше вариантов, и выбор указывается посредством merge_idx. В частности, извлекается список (mergeCandList) кандидатов слияния, который является списком векторов движения кандидатов для использования при кодировании и декодировании в режиме слияния. Вектор движения, который должен быть использован, указывается посредством значения индекса (merge_idx), выбранного из кодовой последовательности в списке.
[0096] Когда начинается процесс для режима слияния, модуль 108 управления кодированием задает значения merge_idx и i равными ʺ0ʺ (этап S101). Параметр i легко используется в качестве номера кандидата, чтобы отличать кандидатов.
[0097] Модуль 107 внутреннего - внешнего прогнозирования задает блоки-кандидаты [1…N], каждый из которых имеет любой из следующих двух типов (этап S102). Допустим, что N=6.
[0098] (s) Блоки-кандидаты [1…(N-1)] представляют собой один или более блоков-кандидатов для пространственного прямого режима. Эти блоки-кандидаты [1…5] отличаются на основе местоположения каждого блока-кандидата.
[0099] (t) Блок-кандидат [N] является блоком-кандидатом для временного режима. Совместно размещенный блок, добавляемый в блоки-кандидаты для пространственного прямого режима, имеет входное значение ʺ6ʺ, которое используется в качестве индекса совместно размещенного блока. Это описывается ниже с использованием фиг. 10.
[0100] На этапах S103 и после этого, модуль 108 управления кодированием выполняет циклический процесс с приращениями в значении параметра i, который указывает каждого кандидата (этап S103), чтобы определять режим для извлечения вектора движения, который должен быть выведен. Определенный вектор движения является подходящим для целевой функции, чтобы предоставлять высокую точность.
[0101] Модуль 107 внутреннего - внешнего прогнозирования определяет то, доступен ли блок-кандидат [i] в запоминающем устройстве (этап S104). Например, блок, размещенный ниже текущего блока, который по-прежнему должен быть кодирован (или декодирован), не сохраняется в запоминающем устройстве и, следовательно, определяется как недоступный.
[0102] Когда блок определяется как недоступный (этап S104, ʺНетʺ), модуль 107 внутреннего - внешнего прогнозирования переходит к следующему кандидату i без изменения значения merge_idx (возвращается к этапу S103).
[0103] Когда блок определяется как доступный (этап S104, ʺДаʺ), модуль 107 внутреннего - внешнего прогнозирования переходит к следующему этапу.
[0104] Затем, модуль 107 внутреннего - внешнего прогнозирования определяет то, являются ли данные движения (набор mvL0, mvL1, refIdxL0 и refIdxL1, то же применимо в дальнейшем) блока-кандидата [i] копией данных (mvL0, refIdxL0, mvL1 и refIdxL1) движения, уже испытанных с предыдущими блоками-кандидатами [1…(i-1)] (этап S105). Это определение описывается ниже с использованием фиг. 12.
[0105] Когда блок определяется как копия (этап S105, ʺДаʺ), модуль 107 внутреннего - внешнего прогнозирования переходит к следующему кандидату i без изменения значения merge_idx (возвращается к этапу S103).
[0106] Когда блок определяется как не копия, т.е. когда данные движения являются новым набором элементов данных движения (этап S105, ʺНетʺ), модуль 107 внутреннего - внешнего прогнозирования переходит к следующему этапу. Список кандидатов слияния векторов движения (mergeCandLis) формируется в качестве результата определений в отношении доступности (этап S104) и дублирования (этап S105). Это описывается ниже с использованием фиг. 11.
[0107] Затем, модуль 107 внутреннего - внешнего прогнозирования получает или извлекает данные (mvL0, refIdxL0, mvL1 и refIdxL1) движения блока-кандидата [i] (этап S106). Здесь, когда блок-кандидат [i] является совместно размещенным блоком, предназначенным для использования во временном режиме, выполняется процесс масштабирования. Процесс масштабирования описывается ниже с использованием фиг. 14.
[0108] Хотя процесс масштабирования выполняется, когда блок-кандидат [i] оказывается совместно размещенным блоком, предназначенным для использования во временном режиме на этапе S106, работа устройства кодирования движущихся изображений не ограничивается этим. Например, в другой возможной операции, данные (mvL0, refIdxL0, mvL1 и refIdxL1) движения, уже подвергнутые процессу масштабирования (это описывается ниже с использованием фиг. 14), получаются, когда совместно размещенный блок добавляется в список блоков-кандидатов на этапе S102, и совместно размещенный блок не добавляется в список на этапе S105, когда данные движения совместно размещенного блока являются копией данных движения любого из предыдущих блоков-кандидатов (фиг. 17). Таким образом, больше дублированных данных движения блоков-кандидатов опускается, так что может быть уменьшена нагрузка по обработке, и может быть повышена эффективность кодирования.
[0109] Затем, внешнее кодирование выполняется в качестве испытания посредством устройства кодирования в целом с использованием определенных данных движения под управлением модуля 108 управления кодированием (этап S107). Модуль 108 управления кодированием получает, например, поток [i] битов в качестве результирующего вывода из модуля 110 энтропийного кодирования.
[0110] Модуль 108 управления кодированием определяет то, обеспечивает ли текущий кандидат [i] результат лучше результатов, полученных с использованием предыдущих кандидатов [1…(i-1)] (дает ли текущий кандидат [i] в результате максимальное значение (или минимальное значение) предварительно определенной целевой функции), к примеру, с точек зрения длины потока битов (эффективности сжатия) или задержки в обработке (этап S108).
[0111] Когда определяется то, что текущий кандидат [i] приводит к результату лучше результатов, обеспечиваемых с использованием предыдущего кандидата [1…(i-1)] (этап S108, ʺДаʺ), текущее значение merge_idx сохраняется в качестве значения merge_idx, которое должно быть фактически использовано для кодирования и декодирования (этап S109). Вкратце, эффективное значение merge_idx, которое дает в результате более целеориентированный результат, сохраняется в параметре dummy_merge_idx.
[0112] Модуль 107 внутреннего - внешнего прогнозирования за счет этого получает такой результат, что текущий кандидат i представляет собой эффективную запись. Затем, модуль 107 внутреннего - внешнего прогнозирования увеличивает значение merge_idx, чтобы переходить к следующей записи (этап S110).
[0113] Затем, модуль 108 управления кодированием определяет то, выполнено ли испытание для всех блоков-кандидатов (этап S111).
[0114] Когда определяется то, что процесс выполнен в отношении всех блоков (испытание выполнено для совместно размещенного блока для (t) временного набора режима в качестве последнего блока-кандидата [n] на этапе S102) (этап S111, ʺДаʺ), модуль 108 управления кодированием переходит к следующему этапу.
[0115] Когда определяется то, что процесс не выполнен в отношении всех блоков-кандидатов (этап S111, ʺНетʺ), номер i кандидата увеличивается, и испытание выполняется в отношении следующего кандидата.
[0116] В завершение, dummy_merge_idx, который дает в результате максимальное значение (или минимальное значение) предварительно определенной целевой функции, определяется как индекс (merge_idx) слияния, который должен быть фактически включен в кодовую последовательность (этап S112).
[0117] Это представляет собой операцию кодирования с использованием режима слияния.
[0118] Фиг. 10 иллюстрирует блоки-кандидаты [1…6] слияния, заданные на этапе S102 посредством модуля 107 внутреннего - внешнего прогнозирования.
[0119] Блоки-кандидаты включают в себя один или более пространственно соседних блоков ((s) пространственно соседних блоков [1…(N-1)] на фиг. 10) и (t) один временно соседний блок ((t) совместно размещенный блок [n] на фиг. 10).
[0120] В списке кандидатов слияния пространственно соседние блоки перечисляются в качестве записи кандидата (или записей кандидатов), имеющей merge_idx с меньшим числом значений, другими словами, в качестве записи кандидата (или записей кандидатов) наверху списка. Пространственно соседние блоки находятся в направлении (S1), горизонтальном или (S2) вертикальном от текущей PU, и граничат с текущей PU, как проиллюстрировано на фиг. 10.
[0121] Следует отметить, что окружение определяется на основе PU, которая является единицей данных движения, к которым применяется идентичный вектор движения. Другими словами, определяется то, граничит ли PU с CurrentPU, которая включает в себя текущий блок Curr_Blk. Блоки B0-B2 на фиг. 10 являются примерами вертикально соседнего блока. PU, включающая в себя любой из блоков, является соседней PU, и используются данные (mvL0, refIdxL0, mvL1 и refIdxL1) движения соседней PU. На фиг. 10, блоки A0 и A1 являются примерами горизонтально соседнего блока.
[0122] Запись кандидата, имеющая merge_idx с наибольшим значением и расположенная в начале списка кандидатов слияния, другими словами, запись кандидата, в последний раз добавляемая в список кандидатов слияния, является временно соседним блоком. На фиг. 10, совместно размещенный блок в изображении, указываемом посредством значения индекса в нуль в списке L1 опорных изображений (или L0, когда нет доступного списка L1 опорных изображений) текущего блока, является временно соседним блоком.
[0123] Фиг. 11 иллюстрирует общее представление списка (mergeCandList) кандидатов слияния, сформированного в процессе на этапах S103 и после этого. ʺIʺ (1…6) слева на фиг. 11 соответствует номеру i кандидата на этапе S103 и т.п.
[0124] Записи, соответствующие i=[1…5], являются (s) одним или более пространственно соседними блоками (A0…B2 на фиг. 10). Запись, соответствующая i=6, является (t) одним временно соседним блоком ((t) совместно размещенным блоком [n] на фиг. 10).
[0125] Эффективной из номеров записей кандидатов 1…6 является merge_idx. Ссылаясь на фиг. 11, кандидаты, соответствующие i=3 и 5, являются дублированными векторами движения. Более конкретно, это указывает то, что модуль 107 внутреннего - внешнего прогнозирования определяет на этапе S105 то, что данные движения (набор mvL0, mvL1, refIdxL0 и refIdxL1, то же применимо в дальнейшем) блока-кандидата [i] являются копией данных (mvL0, refIdxL0, mvL1 и refIdxL1) движения, уже испытанных с предыдущими блоками-кандидатами [1…(i-1)].
[0126] Фиг. 12 иллюстрирует пример определения дублирования на этапе 105, на котором определяется то, что данные движения, соответствующие записи блока-кандидата, являются копией данных движения, соответствующих предыдущей записи.
[0127] Когда данные движения соседнего блока, расположенного в B1, который находится непосредственно над текущей PU, на практике определяются для PU, которая также включает в себя B0 и BN, данные движения блоков B0 и BN, соответствующих номерам 3 и 5 кандидатов, соответственно, являются копией данных движения соседнего блока B1, который находится непосредственно над текущей PU. Соответственно, записи блоков B0 и BN удаляются из списка. Таким образом, список mergeCandList сжимается до списка, в котором наибольшее значение merge_idx равно ʺ2ʺ, как проиллюстрировано на фиг. 11.
[0128] Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс для получения данных (mvL0, refIdxL0, mvL1 и refIdxL1) движения блока-кандидата [i] слияния, который выполняется на этапе S106.
[0129] Когда начинается процесс, модуль 108 управления кодированием определяет то, представляет собой соседний блок [i] пространственно соседний блок или временно соседний блок (этап S201).
[0130] Когда модуль 108 управления кодированием определяет то, что соседний блок [i] представляет собой пространственно соседний блок (значение [i] равно одному из 1-5 в таблице на фиг. 11), данные движения PU, включающие в себя блок-кандидат [i], непосредственно определяются в качестве данных движения текущего блока (этап S202).
[0131] Когда модуль 108 управления кодированием определяет то, что соседний блок [i] представляет собой временно соседний блок (значение [i] равно 6 в таблице на фиг. 11), mvL0Col совместно размещенного блока (Col_Blk), который является блоком-кандидатом [6], масштабируется с использованием процесса временного прямого масштабирования, включающего в себя умножение (этап S203).
[0132] Этот процесс масштабирования описывается ниже с использованием фиг. 14.
[0133] Фиг. 14 является блок-схемой последовательности операций способа, иллюстрирующей процесс масштабирования на этапе S203.
[0134] Во-первых, модуль 107 внутреннего - внешнего прогнозирования вычисляет DistScaleFactor с использованием текущего изображения currPicOrField, опорного изображения pic0, к которому обращаются посредством текущего блока, изображения pic1, включающего в себя совместно размещенный блок, и значения порядка отображения опорного изображения pic0, к которому обращаются посредством совместно размещенного блока, как проиллюстрировано посредством уравнения для этапа 1 на фиг. 6 (этап S301). Затем, модуль 107 внутреннего - внешнего прогнозирования вычисляет вектор mvL0 движения посредством умножения вектора mvCol движения совместно размещенного блока на DistScaleFactor, как проиллюстрировано посредством уравнения для этапа 2 на фиг. 6 (этап S302). Затем, модуль 107 внутреннего - внешнего прогнозирования определяет то, могут ли абсолютные величины горизонтальной компоненты и вертикальной компоненты вычисленного вектора mvL0 движения быть представлены с некоторой битовой точностью (этап S303). Когда результатом определения является истина (этап S303, ʺДаʺ), модуль 107 внутреннего - внешнего прогнозирования добавляет блок-кандидат слияния, имеющий вычисленный вектор mvL0 движения, в список mergeCandList кандидатов слияния (этап S304). Когда результатом является ложь (этап S303, ʺНетʺ), модуль 107 внутреннего - внешнего прогнозирования определяет то, что блок-кандидат слияния, вычисленный из совместно размещенного блока, недоступен, и не добавляет блок-кандидат слияния в список mergeCandList кандидатов слияния (этап S305).
[0135] Таким образом, когда вектор движения, полученный в результате процесса масштабирования, имеет слишком большое значение, которое должно быть представлено с некоторой битовой точностью, блок-кандидат слияния, имеющий вектор движения, не добавляется в список кандидатов слияния. Это позволяет ограничивать векторы движения, которые должны быть обработаны при кодировании и декодировании, абсолютной величиной, которая может быть представлена с некоторой битовой точностью. Например, допустим, что некоторая битовая точность составляет 16 битов. В этом случае, блок слияния, имеющий вектор mvL0 движения, полученный в качестве результата процесса масштабирования, не добавляется в список кандидатов слияния, когда либо горизонтальная компонента, либо вертикальная компонента вектора mvL0 движения имеет значение не в диапазоне от -32768 до +32767. Таким образом, можно ограничивать векторы движения, которые должны быть обработаны при кодировании и декодировании, некоторой абсолютной величиной таким образом, что векторы движения могут быть представлены с битовой точностью в 16 битов.
[0136] Настоящее изобретение не ограничено вышеописанным примером для варианта 1 осуществления, в котором и горизонтальная компонента и вертикальная компонента вектора движения ограничены абсолютной величиной, которая может быть представлена с битовой точностью в 16 битов. Например, предположим случай, в котором горизонтальная компонента ограничивается абсолютной величиной, которая может быть представлена с битовой точностью в 16 битов, и вертикальная компонента ограничивается абсолютной величиной, которая может быть представлена с битовой точностью в 14 битов. В этом случае, блок-кандидат слияния, имеющий вектор mvL0 движения, полученный в качестве результата процесса масштабирования, не добавляется в список кандидатов слияния, когда определяется то, что горизонтальная компонента mvL0 не находится в диапазоне от -32768 до +32767, или вертикальная компонента вектора движения не находится в диапазоне от -8192 до 8191. Таким образом, можно ограничивать горизонтальную компоненту вектора движения одной абсолютной величиной, а вертикальную компоненту вектора движения - другой абсолютной величиной.
[0137] Настоящее изобретение не ограничено вышеописанным примером для варианта 1 осуществления, в котором вектор mvL0 движения списка L0 опорных изображений вычисляется посредством процесса масштабирования. Процесс масштабирования является применимым также к вычислению вектора mvL1 движения списка L1 опорных изображений.
[0138] Настоящее изобретение не ограничено вышеописанным вариантом 1 осуществления, в котором блок-кандидат слияния, вычисленный из совместно размещенного блока, не добавляется в список кандидатов слияния, когда блок-кандидат слияния имеет вектор mvL0 движения, который вычисляется посредством умножения вектора mvCol движения совместно размещенного блока на DistScaleFactor на этапе S302 и имеет горизонтальную компоненту и вертикальную компоненту, любая из которых имеет слишком большое значение, которое должно быть представлено с некоторой битовой точностью. Например, когда совместно размещенный блок является бипрогнозным, блок-кандидат слияния может быть вычислен посредством выполнения процесса из этапов S302-S305 с использованием другого вектора движения совместно размещенного блока в качестве mvCol. Таким образом, может не допускаться чрезмерное уменьшение числа блоков-кандидатов слияния, вычисленных из совместно размещенных блоков, так что может повышаться эффективность кодирования.
[0139] Настоящее изобретение не ограничено вышеописанным вариантом 1 осуществления, в котором блок-кандидат слияния, вычисленный из совместно размещенного блока, не добавляется в список кандидатов слияния на этапе S305, когда либо горизонтальная компонента, либо вертикальная компонента вектора mvL0 движения имеет слишком большое значение, которое должно быть представлено с некоторой битовой точностью. Например, как проиллюстрировано на этапе S401 на фиг. 15, горизонтальная компонента или вертикальная компонента вектора mvL0 движения может быть усечена таким образом, что ее значение может быть представлено с некоторой битовой точностью, и блок-кандидат слияния, имеющий усеченный вектор движения, может добавляться в список кандидатов слияния. В качестве конкретного примера допустим, что некоторая битовая точность составляет 16 битов. В этом случае, когда вектор движения, полученный посредством процесса масштабирования, имеет горизонтальную компоненту, имеющую значение, превышающее +32767, блок-кандидат слияния может быть вычислен с использованием вектора движения, имеющего горизонтальную компоненту +32767 в результате усечения. Когда вектор движения, полученный посредством процесса масштабирования, имеет горизонтальную компоненту, имеющую значение, меньшее -32768, блок-кандидат слияния может быть вычислен с использованием вектора движения, имеющего горизонтальную компоненту -32768 в результате усечения.
[0140] Настоящее изобретение не ограничено вышеописанным примером для варианта 1 осуществления, в котором абсолютная величина векторов движения ограничивается абсолютной величиной на основе фиксированной битовой точности. Например, флаг и битовая точность для ограничения векторов движения дополнительно могут указываться в таком заголовке, как набор параметров последовательности (SPS), набор параметров изображения (PPS) и заголовок среза, и предельные значения для векторов движения могут быть изменены для каждой последовательности, изображения или среза согласно флагу и битовой точности. Необязательно, предельные значения для векторов движения могут быть изменены согласно профилю или уровню, который указывает битовую точность вектора движения.
[0141] Далее описывается устройство декодирования движущихся изображений, которое восстанавливает движущееся изображение из потока битов, кодированного посредством устройства кодирования движущихся изображений согласно варианту 1 осуществления.
[0142] Фиг. 16 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования движущихся изображений согласно варианту 1 осуществления.
[0143] Устройство 200 декодирования движущихся изображений декодирует входной кодированный поток битов и выводит декодированные сигналы изображений, буферизованные в запоминающем устройстве (запоминающем устройстве для декодированных изображений), в порядке отображения с предварительно определенной синхронизацией.
[0144] Как проиллюстрировано на фиг. 16, устройство 200 декодирования движущихся изображений включает в себя, в качестве основной части, модуль 201 энтропийного декодирования, модуль 202 обратного квантования, модуль 203 обратного преобразования, модуль 204 суммирования, запоминающее устройство 207, модуль 205 внутреннего - внешнего прогнозирования и модуль 206 управления декодированием. Каждый составляющий элемент, имеющий название, идентичное названию в устройстве кодирования движущихся изображений, проиллюстрированном на фиг. 8, имеет соответствующую функциональность.
[0145] Модуль 201 энтропийного декодирования энтропийно декодирует входной кодированный поток битов и выводит квантованный разностный сигнал, управляющий сигнал декодирования и т.п.
[0146] Модуль 202 обратного квантования обратно квантует квантованный разностный сигнал, полученный посредством энтропийного декодирования. Модуль 203 обратного преобразования обратно преобразует разностный сигнал, полученный посредством обратного квантования, из частотной области в область изображений и выводит восстановленный разностный сигнал.
[0147] Модуль 204 суммирования суммирует восстановленный разностный сигнал и прогнозный видеосигнал, чтобы формировать декодированный видеосигнал.
[0148] Модуль 205 внутреннего - внешнего прогнозирования сохраняет декодированный видеосигнал на основе предварительно определенной единицы, к примеру, в расчете на кадр или в расчете на блок, в запоминающем устройстве 207 и, после инструкции из модуля 206 управления декодированием, формирует и выводит прогнозный видеосигнал (пиксельные значения, извлекаемые на основе декодированного видеосигнала и векторов движения), который должен предоставляться в модуль 204 суммирования.
[0149] Аналогично устройству 100 кодирования движущихся изображений, процесс масштабирования согласно варианту 1 осуществления выполняется посредством модуля 205 внутреннего - внешнего прогнозирования. Следует отметить, что модуль 205 внутреннего - внешнего прогнозирования устройства 200 декодирования движущихся изображений согласно варианту 1 осуществления соответствует модулю добавления, и модуль выбора, и модуль 201 энтропийного декодирования, модуль 202 обратного квантования, модуль 203 обратного преобразования, модуль 204 суммирования и т.д. совместно соответствуют модулю декодирования.
[0150] Модуль 206 управления декодированием получает параметры управления, которые следует использовать для управления единицей обработки на фиг. 16 и декодирования изображений из декодирующего управляющего сигнала, декодированного посредством модуля 201 энтропийного декодирования. Информация управления декодированием в кодированном потоке битов включает в себя индекс (merge_idx) слияния, определенный на этапе S112, проиллюстрированном на фиг. 9.
[0151] Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей работу устройства декодирования движущихся изображений согласно варианту 1 осуществления.
[0152] Далее описываются операция, которая должна быть выполнена в случае, если модуль 206 управления декодированием определяет из информации, указываемой посредством управляющего сигнала декодирования, то, что текущий блок (Curr_Blk) (или блок единицы прогнозирования PU, включающий в себя текущий блок) внешне кодируется (MODE_INTER) с использованием режима слияния (MergeMODE).
[0153] Во-первых, модуль 205 внутреннего - внешнего прогнозирования локально формирует список (mergeCandList) кандидатов слияния, проиллюстрированный на фиг. 11. Локальное формирование списка кандидатов слияния означает то, что модуль 205 внутреннего - внешнего прогнозирования формирует список кандидатов слияния с использованием способа, идентичного способу устройства 100 кодирования движущихся изображений без обращения к информации, полученной из кодированного потока битов.
[0154] Параметр ʺi=1…6ʺ имеет определение, идентичное определению ʺiʺ на фиг. 11.
[0155] Модуль 205 внутреннего - внешнего прогнозирования выполняет процесс из этапов S501-S505 для номера i блока-кандидата, который колеблется от 1 до 6. Модуль 205 внутреннего - внешнего прогнозирования идентифицирует номер i блока-кандидата (этап S501). Когда номер i блока-кандидата равен одному из 1-5, модуль 205 внутреннего - внешнего прогнозирования получает данные движения пространственных соседних блоков (этап S502).
[0156] Когда номер i блока-кандидата равен 6, модуль 205 внутреннего - внешнего прогнозирования выполняет процесс масштабирования с использованием данных движения совместно размещенного блока с использованием способа, идентичного способу на этапе S203 на фиг. 13 (этап S503).
[0157] Затем, модуль 205 внутреннего - внешнего прогнозирования определяет то, являются ли данные движения, полученные на этапе S502 или этапе S504, копией данных движения в какой-либо записи выше в mergeCandList (этап S504).
[0158] Когда определяется то, что данные движения являются копией (этап S504, ʺДаʺ), модуль 205 внутреннего - внешнего прогнозирования переходит к номеру i блока-кандидата, увеличенному до следующего значения.
[0159] Когда определяется то, что данные движения не являются копией (этап S504, ʺНетʺ), модуль 205 внутреннего - внешнего прогнозирования добавляет полученные данные движения в список (mergeCandList) кандидатов слияния (этап S505).
[0160] Таким образом, начальный список (mergeCandList) кандидатов слияния формируется посредством процесса из этапов S501-S505.
[0161] Затем, когда удовлетворяется предварительно определенное условие, модуль 205 внутреннего - внешнего прогнозирования обновляет список (mergeCandList) кандидатов слияния (этап S506). Фиг. 18 иллюстрирует примерный процесс для обновления, которое выполняется согласно правилу, неявно совместно используемому с соответствующим устройством кодирования движущихся изображений. (A) на фиг. 18 иллюстрирует сформированный начальный список (mergeCandList) кандидатов слияния. (B) на фиг. 18 иллюстрирует список кандидатов слияния после обновления. В примере, проиллюстрированном в (b) на фиг. 18, кандидат, имеющий индекс (merge_idx) слияния в ʺ0ʺ (mvL0_A, ref0), и кандидат, имеющий индекс слияния в ʺ1ʺ (mvL1_B, ref0), комбинируются с возможностью формировать кандидата, имеющего индекс (merge_idx) слияния в ʺ2ʺ (mvL0_A, ref0, mvL1_B, ref0).
[0162] Далее, выбор для режима слияния выполняется для векторов mvL0 и mvL1 движения с использованием списка.
[0163] Модуль 201 энтропийного декодирования энтропийно декодирует merge_Idx, и модуль 205 внутреннего - внешнего прогнозирования принимает значение merge_Idx (этап S507).
[0164] Затем, модуль 205 внутреннего - внешнего прогнозирования выбирает данные движения, которые следует использовать в режиме слияния, указываемом посредством значения merge_Idx, из кандидатов в списке кандидатов слияния (этап S508).
[0165] В завершение, модуль 205 внутреннего - внешнего прогнозирования получает пиксельные данные (pixelsL0 и pixelsL1) пикселей в позициях, указываемых посредством векторов mvL0 и mvL1 движения в выбранных данных (mvL0, refIdxL0, mvL1, refIdxL1) движения, и извлекает прогнозный видеосигнал с использованием пиксельных данных (этап S509).
[0166] Таким образом, когда вектор движения, полученный в результате процесса масштабирования, имеет слишком большое значение, которое должно быть представлено с некоторой битовой точностью, блок-кандидат слияния, имеющий вектор движения, не добавляется в список кандидатов слияния. Это позволяет ограничивать векторы движения, которые должны быть обработаны при кодировании и декодировании, абсолютной величиной, которая может быть представлена с некоторой битовой точностью.
[0167] Настоящее изобретение не ограничено вышеописанным вариантом 1 осуществления, в котором после процесса масштабирования на этапе S302 на фиг. 14 определяется то, может ли абсолютная величина вычисленного вектора движения быть представлена с некоторой битовой точностью. Альтернативно, например, может быть определено то, может ли абсолютная величина вектора mvL0 движения, выбранная согласно merge_idx на этапе S508 на фиг. 17, быть представлена в пределах некоторой длины битов. Кроме того, когда определяется то, что абсолютная величина не может быть представлена с некоторой битовой точностью, вектор движения может быть усечен так, чтобы иметь абсолютную величину, которая может быть представлена с некоторой битовой точностью.
[0168] Кроме того, технология, раскрытая в варианте 1 осуществления, является применимой не только к случаю, в котором абсолютная величина вектора движения после процесса масштабирования с использованием режима слияния, указываемого в HEVC, поясненном в NPL 2, ограничивается таким образом, что она может быть представлена с некоторой битовой точностью. Она также является применимой к случаю, в котором кандидат предиктора вектора движения извлекается с использованием AMVP, указываемого в HEVC, поясненном в NPL 2.
[0169] Фиг. 19A иллюстрирует предиктор mvpLX вектора движения в HEVC, описанном в NPL 2. Фиг. 19B иллюстрирует список mvpListLX (mvpListL0 и mvpListL1) кандидатов для предиктора mvpLX вектора движения.
[0170] Предиктор mvpLX вектора движения используется для извлечения разностного вектора mvdLX движения, который является разностью относительно вектора mvLX движения, извлекаемого посредством оценки движения, как проиллюстрировано на фиг. 19A. Затем, кодируется разностный вектор mvdLX движения. Значение mvp_idx_I0 на фиг. 19B соответствует значению mvp_idx_IX, которое кодируется (или извлекается посредством соответствующего устройства декодирования). Данные движения mvpListLXN[mvp_idx_IX], идентифицированные посредством значения индекса (0, 1 или 2), являются предиктором mvp вектора движения (предиктором). N на фиг. 19A и фиг. 19B указывает пространственную или временную позицию блока, вектор движения которого имеет значение, которое должно быть использовано в качестве прогнозированного значения вектора движения.
[0171] Фиг. 20 иллюстрирует блоки-кандидаты предикторов или блок-кандидат предиктора, указываемый посредством значения N (A, B или Col), показанного на фиг. 19B. Сплошной черный блок на фиг. 20 представляет собой текущий блок Curr_Blk, который должен быть кодирован (или декодирован). Блок включается в изображение, имеющее номер изображения picNum 302. Заштрихованный блок на фиг. 20 находится в позиции, указываемой посредством пространственных координат (x, y), приблизительно идентичных пространственным координатам текущего блока Curr_Blk, который должен быть декодирован (или блока единицы прогнозирования PU, включающего в себя текущий блок), но в изображении, имеющем другой picNum (временно отличающийся), т.е. того, что называется совместно размещенным блоком (Col_Blk). В этом примере, допустим, что Col_Blk находится в изображении, имеющем не номер изображения picNum 302, а номер изображения picNum 303. В HEVC, векторы mvL0A, mvL0B и mvL0Col (или mvL1A, mvL1B и mvL1Col) движения блоков N_Blk (A_Blk, B_Blk, Col_Blk) в позициях A, B и Col, соответственно, умножаются на DistScaleFactor, и результирующие предикторы mvpL0 и mvpL1 вектора движения используются в качестве кандидатов предикторов.
[0172] В варианте 1 осуществления, определяется то, может ли абсолютная величина каждого из предикторов вектора движения, вычисленных посредством умножения, быть представлена с некоторой битовой точностью. Когда результат определения является ложью, предиктор вектора движения не добавляется в список кандидатов предикторов вектора движения. Таким образом, определяется то, что можно ограничивать предиктор вектора движения или разностный вектор движения, вычисленный из вектора движения и предиктора вектора движения текущего блока, который должен быть кодирован, абсолютной величиной, которая может быть представлена с некоторой битовой точностью. Когда предиктор вектора движения, вычисленный посредством умножения, имеет абсолютную величину, которая не может быть представлена с некоторой битовой точностью, предиктор вектора движения, полученный посредством усечения предиктора вектора движения так, что он имеет абсолютную величину, которая может быть представлена с некоторой битовой точностью, может добавляться вместо этого в список кандидатов предикторов вектора движения.
[0173] Вариант 1 осуществления описан в качестве примера, и объем формулы изобретения настоящей заявки не ограничивается вариантом 1 осуществления. Специалисты в данной области техники должны легко принимать во внимание, что различные модификации могут осуществляться в этих примерных вариантах осуществления, и что другие варианты осуществления могут быть получены посредством произвольного комбинирования составляющих элементов вариантов осуществления без существенного отступления от новых идей и преимуществ предмета изобретения, изложенного в прилагаемой формуле изобретения. Соответственно, все такие модификации и другие варианты осуществления включаются в настоящее изобретение.
[0174] Каждый из составляющих элементов в каждом из вышеописанных вариантов осуществления может быть сконфигурирован в форме полностью аппаратного продукта или может быть реализован посредством выполнения программы, подходящей для структурного элемента. Составляющие элементы могут быть реализованы посредством модуля выполнения программ, такого как CPU или процессор, который считывает и выполняет программу, записанную на носителе записи, таком как жесткий диск или полупроводниковое запоминающее устройство. Здесь, программа для реализации устройства кодирования движущихся изображений или устройства декодирования движущихся изображений согласно варианту 1 осуществления является программой, описанной ниже.
[0175] В частности, программа инструктирует компьютеру осуществлять способ для кодирования изображений на поблочной основе, причем способ включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть кодировано, и пространственно соседним с текущим блоком, который должен быть кодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для кодирования текущего блока; и кодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
[0176] Кроме того, программа инструктирует компьютеру осуществлять способ для декодирования изображений на поблочной основе, причем способ включает в себя: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) блоком, включенным в текущее изображение, которое должно быть декодировано, и пространственно соседним с текущим блоком, который должен быть декодирован, или (ii) блоком, включенным в изображение, отличное от текущего изображения, и временно соседним с текущим блоком; выбор вектора движения из числа векторов движения в списке, причем выбранный вектор движения должен использоваться для декодирования текущего блока; и декодирование текущего блока с использованием вектора движения, выбранного при выборе, при этом при добавлении, процесс масштабирования выполняется в отношении первого вектора движения временно соседнего соответствующего блока, чтобы вычислять второй вектор движения, определяется то, имеет ли вычисленный второй вектор движения абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин, или абсолютную величину, которая не находится в пределах предварительно определенной абсолютной величины, и второй вектор движения добавляется в список в качестве вектора движения соответствующего блока, когда определяется то, что второй вектор движения имеет абсолютную величину, которая находится в пределах предварительно определенного диапазона абсолютных величин.
Второй вариант осуществления
[0177] Обработка, описанная в каждом из вариантов осуществления, может быть реализована просто в независимой компьютерной системе, посредством записи, на носителе записи, программы для реализации конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что программа может записываться, такими как магнитный диск, оптический диск, магнитооптический диск, IC-карта и полупроводниковое запоминающее устройство.
[0178] В дальнейшем в этом документе описываются варианты применения к способу кодирования движущихся изображений (способу кодирования изображений) и способу декодирования движущихся изображений (способу декодирования изображений), описанных в каждом из вариантов осуществления, и к системам с их использованием. Система имеет особенность наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений с использованием способа кодирования изображений и устройство декодирования изображений с использованием способа декодирования изображений. Другие конфигурации в системе могут быть изменены надлежащим образом в зависимости от случаев применения.
[0179] Фиг. 21 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи разделяется на соты требуемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, размещаются в каждой из сот.
[0180] Система ex100 предоставления контента подключается к таким устройствам, как компьютер ex111, персональное цифровое устройство (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, через Интернет ex101, поставщика ex102 Интернет-услуг, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.
[0181] Тем не менее, конфигурация системы ex100 предоставления контента не ограничена конфигурацией, показанной на фиг. 21, и комбинация, в которой подключаются любые из элементов, является допустимой. Помимо этого, каждое устройство может подключаться к телефонной сети ex104 непосредственно, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть подключены друг к другу через беспроводную связь ближнего действия и т.п.
[0182] Камера ex113, такая как цифровая видеокамера, допускает захват видео. Камера ex116, такая как цифровая камера, допускает захват как неподвижных изображений, так и видео. Кроме того, сотовый телефон ex114 может быть телефоном, который удовлетворяет любому из таких стандартов, как глобальная система мобильной связи (GSM) (зарегистрированная торговая марка), множественный доступ с кодовым разделением каналов (CDMA), широкополосный множественный доступ с кодовым разделением каналов (W-CDMA), стандарт долгосрочного развития (LTE) и высокоскоростной пакетный доступ (HSPA). Альтернативно, сотовый телефон ex114 может соответствовать стандарту системы персональных мобильных телефонов (PHS).
[0183] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и т.п. через телефонную сеть ex104 и базовую станцию ex109, которая предоставляет распространение изображений трансляции в прямом эфире и т.п. При таком распределении, контент (например, видео музыкального концерта в прямом эфире), захватываемый пользователем с использованием камеры ex113, кодируется так, как описано выше в каждом из вариантов осуществления (т.е. камера выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет потоковое распространение передаваемых данных контента в клиенты при запросах. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые допускают декодирование вышеуказанных кодированных данных. Каждое из устройств, которое принимает распределенные данные, декодирует и воспроизводит кодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).
[0184] Захватываемые данные могут кодироваться посредством камеры ex113 или сервера ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть совместно использованы камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространенные данные могут быть декодированы посредством клиентов или сервера ex103 потоковой передачи, или процессы декодирования могут быть совместно использованы клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, захватываемых не только посредством камеры ex113, но также и камеры ex116, могут быть переданы на сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться посредством камеры ex116, компьютера ex111 или сервера ex103 потоковой передачи или совместно использоваться ими.
[0185] Кроме того, процессы кодирования и декодирования могут выполняться посредством LSI ex500, в общем, включенной в каждый из компьютера ex111 и устройств. LSI ex500 может быть сконфигурирована из одного кристалла или множества кристаллов. Программное обеспечение для кодирования и декодирования видео может быть интегрировано в определенный тип носителя записи (такой как CD-ROM, гибкий диск и жесткий диск), который является читаемым посредством компьютера ex111 и т.п., и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 содержит камеру, могут передаваться видеоданные, полученные посредством камеры. Видеоданные - это данные, кодированные посредством LSI ex500, включенной в сотовый телефон ex114.
[0186] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.
[0187] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, передаваемую пользователем, и воспроизводить декодированные данные в режиме реального времени в системе ex100 предоставления контента, так что пользователь, который не имеет конкретных прав и оборудования, может реализовывать персональную широковещательную передачу.
[0188] Помимо примера системы ex100 предоставления контента, по меньшей мере, одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в цифровой широковещательной системе ex200, проиллюстрированной на фиг. 22. Более конкретно, широковещательная станция ex201 сообщает или передает по радиоволнам в широковещательный спутник ex202 мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные. Видеоданные являются данными, кодированными посредством способа кодирования движущихся изображений, описанного в каждом из вариантов осуществления (т.е. данными, кодированными посредством устройства кодирования изображений согласно аспекту настоящего изобретения). При приеме мультиплексированных видеоданных широковещательный спутник ex202 передает радиоволны для широковещательной передачи. Затем, антенна ex204 для домашнего применения с функцией приема спутниковой широковещательной передачи принимает радиоволны. Далее такое устройство, как телевизионный приемник (приемное устройство) ex300 и абонентская приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).
[0189] Кроме того, модуль ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы на носителе ex215 записи, и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала, в кодированные данные. Модуль ex218 считывания/записи может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, как показано в каждом из вариантов осуществления. В этом случае, воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены посредством другого устройства или системы с использованием носителя ex215 записи, на котором записываются мультиплексированные данные. Также можно реализовывать устройство декодирования движущихся изображений в абонентской приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутниковой и/или наземной широковещательной передачи, с тем чтобы отображать видеосигналы на мониторе ex219 телевизионного приемника ex300. Устройство декодирования движущихся изображений может быть реализовано не в абонентской приставке, а в телевизионном приемнике ex300.
[0190] Фиг. 23 иллюстрирует телевизионный приемник (приемное устройство) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в каждом из вариантов осуществления. Телевизионный приемник ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает широковещательную передачу; модуль ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые должны подаваться наружу; и модуль ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные или мультиплексирует видеоданные и аудиоданные, кодированные посредством процессора ex306 сигналов, в данные.
[0191] Телевизионный приемник ex300 дополнительно включает в себя: процессор ex306 сигналов, включающий в себя процессор ex304 аудиосигналов и процессор ex305 видеосигналов, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, соответственно (которые выступают в качестве устройства кодирования изображений и устройства декодирования изображений согласно аспектам настоящего изобретения); и модуль ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и модуль ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. Кроме того, телевизионный приемник ex300 включает в себя интерфейсный модуль ex317, включающий в себя модуль ex312 функционального ввода, который принимает ввод пользовательской операции. Кроме того, телевизионный приемник ex300 включает в себя модуль ex310 управления, который осуществляет общее управление каждым составляющим элементом телевизионного приемника ex300, и модуль ex311 схемы электропитания, который предоставляет питание в каждый из элементов. Кроме модуля ex312 функционального ввода, интерфейсный модуль ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, такому как модуль ex218 считывания/записи; модуль ex314 гнезда для предоставления возможности присоединения носителя ex216 записи, такого как SD-карта; драйвер ex315 для того, чтобы подключаться к внешнему носителю записи, такому как жесткий диск; и модем ex316 для того, чтобы подключаться к телефонной сети. Здесь, носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимого/энергозависимого полупроводникового запоминающего устройства для хранения. Составляющие элементы телевизионного приемника ex300 подключены друг к другу через синхронную шину.
[0192] Во-первых, описывается конфигурация, в которой телевизионный приемник ex300 декодирует мультиплексированные данные, полученные снаружи через антенну ex204 и т.п., и воспроизводит декодированные данные. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., модуль ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные посредством модуля ex302 модуляции/демодуляции, под управлением модуля ex310 управления, включающего в себя CPU. Кроме того, процессор ex304 аудиосигналов декодирует демультиплексированные аудиоданные, и процессор ex305 видеосигналов декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизионном приемнике ex300. Модуль ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал наружу, соответственно. Когда модуль ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Кроме того, телевизионный приемник ex300 может считывать мультиплексированные данные не через широковещательную передачу и т.п., а из носителей ex215 и ex216 записи, таких как магнитный диск, оптический диск и SD-карта. Далее описывается конфигурация, в которой телевизионный приемник ex300 кодирует аудиосигнал и видеосигнал и передает данные наружу или записывает данные на носитель записи. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., процессор ex304 аудиосигналов кодирует аудиосигнал, и процессор ex305 видеосигналов кодирует видеосигнал под управлением модуля ex310 управления с использованием способа кодирования, как описано в каждом из вариантов осуществления. Модуль ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет результирующий сигнал наружу. Когда модуль ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Здесь, буферов ex318, ex319, ex320 и ex321 может быть множество, как проиллюстрировано, или, по меньшей мере, один буфер может быть совместно использован в телевизионном приемнике ex300. Кроме того, данные могут быть сохранены в буфере, так что может не допускаться переполнение и опустошение в системе, например, между модулем ex302 модуляции/демодуляции и модулем ex303 мультиплексирования/демультиплексирования.
[0193] Кроме того, телевизионный приемник ex300 может включать в себя конфигурацию для приема AV-ввода из микрофона или камеры, отличную от конфигурации для получения аудио- и видеоданных из широковещательной передачи или носителя записи, и может кодировать полученные данные. Хотя телевизионный приемник ex300 может кодировать, мультиплексировать и предоставлять наружу данные в описании, он может допускать только прием, декодирование и предоставление наружу данных, а не кодирование, мультиплексирование и предоставление наружу данных.
[0194] Кроме того, когда модуль ex218 считывания/записи считывает или записывает мультиплексированные данные с или на носитель записи, один из телевизионного приемника ex300 и модуля ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизионный приемник ex300 и модуль ex218 считывания/записи могут совместно использовать декодирование или кодирование.
[0195] В качестве примера, фиг. 24 иллюстрирует конфигурацию модуля ex400 воспроизведения/записи информации, когда данные считываются или записываются с или на оптический диск. Модуль ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые описаны ниже. Оптическая головка ex401 испускает лазерное пятно на поверхности для записи носителя ex215 записи, который является оптическим диском, чтобы записывать информацию, и обнаруживает отраженный свет от поверхности для записи носителя ex215 записи, чтобы считывать информацию. Модуль ex402 модуляционной записи электрически возбуждает полупроводниковый лазер, включенный в оптическую головку ex401, и модулирует лазерное излучение согласно записанным данным. Модуль ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный посредством электрического обнаружения отраженного света от поверхности для записи, с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством разделения компонента сигнала, записанного на носитель ex215 записи, чтобы воспроизводить необходимую информацию. Буфер ex404 временно хранит информацию, которая должна записываться на носитель ex215 записи, и информацию, воспроизведенную из носителя ex215 записи. Дисковый электромотор ex405 вращает носитель ex215 записи. Модуль ex406 сервоуправления перемещает оптическую головку ex401 в заранее определенную информационную дорожку при одновременном управлении вращательным приводом дискового электромотора ex405, чтобы следовать лазерному пятну. Модуль ex407 управления системой осуществляет общее управление модулем ex400 воспроизведения/записи информации. Процессы считывания и записи могут реализовываться посредством модуля ex407 управления системой с использованием различной информации, хранимой в буфере ex404, и формирования и добавления новой информации по мере необходимости, и посредством модуля ex402 модуляционной записи, модуля ex403 демодуляции при воспроизведении и модуля ex406 сервоуправления, которые записывают и воспроизводят информацию через оптическую головку ex401 при координированном управлении. Модуль ex407 управления системой включает в себя, например, микропроцессор и выполняет обработку посредством инструктирования компьютеру выполнять программу для считывания и записи.
[0196] Хотя в описании оптическая головка ex401 испускает лазерное пятно, она может выполнять запись с высокой плотностью с использованием света в поле в ближней зоне.
[0197] Фиг. 25 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности для записи носителя ex215 записи, направляющие канавки формируются по спирали, и информационная дорожка ex230 записывает, заранее, информацию адреса, указывающую абсолютную позицию на диске, согласно изменению в форме направляющих канавок. Информация адреса включает в себя информацию для определения позиций блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, может приводить к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя зону ex233 записи данных, зону ex232 внутренней окружности и зону ex234 внешней окружности. Зона ex233 записи данных является зоной для использования при записи пользовательских данных. Зона ex232 внутренней окружности и зона ex234 внешней окружности, которые находятся внутри и снаружи зоны ex233 записи данных, соответственно, предназначены для конкретного применения за исключением записи пользовательских данных. Модуль 400 воспроизведения/записи информации считывает и записывает кодированное аудио, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированного аудио и кодированных видеоданных, из и в зону ex233 записи данных носителя ex215 записи.
[0198] Хотя оптический диск, имеющий слой, такой как DVD и BD, описывается в качестве примера в описании, оптический диск не ограничен таким образом и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на часть, отличную от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, к примеру, записи информации с использованием света цветов с различными длинами волн в одной части оптического диска и для записи информации, имеющей различные слои, с различных углов.
[0199] Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные из спутника ex202 и т.п. и воспроизводить видео на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в цифровой широковещательной системе ex200. Здесь, конфигурация автомобильной навигационной системы ex211 является конфигурацией, например, включающей в себя приемный GPS-модуль, из конфигурации, проиллюстрированной на фиг. 23. То же применимо для конфигурации компьютера ex111, сотового телефона ex114 и т.п.
[0200] Фиг. 26A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; модуль ex365 камеры, допускающий захват движущихся и неподвижных изображений; и модуль ex358 отображения, к примеру, жидкокристаллический дисплей для отображения данных, таких как декодированное видео, захватываемое посредством модуля ex365 камеры или принимаемое посредством антенны ex350. Сотовый телефон ex114 дополнительно включает в себя: модуль основного корпуса, включающий в себя модуль ex366 функциональных клавиш; модуль ex357 аудиовывода, к примеру, динамик для вывода аудио; модуль ex356 аудиоввода, к примеру, микрофон для ввода аудио; запоминающее устройство ex367 для сохранения захваченного видео или неподвижных изображений, записанного аудио, кодированных или декодированных данных принимаемого видео, неподвижных изображений, почтовых сообщений и т.п.; и модуль ex364 гнезда, который является интерфейсным модулем для носителя записи, который сохраняет данные таким же образом, как запоминающее устройство ex367.
[0201] Далее описывается пример конфигурации сотового телефона ex114 со ссылкой на фиг. 26B. В сотовом телефоне ex114 главный модуль ex360 управления, спроектированный с возможностью полностью управлять каждым модулем основного корпуса, включающим в себя модуль ex358 отображения, а также модуль ex366 функциональных клавиш, взаимно соединяется, через синхронную шину ex370, с модулем ex361 схемы электропитания, модулем ex362 управления функциональным вводом, процессором ex355 видеосигналов, модулем ex363 интерфейса камеры, модулем ex359 управления жидкокристаллическим дисплеем (ЖК-дисплеем), модулем ex352 модуляции/демодуляции, модулем ex353 мультиплексирования/демультиплексирования, процессором ex354 аудиосигналов, модулем ex364 гнезда и запоминающим устройством ex367.
[0202] Когда клавиша завершения вызова или клавиша включения питания включается посредством пользовательской операции, модуль ex361 схемы электропитания предоставляет в соответствующие модули питание из аккумуляторной батареи с тем, чтобы активировать сотовый телефон ex114.
[0203] В сотовом телефоне ex114 процессор ex354 аудиосигналов преобразует аудиосигналы, собираемые посредством модуля ex356 аудиоввода в режиме речевой связи, в цифровые аудиосигналы под управлением главного модуля ex360 управления, включающего в себя CPU, ROM и RAM. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с расширенным спектром для цифровых аудиосигналов, и приемо-передающий модуль ex351 выполняет цифроаналоговое преобразование и преобразование частоты для данных, с тем чтобы передавать результирующие данные через антенну ex350. Так же, в сотовом телефоне ex114, приемо-передающий модуль ex351 усиливает данные, принимаемые посредством антенны ex350 в режиме речевой связи, и выполняет преобразование частоты и аналого-цифровое преобразование для данных. Затем, модуль ex352 модуляции/демодуляции выполняет обработку с обратным расширенным спектром для данных, и процессор ex354 аудиосигналов преобразует их в аналоговые аудиосигналы, с тем чтобы выводить их через модуль ex357 аудиовывода.
[0204] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные электронной почты, введенные посредством операций с модулем ex366 функциональных клавиш и т.п. основного корпуса, отправляются в главный модуль ex360 управления через модуль ex362 управления функциональным вводом. Главный модуль ex360 управления инструктирует модулю ex352 модуляции/демодуляции выполнять обработку с расширенным спектром для текстовых данных, и приемо-передающий модуль ex351 выполняет цифроаналоговое преобразование и преобразование частоты для результирующих данных, чтобы передавать данные в базовую станцию ex110 через антенну ex350. Когда принимается почтовое сообщение, обработка, которая является приблизительно обратной относительно обработки для передачи почтового сообщения, выполняется для принимаемых данных, и результирующие данные предоставляются в модуль ex358 отображения.
[0205] Когда передается видео, неподвижные изображения либо видео и аудио в режиме передачи данных, процессор ex355 видеосигналов сжимает и кодирует видеосигналы, предоставляемые из модуля ex365 камеры, с использованием способа кодирования движущихся изображений, показанного в каждом из вариантов осуществления (т.е. выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и передает кодированные видеоданные в модуль ex353 мультиплексирования/демультиплексирования. В отличие от этого, в течение времени, когда модуль ex365 камеры захватывает видео, неподвижные изображения и т.п., процессор ex354 аудиосигналов кодирует аудиосигналы, собранные посредством модуля ex356 аудиоввода, и передает кодированные аудиоданные в модуль ex353 мультиплексирования/демультиплексирования.
[0206] Модуль ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, подаваемые из процессора ex355 видеосигналов, и кодированные аудиоданные, подаваемые из процессора ex354 аудиосигналов, с использованием предварительно определенного способа. Затем, модуль ex352 модуляции/демодуляции (модуль схемы модуляции/демодуляции) выполняет обработку с расширенным спектром для мультиплексированных данных, и приемо-передающий модуль ex351 выполняет цифроаналоговое преобразование и преобразование частоты для данных с тем, чтобы передавать результирующие данные через антенну ex350.
[0207] При приеме данных видеофайла, который связывается с веб-страницей и т.п., в режиме передачи данных или при приеме почтового сообщения с присоединенным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, модуль ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в поток битов видеоданных и поток битов аудиоданных и предоставляет в процессор ex355 видеосигналов кодированные видеоданные, а в процессор ex354 аудиосигналов кодированные аудиоданные через синхронную шину ex370. Процессор ex355 видеосигналов декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, показанному в каждом из вариантов осуществления (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения), и затем модуль ex358 отображения отображает, например, видеоизображения и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, через модуль ex359 управления ЖК-дисплеем. Кроме того, процессор ex354 аудиосигналов декодирует аудиосигнал, и модуль ex357 аудиовывода предоставляет аудио.
[0208] Кроме того, аналогично телевизионному приемнику ex300, терминал, такой как сотовый телефон ex114, вероятно, имеет 3 типа реализованных конфигураций, включающих в себя не только (i) приемо-передающий терминал, включающий в себя как устройство кодирования, так и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании цифровая широковещательная система ex200 принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные в описании, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, а символьных данных, связанных с видео, в видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.
[0209] По сути, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления могут использоваться в любых из описанных устройств и систем. Таким образом, могут быть получены преимущества, описанные в каждом из вариантов осуществления.
[0210] Кроме того, различные модификации и версии могут быть сделаны в любом из вариантов осуществления настоящего изобретения.
Третий вариант осуществления
[0211] Видеоданные могут быть сформированы посредством переключения, по мере необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с другим стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1.
[0212] Здесь, когда множество видеоданных, которые соответствуют различным стандартам, формируются, а затем декодируются, способы декодирования должны быть выбраны таким образом, что они соответствуют различным стандартам. Тем не менее, поскольку не может быть обнаружено то, какому стандарту соответствуют каждые из множества видеоданных, которые должны быть декодированы, имеется проблема в том, что не может быть выбран надлежащий способ декодирования.
[0213] Чтобы разрешать проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую то, какому стандарту соответствуют видеоданные. Далее описывается конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные в способе кодирования движущихся изображений и посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортных потоков MPEG-2.
[0214] Фиг. 27 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 27, мультиплексированные данные могут быть получены посредством мультиплексирования, по меньшей мере, одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток (IG) представляет часть первичного аудио и часть вторичного аудио, которая должна смешиваться с частью первичного аудио, а поток презентационной графики представляет субтитры фильма. Здесь, первичное видео является обычным видео, которое должно отображаться на экране, а вторичное видео является видео, которое должно отображаться в меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, который должен быть сформирован посредством размещения GUI-компонентов на экране. Видеопоток кодируется в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления, либо в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений в соответствии с традиционным стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии с таким стандартом, как AC-3 Dolby, Dolby Digital Plus, MLP, DTS, DTS-HD и линейная PCM.
[0215] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0x1011 выделяется видеопотоку, который должен быть использован для видео фильма, 0x1100-0x111F выделяются аудиопотокам, 0x1200-0x121F выделяются потокам презентационной графики, 0x1400-0x141F выделяются потокам интерактивной графики, 0x1B00-0x1B1F выделяются видеопотокам, которые должны быть использованы для вторичного видео фильма, и 0x1A00-0x1A1F выделяются аудиопотокам, которые должны быть использованы для вторичного аудио, которое должно смешиваться с первичным аудио.
[0216] Фиг. 28 схематично иллюстрирует то, как мультиплексируются данные. Во-первых, видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток PES-пакетов ex236 и поток PES-пакетов ex239 и дополнительно в TS-пакеты ex237 и TS-пакеты ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразуются в поток PES-пакетов ex242 и поток PES-пакетов ex245 и дополнительно в TS-пакеты ex243 и TS-пакеты ex246, соответственно. Эти TS-пакеты мультиплексируются в поток, чтобы получать мультиплексированные данные ex247.
[0217] Фиг. 29 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов. Первая панель на фиг. 29 показывает поток видеокадров в видеопотоке. Вторая панель показывает поток PES-пакетов. Как указано посредством стрелок, обозначенных как yy1, yy2, yy3 и yy4 на фиг. 29, видеопоток разделяется на изображения, такие как I-изображения, B-изображения и P-изображения, каждое из которых является единицей видеопредставления, и изображения сохраняются в рабочих данных каждого из PES-пакетов. Каждый из PES-пакетов имеет PES-заголовок, и PES-заголовок сохраняет временную метку представления (PTS), указывающую время отображения изображения, и временную метку декодирования (DTS), указывающую время декодирования изображения.
[0218] Фиг. 30 иллюстрирует формат TS-пакетов, которые должны быть в итоге записаны в мультиплексированные данные. Каждый из TS-пакетов является 188-байтовым пакетом фиксированной длины, включающим в себя 4-байтовый TS-заголовок, имеющий такую информацию, как PID для идентификации потока, и 184-байтовые рабочие TS-данные для сохранения данных. PES-пакеты разделяются и сохраняются в рабочих данных TS, соответственно. Когда используется BD-ROM, каждому из TS-пакетов присваивается 4-байтовый TP_Extra_Header, тем самым приводя к 192-байтовым исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит такую информацию, как Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из TS-пакетов должен быть передан в PID-фильтр. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 30. Номера, увеличивающиеся с заголовка мультиплексированных данных, называются номерами исходных пакетов (SPN).
[0219] Каждый из TS-пакетов, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и т.п., но также и таблицу ассоциаций программ (PAT), таблицу структуры программ (PMT) и временную отметку программ (PCR). PAT показывает то, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самого PAT регистрируется как нуль. PMT сохраняет PID потоков видео, аудио, субтитров и т.п., включенных в мультиплексированные данные, и информацию атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы, связанные с мультиплексированными данными. Дескрипторы имеют такую информацию, как информация управления копированием, показывающая то, разрешено или нет копирование мультиплексированных данных. PCR сохраняет информацию STC-времени, соответствующую ATS, показывающей, когда PCR-пакет передается в декодер, чтобы достигать синхронизации между таймером поступления (ATC), т.е. временной осью ATS, и системным таймером (STC), т.е. временной осью PTS и DTS.
[0220] Фиг. 31 подробно поясняет структуру данных PMT. PMT-заголовок располагается в верхней части PMT. PMT-заголовок описывает длину данных, включенных в PMT, и т.п. Множество дескрипторов, связанных с мультиплексированными данными, располагается после PMT-заголовка. Информация, такая как информация управления копированием, описывается в дескрипторах. После дескрипторов располагается множество фрагментов информации потока, связанных с потоками, включенными в мультиплексированные данные. Каждый фрагмент информации потока включает в себя дескрипторы потоков, каждый из которых описывает такую информацию, как тип потока для идентификации кодека сжатия потока, PID потока и информация атрибутов потока (такая как частота кадров или соотношение сторон). Дескрипторы потоков по числу равны числу потоков в мультиплексированных данных.
[0221] Когда мультиплексированные данные записываются на носителе записи и т.д., они записываются вместе с файлами информации мультиплексированных данных.
[0222] Каждый из файлов информации мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на фиг. 32. Файлы информации мультиплексированных данных находятся в соответствии ʺодин к одномуʺ с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту вхождений.
[0223] Как проиллюстрировано на фиг. 32, информация мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время завершения воспроизведения. Системная скорость указывает максимальную скорость передачи, на которой декодер системных целевых объектов, который должен быть описан ниже, передает мультиплексированные данные в PID-фильтр. Интервалы ATS, включенных в мультиплексированные данные, задаются не больше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в заголовке мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS задается равным времени завершения воспроизведения.
[0224] Как показано на фиг. 33, фрагмент информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждый фрагмент информации атрибутов имеет различную информацию в зависимости от того, является соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждый фрагмент информации атрибутов видеопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия видеопотока, а также разрешение, соотношение сторон и частоту кадров фрагментов данных изображений, которые включаются в видеопоток. Каждый фрагмент информации атрибутов аудиопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопотока, и насколько высокой является частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера до того, как проигрыватель воспроизводит информацию.
[0225] В настоящем варианте осуществления мультиплексированные данные, которые должны быть использованы, имеют тип потока, включенный в PMT. Кроме того, когда мультиплексированные данные записываются на носителе записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанные в каждом из вариантов осуществления, включают в себя этап или модуль для выделения уникальных видеоданных, указывающих информацию, сформированную посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, для типа потока, включенного в PMT, или информации атрибутов видеопотока. При этой конфигурации, видеоданные, сформированные посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, могут отличаться от видеоданных, которые соответствуют другому стандарту.
[0226] Кроме того, фиг. 34 иллюстрирует этапы способа декодирования движущихся изображений согласно настоящему варианту осуществления. На этапе exS100, тип потока, включенный в PMT или информацию атрибутов видеопотока, включенную в информацию мультиплексированных данных, получается из мультиплексированных данных. Затем, на этапе exS101, определяется то, указывает или нет тип потока либо информация атрибутов видеопотока то, что мультиплексированные данные формируются посредством способа кодирования видео или устройства кодирования видео в каждом из вариантов осуществления. Когда определяется то, что тип потока или информация атрибутов видеопотока указывают то, что мультиплексированные данные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, на этапе exS102, декодирование выполняется посредством способа декодирования движущихся изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывает соответствие традиционным стандартам, таким как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS103, декодирование выполняется посредством способа декодирования движущихся изображений в соответствии с традиционными стандартами.
[0227] Также, выделение нового уникального значения для типа потока или информации атрибутов видеопотока обеспечивает определение того, могут ли выполнять декодирование способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описываются в каждом из вариантов осуществления. Даже когда вводятся мультиплексированные данные, которые соответствуют различному стандарту, может быть выбран надлежащий способ или устройство декодирования. Таким образом, появляется возможность декодировать информацию без ошибок. Кроме того, способ или устройство кодирования движущихся изображений либо способ или устройство декодирования движущихся изображений в настоящем варианте осуществления могут быть использованы в устройствах и системах, описанных выше.
Четвертый вариант осуществления
[0228] Каждый из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений и устройства декодирования движущихся изображений в каждом из вариантов осуществления типично осуществляется в форме интегральной схемы или большой интегральной (LSI) схемы. В качестве примера LSI, фиг. 35 иллюстрирует конфигурацию LSI ex500, которая состоит из одного кристалла. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые должны быть описаны ниже, и элементы соединяются друг с другом через шину ex510. Модуль ex505 схемы электропитания активируется посредством предоставления питания в каждый из элементов, когда модуль ex505 схемы электропитания включается.
[0229] Например, когда выполняется кодирование, LSI ex500 принимает AV-сигнал из микрофона ex117, камеры ex113 и т.п. через AV-ввод/вывод ex509 под управлением модуля ex501 управления, включающего в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504 и модуль ex512 управления частотой возбуждения. Принимаемый AV-сигнал временно сохраняется во внешнем запоминающем устройстве ex511, к примеру, SDRAM. Под управлением модуля ex501 управления, сохраненные данные сегментируются на части данных согласно объему и скорости обработки так, что они передаются в процессор ex507 сигналов. Затем, процессор ex507 сигналов кодирует аудиосигнал и/или видеосигнал. Здесь, кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, процессор ex507 сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и потоковый ввод-вывод ex506 предоставляет мультиплексированные данные наружу. Предоставляемый поток битов передается в базовую станцию ex107 или записывается на носителе ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508 так, что наборы данных являются синхронизированными друг с другом.
[0230] Хотя запоминающее устройство ex511 является элементом за пределами LSI ex500, оно может быть включено в LSI ex500. Буфер ex508 не ограничен одним буфером, а может состоять из буферов. Кроме того, LSI ex500 может состоять из одного кристалла или множества кристаллов.
[0231] Кроме того, хотя модуль ex501 управления включает в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504, модуль ex512 управления частотой возбуждения, конфигурация модуля ex501 управления не ограничена этой. Например, процессор ex507 сигналов дополнительно может включать в себя CPU. Включение другого CPU в процессор ex507 сигналов может повышать скорость обработки. Кроме того, в качестве другого примера, CPU ex502 может выступать в качестве или быть частью процессора ex507 сигналов и, например, может включать в себя процессор аудиосигналов. В таком случае, модуль ex501 управления включает в себя процессор ex507 сигналов или CPU ex502, включающий в себя часть процессора ex507 сигналов.
[0232] Используемым здесь названием является LSI, но она также может называться IC, системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.
[0233] Кроме того, способы достигать интеграции не ограничены LSI, и специальная схема или процессор общего назначения и т.д. также позволяет достигать интеграции. Программируемая пользователем вентильная матрица (FPGA), которая может программироваться после изготовления LSI, или реконфигурируемый процессор, который дает возможность переконфигурирования подключения или конфигурации LSI, может использоваться для аналогичной цели.
[0234] В будущем, с развитием полупроводниковых технологий совершенно новая технология может заменять LSI. Функциональные блоки могут быть интегрированы с использованием этой технологии. Имеется возможность того, что настоящее изобретение применимо к биотехнологии.
Пятый вариант осуществления
[0235] Когда декодируются видеоданные, сформированные в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, объем обработки, вероятно, возрастает. Таким образом, LSI ex500 должна задаваться на частоте возбуждения, превышающей частоту CPU ex502, которая должна быть использована, когда видеоданные декодируются в соответствии с традиционным стандартом. Тем не менее, когда частота возбуждения задается большей, имеется проблема в том, что возрастает энергопотребление.
[0236] Чтобы разрешать проблему, устройство декодирования движущихся изображений, такое как телевизионный приемник ex300 и LSI ex500, выполнено с возможностью определять то, какому стандарту соответствуют видеоданные, и переключаться между частотами возбуждения согласно определенному стандарту. Фиг. 36 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной высокой частоте возбуждения, когда видеоданные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения видеоданных, сформированных посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, модуль ex803 переключения частоты возбуждения инструктирует процессору ex802 декодирования, который соответствует традиционному стандарту, декодировать видеоданные.
[0237] Более конкретно, модуль ex803 переключения частоты возбуждения включает в себя CPU ex502 и модуль ex512 управления частотой возбуждения на фиг. 35. Здесь, каждый из процессора ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и процессора ex802 декодирования, который соответствует традиционному стандарту, соответствует процессору ex507 сигналов на фиг. 35. CPU ex502 определяет то, какому стандарту соответствуют видеоданные. Затем, модуль ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала из CPU ex502. Кроме того, процессор ex507 сигналов декодирует видеоданные на основе сигнала из CPU ex502. Например, идентификационная информация, описанная в варианте 3 осуществления, вероятно, используется для идентификации видеоданных. Идентификационная информация не ограничена идентификационной информацией, описанной в варианте 6 осуществления, а может быть любой информацией при условии, что информация указывает то, какому стандарту соответствуют видеоданные. Например, когда то, какому стандарту соответствуют стандартные видеоданные, может быть определено на основе внешнего сигнала для определения того, что видеоданные используются для телевизионного приемника или диска и т.д., определение может выполняться на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения, как показано на фиг. 38. Частота возбуждения может быть выбрана посредством сохранения таблицы поиска в буфере ex508 и внутреннем запоминающем устройстве LSI и при обращении к таблице поиска посредством CPU ex502.
[0238] Фиг. 37 иллюстрирует этапы для осуществления способа в настоящем варианте осуществления. Во-первых, на этапе exS200, процессор ex507 сигналов получает идентификационную информацию из мультиплексированных данных. Затем, на этапе exS201, CPU ex502 определяет на основе идентификационной информации то, формируются или нет видеоданные посредством способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для задания частоты возбуждения равной большей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной большей частоте возбуждения. С другой стороны, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS203, CPU ex502 передает сигнал для задания частоты возбуждения равной меньшей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем, модуль ex512 управления частотой возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения в случае, если видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления.
[0239] Кроме того, наряду с переключением частот возбуждения, энергосберегающий эффект может быть повышен посредством изменения напряжения, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500. Например, когда частота возбуждения задается меньшей, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается равным напряжению, меньшему напряжения в случае, если частота возбуждения задается большей.
[0240] Кроме того, когда объем обработки для декодирования больше, частота возбуждения может задаваться большей, а когда объем обработки для декодирования меньше, частота возбуждения может задаваться меньшей в качестве способа для задания частоты возбуждения. Таким образом, способ задания не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC превышает объем обработки для декодирования видеоданных, сформированных посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, частота возбуждения, вероятно, задается в обратном порядке относительно задания, описанного выше.
[0241] Кроме того, способ для задания частоты возбуждения не ограничен способом для задания частоты возбуждения меньшей. Например, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается большим. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается меньшим. В качестве другого примера, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, возбуждение CPU ex502, вероятно, не должно приостанавливаться. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, возбуждение CPU ex502, вероятно, приостанавливается в данное время, поскольку CPU ex502 имеет дополнительную производительность обработки. Даже когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, в случае если CPU ex502 имеет дополнительную производительность обработки, возбуждение CPU ex502, вероятно, приостанавливается в данное время. В таком случае, время приостановки, вероятно, задается меньшим времени приостановки в случае, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1.
[0242] Соответственно, энергосберегающий эффект может быть повышен посредством переключения между частотами возбуждения согласно стандарту, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, возбуждается с использованием аккумулятора, время работы от аккумулятора может быть продлено за счет энергосберегающего эффекта.
Шестой вариант осуществления
[0243] Возникают случаи, когда множество видеоданных, которые соответствуют различным стандартам, предоставляются в устройства и системы, такие как телевизионный приемник и сотовый телефон. Чтобы обеспечивать декодирование множества видеоданных, которые соответствуют различным стандартам, процессор ex507 сигналов LSI ex500 должен соответствовать различным стандартам. Тем не менее, проблемы увеличения масштаба схемы LSI ex500 и роста затрат возникают при отдельном использовании процессоров ex507 сигналов, которые соответствуют соответствующим стандартам.
[0244] Чтобы разрешать проблему, задумана конфигурация, в которой частично совместно используются процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, и процессор декодирования, который соответствует традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1. Ex900 на фиг. 39A показывает пример конфигурации. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который соответствует MPEG-4 AVC, имеют, частично совместно, сведения по обработке, такой как энтропийное кодирование, обратное квантование, фильтрация для удаления блочности и прогнозирование с компенсацией движения. Сведения по обработке, которая должна совместно использоваться, вероятно, включают в себя использование процессора ex902 декодирования, который соответствует MPEG-4 AVC. Напротив, выделенный процессор ex901 декодирования, вероятно, используется для другой обработки, уникальной для аспекта настоящего изобретения. Поскольку аспект настоящего изобретения отличается посредством обратного квантования, в частности, например, выделенный процессор ex901 декодирования используется для обратного квантования. В противном случае, процессор декодирования, вероятно, совместно используется для одного из энтропийного кодирования, фильтрации для удаления блочности и компенсации движения или всей обработки. Процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, может быть совместно использован для обработки, которая должна совместно использоваться, и выделенный процессор декодирования может использоваться для обработки, уникальной для MPEG-4 AVC.
[0245] Кроме того, ex1000 на фиг. 39B показывает другой пример, в котором обработка совместно используется частично. Этот пример использует конфигурацию, включающую в себя выделенный процессор ex1001 декодирования, который поддерживает обработку, уникальную для аспекта настоящего изобретения, выделенный процессор ex1002 декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и процессор ex1003 декодирования, который поддерживает обработку, которая должна совместно использоваться способом декодирования движущихся изображений согласно аспекту настоящего изобретения и традиционным способом декодирования движущихся изображений. Здесь, выделенные процессоры ex1001 и ex1002 декодирования не обязательно являются специализированными для обработки согласно аспекту настоящего изобретения и обработки по традиционному стандарту, соответственно, и могут быть процессорами, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством LSI ex500.
[0246] Так же, уменьшение масштаба схемы LSI и сокращение затрат возможно за счет совместного использования процессора декодирования для обработки, которая должна совместно использоваться способом декодирования движущихся изображений согласно аспекту настоящего изобретения и способом декодирования движущихся изображений в соответствии с традиционным стандартом.
Промышленная применимость
[0247] Способ кодирования движущихся изображений и способ декодирования движущихся изображений согласно настоящему изобретению являются применимыми к любым типам мультимедийных данных, для которых способы осуществляются с уменьшенной нагрузкой и идентичной эффективностью кодирования с использованием векторов движения, имеющих ограниченную абсолютную величину. Например, способ кодирования движущихся изображений и способ декодирования движущихся изображений могут быть полезными при хранении, передаче, обмене данными и т.д. с использованием мобильных телефонов, DVD-устройств и персональных компьютеров.
Список номеров ссылок
[0248] 100 - устройство кодирования движущихся изображений
101 - модуль вычитания
102 - модуль преобразования
103 - модуль квантования
104, 202 - модуль обратного квантования
105, 203 - модуль обратного преобразования
106, 204 - модуль суммирования
107, 205 - модуль внутреннего - внешнего прогнозирования
108 - модуль управления кодированием
109, 207 - запоминающее устройство
110 - модуль энтропийного кодирования
200 - устройство декодирования движущихся изображений
201 - модуль энтропийного декодирования
206 - модуль управления декодированием
Изобретение относится к кодированию и декодированию движущихся изображений на поблочной основе. Техническим результатом является обеспечение кодирования и декодирования движущихся изображений с уменьшенной нагрузкой по обработке без вызывания снижения эффективности кодирования. Способ содержит: избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков; выбор вектора движения, используемого для кодирования текущего блока, из числа векторов движения в списке; и кодирование текущего блока с использованием выбранного вектора движения, при этом добавление вектора движения дополнительно включает в себя: вычисление второго вектора движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока; определение, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, добавление второго вектора движения в список и добавление третьего вектора движения в список. 4 н. и 6 з.п. ф-лы, 44 ил.
1. Способ кодирования движущихся изображений для кодирования изображений на поблочной основе, при этом способ содержит:
- избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) пространственно-соседним блоком, пространственно-смежным с текущим блоком в текущем изображении, которое должно быть кодировано, или (ii) соседним во времени соответствующим блоком, смежным во времени с текущим блоком и включенным в изображение, отличное от текущего изображения;
- выбор вектора движения, используемого для кодирования текущего блока, из числа векторов движения в списке; и
- кодирование текущего блока с использованием выбранного вектора движения,
- при этом добавление вектора движения дополнительно включает в себя:
- вычисление второго вектора движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока;
- определение, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, причем предварительно определенный фиксированный диапазон абсолютных величин определяется на основе битовой точности вектора движения;
- добавление второго вектора движения в список, когда абсолютная величина второго вектора движения находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока; и
- добавление третьего вектора движения в список, когда абсолютная величина второго вектора движения не находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, причем третий вектор движения формируется посредством усечения второго вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин.
2. Способ кодирования движущихся изображений по п. 1,
- в котором список является списком кандидатов слияния, который перечисляет вектор движения соответствующего блока и задающую информацию для задания изображения, к которому обращаются посредством этого соответствующего блока,
- при добавлении задающая информация добавляется в список кандидатов слияния в дополнение к вектору движения соответствующего блока,
- при выборе вектор движения и задающая информация, используемые для кодирования текущего блока, выбираются из числа векторов движения в списке кандидатов слияния, и
- при кодировании текущий блок кодируется посредством формирования прогнозного изображения текущего блока с использованием выбранного вектора движения и выбранной задающей информации.
3. Способ кодирования движущихся изображений по п. 1,
- в котором список является списком кандидатов предикторов вектора движения, и
- при этом добавление вектора движения дополнительно включает в себя:
- определение, находится ли абсолютная величина пятого вектора движения в фиксированном диапазоне абсолютных величин, причем пятый вектор движения вычисляется посредством выполнения процесса масштабирования в отношении четвертого вектора движения пространственно-соседнего соответствующего блока;
- добавление пятого вектора движения в список, когда абсолютная величина пятого вектора движения находится в фиксированном диапазоне абсолютных величин; и
- добавление шестого вектора движения в список, когда абсолютная величина пятого вектора движения не находится в фиксированном диапазоне абсолютных величин, причем шестой вектор движения формируется посредством усечения пятого вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин,
- при выборе предиктор вектора движения, используемый для кодирования текущего блока, выбирается из списка кандидатов предикторов вектора движения, и
- при кодировании выполняется кодирование текущего блока, которое включает в себя кодирование вектора движения текущего блока с использованием предиктора вектора движения, выбранного при выборе.
4. Способ кодирования движущихся изображений по любому из пп. 1-3,
- в котором фиксированный диапазон абсолютных величин определяется на основе битовой точности вектора движения, и
- битовая точность составляет 16 битов.
5. Способ декодирования движущихся изображений для декодирования изображений на поблочной основе, при этом способ содержит:
- избирательное добавление, в список, вектора движения каждого из одного или более соответствующих блоков, каждый из которых является (i) пространственно-соседним блоком, пространственно-смежным с текущим блоком в текущем изображении, которое должно быть декодировано, или (ii) соседним во времени соответствующим блоком, смежным во времени с текущим блоком и включенным в изображение, отличное от текущего изображения;
- выбор вектора движения, используемого для кодирования текущего блока, из числа векторов движения в списке; и
- декодирование текущего блока с использованием выбранного вектора движения,
- при этом добавление вектора движения дополнительно включает в себя:
- вычисление второго вектора движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока;
- определение, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, причем предварительно определенный фиксированный диапазон абсолютных величин определяется на основе битовой точности вектора движения;
- добавление второго вектора движения в список, когда абсолютная величина второго вектора движения находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока; и
- добавление третьего вектора движения в список, когда абсолютная величина второго вектора движения не находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, причем третий вектор движения формируется посредством усечения второго вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин.
6. Способ декодирования движущихся изображений по п. 5,
- в котором список является списком кандидатов слияния, который перечисляет вектор движения соответствующего блока и задающую информацию для задания изображения, к которому обращаются посредством соответствующего блока,
- при добавлении задающая информация добавляется в список кандидатов слияния в дополнение к вектору движения соответствующего блока,
при выборе вектор движения и задающая информация, используемые для декодирования текущего блока, выбираются из числа векторов движения в списке кандидатов слияния, и
- при декодировании текущий блок декодируется посредством формирования прогнозного изображения текущего блока с использованием выбранного вектора движения и выбранной задающей информации.
7. Способ декодирования движущихся изображений по п. 5,
- в котором список является списком кандидатов предикторов вектора движения, и
- при этом добавление вектора движения дополнительно включает в себя:
- определение абсолютной величины того, находится ли пятый вектор движения в фиксированном диапазоне абсолютных величин, причем пятый вектор движения вычисляется посредством выполнения процесса масштабирования в отношении четвертого вектора движения пространственно-соседнего соответствующего блока;
- добавление пятого вектора движения в список, когда абсолютная величина пятого вектора движения находится в фиксированном диапазоне абсолютных величин; и
- добавление шестого вектора движения в список, когда абсолютная величина пятого вектора движения не находится в фиксированном диапазоне абсолютных величин, причем шестой вектор движения формируется посредством усечения пятого вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин,
- при выборе предиктор вектора движения, используемый для декодирования текущего блока, выбирается из списка кандидатов предикторов вектора движения, и
- при декодировании выполняется декодирование текущего блока, которое включает в себя декодирование вектора движения текущего блока с использованием предиктора вектора движения, выбранного при выборе.
8. Способ декодирования движущихся изображений по любому из пп. 5-7,
- в котором фиксированный диапазон абсолютных величин определяется на основе битовой точности вектора движения, и
- битовая точность составляет 16 битов.
9. Устройство кодирования движущихся изображений, которое кодирует изображения на поблочной основе, причем устройство содержит:
- модуль добавления, выполненный с возможностью избирательно добавлять, в список, вектор движения каждого из одного или более соответствующих блоков, каждый из которых является (i) пространственно-соседним блоком, пространственно-смежным с текущим блоком в текущем изображении, которое должно быть кодировано, или (ii) соседним во времени соответствующим блоком, смежным во времени с текущим блоком и включенным в изображение, отличное от текущего изображения;
- модуль выбора, выполненный с возможностью выбирать вектор движения, используемый для кодирования текущего блока, из числа векторов движения в списке; и
- модуль кодирования, выполненный с возможностью кодировать текущий блок с использованием выбранного вектора движения,
- при этом модуль добавления выполнен с возможностью вычислять второй вектор движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока, определять, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, добавлять второй вектор движения в список, когда абсолютная величина второго вектора движения находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, и добавлять третий вектор движения в список, когда абсолютная величина второго вектора движения не находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, причем третий вектор движения формируется посредством усечения второго вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин.
10. Устройство декодирования движущихся изображений, которое декодирует изображения на поблочной основе, причем устройство содержит:
- модуль добавления, выполненный с возможностью избирательно добавлять, в список, вектор движения каждого из одного или более соответствующих блоков, каждый из которых является (i) пространственно-соседним блоком, пространственно-смежным с текущим блоком в текущем изображении, которое должно быть декодировано, или (ii) соседним во времени соответствующим блоком, смежным во времени с текущим блоком и включенным в изображение, отличное от текущего изображения;
- модуль выбора, выполненный с возможностью выбирать вектор движения, используемый для кодирования текущего блока, из числа векторов движения в списке; и
- модуль декодирования, выполненный с возможностью декодировать текущий блок с использованием выбранного вектора движения,
- при этом модуль добавления выполнен с возможностью вычислять второй вектор движения посредством масштабирования первого вектора движения соседнего во времени соответствующего блока, определять, находится ли абсолютная величина второго вектора движения в предварительно определенном фиксированном диапазоне абсолютных величин, добавлять второй вектор движения в список, когда абсолютная величина второго вектора движения находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, и добавлять третий вектор движения в список, когда абсолютная величина второго вектора движения не находится в фиксированном диапазоне абсолютных величин, в качестве вектора движения соседнего во времени соответствующего блока, причем третий вектор движения формируется посредством усечения второго вектора движения так, чтобы он имел абсолютную величину, находящуюся в фиксированном диапазоне абсолютных величин.
| HOROWITZ M., "Proposed text for some features not yet integrated into JCTVC-F803", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SG29/WG11, 7 th Meeting Geneva, CH, 21-30 November, 2011 | |||
| US20030086496 A1, 08.05.2003 | |||
| US20040057523 A1, 25.03.2004 | |||
| КОДЕР ИЗОБРАЖЕНИЯ И ДЕКОДЕР ИЗОБРАЖЕНИЯ, СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, ПРОГРАММА КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И ПРОГРАММА ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И КОМПЬЮТЕРНО-СЧИТЫВАЕМЫЙ НОСИТЕЛЬ ЗАПИСИ, НА КОТОРОМ ЗАПИСАНА ПРОГРАММА КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, И КОМПЬЮТЕРНО-СЧИТЫВАЕМЫЙ НОСИТЕЛЬ ЗАПИСИ, НА КОТОРОМ ЗАПИСАНА ПРОГРАММА ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ | 2006 |
|
RU2368095C1 |
