УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N19/50 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые позволяют генерировать предсказанное изображение высокой точности без увеличения объема обработки.

Уровень техники

Обычно в качестве способов кодирования при обработке динамического изображения используются способы кодирования при помощи компенсации движения, такие как MPEG (стандарт Группы экспертов по кинематографии) или Н.26х, и ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлетное преобразование. В этих способах кодирования динамического изображения объем кода уменьшается за счет использования корреляции в пространственном направлении и временном направлении среди характеристик сигнала вводимого изображения, над которым должно выполняться кодирование.

Например, в способе Н.264 используется одно- или двунаправленное предсказание для генерирования промежуточного кадра, который является кадром, служащим целью межкадрового предсказания (межкадрового предсказания), с помощью корреляции во временном направлении. Межкадровое предсказание генерирует предсказанное изображение на основе кадров в разные моменты времени.

Фиг. 1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Как иллюстрируется на Фиг. 1, в случае генерирования подлежащего кодированию кадра P₀, который является подлежащим кодированию кадром текущего времени, посредством однонаправленного предсказания, выполняется компенсация движения с использованием в качестве опорного кадра кодированного кадра в прошедшем или будущем времени относительно текущего времени. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью корреляции во временном направлении, благодаря чему объем кода может быть снижен. Данные опорного кадра и вектор движения используются как данные, определяющие опорный кадр, и данные, определяющие позицию, на которую будут ссылаться в опорном кадре, соответственно, и эти фрагменты данных передаются от кодирующей стороны декодирующей стороне.

Здесь число опорных кадров не обязательно равно 1. Например, в способе Н.264 в качестве опорных кадров может быть использовано множество кадров. Когда два кадра, близкие по времени к подлежащему кодированию кадру P₀, используются как опорные кадры R₀ и R₁, как показано на Фиг. 1, пиксельные значения произвольного макроблока в подлежащем кодированию кадре P₀ могут быть предсказаны исходя из пиксельных значений произвольных пикселов в опорном кадре R₀ или R₁.

Прямоугольники, показанные внутри соответствующих кадров на Фиг. 1, представляют макроблоки. Если предположить, что макроблок в подлежащем кодированию кадре P₀, который является целью предсказания, является макроблоком MBP₀, то макроблок в опорном кадре R₀, соответствующий макроблоку MBP₀, является макроблоком MBR₀, который определен вектором MV₀ движения. Кроме того, макроблок в опорном кадре R₁ является макроблоком MBR₁ который определен вектором MV₁ движения.

Когда предполагается, что пиксельные значения макроблоков MBR₀ и MBR₁ (пиксельные значения изображений компенсации движения) равны МС₀(i, j) и МС₁(i, j), поскольку пиксельные значения любого из изображений компенсации движения используются в качестве пиксельные значения предсказанного изображения в однонаправленном предсказании, предсказанное изображение Pred(i, j) выражено нижеследующим уравнением (1). (i, j) обозначает относительную позицию пиксела в макроблоке, где 0≤i≤16 и 0≤j≤16. В уравнении (1) ⎪⎢ обозначает, что взято значение МС₀(i, j) или МС₁(i, j).

Кроме того, возможно разделить единый макроблок размером 16×16 пикселов на меньшие блоки, имеющие размер, например, 16×8 пикселов, и выполнить компенсацию движения в отдельных блоках, образованных посредством деления, за счет ссылки на разные опорные кадры. Путем передачи вектора движения с десятичной точностью, а не вектора движения с целочисленной точностью, и путем выполнения интерполяции с помощью фильтра КИХ (с конечной импульсной характеристикой), определенного согласно стандарту, пиксельные значения для пикселов, окружающих соответствующую опорную позицию, могут быть использованы для компенсации движения.

Фиг. 2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Как иллюстрируется на Фиг. 2, в случае генерирования подлежащего кодированию кадра B₀, являющегося подлежащим кодированию кадром текущего времени, посредством двунаправленного предсказания, компенсация движения выполняется с помощью кодированных кадров в прошлом или будущем времени относительно текущего времени в качестве опорных кадров. Множество кодированных кадров используются в качестве опорных кадров, а разность между предсказанным изображением и фактическим изображением кодируется с помощью корреляции с этими кадрами, благодаря чему может быть снижен объем кода. В способе Н.264, кроме того, возможно использовать в качестве опорных кадров множество прошлых кадров и множество будущих кадров.

Как показано на Фиг. 2, когда в качестве опорных кадров L₀ и L₁ используются один прошлый кадр и один будущий кадр, причем подлежащий кодированию кадр B₀ служит основой, пиксельные значения произвольного макроблока в подлежащем кодированию кадре B₀ могут быть предсказаны на основе пиксельных значений произвольных пикселов в опорных кадрах L₀ и L₁.

В примере по Фиг. 2 макроблок в опорном кадре L₀, соответствующий макроблоку MBB₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₀, определенным вектором MV₀ движения. Кроме того, макроблок в опорном кадре L₁, соответствующий макроблоку MBB₀ в подлежащем кодированию кадре B₀, является макроблоком MBL₁, определенным вектором MV₁ движения.

Если предположить, что пиксельные значения макроблоков MBL₀ и MBL₁ равны МС₀(i, j) и МС₁(i, j), соответственно, то значение Pred(i, j) пиксела предсказанного изображения Pred(i, j) может быть получено как среднее значение этих пиксельных значений, как выражено нижеследующим уравнением (2).

При описанной выше компенсации движения с помощью однонаправленного предсказания точность предсказанного изображения возрастает за счет увеличения точности вектора движения и снижения размера макроблока, чтобы уменьшить остаток относительно фактического изображения, тем самым увеличивая эффективность кодирования.

Кроме того, при компенсации движения с помощью двунаправленного предсказания средние значения пиксельных значений для пикселов близких по времени опорных кадров используются в качестве пиксельных значений для пикселов предсказанного изображения, тем самым осуществляя стабильное уменьшение разности предсказания с точки зрения вероятности.

Кроме того, в качестве другого способа предлагается способ преобразования корреляции во временном направлении в пространственное разрешение с помощью компенсации движения и КИХ-фильтрации пиксельных значений и их использования (к примеру, см. NPL 1).

В способе, описанном в NPL 1, корреляция во временном направлении используется для обработки увеличения разрешения, которая выполняется по отношению к введенной последовательности изображений. В частности, вычисляются разностные данные о разности между текущим изображением и прошлым изображением, по отношению к которому выполняется предсказание-компенсация движения, и разностные данные подаются обратно на целевое текущее изображение, тем самым восстанавливая высокочастотный компонент, включенный во введенные изображения.

Список ссылок

Непатентная литература

NPL 1: «Improving Resolution by Image Registration (Улучшение разрешения путем регистрации образа)», Michal Irani and Simon Peleg, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

В случае обычного однонаправленного предсказания, даже когда могут быть выбраны множество опорных кадров, необходимо избирательно использовать пиксельные значения любого из этих опорных кадров в качестве пиксельных значений кадра, подлежащего кодированию. Таким образом, поскольку опорный кадр, который не выбран, не используется для компенсации движения, временная корреляция между опорным кадром и кадром, подлежащим кодированию, используется недостаточно, и с точки зрения возрастания эффективности кодирования многое можно улучшить.

Кроме того, в случае обычного двунаправленного предсказания средние значения пиксельных значений двух опорных кадров используются в качестве пиксельных значений кадра, подлежащего кодированию, так что выполняется временная операция фильтрации нижних частот, и в предсказанном изображении утрачивается высокочастотный компонент. В результате, поскольку не может быть кодирован разностный сигнал, включающий в себя высокочастотный компонент, изображение, полученное посредством декодирования, не включает в себя высокочастотный компонент, и разрешение снижается.

Далее, предсказание может быть выполнено с более высокой точностью, чем при обычном двунаправленном предсказании, путем фильтрации данных о двух или более опорных кадрах способом, описанным в NPL 2, и их использования. В этом случае, однако, необходимо передать на декодер данные вектора движения, относящиеся к двум или более опорным кадрам. То есть для возрастания точности предсказания необходим большой объем управляющих данных, что с точки зрения эффективности кодирования может быть неэффективно.

Настоящее изобретение сделано с учетом этих обстоятельств и направлено на предоставление возможности генерирования предсказанного изображения высокой точности с помощью малого объема управляющих данных путем снижения объема кода для векторов движения, которые необходимы для выполнения двунаправленного предсказания или ссылки на множество изображений.

Решение задачи

Объектом настоящего изобретения является устройство обработки изображений, содержащее схему, выполненную с возможностью: декодирования кодированного изображение; выполнения первой компенсации движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения; выполнения второй компенсации движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; генерирования предсказанного изображения путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.

Согласно варианту осуществления изобретения обработка фильтрации выделяет высокочастотный компонент изображения компенсации движения. Генерирование первого изображения компенсации движения осуществляется из опорного кадра образованного из декодируемого изображения; и генерирование второго изображения компенсации движения осуществляется из опорного кадра, отличного от опорного кадра, из которого сгенерировано первое изображение компенсации движения. Выделение высокочастотного компонента изображения компенсации движения выполняется за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

Согласно еще одному варианту осуществления изобретения второе изображение компенсации движения совпадает или сходно с первым изображением компенсации движения, сгенерированным из опорного кадра с помощью определенной стоимостной функции, общей для кодирующего устройства, которое кодирует изображение, причем второе изображение компенсации движения служит в качестве изображения компенсации движения, соответствующего предсказанному изображению. Стоимостная функция является функцией для вычисления итоговой суммы абсолютных значений разностных значений отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра. Стоимостная функция может так же является функцией для вычисления минимальной квадратичной ошибки отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра.

Согласно другому варианту осуществления изобретения процесс генерирования предсказанного изображения включает в себя: выполнение фильтрации нижних частот разностного изображения между первым изображением компенсации движения и вторым изображением компенсации движения; выполнение фильтрации верхних частот изображения, полученного посредством фильтрации нижних частот; и суммирование изображения, полученного посредством фильтрации нижних частот, и изображения, полученного посредством фильтрации верхних частот, с первым изображением компенсации движения или вторым изображением компенсации движения, благодаря чему генерируется предсказанное изображение.

Процесс суммирования может включать суммирование изображения, полученное посредством фильтрации нижних частот, и изображение, полученное посредством фильтрации верхних частот, с изображением компенсации движения, сгенерированным из кадра, на одну единицу времени предшествующего времени предсказанного изображения.

Согласно еще одному варианту осуществления изобретения устройство обработки изображений, дополнительно может содержать схему, выполненную с возможностью: приема идентификационной метки для определения того, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, выполненного средством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, выполненного средством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации; и оценки, путем сверки с идентификационной меткой, принятой приемным средством, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации.

Согласно еще одному варианту осуществления изобретения устройство обработки изображений, дополнительно может содержать схему, выполненную с возможностью: выполнения однонаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения; и выполнения двунаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения.

Объектом настоящего изобретения так же является способ обработки изображения, содержащий этапы, на которых: декодируют кодированное изображение; выполняют первую компенсацию движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения; выполняют вторую компенсацию движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; и генерируют предсказанное изображение путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.

Преимущественные эффекты изобретения

Согласно настоящему изобретению предсказанное изображение высокой точности может генерироваться без возрастания объема передаваемых векторов движения в потоке и может быть достигнута высокая эффективность кодирования.

Краткое описание чертежей

Фиг. 1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Фиг. 2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Фиг. 3 является схемой, описывающей принцип генерирования предсказанного изображения по настоящему изобретению.

Фиг. 4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства согласно варианту осуществления настоящего изобретения.

Фиг. 5 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг. 6 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг. 3.

Фиг. 7 является схемой, иллюстрирующей пример опорных кадров.

Фиг. 8 является схемой, иллюстрирующей другой пример опорных кадров.

Фиг. 9 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания по Фиг. 6.

Фиг. 10 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы по Фиг. 6.

Фиг. 11 является блок-схемой, описывающей обработку декодирования, выполняемую декодирующим устройством.

Фиг. 12 является блок-схемой, описывающей обработку предсказания-компенсации движения, выполняемую на этапе S9 по Фиг. 11.

Фиг. 13 является блок-схемой алгоритма, описывающей пример процедуры в обработке извлечения.

Фиг. 14 является блок-схемой алгоритма, описывающей пример процедуры в обработке фильтрационного предсказания.

Фиг. 15 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства.

Фиг. 16 является блок-схемой, иллюстрирующей пример конфигурации схемы определения режима по Фиг. 15.

Фиг. 17 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг. 15.

Фиг. 18 является блок-схемой алгоритма, описывающей обработку кодирования, выполняемую кодирующим устройством.

Фиг. 19 является блок-схемой алгоритма, описывающей обработку определения режима, выполняемую на этапе S108 по Фиг.18.

Фиг. 20 является блок-схемой алгоритма, описывающей операцию предсказания-компенсации движения, выполняемую на этапе S111 по Фиг. 18.

Фиг. 21 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы.

Фиг. 22 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы.

Фиг. 23 является блок-схемой, иллюстрирующей пример случая использования трех опорных кадров.

Фиг. 24 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Фиг. 25 является блок-схемой, иллюстрирующей пример конфигурации персонального компьютера.

Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации телевизионного приемника, к которому применено настоящее изобретение.

Фиг. 27 является блок-схемой, иллюстрирующей пример основной конфигурации мобильного телефонного аппарата, к которому применено настоящее изобретение.

Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации устройства записи на жесткий диск, к которому применено настоящее изобретение.

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации фотокамеры, к которой применено настоящее изобретение.

Фиг. 30 является схемой, иллюстрирующей пример размеров макроблоков.

Подробное описание изобретения

Далее будут описаны варианты осуществления изобретения (далее называемые вариантами осуществления). Отметим, что описание будет вестись в следующем порядке:

1. Первый вариант осуществления (операция декодирования)

2. Второй вариант осуществления (операция кодирования)

3. Третий вариант осуществления (модификация фильтрующей схемы)

Первый вариант осуществления

Принцип предсказания

Фиг. 3 является схемой, описывающей принцип в способе генерирования предсказанного изображения, к которому применено настоящее изобретение.

В настоящем изобретении по меньшей мере один вектор движения (вектор А движения) передается в битовом потоке, чтобы получить множество изображений компенсации движения из множества опорных плоскостей в декодере.

Фиг. 3 иллюстрирует состояние, в котором два кадра - кадр (N-1) и кадр (N-2) - используются в качестве опорных плоскостей для компенсации движения, чтобы декодировать кадр N.

На Фиг. 3 вектор А движения, указывающий координаты в кадре (N-1), передается в потоке. Декодер получает при помощи этого вектора изображение МС.

В дальнейшем декодер выполняет предсказание движения, чтобы выполнить компенсацию движения на основе кадра (N-2). То есть в кадре (N-2) ищется изображение МС', которое имеет близкое значение по отношению к изображению МС. Способы поиска, например, алгоритм поиска, диапазон поиска, стоимостная функция и т.д. могут быть определены произвольно, поскольку они заранее являются общими для кодера и декодера. Когда они являются общими для кодера и декодера, результаты поиска в кодере и декодере, то есть пиксельные значения изображения МС', совпадают друг с другом.

При этом декодер может получить изображение предсказания движения на основе кадра (N-1) и кадра (N-2). Соответственно, вектор движения МС' не является необходимым. То есть объем кода векторов движения снижается. Таким образом, декодер и кодер могут генерировать предсказанные изображения высокой точности с помощью малого объема управляющих данных.

Конфигурация декодирующего устройства

Фиг. 4 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства 1 согласно варианту осуществления настоящего изобретения.

Данные изображения, кодируемые кодирующим устройством, которое будет описано ниже, вводятся в декодирующее устройство 1 через кабель, сеть или съемный носитель. Сжатые данные изображения являются данными изображения, кодированными в соответствии, например, со стандартом Н.264.

Запоминающий буфер 11 последовательно сохраняет битовые потоки, введенные в виде сжатых данных изображения. Данные, сохраненные в запоминающем буфере 11, при необходимости считываются схемой 12 декодирования без потерь в элементах изображений определенных элементов, таких как макроблоки, составляющих кадр. В стандарте Н.264 операция может быть выполнена не только в элементах макроблоков размером 16×16 пикселов, но также в элементах блоков размером 8×8 пикселов или 4×4 пиксела, полученных дальнейшим делением макроблоков.

Схема 12 декодирования без потерь выполняет операцию декодирования, соответствующую способу кодирования, такую как операция декодирования с переменной длиной или операция арифметического декодирования изображения, считанного из запоминающего буфера 11. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, полученный посредством обработки декодирования, на схему 13 обратного квантования.

Кроме того, схема 12 декодирования без потерь определяет на основе идентификационной метки, включенной в заголовок подлежащего декодированию изображения, является ли изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированным. Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как изображение с внутрикадровым кодированием, схема 12 кодирования без потерь выводит данные режима внутрикадрового предсказания, сохраненные в заголовке изображения, на схему 22 внутрикадрового предсказания. Данные режима внутрикадрового предсказания включают в себя данные о внутрикадровом предсказании, такие как размер блока, служащего в качестве элемента обработки.

Если схема 12 кодирования без потерь оценивает изображение, подлежащее декодированию, как данные с межкадровым кодированием, схема 12 кодирования без потерь выводит вектор движения и идентификационную метку, сохраненные в заголовке изображения, на схему 21 предсказания-компенсации движения. С помощью идентификационной метки может быть определен режим предсказания для генерирования предсказанного изображения посредством межкадрового предсказания. Идентификационная метка устанавливается, например, в элементах макроблоков или кадров.

В качестве режима предсказания подготовлен третий режим предсказания для генерирования предсказанного изображения путем выполнения фильтрации изображений компенсации движения, которые извлекаются из множества опорных кадров, упорядоченных в одном или двух временных направлениях, в дополнение к режиму однонаправленного предсказания по Фиг. 1 и режиму двунаправленного предсказания по Фиг. 2.

Фиг. 5 является схемой, иллюстрирующей идею третьего режима предсказания.

В примере по Фиг. 5, где время текущего кадра (предсказанного кадра) взято за основу, кадр, на одну единицу времени предшествующий ему, рассматривается в качестве опорного кадра R₀, а кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁. В этом случае, согласно третьему режиму предсказания, изображения МС₀ и MC₁ компенсации движения, извлеченные из опорных кадров R₀ и R₁, подаются на фильтрующую схему, а пиксельные значения изображения, выведенного с фильтрующей схемы, рассматриваются в качестве пиксельных значений предсказанного изображения, которое является целевым макроблоком.

Далее режим предсказания, в котором пиксельные значения любого из изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном направлении, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг. 1, называется просто режимом однонаправленного предсказания. Кроме того, режим предсказания, в котором средние значения пиксельных значений изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в двух направлениях, рассматриваются в качестве пиксельных значений предсказанного изображения, как описано выше со ссылкой на Фиг. 2, называется просто режимом двунаправленного предсказания.

Третий режим предсказания, показанный на Фиг. 5, в котором пиксельные значения предсказанного изображения получаются путем выполнения фильтрации отдельных изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном или двух направлениях, называется фильтрационным режимом предсказания. Фильтрационный режим предсказания будет подробно описан ниже.

На Фиг. 4 схема 13 обратного квантования выполняет способом, соответствующим способу квантования, использованному кодирующей стороной, обратное квантование квантованного коэффициента преобразования, поданного из схемы 12 декодирования без потерь. Схема 13 обратного квантования выводит коэффициент преобразования, полученный путем выполнения обратного квантования, на схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет обратное ортогональное преобразование четвертого порядка для коэффициента преобразования, поданного от схемы 13 обратного квантования, способом, соответствующим способу ортогонального преобразования, использованному кодирующей стороной, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение на суммирующую схему 15.

Суммирующая схема 15 совмещает декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и предсказанное изображение, поданное из схемы 21 предсказания-компенсации движения или из схемы 22 внутрикадрового предсказания через переключатель 23, и выводит комбинированное изображение на фильтр 16 устранения блочности.

Фильтр 16 устранения блочности устраняет блоковый шум, включенный в изображение, поданное от суммирующей схемы 15, и выводит изображение, из которого удален блоковый шум. Изображение, выведенное с фильтра 16 устранения блочности, подается на переупорядочивающий буфер 17 и кадровую память 19.

Переупорядочивающий буфер 17 временно сохраняет изображение, поданное с фильтра 16 устранения блочности. Переупорядочивающий буфер 17 генерирует отдельные кадры, например, из изображений в элементах макроблоков, сохраненных в нем, переупорядочивает генерированные кадры в определенном порядке, таком как порядок отображения, и выводит их на цифроаналоговую преобразовательную схему 18.

Цифроаналоговая преобразовательная схема 18 выполняет цифроаналоговое преобразование отдельных кадров, поданных из переупорядочивающего буфера 17, и выводит сигналы отдельных кадров вовне.

Кадровая память 19 временно сохраняет изображение, поданное с фильтра 16 устранения блочности. Данные, сохраненные в кадровой памяти 19, подаются на схему 21 предсказания-компенсации движения или схему 22 внутрикадрового предсказания через переключатель 20.

Переключатель 20 соединяется с терминалом a1 в случае генерирования предсказанного изображения с помощью межкадрового предсказания, а в случае генерирования его с помощью внутрикадрового предсказания соединяется с терминалом b1. Переключением переключателя 20 управляет, например, управляющая схема 31.

Схема 21 предсказания-компенсации движения определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди декодированных кадров, сохраненных в кадровой памяти 19, в соответствии с режимом предсказания. Схема 21 предсказания-компенсации движения определяет макроблок, соответствующий целевому предсказанному изображению, среди макроблоков, составляющих опорный кадр, на основе вектора движения, поданного из схемы 12 декодирования без потерь, и извлекает определенный макроблок как изображение компенсации движения. Схема 21 предсказания-компенсации движения получает пиксельные значения предсказанного изображения из пиксельных значений изображения компенсации движения в соответствии с режимом предсказания и выводит предсказанное изображение, в котором получены пиксельные значения, на суммирующую схему 15 через переключатель 23.

Схема 22 внутрикадрового предсказания выполняет внутрикадровое предсказание в соответствии с данными режима внутрикадрового предсказания, поданными из схемы 12 декодирования без потерь, чтобы генерировать предсказанное изображение. Схема 22 внутрикадрового предсказания выводит генерированное предсказанное изображение на суммирующую схему 15 через переключатель 23.

Переключатель 23 соединяется с терминалом а2, если предсказанное изображение генерируется схемой 21 предсказания-компенсации движения, и с терминалом b2, если предсказанное изображение генерируется схемой 22 внутрикадрового предсказания. Переключением переключателя 23 также управляет, например, управляющая схема 31.

Управляющая схема 31 переключает соединение переключателей 20 и 23 и управляет всей работой декодирующего устройства 1. Является ли подлежащее обработке изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированием, может быть определено управляющей схемой 31.

Фиг. 6 является блок-схемой, иллюстрирующей пример конфигурации схемы 21 предсказания-компенсации движения по Фиг. 3.

Как показано на Фиг. 6, схема 21 предсказания-компенсации движения состоит из схемы 41 определения режима предсказания, схемы 42 однонаправленного предсказания, схемы 43 двунаправленного предсказания, предсказывающей схемы 44 и фильтрующей схемы 45. Вектор движения и идентификационная метка, поданные из схемы 12 декодирования без потерь, вводятся в схему 41 определения режима предсказания.

Схема 41 определения режима предсказания определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь. Схема 41 определения режима предсказания выводит вектор движения на схему 42 однонаправленного предсказания, если определено, что генерирование предсказанного изображения будет выполняться с помощью однонаправленного предсказания, и на схему 43 двунаправленного предсказания, если определено, что генерирование предсказанного изображения будет выполняться с помощью двунаправленного предсказания. Кроме того, схема 41 определения режима предсказания выводит вектор движения на предсказывающую схему 44, если определено, что генерирование предсказанного изображения будет выполнена с помощью фильтрационного предсказания.

Таким образом, чтобы обеспечить определение фильтрационного предсказания, в качестве значения идентификационной метки может быть установлено значение, отличное от значения, обозначающего однонаправленное предсказание, и от значения, обозначающего двунаправленное предсказание, которые определены в обычном стандарте Н.264. Или же режим предсказания может быть определен заранее заданным способом вместо определения его в соответствии с идентификационной меткой, чтобы снизить объем данных.

Схема 42 однонаправленного предсказания рассматривает множество кадров, упорядоченных в одном временном направлении, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения, как показано на Фиг. 1. Кроме того, схема 42 однонаправленного предсказания считывает определенные макроблоки в соответствующих опорных кадрах как изображения компенсации движения из кадровой памяти 19 и генерирует предсказанное изображение, используя пиксельные значения любого из изображений компенсации движения в качестве пиксельных значений предсказанного изображения. Схема 42 однонаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве однонаправленного предсказания, выполненного схемой 42 однонаправленного предсказания, используется, например, однонаправленное предсказание, определенное в стандарте Н.264.

Схема 43 двунаправленного предсказания рассматривает множество кадров, упорядоченных в двух временных направлениях, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения, как показано на Фиг.2. Кроме того, схема 43 двунаправленного предсказания считывает определенные макроблоки в соответствующих опорных кадрах как изображения компенсации движения из кадровой памяти 19 и генерирует предсказанное изображение, используя средние значения пиксельных значений считанных изображений компенсации движения в качестве пиксельных значений предсказанного изображения. Схема 43 двунаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве двунаправленного предсказания, выполненного схемой 43 двунаправленного предсказания, используется, например, двунаправленное предсказание, определенное в стандарте Н.264.

Предсказывающая схема 44 определяет множество кадров, упорядоченных в одном или двух временных направлениях, в качестве опорных кадров. Кадры, подлежащие использованию в качестве опорных кадров, могут быть заранее определены или могут быть указаны с помощью данных, переданных кодирующей стороной вместе с идентификационной меткой.

Фиг. 7 является схемой, иллюстрирующей пример опорных кадров.

В примере по Фиг. 7, где за основу взято время предсказанного кадра, в качестве опорных кадров рассматриваются два кадра, предшествующие ему на одну и на две единицы времени, как в примере, описанном выше со ссылкой на Фиг. 5. Из двух опорных кадров кадр, ближайший к предсказанному кадру и на одну единицу времени предшествующий предсказанному кадру, рассматривается в качестве опорного кадра R₀, а кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁.

Фиг. 8 является схемой, иллюстрирующей другой пример опорных кадров.

В примере по Фиг. 8, где за основу взято время предсказанного кадра, в качестве опорных кадров рассматриваются два кадра - предшествующий ему на одну единицу времени и следующий за ним спустя одну единицу времени. Из двух опорных кадров кадр, который на одну единицу времени предшествует предсказанному кадру, рассматривается в качестве опорного кадра L₀, а кадр, который следует за предсказанным кадром одну единицу времени спустя, рассматривается в качестве опорного кадра L₁.

Таким образом, в фильтрационном предсказании в качестве опорных кадров используются множество кадров, упорядоченных в одном временном направлении, или множество кадров, упорядоченных в двух направлениях.

Кроме того, предсказывающая схема 44 на основе вектора движения, поданного из схемы 41 определения режима предсказания, определяет макроблок, соответствующий предсказанному изображению, среди декодированных макроблоков в по меньшей мере одном из опорных кадров, определенных способом, показанным на Фиг. 7 или 8.

Далее предсказывающая схема 44 выполняет предсказание движения по отношению к оставшемуся опорному кадру (по меньшей мере одному опорному кадру) среди опорных кадров, определенных способом, показанным на Фиг. 7 или 8, с помощью макроблока, соответствующего предсказанному изображению, определенному на основе вектора движения, благодаря чему определяется макроблок, соответствующий предсказанному изображению.

Предсказывающая схема 44 считывает определенные макроблоки в соответствующих опорных кадрах в качестве изображений компенсации движения из кадровой памяти 19 и выводит считанные изображения компенсации движения на фильтрующую схему 45.

То есть предсказывающая схема 44 извлекает изображение компенсации движения на основе вектора движения из части опорных кадров и извлекает изображение компенсации движения из оставшегося опорного кадра на основе предсказания движения с помощью изображения предсказания движения.

Вектор движения может быть выполнен не в элементах макроблоков размером 16×16 пикселов, а в элементах блоков, полученных дальнейшим делением макроблоков. Изображения в элементах макроблоков вводятся, например, в фильтрующую схему 45. На Фиг. 6 две стрелки, идущие от предсказывающей схемы 44 к фильтрующей схеме 45 означают, что подаются два изображения компенсации движения.

Фильтрующая схема 45 принимает изображения компенсации движения, поданные от предсказывающей схемы 44, выполняет их фильтрацию и выводит предсказанное изображение, полученное путем выполнения фильтрации, на суммирующую схему 15.

Фиг. 9 является блок-схемой, иллюстрирующей пример конфигурации предсказывающей схемы 44 по Фиг. 6. На Фиг. 9 в предсказывающей схеме 44 имеются схема 51 компенсации движения и схема 52 предсказания движения.

Схема 51 компенсации движения определяет макроблок, соответствующий предсказанному изображению, в части опорных кадров, с помощью вектора движения, поданного из схемы 41 определения режима предсказания. Схема 51 компенсации движения считывает изображение определенного макроблока из кадровой памяти 19 и извлекает его в качестве изображения компенсации движения. Схема 51 компенсации движения подает извлеченное изображение МС₀ компенсации движения на фильтрующую схему 45 и, кроме того, подает его на схему 52 предсказания движения.

Схема 52 предсказания движения выполняет сопоставление (выполняет предсказание движения) изображения МС₀ компенсации движения, поданного из схемы 51 компенсации движения, с по меньшей мере одним или более из оставшихся опорных кадров (опорных кадров, отличных от опорного кадра, из которого было извлечено изображение МС₀ компенсации движения).

При поиске в опорном кадре части, совпадающей или сходной с изображением МС₀ компенсации движения, схема 52 предсказания движения использует некоторую стоимостную функцию, которая заранее является общей для кодирующего устройства и декодирующего устройства 1. Например, общей является стоимостная функция, выраженная нижеследующим уравнением (3).

В выражении (3) Refi(posX+x, posY+y) представляет собой значение пиксела в координатах (posX+x, posY+y) на опорной плоскости i. Аналогично, МС[1](x, y) представляет собой значение пиксела в относительной позиции (x, y) от верхнего левого края блока изображения МС[1] компенсации движения (то есть изображения МС₀ компенсации движения). bk_width и bk_height обозначают, соответственно, ширину и высоту блока.

Как выражено уравнением (3), путем суммирования абсолютного значения разности со всеми пикселами в блоке может быть вычислена степень сходства между изображением МС[1] компенсации движения и блока (posX, posY) в опорной плоскости i.

Степень сходства определяется стоимостной функцией, общей для кодирующего устройства и декодирующего устройства. То есть определение степени сходства может быть изменено путем изменения стоимостной функции. Другой пример стоимостной функции выражен нижеследующим уравнением (4). Уравнение (4) является примером, в котором в качестве стоимостной функции использована минимальная квадратичная ошибка.

Множество стоимостных функций может быть определено и может переключаться для каждого блока или каждой последовательности. Адаптивное изменение стоимостной функции для оптимизации результата дальнейшей обработки фильтрации приводит к улучшению эффективности кодирования

При такой стоимостной функции, когда меняется (posX, posY), изображение макроблока, который минимизирует Cost, наиболее сходно с изображением МС[1] компенсации движения (то есть изображением MC₀ компенсации движения).

Диапазон, в пределах которого изменяется (posX, posY), является диапазоном поиска, и необходимо, чтобы диапазон поиска был общим для кодирующего устройства и декодирующего устройства 1. Отметим, что может быть использовано произвольное значение, например, может быть использовано заданное значение, или значение может адаптивно изменяться для каждой последовательности, каждого кадра, каждой области и т.д. В случае изменения значения соответствующая метка может быть описана отдельно в потоке, или кодирующее устройство и декодирующее устройство 1 могут осуществить изменение на основе решения по определенному алгоритму.

Изображение МС[1] компенсации движения получается так, чтобы оно было сходным с кодированным изображением текущего блока (макроблока, подлежащего обработке), и, таким образом, изображение МС[1] компенсации движения, которое получено посредством предсказания движения с помощью такой стоимостной функции, сходно с кодированным изображением текущего блока.

Декодер выполняет таким способом предсказание движения, посредством чего множество изображений MC[i] компенсации движения (i>1) может быть получено с помощью одного вектора движения.

Схема 52 предсказания движения считывает из кадровой памяти 122 изображение макроблока, которое совпадает или сходно с изображением МС₀ компенсации движения в опорном кадре, и извлекает его в качестве изображения компенсации движения. Схема 52 предсказания движения подает извлеченное изображение MC₁ компенсации движения на фильтрующую схему 45.

Фиг. 10 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы 45. В фильтрующей схеме 45, сконфигурированной по Фиг. 10, выполняется фильтрация сигнала во временном интервале.

Как показано на Фиг. 10, фильтрующая схема 45 состоит из схемы 61 вычисления разности, схемы 62 фильтра нижних частот, схемы 63 настройки усиления, схемы 64 фильтра верхних частот, схемы 65 настройки усиления, суммирующей схемы 66 и суммирующей схемы 67. Изображение МС₀ компенсации движения, поданное от предсказывающей схемы 44, вводится в схему 61 вычисления разности и суммирующую схему 67, а изображение MC₁ компенсации движения вводится в схему 61 вычисления разности.

В случае генерирования предсказанного изображения с помощью однонаправленного предсказания, как показано на Фиг. 7, изображение, извлеченное из опорного кадра R₀, который, как считается, имеет более высокую корреляцию с предсказанным изображением, рассматривается, например, в качестве изображения МС₀ компенсации движения, а изображение, извлеченное из опорного кадра R₁, рассматривается, например, в качестве изображения MC₁ компенсации движения. Изображение, извлеченное из опорного кадра R₀, может рассматриваться в качестве изображения MC₁ компенсации движения, а изображение, извлеченное из опорного кадра R₁, может рассматриваться в качестве изображения МС₀ компенсации движения.

С другой стороны, в случае генерирования предсказанного изображения с помощью двунаправленного предсказания, как показано на Фиг. 8, изображение, извлеченное из опорного кадра L₀, который предшествует на одну единицу времени, рассматривается в качестве изображения МС₀ компенсации движения, а изображение, извлеченное из опорного кадра L₁, который следует спустя одну единицу времени, рассматривается, например, в качестве изображения МС₁ компенсации движения. Изображение, извлеченное из опорного кадра L₀, может рассматриваться в качестве изображения МС₁ компенсации движения, а изображение, извлеченное из опорного кадра L₁, может рассматриваться в качестве изображения МС₀ компенсации движения.

Схема 61 вычисления разности вычисляет разность между изображением МС₀ компенсации движения и изображением МС₁ компенсации движения и выводит разностное изображение на схему 62 фильтра нижних частот. Разностное изображение D выражено нижеследующим уравнением (5).

В уравнении (5) (i, j) обозначает относительную позицию пиксела в изображении компенсации движения. Когда операция подлежит выполнению в элементах макроблоков размером 16×16 пикселов, удовлетворяются условия 0≤i≤16 и 0≤j≤16. Это же справедливо для нижеследующего.

В схеме 62 фильтра нижних частот имеется схема КИХ-фильтра. Схема 62 фильтра нижних частот выполняет фильтрацию нижних частот разностного изображения D, поданного из схемы 61 вычисления разности, и выводит полученное изображение на схему 63 настройки усиления и схему 64 фильтра верхних частот. Разностное изображение D', которое является изображением, полученным путем выполнения фильтрации нижних частот, выражено нижеследующим уравнением (6). В уравнении (6) LPF(X) обозначает, что фильтрация нижних частот выполняется по отношению к введенному изображению X с помощью двумерного КИХ-фильтра.

Схема 63 настройки усиления настраивает усиление разностного изображения D', поданного из схемы 62 фильтра нижних частот, и выводит изображение, в котором настроено усиление, на суммирующую схему 66. Выведенное из схемы 63 настройки усиления изображение X(i, j) выражено нижеследующим уравнением (7).

В схеме 64 фильтра верхних частот имеется схема КИХ-фильтра. Схема 64 фильтра верхних частот выполняет фильтрацию верхних частот разностного изображения D', поданного из схемы 62 фильтра нижних частот, и выводит полученное изображение на схему 65 настройки усиления. Разностное изображение D'', которое является изображением, полученным путем выполнения фильтрации верхних частот, выражено нижеследующим уравнением (8). В уравнении (8) HPF(X) обозначает, что фильтрация верхних частот выполняется по отношению к введенному изображению X с помощью двумерного КИХ-фильтра.

Схема 65 настройки усиления настраивает усиление разностного изображения D'', поданного из схемы 64 фильтра верхних частот, и выводит изображение, в котором настроено усиление, на суммирующую схему 66. Выводимое изображение Y(i, j) схемы 65 настройки усиления выражено нижеследующим уравнением (9).

В качестве значений α в выражении (7) и β в выражении (9) выбраны, например, значения α=0,8 и β=0,2, но для увеличения точности предсказанного изображения могут быть использованы другие значения. Кроме того, значения могут адаптивно изменяться в соответствии со свойствами введенной последовательности.

Суммирующая схема 66 суммирует изображение X(i, j) и изображение Y(i, j), в которых настроено усиление, и выводит изображение, полученное посредством суммирования. Выводимое изображение Z(i, j) суммирующей схемы 66 выражено нижеследующим уравнением (10).

Выводимое изображение Z(i, j) представляет собой высокочастотный компонент изображения, который может быть получен из разности между изображением МС₀ компенсации движения и изображением МС₁ компенсации движения, то есть из корреляции между ними.

Суммирующая схема 67 суммирует выводимое изображение Z(i, j), поданное из суммирующей схемы 66, с изображением МС₀ компенсации движения и выводит полученное изображение в качестве предсказанного изображения на суммирующую схему 15. Предсказанное изображение S(i, j), которое является окончательными выходными данными суммирующей схемы 67, выражено нижеследующим уравнением (11).

Таким образом, согласно режиму фильтрационного предсказания, в качестве предсказанного изображения генерируется изображение, которое получается путем суммирования изображения, представляющего собой высокочастотный компонент, и изображения МС₀ компенсации движения. Это предсказанное изображение включает в себя больший объем высокочастотного компонента, чем предсказанное изображение, которое получено в случае простого выполнения двунаправленного предсказания. Как описано выше, поскольку в качестве пиксельных значений получены средние значения пиксельных значений множества изображений компенсации движения, в предсказанном изображении, генерированном путем выполнения двунаправленного предсказания, высокочастотный компонент утрачивается.

Кроме того, поскольку на суммирующей схеме 15 к декодированному изображению прибавляется предсказанное изображение, включающее в себя большой объем высокочастотного компонента, изображение, которое окончательно выводится из декодирующего устройства 1, является изображением с высоким разрешением, включающим в себя большой объем высокочастотного компонента.

Далее, предсказанное изображение может генерироваться путем более эффективного использования временной корреляции изображений по сравнению со случаем простого выполнения однонаправленного предсказания. Предсказанное изображение, генерированное посредством однонаправленного предсказания, не рассматривается в качестве изображения, генерированного за счет достаточного использования временной корреляции изображений, потому что используются пиксельные значения любого из множества изображений компенсации движения, как описано выше.

Таким образом, декодирующее устройство 1 способно увеличить эффективность кодирования, снизив при этом возрастание объема данных.

Описание алгоритма обработки декодирования

Теперь будет описана обработка, выполняемая декодирующим устройством 1, имеющим описанную выше конфигурацию.

Вначале со ссылкой на блок-схему по Фиг. 11 будет описана операция декодирования, выполняемая декодирующим устройством 1.

Обработка по Фиг. 11 начинается, когда изображение некоторого размера, такого как макроблок размером 16×16 пикселов, считывается схемой 12 декодирования без потерь, например, из данных, сохраненных в запоминающем буфере 11. Обработка на последовательных этапах по Фиг. 11 при необходимости выполняется параллельно с обработкой на другом этапе или в измененном порядке. То же справедливо для обработки на последовательных этапах на отдельных блок-схемах, описанных ниже.

На этапе S1 схема 12 декодирования без потерь выполняет операцию декодирования изображения, считанного из запоминающего буфера 11, и выводит квантованный коэффициент преобразования на схему 13 обратного квантования. Кроме того, схема 12 декодирования без потерь выводит данные режима внутрикадрового предсказания на схему 22 внутрикадрового предсказания, если изображение, подлежащее декодированию, является изображением с внутрикадровым кодированием, и выводит вектор движения и идентификационную метку на схему 21 предсказания-компенсации движения, если изображение, подлежащее декодированию, является изображением с межкадровым кодированием.

На этапе S2 схема 13 обратного квантования выполняет обратное квантование способом, соответствующим способу квантования, использованному кодирующей стороной, и выводит коэффициент преобразования на схему 14 обратного ортогонального преобразования.

На этапе S3 схема 14 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 13 обратного квантования, и выводит полученное изображение на суммирующую схему 15.

На этапе S4 суммирующая схема 15 совмещает декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и предсказанное изображение, поданное из схемы 21 предсказания-компенсации движения или из схемы 22 внутрикадрового предсказания, и выводит комбинированное изображение на фильтр 16 устранения блочности.

На этапе S5 фильтр 16 устранения блочности выполняет фильтрацию, чтобы устранить блоковый шум, включенный в комбинированное изображение, и выводит изображение, из которого удален блоковый шум.

На этапе S6 кадровая память 19 временно сохраняет изображение, поданное с фильтра 16 устранения блочности.

На этапе S7 управляющая схема 31 оценивает, является ли целевое изображение изображением с внутрикадровым кодированием.

Если на этапе S7 установлено, что целевое изображение является изображением с внутрикадровым кодированием, схема 22 внутрикадрового предсказания на этапе S8 выполняет внутрикадровое предсказание, чтобы генерировать предсказанное изображение, и выводит генерированное предсказанное изображение на суммирующую схему 15.

С другой стороны, если на этапе S7 установлено, что целевое изображение не является изображением с внутрикадровым кодированием, то есть является изображением с межкадровым кодированием, на этапе S9 схема 21 предсказания-компенсации движения выполняет операцию предсказания-компенсации движения. Предсказанное изображение, генерированное путем выполнения обработки предсказания-компенсации движения, выводится на суммирующую схему 15. Операция предсказания-компенсации движения будет описана ниже со ссылкой на блок-схему по Фиг. 12.

На этапе S10 управляющая схема 31 оценивает, была ли описанная выше операция выполнена по отношению к макроблокам во всем кадре. Если управляющая схема 31 установила, что операция не была выполнена по отношению к макроблокам во всем кадре, операция повторяется для другого макроблока с этапа S1.

С другой стороны, если на этапе S10 установлено, что операция была выполнена по отношению к макроблокам во всем кадре, на этапе S11 переупорядочивающий буфер 17 выводит генерированный кадр на цифроаналоговую преобразовательную схему 18 в соответствии с управляющим воздействием, осуществляемым управляющей схемой 31.

На этапе S12 цифроаналоговая преобразовательная схема 18 выполняет цифроаналоговое преобразование кадра, поданного из переупорядочивающего буфера 17, и выводит аналоговый сигнал вовне. Описанная выше операция выполняется по отношению к отдельным кадрам.

Далее операция предсказания-компенсации движения, которая выполняется на этапе S9 по Фиг. 11, будет описана со ссылкой на блок-схему по Фиг. 12.

На этапе S31 схема 41 определения режима предсказания в схеме 21 предсказания-компенсации движения оценивает, означает ли идентификационная метка, поданная из схемы 12 декодирования без потерь, что операция должна быть выполнена в режиме фильтрационного предсказания.

Если на этапе S31 установлено, что идентификационная метка означает, что операция должна быть выполнена в режиме фильтрационного предсказания, обработка переходит к этапу S32. На этапе S32 предсказывающая схема 44 выполняет операцию извлечения изображений компенсации движения. Подробности обработки извлечения будут описаны ниже.

После того, как извлечены изображения компенсации движения, на этапе S33 фильтрующая схема 45 выполняет операцию фильтрационного предсказания.

После завершения обработки на этапе S33 завершается операция предсказания-компенсации движения, и обработка возвращается к этапу S9 по Фиг. 11 и переходит к этапу S10.

Кроме того, если на этапе S31 установлено, что идентификационная метка не означает, что операция должна быть выполнена в режиме фильтрационного предсказания, на этапе S32 выполняется однонаправленное или двунаправленное предсказание и генерируется предсказанное изображение.

То есть, если идентификационная метка означает, что операция должна быть выполнена в режиме однонаправленного предсказания, вектор движения подается из схемы 41 определения режима предсказания на схему 42 однонаправленного предсказания, и в схеме 42 однонаправленного предсказания выполняется однонаправленное предсказание. Кроме того, если идентификационная метка означает, что операция должна быть выполнена в режиме двунаправленного предсказания, вектор движения подается из схемы 41 определения режима предсказания на схему 43 двунаправленного предсказания, и в схеме 43 двунаправленного предсказания выполняется двунаправленное предсказание. После вывода предсказанного изображения на суммирующую схему 15 операция предсказания-компенсации движения завершается, обработка возвращается к этапу S9 по Фиг. 11 и переходит к этапу S10.

Далее пример процедуры обработки извлечения, выполняемой на этапе S32 по Фиг.12, будет описан со ссылкой на блок-схему по Фиг. 13.

Когда операция извлечения начата, предсказывающая схема 44 на этапе S51 устанавливает значение переменной i равным нулю. На этапе S52 схема 51 компенсации движения выполняет компенсацию движения i-го опорного кадра, то есть опорной плоскости 0, тем самым извлекая изображение МС₀ компенсации движения. На этапе S53 схема 51 компенсации движения выводит изображение МС₀ компенсации движения на фильтрующую схему 45.

На этапе S54 предсказывающая схема 44 оценивает, удовлетворяет ли значение переменной i условию «меньше или равно N». Если установлено, что значение переменной i равно некоторому натуральному числу N или меньше, обработка переходит к этапу S55.

На этапе S55 схема 52 предсказания движения дает переменной i приращение. На этапе S56 схема 52 предсказания движения выполняет предсказание движения, такое как сопоставление, опорной плоскости i с помощью изображения МС₀ компенсации движения, благодаря чему генерируется изображение MC_i компенсации движения. На этапе S57 схема 52 предсказания движения выводит изображение MC_i компенсации движения. После завершения обработки на этапе S57 обработка возвращается к этапу S54, и выполняется дальнейшая операция.

Если на этапе S54 установлено, что значение переменной i больше некоторого натурального числа N, операция извлечения завершается, и обработка возвращается к этапу S32 по Фиг. 12 и переходит к этапу S33.

Далее пример процедуры обработки фильтрации, которая выполняется на этапе S33 по Фиг. 12, будет описан со ссылкой на блок-схему по Фиг. 14.

Когда после извлечения изображения компенсации движения начата обработка фильтрации, схема 61 вычисления разности фильтрующей схемы 45 вычисляет разность между изображением МС₀ компенсации движения и изображением MC₁ компенсации движения и на этапе S71 выводит разностное изображение на схему 62 фильтра нижних частот.

На этапе S72 схема 62 фильтра нижних частот выполняет фильтрацию нижних частот разностного изображения, поданного из схемы 61 вычисления разности, и выводит изображение, полученное в результате этого, на схему 63 настройки усиления и схему 64 фильтра верхних частот.

На этапе S73 схема 63 настройки усиления настраивает усиление изображения, поданного из схемы 62 фильтра нижних частот, и выводит изображение, в котором настроено усиление, на суммирующую схему 66.

На этапе S74 схема 64 фильтра верхних частот выполняет фильтрацию верхних частот разностного изображения, поданного из схемы 62 фильтра нижних частот, и выводит изображение, полученное в результате этого, на схему 65 настройки усиления.

На этапе S75 схема 65 настройки усиления настраивает усиление разностного изображения, поданного из схемы 64 фильтра верхних частот, и выводит изображение, в котором настроено усиление, на суммирующую схему 66.

На этапе S76 суммирующая схема 66 суммирует изображение, поданное из схемы 63 настройки усиления (выходные данные фильтра нижних частот), и изображение, поданное из схемы 65 настройки усиления (выходные данные фильтра верхних частот), тем самым получая высокочастотный компонент изображения. Полученный высокочастотный компонент подается из суммирующей схемы 66 на суммирующую схему 67.

На этапе S77 суммирующая схема 67 суммирует изображение, поданное с суммирующей схемы 66 (высокочастотный компонент), с изображением МС₀ компенсации движения и выводит полученное в результате этого изображение, служащее предсказанным изображением, на суммирующую схему 15. На этапе S78 фильтрующая схема 45 оценивает, все ли изображения компенсации движения были обработаны. Если установлено, что имеется необработанное изображение компенсации движения, обработка возвращается к этапу S71, и дальнейшая обработка повторяется.

С другой стороны, если на этапе S78 установлено, что все изображения компенсации движения обработаны, операция фильтрационного предсказания завершается, обработка возвращается к этапу S33 по Фиг. 12, операция предсказания-компенсации движения завершается, обработка возвращается к этапу S9 по Фиг. 11 и переходит к этапу S10.

При этом выполняется декодирование с помощью предсказанного изображения, которое генерируется посредством фильтрационного предсказания, так что может быть получено декодированное изображение с высоким разрешением. К тому же, в этот момент часть изображений компенсации движения получается с помощью вектора движения, а оставшееся изображение компенсации движения получается посредством предсказания движения (сопоставление или т.п.) изображения компенсации движения, полученного с помощью вектора движения. Соответственно, число векторов движения, подлежащих кодированию, может быть снижено. То есть, декодирующее устройство 1 способно генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных.

Второй вариант осуществления

Конфигурация кодирующего устройства

Далее будет описана конфигурация и работа устройства на кодирующей стороне.

Фиг. 15 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства 101. Сжатые данные изображения, которые получены посредством кодирования, выполненного кодирующим устройством 101, вводятся в декодирующее устройство 1 по Фиг. 4.

Аналого-цифровая преобразовательная схема 111 выполняет аналого-цифровое преобразование введенного сигнала и выводит изображение в переупорядочивающий буфер 112.

Переупорядочивающий буфер 112 выполняет переупорядочивание кадров в соответствии со структурой группы картинок для сжатых данных изображения и выводит изображения определенными блоками, такими как макроблоки. Изображение, выведенное из переупорядочивающего буфера 112, подается на суммирующую схему 113, схему 123 определения режима, схему 125 предсказания-компенсации движения и схему 126 внутрикадрового предсказания.

Суммирующая схема 113 получает разность между изображением, поданным из переупорядочивающего буфера 112, и предсказанным изображением, которое генерируется схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания и которое подается через переключатель 127, и выводит остаток на схему 114 ортогонального преобразования. Коль скоро предсказанное изображение более сходно с исходным изображением, и коль скоро полученный здесь остаток меньше, объем кода, закрепленный за остатком, меньше. И, таким образом, эффективность кодирования выше.

Схема 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, остатка, поданного из суммирующей схемы 113, и выводит коэффициент преобразования, полученный путем выполнения ортогонального преобразования, на квантующую схему 115.

Квантующая схема 115 квантует коэффициент преобразования, поданный из схемы 114 ортогонального преобразования, в соответствии с управляющим воздействием схемы 118 управления скоростью и выводит квантованный коэффициент преобразования. Коэффициент преобразования, квантованный квантующей схемой 115, подается на схему 116 кодирования без потерь и схему 119 обратного квантования.

Схема 116 кодирования без потерь сжимает коэффициент преобразования, поданный из квантующей схемы 115, путем выполнения кодирования без потерь, такого как кодирование с переменной длиной слова или арифметическое кодирование, и выводит данные в запоминающий буфер 117.

Кроме того, схема 116 кодирования без потерь устанавливает значение идентификационной метки в соответствии с данными, поданными из схемы 123 определения режима, и описывает идентификационную метку в заголовке изображения. На основе идентификационной метки, описанной схемой 116 кодирования без потерь, в декодирующем устройстве 1 определяется, как описано выше, режим предсказания.

Схема 116 кодирования без потерь также описывает данные, поданные из схемы 125 предсказания-компенсации движения или схемы 126 внутрикадрового предсказания, в заголовке изображения. Векторы движения и так далее, обнаруженные при выполнении межкадрового предсказания, подаются из схемы 125 предсказания-компенсации движения, а данные о примененном режиме внутрикадрового предсказания подаются из схемы 126 внутрикадрового предсказания.

Запоминающий буфер 117 временно сохраняет данные, поданные из схемы 116 кодирования без потерь, и выводит их в качестве сжатых данных изображения в определенный момент. Запоминающий буфер 117 выводит данные об объеме генерированного кода на схему 118 управления скоростью.

Схема 118 управления скоростью вычисляет уровень квантования на основе объема кода, выведенного с запоминающего буфера 117, и управляет квантующей схемой 115 так, что квантование выполняется с вычисленным уровнем квантования.

Схема 119 обратного квантования выполняет обратное квантование коэффициента преобразования, квантованного квантующей схемой 115, и выводит коэффициент преобразования на схему 120 обратного ортогонального преобразования.

Схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 119 обратного квантования, и выводит полученное изображение на фильтр 121 устранения блочности.

Фильтр 121 устранения блочности удаляет блоковый шум, который появляется в локально декодированном изображении, и выводит изображение, из которого удален блоковый шум, в кадровую память 122.

Кадровая память 122 сохраняет изображение, поданное с фильтра 121 устранения блочности. Изображение, сохраненное в кадровой памяти 122, при необходимости считывается схемой 123 определения режима.

Схема 123 определения режима определяет, должно ли выполняться внутрикадровое кодирование или межкадровое кодирование, на основе изображения, сохраненного в кадровой памяти 122, и исходного изображения, поданного из переупорядочивающего буфера 112. Кроме того, если схема 123 определения режима определяет, что нужно выполнить межкадровое кодирование, схема 123 определения режима назначает любой режим из трех: режима однонаправленного предсказания, режима двунаправленного предсказания и режима фильтрационного предсказания. Схема 123 определения режима выводит данные, обозначающие результат определения, как данные режима, на схему 116 кодирования без потерь.

Если схема 123 определения режима определяет, что нужно выполнить межкадровое кодирование, схема 123 определения режима выводит кадр, сохраненный в кадровой памяти 122 и полученный посредством локального декодирования, на схему 125 предсказания-компенсации движения через переключатель 124.

Кроме того, если схема 123 определения режима определяет, что нужно выполнить внутрикадровое кодирование, схема 123 определения режима выводит кадр, сохраненный в кадровой памяти 122 и полученный посредством локального декодирования, на схему 126 внутрикадрового предсказания.

Когда выполняется межкадровое кодирование, переключатель 124 соединяется с терминалом a11, а когда выполняется внутрикадровое кодирование - с терминалом b11. Переключением переключателя 124 управляет, например, управляющая схема 131.

Схема 125 предсказания-компенсации движения выявляет векторы движения на основе исходного изображения, поданного из переупорядочивающего буфера 112, и опорных кадров, считанных из кадровой памяти 122, и выводит обнаруженные векторы движения на схему 116 кодирования без потерь. Кроме того, схема 125 предсказания-компенсации движения выполняет компенсацию движения с помощью обнаруженных векторов движения и опорных кадров, чтобы генерировать предсказанное изображение, и выводит генерированное предсказанное изображение на суммирующую схему 113 через переключатель 127.

Схема 126 внутрикадрового предсказания выполняет внутрикадровое предсказание на основе исходного изображения, поданного из переупорядочивающего буфера 112, и опорных кадров, которые локально декодированы и сохранены в кадровой памяти 122, чтобы генерировать предсказанное изображение. Схема 126 внутрикадрового предсказания выводит генерированное предсказанное изображение на суммирующую схему 113 через переключатель 127 и выводит данные режима внутрикадрового предсказания на схему 116 кодирования без потерь.

Переключатель 127 соединяется с терминалом a12 или терминалом b12 и выводит предсказанное изображение, генерированное схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания, на суммирующую схему 113.

Управляющая схема 131 переключает соединение переключателей 124 и 127 в соответствии с режимом, определенным схемой 123 определения режима, и управляет всей работой кодирующего устройства 101.

Фиг. 16 является блок-схемой, иллюстрирующей пример конфигурации схемы 123 определения режима по Фиг. 15.

Как показано на Фиг. 16, схема 123 определения режима состоит из схемы 141 внутрикадрового предсказания, схемы 142 межкадрового предсказания, схемы 143 вычисления погрешности предсказания и определяющей схемы 144. В схеме 123 определения режима выполняются внутрикадровое предсказание и межкадровое предсказание по отношению к блокам, отличающимся друг от друга по размеру, и на основе результата определяется режим предсказания, используемый для предсказания. Что касается межкадрового предсказания, обработка выполняется в индивидуальных режимах предсказания: режиме однонаправленного предсказания, режиме двунаправленного предсказания или режиме фильтрационного предсказания. Исходное изображение, поданное из переупорядочивающего буфера 112, вводится в схему 141 внутрикадрового предсказания, схему 142 межкадрового предсказания и схему 143 вычисления погрешности предсказания.

Схема 141 внутрикадрового предсказания выполняет внутрикадровое предсказание в элементах блоков, отличающихся друг от друга по размеру, на основе исходного изображения и изображения, считанного из кадровой памяти 122, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. В схеме 151-1 предсказания 4×4 внутрикадровое предсказание выполняется в элементах блоков размером 4×4 пиксела. В схеме 151-2 предсказания 8×8 внутрикадровое предсказание выполняется в элементах блоков размером 8×8 пикселов. В схеме 151-3 предсказания 16×16 внутрикадровое предсказание выполняется в элементах блоков размером 16×16 пикселов.

Схема 161 предсказания в схеме 142 межкадрового предсказания выявляет векторы движения в элементах блоков, отличающихся друг от друга по размеру, на основе исходного изображения и опорных кадров, считанных из кадровой памяти 122. Кроме того, схема 161 предсказания выполняет компенсацию движения на основе обнаруженных векторов движения и выводит изображения компенсации движения, используемые для генерирования предсказанного изображения.

В схеме 161-1 предсказания 16×16 обработка выполняется по отношению к изображениям в элементах блоков размером 16×16 пикселов. В схеме 161-2 предсказания 16×8 обработка выполняется по отношению к изображениям в элементах блоков размером 16×8 пикселов. Кроме того, в схеме 161-(n-1) предсказания 4×4 обработка выполняется по отношению к изображениям в элементах блоков размером 4×4 пиксела. В схеме 161-n скачкообразного/прямого предсказания векторы движения выявляются в режиме скачкообразного предсказания или в режиме прямого предсказания, и с помощью обнаруженных векторов движения выполняется компенсация движения.

Изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в одном направлении относительно текущего кадра, подаются из соответствующих схем в схеме 161 предсказания на схему 162 однонаправленного предсказания. Кроме того, изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в двух направлениях относительно текущего кадра, подаются из соответствующих схем в схеме 161 предсказания на схему 163 двунаправленного предсказания.

В случае, если фильтрационное предсказание выполняется с помощью изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в одном направлении, как описано выше, изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в одном направлении, подаются из соответствующих схем в схеме 161 предсказания на схему 164 фильтрационного предсказания. В случае, если фильтрационное предсказание выполняется с помощью изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в двух направлениях, изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в двух направлениях, подаются из соответствующих схем в схеме 161 предсказания на схему 164 фильтрационного предсказания.

Схема 162 однонаправленного предсказания выполняет однонаправленное предсказание с помощью изображений компенсации движения, отличающихся друг от друга по размеру, поданных с соответствующих схем схемы 161 предсказания, благодаря чему генерируется предсказанное изображение, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Например, схема 162 однонаправленного предсказания генерирует предсказанное изображение путем рассмотрения пиксельных значений любого из множества изображений компенсации движения размером 16×16 пикселов, поданных из схемы 161-1 предсказания в качестве пиксельных значений предсказанного изображения.

Схема 163 двунаправленного предсказания выполняет двунаправленное предсказание с помощью изображений компенсации движения, отличающихся друг от друга по размеру, поданных с соответствующих схем схемы 161 предсказания, благодаря чему генерируется предсказанное изображение, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Например, схема 163 двунаправленного предсказания генерирует предсказанное изображение путем рассмотрения средних значений пиксельных значений множества изображений компенсации движения размером 16×16 пикселов, поданных из схемы 161-1 предсказания в качестве пиксельных значений предсказанного изображения.

Схема 164 фильтрационного предсказания выполняет фильтрационное предсказание с помощью изображений компенсации движения, отличающихся друг от друга по размеру, поданных с соответствующих схем схемы 161 предсказания, благодаря чему генерируется предсказанное изображение, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Схема 164 фильтрационного предсказания соответствует фильтрующей схеме 45 декодирующего устройства 1 и имеет такую же конфигурацию, как показанная на Фиг. 10.

Например, в случае генерирования предсказанного изображения с помощью изображений МС₀ и MC₁ компенсации движения размером 16×16 пикселов, поданных из схемы 161-1 предсказания, фильтрующая схема 164 получает разность между изображениями МС₀ и MC₁ компенсации движения и выполняет фильтрацию нижних частот в полученном разностном изображении. Кроме того, фильтрующая схема 164 выполняет фильтрацию верхних частот в выходных данных фильтрации нижних частот и суммирует изображение, выведенное после нее, в котором настроено усиление, и изображение, выведенное после фильтрации нижних частот, в котором настроено усиление. Фильтрующая схема 164 суммирует изображение как результат суммирования, представляющий собой высокочастотный компонент, с изображением МС₀ компенсации движения, благодаря чему генерируется предсказанное изображение, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания.

Схема 143 вычисления погрешности предсказания получает разности между исходным изображением и соответственными предсказанными изображениями, поданными из соответствующих схем в схеме 141 внутрикадрового предсказания, и выводит остаточный сигнал, представляющий собой полученные разности, на определяющую схему 144. Кроме того, схема 143 вычисления погрешности предсказания получает разности между исходным изображением и соответствующими предсказанными изображениями, поданными из схемы 162 однонаправленного предсказания, схемы 163 двунаправленного предсказания и фильтрующей схемы 164 в схеме 142 межкадрового предсказания, и выводит остаточный сигнал, представляющий собой полученные разности, на определяющую схему 144. Кроме того, схема 143 вычисления погрешности предсказания получает разности между исходным изображением и соответственными предсказанными изображениями, поданными из схемы 162 однонаправленного предсказания, схемы 163 двунаправленного предсказания и фильтрующей схемы 164 схемы 142 межкадрового предсказания, и выводит остаточный сигнал, представляющий собой полученные разности, на определяющую схему 144.

Определяющая схема 144 измеряет интенсивность остаточных сигналов, поданных из схемы 143 вычисления погрешности предсказания, и определяет способ предсказания, используемый для генерирования предсказанного изображения, имеющего малую разность с исходным изображением, в качестве способа предсказания для генерирования предсказанного изображения для использования при кодировании. Определяющая схема 144 выводит данные, представляющие собой результат определения, которые являются данными режима, на схему 116 кодирования без потерь. Данные режима включают в себя данные, представляющие размер блока для использования в качестве единицы обработки.

Кроме того, если определяющая схема 144 определяет, что предсказанное изображение будет генерироваться с помощью межкадрового предсказания (определяет, что будет выполнено межкадровое кодирование), определяющая схема 144 выводит опорные кадры, считанные из кадровой памяти 122, на схему 125 предсказания-компенсации движения вместе с данными режима. Если определяющая схема 144 определяет, что предсказанное изображение будет генерироваться с помощью внутрикадрового предсказания (определяет, что будет выполнено внутрикадровое кодирование), определяющая схема 144 выводит изображение, считанное из кадровой памяти 122 и подлежащее использованию для внутрикадрового предсказания, на схему 126 внутрикадрового предсказания вместе с данными режима.

Фиг. 17 является блок-схемой, иллюстрирующей пример конфигурации схемы 125 предсказания-компенсации движения по Фиг. 15.

Как показано на Фиг. 17, схема 125 предсказания-компенсации движения состоит из схемы 181 обнаружения вектора движения, схемы 182 однонаправленного предсказания, схемы 183 двунаправленного предсказания, предсказывающей схемы 184 и фильтрующей схемы 185. Схема 125 предсказания-компенсации движения имеет конфигурацию, сходную с конфигурацией схемы 21 предсказания-компенсации движения, показанной на Фиг. 8, за исключением того, что вместо схемы 41 определения режима предсказания имеется схема 181 обнаружения вектора движения.

Схема 181 обнаружения вектора движения выявляет векторы движения путем выполнения сопоставления блоков или тому подобного на основе исходного изображения, поданного из переупорядочивающего буфера 112, и опорных кадров, поданных из схемы 123 определения режима. Схема 181 обнаружения вектора движения сверяется с данными режима, поданными из схемы 123 определения режима, и выводит векторы движения вместе с опорными кадрами на любую из трех схем: схему 182 однонаправленного предсказания, схему 183 двунаправленного предсказания или предсказывающую схему 184.

Схема 181 обнаружения вектора движения выводит векторы движения вместе с опорными кадрами на схему 182 однонаправленного предсказания, если выбрано однонаправленное предсказание, и выводит эти фрагменты данных на схему 183 двунаправленного предсказания, если выбрано выполнение двунаправленного предсказания. Схема 181 обнаружения вектора движения выводит векторы движения вместе с опорными кадрами на предсказывающую схему 184, если выбрано выполнение фильтрационного предсказания.

Как и схема 42 однонаправленного предсказания по Фиг. 8, схема 182 однонаправленного предсказания генерирует предсказанное изображение путем выполнения однонаправленного предсказания. Схема 182 однонаправленного предсказания выводит генерированное предсказанное изображение на суммирующую схему 113.

Как и схема 43 двунаправленного предсказания по Фиг. 8, схема 183 двунаправленного предсказания генерирует предсказанное изображение путем выполнения двунаправленного предсказания. Схема 183 двунаправленного предсказания выводит генерированное предсказанное изображение на суммирующую схему 113.

Как и предсказывающая схема 44 по Фиг. 8, предсказывающая схема 184 извлекает изображения компенсации движения из множества (к примеру, двух) опорных кадров и выводит извлеченное множество изображений компенсации движения на фильтрующую схему 185.

Как и фильтрующая схема 45 по Фиг. 8, фильтрующая схема 185 генерирует предсказанное изображение путем выполнения фильтрационного предсказания. Фильтрующая схема 185 выводит генерированное предсказанное изображение на суммирующую схему 113. Отметим, что фильтрующая схема 185 имеет конфигурацию, сходную с конфигурацией фильтрующей схемы 45, показанной на Фиг. 12. Далее при описании в качестве конфигурации фильтрующей схемы 185 будет при возможности цитироваться конфигурация фильтрующей схемы 45, показанной на Фиг. 12.

Предсказанное изображение, генерированное посредством фильтрационного предсказания, включает в себя большой объем высокочастотного компонента по сравнению с предсказанным изображением, генерированным посредством однонаправленного или двунаправленного предсказания, и является изображением, имеющим малую разность с исходным изображением. Таким образом, объем кода, закрепленного за остатком, мал, и тем самым возможно увеличить эффективность кодирования.

Кроме того, фильтрационное предсказание может быть выполнено, если число опорных кадров равно по меньшей мере двум, и, таким образом, такого увеличения эффективности кодирования можно достичь, не усложняя обработку. Например, остаток от исходного изображения может быть снижен, а эффективность кодирования увеличена путем генерирования и использования предсказанного изображения высокой точности с использованием большого числа опорных кадров при межкадровом предсказании. В этом случае, однако, обработка усложняется, потому что число опорных кадров велико.

Отметим, что, когда нужно выбрать способ предсказания, к интенсивности остаточного сигнала может быть добавлен вес в соответствии с объемом кода с учетом объема кода данных, таких как векторы движения, требуемых для предсказания и режима кодирования, так что выбирается оптимальный способ предсказания. Соответственно, затем может быть улучшена эффективность кодирования. Кроме того, для упрощения обработки кодирования способ предсказания может адаптивно выбираться с помощью количества свойств во временном и пространственном направлениях введенного исходного изображения.

Описание процедуры обработки кодирования

Далее будет описана обработка, выполняемая кодирующим устройством 101 с описанной выше конфигурацией.

Операция кодирования, выполняемая кодирующим устройством 101, будет описана со ссылкой на блок-схему по Фиг. 18. Эта операция начинается, когда изображение выводится из переупорядочивающего буфера 112 некоторой единицей, такой как макроблок.

На этапе S101 суммирующая схема 113 получает разность между изображением, поданным из переупорядочивающего буфера 112, и предсказанным изображением, генерированным схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания, и выводит остаток на схему 114 ортогонального преобразования.

На этапе S102 схема 114 ортогонального преобразования выполняет ортогональное преобразование остатка, поданного с суммирующей схемы 113, и выводит коэффициент преобразования на квантующую схему 115.

На этапе S103 квантующая схема 115 квантует коэффициент преобразования, поданный из схемы 114 ортогонального преобразования, и выводит квантованный коэффициент преобразования.

На этапе S104 схема 119 обратного квантования выполняет обратное квантование коэффициента преобразования, квантованного квантующей схемой 115, и выводит коэффициент преобразования на схему 120 обратного ортогонального преобразования.

На этапе S105 схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 119 обратного квантования, и выводит полученное изображение на фильтр 121 устранения блочности.

На этапе S106 фильтр 121 устранения блочности выполняет фильтрацию для удаления блокового шума и выводит изображение, из которого удален блоковый шум, на кадровую память 122.

На этапе S107 кадровая память 122 сохраняет изображение, поданное из фильтра 121 устранения блочности.

На этапе S108 схемой 123 определения режима выполняется операция определения режима. Режим предсказания для использования при генерировании предсказанного изображения, определяется посредством обработки определения режима. Обработка определения режима будет описана ниже.

На этапе S109 управляющая схема 131 оценивает, должно ли быть выполнено внутрикадровое предсказание, на основе определения, сделанного схемой 123 определения режима.

Если на этапе S109 установлено, что должно быть выполнено внутрикадровое предсказание, на этапе S110 схема 126 внутрикадрового предсказания выполняет внутрикадровое предсказание и выводит предсказанное изображение на суммирующую схему 113.

С другой стороны, если на этапе S109 установлено, что внутрикадровое предсказание не должно быть выполнено, то есть должно быть выполнено межкадровое предсказание, на этапе S111 схема 125 предсказания-компенсации движения выполняет операцию предсказания-компенсации движения, и предсказанное изображение выводится на суммирующую схему 113. Обработка предсказания-компенсации движения будет описана ниже.

На этапе S212 схема 116 кодирования без потерь сжимает коэффициент преобразования, поданный с квантующей схемы 115, и выводит его в запоминающий буфер 117. Кроме того, схема 116 кодирования без потерь описывает идентификационную метку в заголовке изображения в соответствии с данными, поданными из схемы 123 определения режима, и описывает вектор движения, поданный из схемы 125 предсказания-компенсации движения, в заголовке изображения.

На этапе S113 запоминающий буфер 117 временно сохраняет данные, поданные из схемы 116 кодирования без потерь.

На этапе S114 управляющая схема 131 оценивает, выполнена ли описанная выше обработка по отношению к макроблокам во всем кадре. Если установлено, что обработка не была выполнена по отношению к макроблокам во всем кадре, обработка повторяется для другого макроблока, начиная с этапа S111.

С другой стороны, если на этапе S114 установлено, что обработка была выполнена по отношению к макроблокам во всем кадре, запоминающий буфер 117 выводит сжатые данные изображения в соответствии с управляющим воздействием управляющей схемы 131 на этапе S115. Описанная выше обработка выполняется по отношению к отдельным кадрам.

Далее операция определения режима, которая выполняется на этапе S108 по Фиг. 18, будет описана со ссылкой на блок-схему по Фиг. 19.

На этапе S131 схема 141 внутрикадрового предсказания и схема 142 межкадрового предсказания выполняют внутрикадровое и межкадровое предсказание, соответственно, по отношению к блокам, отличающимся друг от друга по размеру, тем самым генерируются предсказанные изображения. Генерированные предсказанные изображения подаются на схему 143 вычисления погрешности предсказания.

На этапе S132 схема 143 вычисления погрешности предсказания получает разности между исходным изображением и соответствующими предсказанными изображениями, поданными из соответствующих схем в схеме 141 внутрикадрового предсказания и из схемы 162 однонаправленного предсказания, схемы 163 двунаправленного предсказания и фильтрующей схемы 164 в схеме 142 межкадрового предсказания. Схема 143 вычисления погрешности предсказания выводит остаточный сигнал на определяющую схему 144.

На этапе S133 определяющая схема 144 определяет способ предсказания для генерирования предсказанного изображения, которое подлежит подаче на суммирующую схему 113, на основе интенсивности остаточного сигнала, поданного из схемы 143 вычисления погрешности предсказания.

На этапе S134 определяющая схема 144 выводит данные режима, то есть данные об определенном способе предсказания, на схему 116 кодирования без потерь. После этого обработка возвращается к этапу S108 по Фиг. 18, и выполняется дальнейшая обработка.

Далее операция предсказания-компенсации движения, которая выполняется на этапе S111 по Фиг. 18, будет описана со ссылкой на блок-схему по Фиг. 20.

На этапе S151 схема 181 обнаружения вектора движения выявляет векторы движения на основе исходного изображения и опорных кадров.

На этапе S152 схема 181 обнаружения вектора движения оценивает, определила ли схема 123 определения режима, что операция должна выполняться в режиме фильтрационного предсказания.

Если установлено, что определено выполнение обработки в режиме фильтрационного предсказания, обработка переходит к этапу S153. Соответствующие обработки на этапах S153 и S154 выполняются способом, сходным с этапами S32 и S33 по Фиг. 12. То есть на этапе S153 выполняется операция извлечения способом, описанным выше со ссылкой на блок-схему по Фиг. 13. На этапе S154 выполняется операция фильтрационного предсказания способом, описанным выше со ссылкой на блок-схему по Фиг. 14.

После завершения обработки на этапе S154 операция предсказания-компенсации движения завершается, обработка возвращается к этапу S111 по Фиг. 18 и переходит к этапу S112.

Кроме того, если на этапе S152 по Фиг. 20 установлено, что выполнение обработки в режиме фильтрационного предсказания не определено, обработка переходит к этапу S155. На этапе S155 схема 182 однонаправленного предсказания или схема 183 двунаправленного предсказания выполняет однонаправленное или двунаправленное предсказание, благодаря чему генерируется предсказанное изображение.

То есть, если определено выполнение обработки в режиме однонаправленного предсказания, векторы движения подаются из схемы 181 обнаружения вектора движения на схему 182 однонаправленного предсказания, и однонаправленное предсказание выполняется в схеме 182 однонаправленного предсказания. Кроме того, если определено выполнение обработки в режиме двунаправленного предсказания, векторы движения подаются из схемы 181 обнаружения вектора движения на схему 183 двунаправленного предсказания, и двунаправленное предсказание выполняется в схеме 183 двунаправленного предсказания. После вывода предсказанного изображения на суммирующую схему 113 и завершения обработки на этапе S155 по Фиг. 20 обработка предсказания-компенсации движения завершается, обработка возвращается к этапу S111 по Фиг. 18 и переходит к этапу S112.

Как описано выше, за счет выполнения кодирования с помощью предсказанного изображения, генерированного посредством фильтрационного предсказания, может быть увеличена эффективность кодирования.

Третий вариант осуществления

Модификация фильтрующей схемы

В приведенном выше описании фильтрующие схемы 45 и 185 имеют конфигурацию, показанную на Фиг. 10, но эта конфигурация при необходимости может быть изменена.

Фиг. 21 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы 45. Конфигурации, соответствующие конфигурациям, показанным на Фиг. 10, обозначены теми же ссылочными позициями. Избыточное описание будет по возможности опущено.

Схема 61 вычисления разности по Фиг. 21 вычисляет разность между изображением МС₀ компенсации движения и изображением MC₁ компенсации движения и выводит разностное изображение на схему 62 фильтра нижних частот.

Схема 62 фильтра нижних частот выполняет фильтрацию нижних частот в разностном изображении, поданном из схемы 61 вычисления разности, и выводит полученное изображение на суммирующую схему 67.

Суммирующая схема 67 суммирует изображение, поданное из схемы 62 фильтра нижних частот, с изображением МС₀ компенсации движения и выводит полученное изображение в качестве предсказанного изображения.

С помощью конфигурации, показанной на Фиг. 21, объем обработки может быть снижен по сравнению со случаем использования конфигурации по Фиг. 10, и может быть осуществлена высокоскоростная операция.

Фиг. 22 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы 45. Конфигурации, соответствующие конфигурациям, показанным на Фиг. 10, обозначены теми же ссылочными позициями. Избыточное описание будет по возможности опущено.

В фильтрующей схеме 45 по Фиг. 22 выполняется фильтрация сигнала в частотной области, а не во временной области. Обе фильтрующие схемы 45, показанные на Фиг. 10 и 21, выполняют фильтрацию сигнала во временной области.

Схема 61 вычисления разности по Фиг. 22 вычисляет разность между изображением МС₀ компенсации движения и изображением МС₁ компенсации движения и выводит разностное изображение на схему 201 ортогонального преобразования.

Схема 201 ортогонального преобразования выполняет ортогональное преобразование, являющееся дискретным косинусным преобразованием (DCT) (ДКП), преобразованием Адамара или преобразованием Карунена-Лоэва, для разностного изображения, и выводит сигнал после ортогонального преобразования на схему 202 полосового фильтра. Ортогональное преобразование и фильтрация выполняются по отношению к сигналу в частотной области, тем самым операция фильтрации высокой точности может быть выполнена более гибко по сравнению с выполнением фильтрации сигнала во временной области.

Когда в качестве ортогонального преобразования используется DCT, выходные данные DF после ортогонального преобразования выражены нижеследующим уравнением (12). В уравнении (12) DCT (X) обозначает, что выполняется операция двумерного ДКП над сигналом X.

Схема 202 полосового фильтра выполняет фильтрацию выходных данных схемы ортогонального преобразования и выводит сигнал в некотором диапазоне.

Схема 203 настройки усиления настраивает усиление выходных данных схемы 202 полосового фильтра путем умножения их на α, а также настраивает частотный компонент. Выходные данные XF схемы 203 настройки усиления выражены нижеследующим уравнением (13). В уравнении (13) BPF(X) обозначает, что операция полосовой фильтрации выполняется над сигналом X.

Схема 204 обратного ортогонального преобразования выполняет обратное ортогональное преобразование способом, соответствующим ортогональному преобразованию, выполненному схемой 201 ортогонального преобразования, чтобы преобразовать сигнал в частотной области, поданный из схемы 203 настройки усиления, в сигнал во временной области. Например, когда в качестве ортогонального преобразования в схеме 201 ортогонального преобразования используется ДКП, в схеме 204 обратного ортогонального преобразования выполняется обратное дискретное косинусное преобразование (IDCT) (ОДКП). Выходные данные X схемы 204 обратного ортогонального преобразования выражены нижеследующим уравнением (14). В уравнении (14) IDCT(X) обозначает, что выполняется двумерная операция ОДКП над сигналом X.

Суммирующая схема 57 суммирует сигнал X, поданный из схемы 204 обратного ортогонального преобразования, с изображением МС₀ компенсации движения во временной области и выводит полученное изображение в качестве предсказанного изображения. Предсказанное изображение S(i, j), которое является окончательными выходными данными суммирующей схемы 57, выражено нижеследующим уравнением (15).

При этом предсказанное изображение высокой точности может генерироваться также путем выполнения фильтрации сигнала в частотной области.

Кроме того, в приведенном выше описании фильтрационное предсказание выполняется с помощью двух опорных кадров, но в качестве опорных кадров могут быть использованы два и более кадра.

Фиг. 23 является схемой, иллюстрирующей пример случая использования трех опорных кадров.

В примере по Фиг. 23, где время предсказанного кадра взято за основу, в качестве опорных кадров рассматриваются три кадра, предшествующие ему на одну единицу времени, на две единицы времени и на три единицы времени. Кадр, ближайший к предсказанному кадру и предшествующий ему на одну единицу времени, рассматривается в качестве опорного кадра R₀, кадр, на одну единицу времени предшествующий опорному кадру R₀, рассматривается в качестве опорного кадра R₁, кадр, на одну единицу времени предшествующий опорному кадру R₁, рассматривается в качестве опорного кадра R₂.

Фиг. 24 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Как показано на Фиг. 24, фильтрующая схема 211 состоит из фильтрующей схемы 221 и фильтрующей схемы 222. Обе фильтрующие схемы 221 и 222 имеют конфигурацию, показанную на Фиг. 10, 21 или 22. То есть фильтрующая схема 211 выполнена так, чтобы работать в качестве схемы с тремя вводами и одним выводом, путем расположения каскадом фильтрующей схемы 45, которая используется для двух вводов и одного вывода.

Здесь при описании изображение компенсации движения, извлеченное из опорного кадра R₀, будет рассматриваться в качестве изображения МС₀ компенсации движения, изображение компенсации движения, извлеченное из опорного кадра R₁ - в качестве изображения MC₁ компенсации движения, а изображение компенсации движения, извлеченное из опорного кадра R₂ - в качестве изображения МС₂ компенсации движения. Изображения MC₁ и МС₂ компенсации движения вводятся в фильтрующую схему 221, а изображение МС₀ компенсации движения вводится в фильтрующую схему 222.

Фильтрующая схема 221 выполняет фильтрацию, рассматривая изображения MC₁ и МС₂ компенсации движения в качестве изображений МС₀ и MC₁ компенсации движения по Фиг. 10, и т.д., соответственно, и выводит промежуточные выходные данные X, которые являются результатом фильтрации, на фильтрующую схему 222.

Фильтрующая схема 221 выполняет фильтрацию, рассматривая промежуточные выходные данные X и изображение МС₀ компенсации движения в качестве изображений МС₀ и МС₁ компенсации движения по Фиг. 10, и т.д., соответственно, и выводит результат фильтрации, служащий в качестве предсказанного изображения.

Возможно также, что фильтрующая схема 211, которая поддерживает три опорных кадра, имеется в декодирующем устройстве 1 по Фиг. 4 или в кодирующем устройстве 101 по Фиг. 15 вместо фильтрующей схемы 45.

Помимо этого, фильтрующие схемы 221 и 222 не обязательно имеют одинаковую конфигурацию, и индивидуальные конфигурации могут отличаться друг от друга. Например, одна имеет конфигурацию, показанную на Фиг. 10, а другая имеет конфигурацию, показанную на Фиг. 21. Кроме того, возможно варьировать параметр, используемый для фильтра, в зависимости от характеристик ввода-вывода до и после фильтрации.

Фильтрация может быть выполнена фильтрующей схемой 211 по отношению к изображениям компенсации движения, извлеченным из трех опорных кадров, упорядоченных в двух временных направлениях, а не по отношению к изображениям компенсации движения, извлеченным из опорных кадров, упорядоченных в одном временном направлении.

Отметим, что в случае использования кадров, предшествующих по времени и следующих за предсказанным кадром, в качестве опорных кадров, включая случай, описанный выше со ссылкой на Фиг. 8, такой параметр, как коэффициент отвода, используемый для фильтрации, может быть динамически изменен в соответствии с временным направлением или расстоянием опорных кадров.

Передача сжатых данных изображения из кодирующего устройства 101 на декодирующее устройство 1 выполняется посредством различных типов носителей, таких как носитель записи, включая оптический диск, магнитный диск и флэш-память, спутниковое вещание, кабельное ТВ, Интернет и мобильную телефонную сеть.

Описанный выше ряд обработок может быть выполнен с помощью аппаратного обеспечения и программного обеспечения. В случае выполнения ряда операций с помощью программного обеспечения программа, составляющая программное обеспечение, устанавливается посредством носителя записи на компьютер, встроенный в специализированное аппаратное обеспечение, персональный компьютер общего назначения, способный выполнять различные типы функций, если на него установлены различные типы программ, или т.п.

Фиг. 25 является блок-схемой, иллюстрирующей пример конфигурации аппаратного обеспечения компьютера 300, который выполняет описанный выше ряд обработок в соответствии с программой.

ЦП (центральный процессор) 301, ПЗУ (постоянно запоминающее устройство) 302 и ОЗУ (оперативное запоминающее устройство) 303 взаимно соединены через шину 304.

Интерфейс 310 ввода-вывода далее соединен с шиной 304. Блок 311 ввода, состоящий из клавиатуры, мыши, микрофона и т.д., блок 312 вывода, состоящий из дисплея, громкоговорителя и т.д., блок 313 памяти, состоящий из жесткого диска, энергонезависимой памяти и т.д., блок 314 связи, состоящий из сетевого интерфейса и т.д. и привод 315, который управляет съемным носителем 321, таким как оптический диск или полупроводниковая память, соединены с интерфейсом 310 ввода-вывода.

В компьютере 300, имеющем приведенную выше конфигурацию, ЦП 301, например, загружает программу, сохраненную в блоке 313 памяти, в ОЗУ 303 через интерфейс 310 ввода-вывода и шину 304 и выполняет ее, тем самым выполняя описанный выше ряд обработок.

Программа, выполняемая ЦП 301, предусматривается, будучи записанной, например, на съемный носитель 321 или через проводную или беспроводную передающую среду, такую как локальная сеть, Интернет или цифровое вещание, и устанавливается в блок 313 памяти.

Дополнительно, программа, выполняемая компьютером, может являться программой, в которой обработки выполняются во временной последовательности в соответствии с порядком, описанным в этом описании, или может быть программой, в которой обработки выполняются параллельно или в необходимый момент, такой как момент телефонного звонка.

Кроме того, в этом описании этапы, описывающие программу, записанную на носитель записи, конечно, включают в себя обработки, выполняемые во временной последовательности в соответствии с описанным порядком, и также включают в себя обработки, выполняемые параллельно или обособленно, не во временной последовательности.

Кроме того, в этом описании система является целым устройством, состоящим из множества устройств.

Кроме того, относительно приведенного выше описания, описанная как одиночное устройство (или блок обработки данных) конфигурация может быть разделена на множество устройств (или блоков обработки данных). И наоборот, конфигурация, описанная как множество устройств (или блоков обработки данных) может быть объединена в единственное устройство (или блок обработки данных). Альтернативно, к каждому устройству (или каждому блоку обработки данных), конечно, может быть добавлена конфигурация, отличная от описанной выше конфигурации. Далее, часть конфигурации некоторого устройства (или блока обработки данных) может быть включена в конфигурацию другого устройства (или блока обработки данных), коль скоро конфигурация и работа всей системы практически одно и то же. То есть варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления, и возможны различные изменения, не отходящие от сущности настоящего изобретения.

Например, описанные выше декодирующее устройство 1 и кодирующее устройство 101 могут быть применены к произвольным электронным устройствам. Далее будут описаны их примеры.

Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации телевизионного приемника, в котором использовано декодирующее устройство 1, к которому применено настоящее изобретение.

Телевизионный приемник 1000, показанный на Фиг. 26, включает в себя эфирный тюнер 1013, видеодекодер 1015, схему 1018 обработки видеосигнала, схему 1019 генерирования графики, схему 1020 управления табло и отображающее табло 1021.

Эфирный тюнер 1013 принимает волновой вещательный сигнал аналогового эфирного вещания через антенну, демодулирует его, получает видеосигнал и подает его на видеодекодер 1015. Видеодекодер 1015 выполняет операцию декодирования видеосигнала, поданного с эфирного тюнера 1013, и подает полученный цифровой составной сигнал на схему 1018 обработки видеосигнала.

Схема 1018 обработки видеосигнала выполняет определенную операцию, такую как устранение шумов, по отношению к видеоданным, поданным с видеодекодера 1015, и подает полученные видеоданные на схему 1019 генерирования графики.

Схема 1019 генерирования графики генерирует видеоданные программы, которая подлежит отображению на отображающем табло 1021, данные изображения на основе обработки, основанной на программе, поданной по сети, и т.п. и подает генерированные видеоданные и данные изображения на схему 1020 управления табло. Кроме того, схема 1019 генерирования графики выполняет операцию генерирования видеоданных (графики) для отображения экрана, подлежащего использованию пользователем для выбора пункта меню, наложения его на видеоданные программы и подачи полученных таким образом видеоданных на схему 1020 управления табло, при необходимости.

Схема 1020 управления табло управляет отображающим табло 1021 на основе данных, поданных из схемы 1019 генерирования графики, и заставляет отображающее табло 1021 отображать видео программы и описанные выше различные типы экранов.

Отображающее табло 1021 состоит из ЖКД (жидкокристаллического дисплея) или т.п. и отображает видео программы или т.п. в соответствии с управляющим воздействием, осуществляемым схемой 1020 управления табло.

Кроме того, телевизионный приемник 1000 включает в себя схему 1014 аналого-цифрового преобразователя аудиосигнала, схему 1022 обработки аудиосигнала, схему 1023 компенсации эхо-сигналов/аудио синтеза, схему 1024 аудио усилителя и громкоговоритель 1025.

Эфирный тюнер 1013 демодулирует принятый волновой вещательный сигнал, тем самым получая не только видеосигнал, но также и аудиосигнал. Эфирный тюнер 1013 подает полученный аудиосигнал на схему 1014 аналого-цифрового преобразователя аудиосигнала.

Схема 1014 аналого-цифрового преобразователя аудиосигнала выполняет операцию аналого-цифрового преобразования аудиосигнала, поданного с эфирного тюнера 1013, и подает полученный цифровой аудиосигнал на схему 1022 обработки аудиосигнала.

Схема 1022 обработки аудиосигнала выполняет определенную операцию, такую как устранение шумов, по отношению к аудиоданным, поданным из схемы 1014 аналого-цифрового преобразователя аудиосигнала, и подает полученные аудиоданные на схему 1023 компенсации эхо-сигналов/аудио синтеза.

Схема 1023 компенсации эхо-сигналов/аудио синтеза подает аудиоданные, поданные из схемы 1022 обработки аудиосигнала, на схему 1024 аудио усилителя.

Схема 1024 аудио усилителя выполняет операцию цифроаналогового преобразования и операцию усиления аудиоданных, поданных из схемы 1023 компенсации эхо-сигналов/аудио синтеза, чтобы отрегулировать их по уровню громкости, и заставляет громкоговоритель 1025 выводить аудиосигнал.

К тому же, телевизионный приемник 1000 включает в себя цифровой тюнер 1016 и MPEG-декодер 1017.

Цифровой тюнер 1016 принимает волновой вещательный сигнал цифрового вещания (эфирного цифрового вещания, цифрового вещания с ВС (вещательного спутника) или СС (спутника связи)) через антенну, демодулирует его, получает транспортный поток (ТП) MPEG и подает его на MPEG-декодер 1017.

MPEG-декодер 1017 убирает скремблирование ТП MPEG, поданного с цифрового тюнера 1016, и извлекает поток, включающий в себя данные программы, подлежащей воспроизведению (просмотру-прослушиванию). MPEG-декодер 1017 декодирует аудио пакеты, составляющие извлеченный поток, и подает полученные аудиоданные на схему 1022 обработки аудиосигнала, а также декодирует видео пакеты, составляющие поток, и подает полученные видеоданные на схему 1018 обработки аудиосигнала. Кроме того, MPEG-декодер 1017 подает данные электронного телегида, извлеченные из ТП MPEG, на ЦП 1032 по тракту, который не показан.

Телевизионный приемник 1000 использует описанное выше декодирующее устройство 1 в качестве MPEG-декодера 1017, который декодирует видео пакеты этим способом. Отметим, что ТП MPEG, переданный со станции вещания или т.п., кодирован с помощью кодирующего устройства 101.

Как и в случае с декодирующим устройством 1, MPEG-декодер 1017 выполняет декодирование с помощью предсказанного изображения, которое генерируется посредством фильтрационного предсказания. Кроме того, в этот момент, как и в случае с декодирующим устройством 1, MPEG-декодер 1017 получает часть изображений компенсации движения с помощью вектора движения и получает оставшееся изображение (оставшиеся изображения) посредством предсказания движения изображения компенсации движения, полученного с помощью вектора движения. Таким образом, MPEG-декодер 1017 может снизить число векторов движения, подлежащих кодированию.

Видеоданные, поданные с MPEG-декодера 1017, подвергаются определенной обработке на схеме 1018 обработки видеосигнала, как в случае с видеоданными, поданными с видео декодера 1015, на них при необходимости накладываются видеоданные или т.п., генерированные в схеме 1019 генерирования графики, эти видеоданные подаются на отображающее табло 1021 через схему 1020 управления табло, и относящееся к ним изображение отображается.

Аудиоданные, поданные с MPEG-декодера 1017, подвергаются определенной обработке на схеме 1022 обработки аудиосигнала, как в случае с аудиоданными, поданными из схемы 1014 аналого-цифрового преобразования аудиосигнала, подаются на схему 1024 аудио усилителя через схему 1023 компенсации эхо-сигналов/аудио синтеза и подвергаются обработке цифроаналогового преобразования и обработке усиления. В результате аудиосигнал, отрегулированный по громкости, выводится из громкоговорителя 1025.

Кроме того, телевизионный приемник 1000 включает в себя микрофон 1026 и схему 1027 аналого-цифрового преобразования.

Схема 1027 аналого-цифрового преобразования принимает звуковой сигнал от пользователя, уловленный микрофоном 1026, который имеется в телевизионном приемнике 1000 для речевого общения, выполняет операцию аналого-цифрового преобразования принятого аудиосигнала и подает полученные цифровые аудиоданные на схему 1023 компенсации эхо-сигналов/аудио синтеза.

В случае, если звуковой сигнал от пользователя (пользователя А) телевизионного приемника 1000 подаются из схемы 1027 аналого-цифрового преобразования, схема 1023 компенсации эхо-сигналов/аудио синтеза выполняет компенсацию эхо-сигналов аудиоданных пользователя А и выводит эти аудиоданные, которые получены посредством синтеза с другими аудиоданными, из громкоговорителя 1025 через схему 1024 аудио усилителя.

Далее, телевизионный приемник 1000 имеет звуковой кодер-декодер 1028, внутреннюю шину 1029 и синхронное динамическое оперативное запоминающее устройство (СДОЗУ) 1030, флэш-память 1031, ЦП 1032, USB-интерфейс 1033 и сетевой интерфейс 1034.

Схема 1027 аналого-цифрового преобразования принимает звуковой сигнал от пользователя, уловленный микрофоном 1026, который имеется в телевизионном приемнике 1000 для речевого общения, выполняет операцию аналого-цифрового преобразования принятого аудиосигнала и подает полученные цифровые аудиоданные на звуковой ко дер-декодер 1028.

Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные из схемы 1027 аналого-цифрового преобразования, в данные определенного формата для передачи их по сети и подает их на сетевой интерфейс 1034 через внутреннюю шину 1029.

Сетевой интерфейс 1034 соединен с сетью через кабель, прикрепленный к сетевому терминалу 1035. Сетевой интерфейс 1034 передает аудиоданные, поданные со звукового кодера-декодера 1028, например, на другое устройство, соединенное с сетью. Кроме того, сетевой интерфейс 1034 через сетевой терминал 1035 принимает аудиоданные, переданные, например, с другого устройства, соединенного по сети, и подает их на звуковой кодер-декодер 1028 через внутреннюю шину 1029.

Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные с сетевого интерфейса 1034, в данные определенного формата и подает их на схему 1023 компенсации эхо-сигналов/аудио синтеза.

Схема 1023 компенсации эхо-сигналов/аудио синтеза выполняет компенсацию эхо-сигналов аудиоданных, поданных со звукового кодера-декодера 1028, и выводит аудиоданные, полученные посредством синтеза с другими аудиоданными, из громкоговорителя 1025 через схему 1024 аудио усилителя.

СДОЗУ 1030 сохраняет различные типы данных, необходимых ЦП 1032 для выполнения обработки.

Флэш-память 1031 сохраняет программу, выполняемую ЦП 1032. Программа, сохраненная во флэш-памяти 1031, считывается ЦП 1032 в определенный момент, например, при включении телевизионного приемника 1000. Флэш-память 1031 также сохраняет данные электронного телегида, полученные через цифровое вещание, и данные, полученный с определенного сервера по сети.

Например, флэш-память 1031 сохраняет ТП MPEG, включающий в себя данные контента, полученные с определенного сервера по сети, под управлением, осуществляемым, например, ЦП 1032.

MPEG-декодер 1017 обрабатывает ТП MPEG, как в случае с ТП MPEG, поданным с цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 способен принимать данные контента видео, аудио и т.п. по сети, декодировать их с помощью MPEG-декодера 1017 и отображать видео или выводить звук.

Кроме того, телевизионный приемник 1000 имеет блок 1037 приема светового сигнала для приема инфракрасного сигнала с пульта 1051 дистанционного управления.

Блок 1037 приема светового сигнала принимает инфракрасный луч с пульта 1051 дистанционного управления и выводит управляющий код, представляющий собой поданную пользователем команду, полученную посредством демодуляции, на ЦП 1032.

ЦП 1032 выполняет программу, сохраненную во флэш-памяти 1031, и управляет всей работой телевизионного приемника 1000 в соответствии с управляющим кодом или т.п., поданным с блока 1037 приема светового сигнала. ЦП 1032 соединен с отдельными блоками телевизионного приемника 1000 по трактам, которые не показаны.

USB-интерфейс 1033 выполняет передачу данных на внешнее устройство телевизионного приемника 1000 или прием данных с него, причем это устройство соединено через USB-кабель, подключенный к USB-терминалу 1036. Сетевой интерфейс 1034 соединяется с сетью через кабель, подключенный к сетевому терминалу 1035, и выполняет передачу данных, отличных от аудиоданных, на различные типов устройств, соединенных с сетью, или прием от них этих данных.

Телевизионный приемник 1000 использует декодирующее устройство 1 в качестве MPEG-декодера 1017, в результате чего он способен генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных во время декодирования, выполняемого по отношению к видео пакетам, образующим поток. В результате телевизионный приемник 100 способен увеличить эффективность кодирования, подавляя при этом возрастание объема обработки.

Фиг. 27 является блок-схемой, иллюстрирующей пример основной конфигурации мобильного телефонного аппарата, который использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Мобильный телефонный аппарат 1100, показанный на Фиг. 27, включает в себя основной управляющий блок 1150, выполненный так, чтобы совместно управлять отдельными блоками, блок 1151 схемы питания, блок 1152 управления вводом команд, кодер 1153 изображений, блок 1154 интерфейса фотокамеры, блок 1155 управления ЖКД, декодер 1156 изображений, блок 1157 мультиплексора-демультиплексора, блок 1162 записи-воспроизведения, блок 1158 схемы модуляции-демодуляции и звуковой кодер-декодер 1159. Они взаимно соединены через шину 1160.

Кроме того, мобильный телефонный аппарат 1100 включает в себя рабочую клавишу 1119, ПЗС-фотокамеру (прибор с зарядовой связью) 1116, жидкокристаллический дисплей 1118, запоминающий блок 1123, блок 1163 схемы передачи-приема, антенну 1114, микрофон 1121 и громкоговоритель 1117.

При завершении звонка или нажатии пользователем клавиши «вкл.» блок 1151 схемы питания подает питание с комплекта аккумуляторов на отдельные блоки, тем самым приводя мобильный телефонный аппарат 1100 в рабочее состояние.

Мобильный телефонный аппарат 1100 выполняет различные типы действий, такие как передача-прием аудиосигнала, передача-прием электронной почты или данных изображения, получение изображения или запись данных в различных типах режимов, таких как режим звукового звонка или режим цифровой связи, на основе управляющего воздействия, осуществляемого основным управляющим блоком 1150, включающим в себя ЦП, ПЗУ, ОЗУ и т.д.

Например, в режиме звукового звонка мобильный телефонный аппарат 1100 преобразует аудиосигнал, уловленный микрофоном 1121, в цифровые аудиоданные с помощью звукового кодера-декодера 1159, выполняет операцию расширения спектра с помощью блока 1158 схемы модуляции-демодуляции и выполняет операцию цифроаналогового преобразования и операцию частотного преобразования с помощью блока 1163 схемы передачи-приема. Мобильный телефонный аппарат 1100 передает сигнал, подлежащий передаче, полученный посредством операций преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал, подлежащий передаче (аудиосигнал), переданный на базовую станцию, подается на мобильный телефонный аппарат собеседника через общедоступную сеть телефонных линий.

Кроме того, например, в режиме звукового звонка мобильный телефонный аппарат 1100 усиливает сигнал приема, принятый антенной 1114, с помощью блока 1163 передачи-приема, далее выполняет операцию частотного преобразования и операцию аналого-цифрового преобразования, выполняет операцию, обратную расширению спектра, с помощью блока 1158 схемы модуляции-демодуляции и преобразует его в аналоговый аудиосигнал с помощью звукового кодера-декодера 1159. Мобильный телефонный аппарат 1100 выводит аналоговый аудиосигнал, полученный посредством преобразования, через громкоговоритель 1117.

К тому же, например, в случае передачи электронной почты в режиме цифровой связи мобильный телефонный аппарат 1100 принимает на блок 1152 управления вводом команд текстовые данные электронной почты, введенные посредством управления рабочей клавишей 1119. Мобильный телефонный аппарат 1100 обрабатывает текстовые данные на основном управляющем блоке 1150 и заставляет отображать их в качестве изображения на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.

Кроме того, мобильный телефонный аппарат 1100 в основном управляющем блоке 1150 генерирует данные электронной почты на основе текстовых данных или команд пользователя, принятых блоком 1152 управления вводом команд. Мобильный телефонный аппарат 1100 выполняет операцию расширения спектра данных электронной почты с помощью блока 1158 схемы модуляции-демодуляции и выполняет операцию цифроаналогового преобразования и операцию частотного преобразования с помощью блока 1163 схемы приема-передачи. Мобильный телефонный аппарат 1100 передает сигнал, подлежащий передаче, полученный посредством операций преобразования, на недоказанную базовую станцию через антенну 1114. Сигнал, подлежащий передаче (электронная почта), переданный на базовую станцию, подается определенному адресату по сети и почтовый сервер или т.п.

Кроме того, например, в случае приема электронной почты в режиме цифровой связи мобильный телефонный аппарат 1100 принимает сигнал, переданный с базовой станции, через антенну 1114 с помощью блока 1163 схемы передачи-приема, усиливает его и далее выполняет операцию частотного преобразования и операцию аналого-цифрового преобразования. Мобильный телефонный аппарат 1100 выполняет операцию, обратную расширению спектра принятого сигнала, с помощью блока 1158 схемы модуляции-демодуляции для восстановления исходных данных электронной почты. Мобильный телефонный аппарат 1100 отображает восстановленные данные электронной почты на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.

Дополнительно, мобильный телефонный аппарат 1100 способен записывать принятые данные электронной почты в запоминающем блоке 1123 через блок 1162 записи-воспроизведения.

Запоминающий блок 1123 является произвольным перезаписываемым носителем записи. Запоминающий блок 1123 может быть полупроводниковой памятью, такой как ОЗУ или встроенная флэш-память, или съемным носителем, таким как магнитный диск, магнитооптический диск, оптический диск, USB-память или карта памяти. Разумеется, могут быть использованы другие типы носителей.

Далее, например, в случае передачи данных изображения в режиме цифровой связи мобильный телефонный аппарат 1100 генерирует данные изображения посредством фиксации с помощью ПЗС-фотокамеры 1116. ПЗС-фотокамера 1116 имеет оптические устройства, такие как линза и диафрагма, а ПЗС, служащий в качестве элемента фотоэлектрического преобразования, фиксирует изображение объекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения для изображения объекта. ПЗС-фотокамера 1116 кодирует данные изображения с помощью кодера 1153 изображений через блок 1154 интерфейса фотокамеры, благодаря чему данные изображения преобразуются в кодированные данные изображения.

Мобильный телефонный аппарат 1100 использует описанное выше кодирующее устройство 101 в качестве кодера 1153 изображений, который выполняет такую операцию. Как в случае с кодирующим устройством 101, кодер 1153 изображений выполняет кодирование с помощью предсказанного изображения, которое генерируется посредством фильтрационного предсказания. Кроме того, в этот момент, как в случае с кодирующим устройством 101, кодер 1153 изображений получает часть изображений компенсации движения с помощью вектора движения и получает оставшееся изображение (оставшиеся изображения) компенсации движения посредством предсказания движения изображения компенсации движения, полученного с помощью компенсации движения. Соответственно, кодер 1153 изображений может снизить число векторов движения, подлежащих кодированию.

Дополнительно, в то же время мобильный телефонный аппарат 1100 выполняет на звуковом кодере-декодере 1159 аналого-цифровое преобразование звука, уловленного микрофоном 1121 во время фиксации изображения с помощью ПЗС-фотокамеры 1116, и далее кодирует его.

Мобильный телефонный аппарат 1100 на блоке 1157 мультиплексирования-демультиплексирования мультиплексирует кодированные данные изображения, поданные из кодера 1153 изображений, и цифровые аудиоданные, поданные из звукового кодера-декодера 1159, определенным способом. Мобильный телефонный аппарат 1100 выполняет операцию расширения спектра мультиплексированных данных, полученных в результате, с помощью блока 1158 схемы модуляции-демодуляции и выполняет операцию цифро-аналогового преобразования и операцию частотного преобразования с помощью блока 1163 схемы передачи-приема. Мобильный телефонный аппарат 1100 передает сигнал, подлежащий передаче, полученный посредством операций преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал, подлежащий передаче (данные изображения), переданный на базовую станцию, подается на противоположный конец линии связи по сети или т.п.

Отметим, что в случае, когда данные изображения не передаются, мобильный телефонный аппарат 1100 может отобразить данные изображения, генерированные ПЗС-фотокамерой 1116, на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД, а не через кодер 1153 изображений.

Кроме того, например, в случае приема данных файла динамического изображения, который соединен с простой веб-страницей или т.п., в режиме цифровой связи, мобильный телефонный аппарат 1100 принимает сигнал, переданный с базовой станции, через антенну 1114 с помощью блока 1163 схемы передачи-приема, усиливает его и далее выполняет операцию частотного преобразования и операцию аналого-цифрового преобразования. Мобильный телефонный аппарат 1100 выполняет операцию, обратную расширению спектра принятого сигнала, чтобы восстановить исходные мультиплексированные данные, с помощью блока 1158 схемы модуляции-демодуляции. Мобильный телефонный аппарат 1100 демультиплексирует мультиплексированные данные до кодированных данных изображения и аудиоданных с помощью блока 1157 мультиплексирования-демультиплексирования.

Мобильный телефонный аппарат 1100 декодирует кодированные данные изображения с помощью декодера 1156 изображений для генерирования воспроизведенных данных динамического изображения и отображает данные на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД. Соответственно, например, данные динамического изображения, включенные в файл динамического изображения, соединенный с простой веб-страницей, отображаются на жидкокристаллическом дисплее 1118.

Мобильный телефонный аппарат 1100 использует описанное выше декодирующее устройство 1 в качестве декодера 1156 изображений для выполнения такой обработки. То есть, как и в случае с декодирующим устройством 1, декодер 1156 изображений получает часть изображений компенсации движения с помощью вектора движения и получает оставшееся изображение (оставшиеся изображения) компенсации движения посредством предсказания движения изображения компенсации движения, полученного с помощью компенсации движения. Соответственно, декодер 1156 изображений может снизить число векторов движения, подлежащих кодированию.

В этот момент мобильный телефонный аппарат 1100 преобразует цифровые аудиоданные в аналоговый аудиосигнал с помощью звукового кодера-декодера 1159, и выводит его с громкоговорителя 1117. Соответственно, например, воспроизводятся аудиоданные, включенные в файл динамического изображения, соединенный с простой веб-страницей.

Отметим, что, как и в случае с электронной почтой, мобильный телефонный аппарат 1100 может также записывать (сохранять) принятые данные, соединенные с простой веб-страницей или т.п., в запоминающем блоке 1123 через блок 1162 записи-воспроизведения.

Кроме того, мобильный телефонный аппарат 1100 может анализировать двумерный код, полученный ПЗС-фотокамерой 1116 посредством фиксации изображений, и получать данные, записанные в двумерном коде, с помощью основного управляющего блока 1150.

К тому же, мобильный телефонный аппарат 1100 может связываться с внешним устройством посредством инфракрасных лучей с помощью блока 1181 инфракрасной связи.

Используя кодирующее устройство 101 в качестве кодера 1153 изображений, мобильный телефонный аппарат 1100 может снизить число векторов движения, подлежащих передаче, во время кодирования данных изображения, генерированных ПЗС-фотокамерой 1116, и передачи данных изображения, тем самым увеличивая эффективность кодирования.

Кроме того, используя декодирующее устройство 1 в качестве декодера 1156 изображений, мобильный телефонный аппарат 1100 может генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных во время декодирования, которое выполняется во время приема данных (кодированных данных) файла динамического изображения, соединенного с простой веб-страницей или т.п. В результате мобильный телефонный аппарат 1100 может увеличить эффективность кодирования, подавляя возрастание объема обработки.

Отметим, что, хотя в приведенном выше описании говорится о том, что мобильный телефонный аппарат 1100 использует ПЗС-фотокамеру 1116, вместо ПЗС-фотокамеры 1116 может быть использован сенсор изображений, использующий комплементарный металло-оксидный полупроводник (КМОП сенсор изображений). В этом случае мобильный телефонный аппарат 1100 также может фиксировать изображение объекта и генерировать данные изображения для изображения объекта, как в случае с использованием ПЗС-фотокамеры 1116.

Кроме того, хотя выше описан мобильный телефонный аппарат 1100, декодирующее устройство 1 и кодирующее устройство 101 могут быть применены к любому устройству, обладающему функциями фиксации изображений и связи, сходными с функциями мобильного телефонного аппарата 1100, такому как PDA (персональный электронный помощник), смартфон, УМПК (ультрамобильный персональный компьютер), нетбук или персональный ноутбук, как в случае с мобильным телефонным аппаратом 1100.

Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации устройства записи на жесткий диск, которое использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Устройство 1200 записи на жесткий диск (устройство записи на ЖД), показанное на Фиг. 28, является устройством, которое сохраняет аудио- и видеоданные программ вещания, включенных в волновой вещательный сигнал (телевизионный сигнал), который передается со спутника, эфирной антенны или т.п., и который принимается тюнером на жестком диске, включенном в него, и которое предоставляет сохраненные данные пользователю в момент, соответствующий поступившей от пользователя команде.

Устройство 1200 записи на жесткий диск может извлекать аудио- и видеоданные из волнового вещательного сигнала, декодировать их соответствующим образом и сохранять, например, на включенный в него жесткий диск. Кроме того, устройство 1200 записи на жесткий диск может получать аудио- и видеоданные с другого устройства по сети, декодировать их соответствующим образом и сохранять, например, на включенный в него жесткий диск.

К тому же, устройство 1200 записи на жесткий диск может декодировать аудио- и видеоданные, записанные на включенный в него жесткий диск, подавать их, например, на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с громкоговорителя монитора 1260. Кроме того, устройство 1200 записи на жесткий диск может декодировать аудио- и видеоданные, извлеченные из сигнала волнового вещания, полученного через тюнер, или аудио- и видеоданные, полученные с другого устройства по сети, подавать их, например, на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с громкоговорителя монитора 1260.

Разумеется, могут выполняться и другие действия.

Как показано на Фиг. 28, устройство 1200 записи на жесткий диск включает в себя приемный блок 1221, демодулирующий блок 1222, демультиплексор 1223, аудио декодер 1224, видеодекодер 1225 и блок 1226 управления устройством записи. Далее устройство 1200 записи на жесткий диск включает в себя память 1227 данных электронного телегида, программную память 1228, рабочую память 1229, преобразователь 1230 дисплея, блок 1231 управления отображением дополнительной информации (ОДИ), блок 1232 управления дисплеем, блок 1233 записи-воспроизведения, цифроаналоговый преобразователь 1234 и блок 1235 связи.

Кроме того, преобразователь 1230 дисплея включает в себя видеокодер 1241. Блок 1233 записи-воспроизведения включает в себя кодер 1251 и декодер 1252.

Приемный блок 1221 принимает инфракрасный сигнал с пульта дистанционного управления (не показан), преобразует в электрический сигнал и выводит его на блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством состоит, например, из микропроцессора и т.п. и выполняет различные типы операций в соответствии с программой, сохраненной в программной памяти 1228. В этот момент блок 1226 управления записывающим устройством при необходимости использует рабочую память 1229.

Блок 1235 связи подключен к сети и выполняет операцию соединения с другим устройством по сети. Например, блок 1235 связи, управляемый блоком 1226 управления записывающим устройством, соединяется с тюнером (не показан) и выводит сигнал управления выбором канала преимущественно на тюнер.

Демодулирующий блок 1222 демодулирует сигнал, поданный с тюнера, и выводит на демультиплексор 1233. Демультиплексор 1233 демультиплексирует данные, поданные с демодулирующего блока 1222, на аудиоданные, видеоданные и данные электронного телегида и выводит их на аудиодекодер 1224, видеодекодер 1225 и блок 1226 управления записывающим устройством соответственно.

Аудиодекодер 1224 декодирует введенные в него аудиоданные и выводит их на блок 1233 записи-воспроизведения. Видеодекодер 1225 декодирует введенные в него видеоданные и выводит их на преобразователь 1230 дисплея. Блок 1226 управления записывающим устройством подает введенные в него данные электронного телегида в память 1227 данных ЭТГ для сохранения.

Преобразователь 1230 дисплея с помощью видеокодера 1241 кодирует видеоданные, поданные с видеодекодера 1225 или блока 1226 управления записывающим устройством, в видеоданные, соответствующие, например, системе НКТС (Национального комитета по телевизионным стандартам), и выводит на блок 1233 записи-воспроизведения. Кроме того, преобразователь 1230 дисплея преобразует размер экрана видеоданных, поданных с видеодекодера 1225 или блока 1226 управления записывающим устройством, в размер, соответствующий размеру монитора 1260, преобразует их в видеоданные, соответствующие системе НКТС, с помощью видеокодера 1241, преобразует их в аналоговые сигналы и выводит их на блок 1232 управления дисплеем.

Блок 1232 управления дисплеем под управлением блока 1226 управления записывающим устройством накладывает сигнал отображением дополнительной информации (ОДИ), выведенный с блока 1231 управления ОДИ, на видеосигнал, введенный с преобразователя 1230 дисплея, выводит его на дисплей монитора 1260 и отображает его.

Кроме того, на монитор 1260 подаются аудиоданные, которые выведены с аудиодекодера 1224 и преобразованы в аналоговый сигнал цифроаналоговым преобразователем 1234. Монитор 1260 выводит этот аудиосигнал со встроенного в него громкоговорителя.

Блок 1233 записи-воспроизведения включает в себя жесткий диск в качестве носителя записи для хранения на нем видеоданных, аудиоданных и т.п.

Блок 1233 записи-воспроизведения с помощью кодера 1251 кодирует, например, аудиоданные, поданные с аудиодекодера 1224. Кроме того, блок 1233 записи-воспроизведения с помощью кодера 1251 кодирует видеоданные, поданные с видеокодера 1241 преобразователя 1230 дисплея. Блок 1233 записи-воспроизведения с помощью уплотнителя совмещает кодированные данные аудиоданных и кодированные данные видеоданных. Блок 1233 записи-воспроизведения выполняет канальное кодирование комбинированных данных для их усиления и записывает данные на жесткий диск с помощью записывающей головки.

Блок 1233 записи-воспроизведения воспроизводит данные, записанные на жесткий диск, с помощью воспроизводящей головки, усиливает их и демультиплексирует их на аудио- и видеоданные с помощью демультиплексора. Блок 1233 записи-воспроизведения с помощью декодера 1252 декодирует аудио- и видеоданные. Блок 1233 записи-воспроизведения выполняет цифроаналоговое преобразование декодированных аудиоданных и выводит их на громкоговоритель монитора 1260. Кроме того, блок 1233 записи-воспроизведения выполняет цифроаналоговое преобразование декодированных видеоданных и выводит их на дисплей монитора 1260.

Блок 1226 управления записывающим устройством считывает последние данные электронного телегида из памяти 1227 данных электронного телегида на основе команды пользователя, обозначенной инфракрасным сигналом, который поступает с пульта дистанционного управления и принимается через приемный блок 1221, и подает их на блок 1231 управления ОДИ. Блок 1231 управления ОДИ генерирует данные изображения, соответствующие введенным данным электронного телегида, и выводит их на блок 1232 управления дисплеем. Блок 1232 управления дисплеем выводит видеоданные, введенные с блока 1231 управления ОДИ, на дисплей монитора 1260 и отображает их. Соответственно, электронный телегид (ЭТГ) отображается на дисплее монитора 1260.

Кроме того, устройство 1200 записи на жесткий диск может получать различные типы данных, такие как видеоданные, аудиоданные или данные ЭТГ, подаваемые с другого устройства по сети, такой как Интернет.

Блок 1235 связи управляется блоком 1226 управления записывающим устройством, получает кодированные данные видеоданных, аудиоданных и данных электронного телегида, передаваемые с другого устройства по сети, и подает на блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством подает полученные кодированные данные видео- и аудиоданных на блок 1233 записи-воспроизведения и, например, сохраняет на жестком диске. В этот момент блок 1226 управления записывающим устройством и блок 1233 записи-воспроизведения могут при необходимости выполнить такую операцию, как повторное кодирование.

Кроме того, блок 1226 управления записывающим устройством декодирует полученные кодированные данные видео- и аудиоданных и подает полученные видеоданные на преобразователь 1230 дисплея. Преобразователь 1230 дисплея обрабатывает видеоданные, поданные с блока 1226 управления записывающим устройством, так же, как и видеоданные, поданные с видеодекодера 1225, подает на монитор 1260 через блок 1232 управления дисплеем и отображает изображение.

Кроме того, в соответствии с отображением этого изображения блок 1226 управления записывающим устройством может подать декодированные аудиоданные на монитор 1260 через цифроаналоговый преобразователь 1234 и вывести звук с громкоговорителя.

Далее, блок 1226 управления записывающим устройством декодирует полученные кодированные данные данных электронного телегида и подает декодированные данные электронного телегида в память 1227 данных электронного телегида.

Описанное выше устройство 1200 записи на жесткий диск использует декодирующее устройство 1 в качестве видеодекодера 1225, декодера 1252 и декодера, включенного в блок 1226 управления записывающим устройством. То есть, видеодекодер 1225, декодер 1252 и декодер, включенные в блок 1226 управления записывающим устройством, получают часть изображений компенсации движения с помощью вектора движения, и получают оставшееся изображение (оставшиеся изображения) компенсации движения посредством предсказания движения изображения компенсации движения, полученного с помощью вектора движения, как в случае декодирующего устройства 1. Соответственно, видеодекодер 1225, декодер 1252 и декодер, включенные в блок 1226 управления записывающим устройством, могут снизить число векторов движения, подлежащих кодированию.

Таким образом, устройство 1200 записи на жесткий диск может генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных во время декодирования, которое выполняется, когда тюнер или блок 1235 связи принимает видеоданные (кодированные данные), или когда блока 1233 записи-воспроизведения воспроизводит видеоданные (кодированные данные) с жесткого диска. В результате устройство 1200 записи на жесткий диск может увеличить эффективность кодирования, подавляя возрастание объема обработки.

Кроме того, устройство 1200 записи на жесткий диск использует кодирующее устройство 101 в качестве кодера 1251. Таким образом, кодер 1251 получает часть изображений компенсации движения с помощью вектора движения и получает оставшееся изображение (оставшиеся изображения) компенсации движения посредством предсказания движения изображения компенсации движения, полученного с помощью вектора движения, как в случае кодирующего устройства 101.

Следовательно, устройство 1200 записи на жесткий диск может снизить число векторов движения, записывая кодированные данные на жесткий диск, тем самым увеличивая эффективность кодирования.

Отметим, что хотя выше приведено описание устройства 1200 записи на жесткий диск для записи видео- и аудиоданных на жесткий диск, конечно, могут использоваться любые типы носителей записи. Например, декодирующее устройство 1 и кодирующее устройство 101 могут быть применены к устройству записи, в котором применяется носитель записи, отличный от жесткого диска, например, флэш-память, оптический диск или видеокассета, как в случае с описанным выше устройством 1200 записи на жесткий диск.

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации фотокамеры, которая использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Фотокамера 1300, показанная на Фиг. 29, фиксирует изображение объекта, отображает изображение объекта на ЖКД 1316 и записывает его на носитель 1333 записи в качестве данных изображения.

Линзовый блок 1311 пропускает свет (т.е. изображение объекта) на ПЗС/КМОП 1312. ПЗС/КМОП 1312 является датчиком изображения, использующим ПЗС или КМОП, он преобразует интенсивность принятого света в электрический сигнал и подает его на блок 1313 обработки сигнала фотокамеры.

Блок 1313 обработки сигнала фотокамеры преобразует электрический сигнал, поданный с ПЗС-КМОП 1312, в цветоразностные сигналы Y, Cr и Cb и подает их на блок 1314 обработки сигнала изображения. Блок 1314 обработки сигнала изображения выполняет определенную обработку изображения по отношению к сигналу изображения, поданному с блока 1313 обработки сигнала фотокамеры, и кодирует сигнал изображения с помощью кодера 1341 под управлением управляющего устройства 1321. Блок 1314 обработки сигнала изображения подает кодированные данные, которые генерированы путем кодирования сигнала изображения, на декодер 1315. К тому же, блок 1314 обработки сигнала изображения получает данные, подлежащие отображению, генерированные на блоке 1320 отображения дополнительной информации (ОДИ), и подает их на декодер 1315.

При описанной выше обработке блок 1313 обработки сигнала фотокамеры соответствующим образом использует ДОЗУ (динамическое ОЗУ) 1318, подключенное через шину 1317, и при необходимости хранит в ДОЗУ 1318 данные изображения, кодированные данные, полученные путем кодирования данных изображения, и т.п.

Декодер 1315 декодирует кодированные данные, поданные с блока 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) на ЖКД 1316. Кроме того, декодер 1315 подает данные, подлежащие отображению, поданные с блока 1314 обработки сигнала изображения, на ЖКД 1316. ЖКД 1316 соответствующим образом совмещает изображение декодированных данных изображения, поданных с декодера 1315, и изображение данных, подлежащих отображению, и отображает комбинированное изображение.

Блок 1320 отображения дополнительной информации под управлением управляющего устройства 1321 выводит данные, подлежащие отображению, такие как экран меню, состоящий из символов, букв или цифр, и иконки, на блок 1314 обработки сигнала изображения через шину 1317.

Управляющее устройство 1321 выполняет различные типы операций на основе сигнала, обозначающего содержание команды, отданной пользователем с помощью командного блока 1322, и управляет блоком 1314 обработки сигнала изображения, ДОЗУ 1318, внешним интерфейсом 1319, блоком 1320 отображения дополнительной информации, приводом 1323 для носителей и т.д. через шину 1317. Программы, данные и т.п., которые необходимы управляющему устройству 1321 для выполнения различных типов операций, сохраняются на флэш-ПЗУ 1324.

Например, управляющее устройство 1321 может кодировать данные изображения, сохраненные на ДОЗУ 1318, и декодировать кодированные данные, сохраненные на ДОЗУ 1318, для блока 1314 обработки сигнала изображения или декодера 1315. В этот момент управляющее устройство 1321 может выполнять операцию кодирования-декодирования способом, сходным со способом кодирования-декодирования блока 1314 обработки сигнала изображения или декодера 1315, или может выполнять операцию кодирования-декодирования способом, несовместимым с блоком 1314 обработки сигнала изображения или декодером 1315.

Кроме того, например, если с командного блока 1322 поступила команда начать печать изображения, управляющее устройство 1320 считывает данные изображения с ДОЗУ 1318 и подает их на принтер 1334, подключенный к внешнему интерфейсу 1319 через шину 1317, для печати.

К тому же, например, если с командного блока 1322 поступила команда записать изображение, управляющее устройство 1321 считывает кодированные данные с ДОЗУ 1318 и подает их через шину 1317 для сохранения на носитель 1333 записи, установленный в приводе 1323 для носителей.

Носитель 1333 записи является произвольным съемным носителем с возможностью считывания и записи, таким как магнитный диск, магнитооптический диск, оптический диск или полупроводниковая память. Конечно, носитель 1333 записи может являться съемным носителем любого типа, он может являться запоминающим устройством на ленте, диском или картой памяти. Конечно, носитель 1333 записи может являться бесконтактной платой ИС или т.п.

Кроме того, привод 1323 для носителей и носитель 1333 записи могут быть объединены и выполнены в виде непереносного носителя записи, такого как встроенный жесткий диск или твердотельный накопитель (SSD, solid state drive) и т.п.

Внешний интерфейс 1319 состоит из, например, USB-терминала ввода-вывода или т.п. и соединяется с принтером 1334 в случае выполнения печати изображения. Кроме того, привод 1331 при необходимости соединяется с внешним интерфейсом 1319, на который соответствующим образом устанавливается съемный носитель 1322, такой как магнитный диск, оптический диск или магнитооптический диск, и считанная с него компьютерная программа при необходимости устанавливается на флэш-ПЗУ 1324.

Далее, внешний интерфейс 1319 включает в себя сетевой интерфейс, соединяемый с определенной сетью, такой как локальная сеть или Интернет. Управляющее устройство 1321 может считывать кодированные данные с ДОЗУ 1318 и подавать их с внешнего интерфейса 1319 на другое устройство, подключаемое по сети, в соответствии с командой, поступившей, например, с командного блока 1322. Кроме того, управляющее устройство 1321 может через внешний интерфейс 1319 получать кодированные данные или данные изображения, поданные с другого устройства по сети, и сохранять их на ДОЗУ 1318 или подавать их на блок 1314 обработки сигнала изображения.

Описанная выше фотокамера 1300 использует декодирующее устройство 1 в качестве декодера 1315. То есть, декодер 1315 получает часть изображений компенсации движения с помощью вектора движения, и получает оставшееся изображение (оставшиеся изображения) посредством предсказания движения изображения компенсации движения, полученного с помощью вектора движения, как в случае декодирующего устройства 1. Соответственно, декодер 1315 может снизить число векторов движения, подлежащих кодированию.

Следовательно, фотокамера 1300 может генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных при считывании данных изображения, генерированных на ПЗС/КМОП 1312, или кодированных данных видеоданных с ДОЗУ 1318 или носителя 1333 записи, или при получении кодированных данных видеоданных по сети. В результате фотокамера 1300 может увеличить эффективность кодирования, подавляя возрастание объема обработки.

Кроме того, фотокамера 1300 использует кодирующее устройство 101 в качестве кодера 1341. Кодер 1341 получает часть изображений компенсации движения с помощью вектора движения, и получает оставшееся изображение (оставшиеся изображения) посредством предсказания движения изображения компенсации движения, полученного с помощью вектора движения, как в случае кодирующего устройства 101. Соответственно, кодер 1341 может снизить число векторов движения, подлежащих кодированию.

Следовательно, фотокамера 1300 может снизить число векторов движения при записи кодированных данных на ДОЗУ 1318 или носитель 1333 записи или при предоставлении кодированных данных другому устройству, например, и может увеличить эффективность кодирования.

Помимо того, способ декодирования декодирующего устройства 1 может быть применен к обработке декодирования, выполняемой управляющим устройством 1321. Аналогично, способ кодирования кодирующего устройства 101 может быть применен к обработке кодирования, выполняемой управляющим устройством 1321.

Кроме того, данные изображения, фиксируемые фотокамерой 1300, могут быть динамическим или неподвижным изображением.

Конечно же, декодирующее устройство 1 и кодирующее устройство 101 могут быть применены к устройству или системе, отличным от описанных выше устройств.

Кроме того, размер макроблоков может быть задан произвольно. Настоящее изобретение может быть применено к различным размерам макроблоков, например, как показано на Фиг. 30. Например, настоящее изобретение может быть применено к расширенному макроблоку размером 32×32 пиксела (расширенному макроблоку), так же как и к обычному макроблоку размером 16×16 пикселов.

В верхней части Фиг. 30 слева направо показаны макроблоки, состоящие из 32×32 пиксела, которые разделены на блоки (отделения) по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов. Кроме того, в средней части слева направо показаны блоки, состоящие из 16×16 пикселов, которые разделены на блоки по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов. Далее, в нижней части слева направо показаны блоки, состоящие из 8×8 пикселов, которые разделены на блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела.

То есть макроблок размером 32×32 пиксела может быть обработан как блоки по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов, показанные в верхней части.

Блок размером 16×16 пикселов, показанный в верхней части справа, может быть обработан как блоки по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов, показанные в средней части, как в способе H.264/AVC.

Блок размером 8×8 пикселов, показанный в средней части справа, может быть обработан как блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанные в нижней части, как в способе H.264/AVC.

Эти блоки могут быть распределены по следующим трем уровням. То есть, блоки по 32×32 пиксела, 32×16 пикселов и 16×32 пиксела, показанные в верхней части Фиг. 30, отнесены к первому уровню. Блок 16×16 пикселов, показанный в верхней части справа, и блоки по 16×16 пикселов, 16×8 пикселов и 8×16 пикселов, показанные в средней части, отнесены ко второму уровню. Блок 8×8 пикселов, показанный в средней части справа, и блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанные в нижней части, к третьему уровню.

Приняв такую иерархическую структуру, касающуюся блоков размером 16×16 пикселов или меньше, можно определить больший блок как надмножество блоков, сохраняя совместимость со способом H.264/AVC.

Например, декодирующее устройство 1 и кодирующее устройство 101 могут генерировать предсказанные изображения для отдельных уровней. Кроме того, например, предсказанное изображение, генерированное декодирующим устройством 1 и кодирующим устройством 101 в первом уровне, который является уровнем большего размера блока, чем во втором уровне, может также использоваться для второго уровня.

Макроблоки, в которых кодирование выполняется с помощью относительно большого размера блока, как в первом и втором уровне, имеют относительно малый объем высокочастотного компонента. Напротив, считается, что макроблоки, в которых кодирование выполняется с помощью относительно малого размера блоков, как в третьем уровне, имеют относительно большой объем высокочастотного компонента.

Соответственно, путем индивидуального генерирования предсказанных изображений в соответствии с соответствующими уровнями различных размеров блока может быть достигнуто улучшение работы, удобное для локальных свойств изображения.

Список ссылочных позиций

1 - Декодирующее устройство

21 - Схема предсказания-компенсации

41 - Схема определения режима предсказания

42 - Схема однонаправленного предсказания

43 - Схема двунаправленного предсказания

44 - Схема предсказания

45 - Фильтрующая схема

51 - Схема компенсации движения

52 - Схема предсказания движения

61 - Схема вычисления разности

62 - Схема фильтра нижних частот

63 - Схема настройки усиления

64 - Схема фильтра верхних частот

65 - Схема настройки усиления

66 - Суммирующая схема

67 - Суммирующая схема.

Изобретение относится к области обработки изображений. Техническим результатом является обеспечение возможности генерирования предсказанного изображения высокой точности с помощью малого объема управляющих данных. Раскрыто устройство обработки изображений, содержащее схему, выполненную с возможностью: декодирования кодированного изображения; выполнения первой компенсации движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения; выполнения второй компенсации движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; генерирования предсказанного изображения путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения. 2 н. и 10 з.п. ф-лы, 30 ил.

1. Устройство обработки изображений, содержащее схему, выполненную с возможностью:

декодирования кодированного изображения;

выполнения первой компенсации движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения;

выполнения второй компенсации движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения;

генерирования предсказанного изображения путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.

2. Устройство обработки изображений по п. 1, в котором обработка фильтрации выделяет высокочастотный компонент изображения компенсации движения.

3. Устройство обработки изображений по п. 1, в котором генерирование первого изображения компенсации движения осуществляется из опорного кадра, образованного из декодируемого изображения; и

генерирование второго изображения компенсации движения осуществляется из опорного кадра, отличного от опорного кадра, из которого сгенерировано первое изображение компенсации движения.

4. Устройство обработки изображений по п. 2, в котором выделение высокочастотного компонента изображения компенсации движения выполняется за счет использования корреляции во временном направлении, включенной в изображения компенсации движения.

5. Устройство обработки изображений по п. 1, в котором

второе изображение компенсации движения совпадает или сходно с первым изображением компенсации движения, сгенерированным из опорного кадра с помощью определенной стоимостной функции, общей для кодирующего устройства, которое кодирует изображение, причем второе изображение компенсации движения служит в качестве изображения компенсации движения, соответствующего предсказанному изображению.

6. Устройство обработки изображений по п. 5, в котором стоимостная функция является функцией для вычисления итоговой суммы абсолютных значений разностных значений отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра.

7. Устройство обработки изображений по п. 5, в котором стоимостная функция является функцией для вычисления минимальной квадратичной ошибки отдельных пиксельных значений между первым изображением компенсации изображения и целевым для обработки блоком опорного кадра.

8. Устройство обработки изображений по п. 1, в котором процесс генерирования предсказанного изображения включает в себя:

выполнение фильтрации нижних частот разностного изображения между первым изображением компенсации движения и вторым изображением компенсации движения;

выполнение фильтрации верхних частот изображения, полученного посредством фильтрации нижних частот; и

суммирование изображения, полученного посредством фильтрации нижних частот, и изображения, полученного посредством фильтрации верхних частот, с первым изображением компенсации движения или вторым изображением компенсации движения, благодаря чему генерируется предсказанное изображение.

9. Устройство обработки изображений по п. 8, в котором процесс суммирования включает суммирование изображения, полученное посредством фильтрации нижних частот, и изображение, полученное посредством фильтрации верхних частот, с изображением компенсации движения, сгенерированным из кадра, на одну единицу времени предшествующего времени предсказанного изображения.

10. Устройство обработки изображений по п. 1, дополнительно содержащее схему, выполненную с возможностью:

приема идентификационной метки для определения того, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, выполненного средством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, выполненного средством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации; и

оценки, путем сверки с идентификационной меткой, принятой приемным средством, должно ли предсказанное изображение генерироваться посредством однонаправленного предсказания, должно ли предсказанное изображение генерироваться посредством двунаправленного предсказания, или предсказанное изображение должно генерироваться посредством обработки фильтрации.

11. Устройство обработки изображений по п. 10, дополнительно содержащее схему, выполненную с возможностью:

выполнения однонаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения; и

выполнения двунаправленного предсказания с помощью множества изображений компенсации движения для генерирования предсказанного изображения.

12. Способ обработки изображения, содержащий этапы, на которых:

декодируют кодированное изображение;

выполняют первую компенсацию движения за счет использования первого вектора движения кодированного изображения, для генерирования первого изображения компенсации движения;

выполняют вторую компенсацию движения за счет использования второго вектора движения кодированного изображения, для генерирования второго изображения компенсации движения; и

генерируют предсказанное изображение путем выполнения обработки фильтрации и обработки суммирования над первым изображением компенсации движения и вторым первым изображением компенсации движения.