УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N19/159 H04N19/577 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, и, в частности, к устройству и способу обработки изображений, которые могут генерировать предсказанное изображение высокой точности без увеличения объема обработки.

Уровень техники

Обычно в качестве способов кодирования при обработке динамических изображений используются способы кодирования при помощи компенсации движения и ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлетное преобразование, включая MPEG (стандарт Группы экспертов по кинематографии), Н.2бх и т.д. В этих способах кодирования динамического изображения объем кода уменьшается за счет использования корреляции в пространственном направлении и временном направлении среди характеристик вводимого сигнала изображения, подлежащего кодированию.

Например, в способе Н.264 используется одно- или двунаправленное предсказание, когда промежуточный кадр, который будет подвергнут межкадровому предсказанию (межкадровое предсказание), генерируется с помощью корреляции во временном направлении. Межкадровое предсказание спроектировано для генерирования предсказанного изображения на основе кадров в различные моменты времени.

Фиг.1 является схемой, иллюстрирующей пример однонаправленного предсказания.

Как иллюстрируется на Фиг.1, в случае, когда подлежащий кодированию кадр P₀, который является кадром настоящего времени и объектом кодирования, должен быть генерирован посредством однонаправленного предсказания, выполняется компенсация движения с использованием в качестве опорных кадров кодированных кадров в прошлом или будущем времени относительно настоящего времени. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью корреляции во временном направлении, благодаря чему достигается возможность снизить объем кода. Данные опорного кадра и вектор движения, соответственно, используются как данные, определяющие опорный кадр, и данные, определяющие позицию, на которую будут ссылаться, в опорном кадре, и эти фрагменты данных передаются от кодирующей стороны к декодирующей стороне.

Здесь число опорных кадров не ограничено 1. Например, в способе Н.264 возможно использовать в качестве опорных кадров множество кадров. Как иллюстрируется на Фиг.1, в случае, когда два кадра, близкие по времени к подлежащему кодированию кадру P₀, обозначены как опорные кадры R₀ и R₁, в этом порядке, пиксельное значение в произвольном макроблоке в подлежащем кодированию кадре P₀ может быть предсказано исходя из пиксельного значения произвольного пиксела в опорном кадре R₀ или R₁.

На Фиг.1 прямоугольник, показанный внутри каждого кадра, обозначает макроблок. Если макроблок в подлежащем кодированию кадре P₀, который является целью предсказания, обозначен как макроблок МВP₀, то макроблок в опорном кадре R₀, соответствующий макроблоку МВР₀, является макроблоком MBR₀, который определен вектором MV₀ движения. Кроме того, макроблок в опорном кадре R₁ является макроблоком MBR₁, который определен вектором MV₁ движения.

Если пиксельные значения в макроблоках MBR₀ и MBR₁ (пиксельные значения в изображениях компенсации движения) обозначены как MC₀(i,j) и MC₁(i,j), то пиксельное значение любого изображения компенсации движения используется в качестве пиксельного значения в предсказанном изображении в однонаправленном предсказании. Таким образом, предсказанное изображение Pred(i, j) представлено нижеследующим уравнением (1), (i, j) обозначает относительную позицию пиксела в макроблоке и удовлетворяет 0≤i≤16 и 0≤j≤16. В уравнении (1) «||» указывает, что взято значение MC₀(i,j) или MC₁(i,j).

$$\mathrm{Pr}ed\left(i,j\right)=M{C}_0\left(i,j\right)\left|\right|M{C}_1\left(i,j\right)\dots \left(1\right)$$

Отметим, что возможно также разделить единый макроблок размером 16×16 пикселов на подблоки размером 16×8 пикселов или т.п. и выполнить компенсацию движения в каждом из подблоков за счет ссылки на разные опорные кадры. Вместо векторов движения с целочисленной точностью передаются векторы движения с десятичной точностью, и выполняется интерполяция с помощью фильтра КИХ (с конечной импульсной характеристикой), определенного в стандарте, таким образом становится возможным использовать также значения пикселов, окружающих соответствующую опорную позицию, для компенсации движения.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Как показано на Фиг.2, в случае, если подлежащий кодированию кадр B₀, являющийся кадром в настоящем времени и являющийся целью кодирования, должен генерироваться посредством двунаправленного предсказания, компенсация движения выполняется с помощью кодированных кадров в прошлом или будущем времени относительно настоящего времени в качестве опорных кадров. Остаток между предсказанным изображением и фактическим изображением кодируется с помощью множества кодированных кадров в качестве опорных кадров и за счет использования корреляции с ними, благодаря чему можно снизить объем кода. В Н.264 также возможно использовать в качестве опорных кадров множество кадров в прошлом и множество кадров в будущем.

Как показано на Фиг.2, в случае, когда в качестве опорных кадров L₀ и L₁ используются один кадр в прошлом и один кадр в будущем относительно подлежащего кодированию кадра В₀, пиксельное значение в произвольном макроблоке в подлежащем кодированию кадре В₀ может быть предсказано на основе пиксельных значений произвольных пикселов в опорных кадрах L₀ и L₁.

В примере по Фиг.2 макроблок в опорном кадре L₀, соответствующий макроблоку МВB₀ в подлежащем кодированию кадре В₀, задан в качестве макроблока MBL₀, определенного вектором MV₀ движения. Кроме того, макроблок в опорном кадре L₁, соответствующий макроблоку МВВ₀ в подлежащем кодированию кадре В₀ задан в качестве макроблока MBL₁, определенного вектором MV₁ движения.

Если пиксельные значения макроблоков MBL₀ и MBL₁ обозначены как MC₀(i, j) и MC₁(i, j) соответственно, то значение Pred (i, j) пиксела предсказанного изображения Pred(i, j) может быть определено как среднее значение этих пиксельных значений, как дано в нижеследующем уравнении (2).

$$\mathrm{Pr}ed\left(i,j\right)=\left(M{C}_0\left(i,j\right)+M{C}_1\left(i,j\right)\right)/2\dots \left(1\right)$$

При описанной выше компенсации движения с помощью однонаправленного предсказания точность предсказанного изображения улучшается путем увеличения точности вектора движения или путем снижения размера макроблока, и отличия от фактического изображения снижаются, тем самым достигается улучшение эффективности кодирования.

Кроме того, при компенсации движения с помощью двунаправленного предсказания среднее пиксельное значение для пикселов в близких по времени опорных кадрах используется в качестве пиксельного значения для пиксела предсказанного изображения, тем самым становится достижимым стабильное в вероятностном смысле уменьшение остатка предсказания.

Фиг.3 является схемой, иллюстрирующей пример внутрикадрового предсказания.

В примере по Фиг.3 показан способ, которым выполняется предсказание от соседних пикселов в том же экране для декодирования текущего блока кодированного изображения I₀. В изображениях значения соседних пикселов обычно имеют значимо высокую корреляцию. Таким образом, предсказание способом от соседних пикселов уменьшает остаточные компоненты текущего блока. Тем самым осуществляется улучшение эффективности кодирования.

Например, при внутрикадровом предсказании 4×4 на основе стандарта Н.264 возможно предсказать текущий блок девятью способами, используя ближайшие кодированные пикселы. Двумерная направленность включена в корреляцию между ближайшими изображениями, тем самым осуществляется улучшение точности предсказания.

В качестве другого способа внутрикадрового предсказания существует метод, в котором область высокой корреляции копируется изнутри экрана. В частности, этот метод таков, что конкретная позиция в декодированном изображении определяется для декодирования текущего блока и, следовательно, соответствующая область используется для предсказанного изображения текущего блока.

Этот метод обеспечивает высокую эффективность предсказания для регулярного повторяющегося рисунка или в случае, когда на экране представлено множество объектов одинаковой формы, или в подобном случае.

В качестве еще одного способа внутрикадрового предсказания существует технология, в которой при анализе компонентов сигнала в характерной области или текстурной области, существующих в изображении, являющемся целью кодирования, объем кода может быть снижен путем использования искусственно синтезированного изображения в качестве изображения, подлежащего кодированию.

Таким способом с появлением различных технологий внутрикадрового предсказания улучшилась точность предсказания при внутрикадровом предсказании. В обычных динамических изображениях, однако, точность предсказания при межкадровом предсказании все еще выше, потому что, например, даже сравнительно сложная текстура обеспечит почти нулевой остаток предсказания в результате межкадрового предсказания, хотя увеличить точность внутрикадрового предсказания в случае неподвижной текстуры на экране сложно.

Кроме того, в качестве другого способа предсказания рассматривается техника, в которой корреляция во временном направлении преобразуется в пространственное разрешение с помощью компенсации движения и КИХ-фильтрации пиксельных значений, и используется пространственное разрешение (напр., см. NPL 1).

В способе, описанном в NPL 1, корреляция во временном направлении используется для обработки увеличения разрешения введенной последовательности изображений. В частности, вычисляются разностные данные изображения предсказанного-компенсированного движения между текущим изображением и предыдущим изображением и подаются обратно на целевое текущее изображение, чтобы вернуть высокочастотный компонент, включенный во введенное изображение.

Список ссылок

Непатентная литература

NPL 1: «Improving Resolution by Image Registration (Улучшение разрешения путем регистрации образа)», Michal Irani and Simon Peleg, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

В случае обычного межкадрового предсказания использование множества опорных кадров требует, чтобы затраты на обработку предсказания движения или компенсацию движения, либо такие необходимые затраты как затраты на емкость памяти для сохранения опорных плоскостей, превосходили таковые в случае внутрикадрового предсказания. Это аналогичным образом относится к способу, описанному в NPL 1.

С другой стороны, в случае внутрикадрового предсказания затраты на обработку генерирования предсказанного изображения ниже, чем при межкадровом предсказании, однако благодаря низкой точности предсказания генерированного изображения возникает проблема, заключающаяся в том, что эффективность кодирования хуже, чем в случае межкадрового предсказания.

Настоящее изобретение сделано с учетом изложенных выше обстоятельств и направлено на осуществление улучшения эффективности кодирования путем компенсации недостатка точности предсказания при внутрикадровом предсказании с помощью точности предсказания при межкадровом предсказании, а также на осуществление снижения затрат на обработку путем снижения числа опорных кадров, необходимых для межкадрового предсказания.

Решение задачи

Объектом настоящего изобретения является устройство обработки изображений, включающее в себя декодирующее средство для декодирования кодированного изображения; генерирующее средство для суммирования изображения, декодированного декодирующим средством, и предсказанного изображения, и для генерирования декодированного изображения; извлекающее средство для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из декодированного изображения, генерированного генерирующим средством, и используя вектор движения в кодированном изображении, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра; средство генерирования изображения с внутрикадровым предсказанием для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части декодированного изображения, генерированного генерирующим средством; и средство генерирования предсказанного изображения для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном извлекающим средством, и в изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и изображение с внутрикадровым предсказанием.

Средство генерирования предсказанного изображения может включать в себя первое фильтрующее средство для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием; второе фильтрующее средство для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот с помощью первого фильтрующего средства; и суммирующее средство для суммирования изображения, полученного путем применения фильтра нижних частот с помощью первого фильтрующего средства, и изображения, полученного путем применения фильтра верхних частот с помощью второго фильтрующего средства, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

Суммирующее средство может суммировать изображение, полученное путем применения фильтра нижних частот с помощью первого фильтрующего средства, и изображения, полученного путем применения фильтра верхних частот с помощью второго фильтрующего средства, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

Устройство обработки изображений может дополнительно включать в себя средство однонаправленного предсказания для выполнения однонаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения; средство двунаправленного предсказания для выполнения двунаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения; и оценивающее средство для оценки с помощью идентификационной метки, включенной в заголовок кодированного изображения, как должно генерироваться предсказанное изображение: посредством однонаправленного предсказания с помощью средства однонаправленного предсказания, посредством двунаправленного предсказания с помощью средства двунаправленного предсказания или посредством обработки фильтрации с помощью средства генерирования предсказанного изображения.

Одним объектом настоящего изобретения дополнительно является способ обработки изображения, включающий в себя этапы, на которых: декодируют кодированное изображение; суммируют изображение, которое декодировано, и предсказанное изображение и генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из генерированного декодированного изображения, и используя вектор движения в кодированном изображении, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части декодированного изображения; и генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения и в изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и в изображение с внутрикадровым предсказанием.

Другим объектом настоящего изобретения является устройство обработки изображений, включающее в себя: кодирующее средство для кодирования исходного изображения, которое является целевым изображением кодирования, и для генерирования кодированного изображения; обнаруживающее средство для обнаружения вектора движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; первое средство для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из изображения, которое получено путем выполнения локального декодирования, и с помощью вектора движения, обнаруженного обнаруживающим средством, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра; средство генерирования изображения с внутрикадровым предсказанием для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части изображения кадра; и генерирующее средство для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном первым извлекающим средством, и в изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения.

Генерирующее средство может включать в себя первое фильтрующее средство для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием; второе фильтрующее средство для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот первым фильтрующим средством; и суммирующее средство для суммирования изображения, полученного путем применения фильтра нижних частот первым фильтрующим средством, и изображения, полученного путем применения фильтра верхних частот вторым фильтрующим средством, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

Суммирующее средство может суммировать изображение, полученное путем применения фильтра нижних частот первым фильтрующим средством, и изображения, полученного путем применения фильтра верхних частот вторым фильтрующим средством, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

Кодирующее средство может помещать идентификационную метку в заголовок кодированного изображения, причем идентификационная метка определяет, должно ли предсказанное изображение, которое подлежит суммированию с изображением, декодированным декодирующим устройством, генерироваться посредством однонаправленного предсказания, генерироваться посредством двунаправленного предсказания или генерироваться посредством обработки фильтрации.

Другим объектом настоящего изобретения также является способ обработки изображений, включающий в себя этапы, на которых: кодируют исходное изображение, которое является целевым изображением кодирования, и генерируют кодированное изображение; обнаруживают вектор движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из изображения, которое получено путем выполнения локального декодирования, и с помощью обнаруженного вектора движения, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части изображения кадра; и генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в извлеченном изображении компенсации движения и генерированном изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, включенной в изображение компенсации движения.

В одном объекте настоящего изобретения декодируют кодированное изображение; суммируют изображение, которое декодировано, и предсказанное изображение; генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из генерированного декодированного изображения, и используя вектор движения в кодированном изображении; извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение; генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части декодированного изображения; и выполняют операцию фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения за счет использования корреляции во временном направлении, включенной в изображение компенсации движения и изображение с внутрикадровым предсказанием, благодаря чему генерируется предсказанное изображение.

В другом объекте настоящего изобретения кодируют исходное изображение, которое является целевым изображением кодирования; генерируют кодированное изображение; обнаруживают вектор движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением; выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из изображения, полученного выполнением локального декодирования, и используя обнаруженный вектор движения; извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра; выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение; генерируют изображение с •внутрикадровым предсказанием, соответствующее предсказанному изображению, из части изображения кадра; и выполняют операцию фильтрации для компенсации недостатка высокочастотных компонентов в извлеченном изображении компенсации движения и генерированном изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, включенной в изображения компенсации движения, тем самым генерируется предсказанное изображение.

Преимущественные эффекты изобретения

Согласно настоящему изобретению может генерироваться предсказанное изображение высокой точности, и может быть достигнута высокая эффективность кодирования без увеличения объема передачи векторов движения в потоке.

Краткое описание чертежей

Фиг.1 является схемой, иллюстрирующей пример однонаправленного

предсказания.

Фиг.2 является схемой, иллюстрирующей пример двунаправленного предсказания.

Фиг.3 является схемой, иллюстрирующей пример внутрикадрового предсказания.

Фиг.4 является схемой, поясняющей общие принципы генерирования предсказанного изображения по настоящему изобретению.

Фиг.5 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства согласно варианту осуществления настоящего изобретения.

Фиг.6 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг.7 является схемой, иллюстрирующей идею третьего режима предсказания.

Фиг.8 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.5.

Фиг.9 является схемой, иллюстрирующей пример опорных кадров.

Фиг.10 является схемой, иллюстрирующей другой пример опорных кадров.

Фиг.11 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания по Фиг.8.

Фиг.12 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы по Фиг.8.

Фиг.13 является блок-схемой, поясняющей обработку декодирования, выполняемую декодирующим устройством.

Фиг.14 является блок-схемой, поясняющей обработку предсказания-компенсации движения, выполняемую на этапе S9 по Фиг 13.

Фиг.15 является блок-схемой алгоритма, поясняющей пример последовательности обработки извлечения.

Фиг.16 является блок-схемой алгоритма, поясняющей пример последовательности обработки фильтрационного предсказания.

Фиг.17 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства.

Фиг.18 является блок-схемой, иллюстрирующей пример конфигурации схемы определения режима по Фиг.17.

Фиг.19 является блок-схемой, иллюстрирующей пример конфигурации схемы предсказания-компенсации движения по Фиг.17.

Фиг.20 является блок-схемой алгоритма, поясняющей обработку кодирования, выполняемую кодирующим устройством.

Фиг.21 является блок-схемой алгоритма, поясняющей обработку определения режима, выполняемую на этапе S108 по Фиг.20.

Фиг.22 является блок-схемой алгоритма, поясняющей обработку предсказания-компенсации движения, выполняемую на этапе S111 по Фиг.20.

Фиг.23 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы.

Фиг.24 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы.

Фиг.25 является блок-схемой, иллюстрирующей пример в случае использования трех опорных кадров.

Фиг.26 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае использования трех опорных кадров.

Фиг.27 является блок-схемой, иллюстрирующей пример конфигурации персонального компьютера.

Фиг.28 является блок-схемой, иллюстрирующей пример конфигурации основной части телевизионного приемника, к которому применено настоящее изобретение.

Фиг.29 является блок-схемой, иллюстрирующей пример конфигурации основной части мобильного телефона, к которому применено настоящее изобретение.

Фиг.30 является блок-схемой, иллюстрирующей пример конфигурации основной части устройства записи на жесткий диск, к которому применено настоящее изобретение.

Фиг.31 является блок-схемой, иллюстрирующей пример конфигурации основной части фотокамеры, к которой применено настоящее изобретение.

Фиг.32 является схемой, иллюстрирующей примеры размера макроблока.

Подробное описание изобретения

Далее будут описаны режимы осуществления изобретения (далее варианты осуществления). Отметим, что описание будет вестись в следующем порядке:

1. Первый вариант осуществления (обработка декодирования).

2. Второй вариант осуществления (обработка кодирования).

3. Третий вариант осуществления (модификации фильтрующей схемы).

Первый вариант осуществления

Принцип предсказания

Фиг.4 является схемой, поясняющей принцип способа генерирования предсказанного изображения, к которому применено настоящее изобретение. В настоящем изобретении в декодере по меньшей мере один вектор движения передается в битовом потоке, чтобы получить изображение компенсации движения.

На Фиг.4 показан способ использования одиночного кадра (N-1) в качестве опорной плоскости для использования в компенсации движения, чтобы декодировать кадр N. На Фиг.4 вектор движения для обозначения координат изображения, которое должно быть подвергнуто компенсации движения для кадра (N-1), передается потоком. Декодер использует этот вектор для получения изображения МС.

Далее выполняется внутрикадровое предсказание с помощью декодированного пиксельного значения в кадре N. При этом предсказании используется, например, внутрикадровое предсказание на основе стандарта Н.264. Однако настоящее изобретение не ограничивает тип обработки внутрикадрового предсказания, и может быть выбрано любое предсказание, подходящее для предсказания высокой точности с помощью последующей обработки фильтрации путем использования кодированного пиксела в текущем кадре.

В двух описанных выше обработках предсказания декодер может получать изображение предсказания движения из кадра (N-1) и изображение пространственного предсказания из кадра N во время декодирования текущего блока. Два этих типа изображений подвергаются обработке фильтрации для генерирования нового предсказанного изображения, более близкого к исходному изображению, путем использования компонентов, включенных во введенное предсказанное изображение.

Конфигурация декодирующего устройства

Фиг.5 является блок-схемой, иллюстрирующей пример конфигурации декодирующего устройства 1 согласно варианту осуществления настоящего изобретения.

Данные изображения, кодируемые описанным ниже кодирующим устройством, вводятся в декодирующее устройство 1 через кабель, сеть или съемный носитель. Примеры сжатых данных изображения включают в себя данные изображения, кодированные в соответствии со стандартом Н.264.

Запоминающий буфер 11 последовательно сохраняет битовые потоки, введенные в качестве сжатых данных изображения. Данные, сохраненные в запоминающем буфере 11, при необходимости считываются схемой 12 декодирования без потерь в элементах изображений определенных элементов, таких как макроблоки, составляющих кадр. В стандарте Н.264 также возможно вместо выполнения обработки в элементах макроблоков размером 16×16 пикселов выполнить ее в элементах блоков, на которые далее делится макроблок, таких как 8×8 пикселов или 4×4 пиксела.

Схема 12 декодирования без потерь выполняет обработку декодирования, соответствующую способу кодирования, такую как обработка декодирования с переменной длиной слова или обработка арифметического декодирования изображения, считанного из запоминающего буфера 11. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, который получен путем выполнения обработки декодирования, на схему 13 обратного квантования.

Кроме того, схема 12 декодирования без потерь определяет на основе идентификационной метки, включенной в заголовок подлежащего декодированию изображения, является это изображение изображением с внутрикадровым кодированием или изображением с межкадровым кодированием. В случае, если установлено, что изображение, подлежащее декодированию, является изображением с внутрикадровым кодированием, схема 12 кодирования без потерь выводит данные режима внутрикадрового предсказания, сохраненные в заголовке изображения, на схему 22 внутрикадрового предсказания. Данные режима внутрикадрового предсказания включают в себя данные, относящиеся к внутрикадровому предсказанию, такие как размер блока, служащего в качестве группы обработки.

В случае же, если установлено, что изображение, подлежащее декодированию, является данными с межкадровым кодированием, схема 12 кодирования без потерь выводит векторы движения и идентификационную метку, которые сохранены в заголовке изображения, на схему 21 предсказания-компенсации движения. Режим предсказания, в котором предсказанное изображение должно генерироваться посредством межкадрового предсказания, определяется с помощью идентификационной метки. Идентификационные метки устанавливаются, например, в элементах макроблоков или кадров.

В дополнение к режиму однонаправленного предсказания по Фиг.1 и режиму двунаправленного предсказания по Фиг.2 подготовленные режимы предсказания включают в себя третий режим предсказания для генерирования предсказанного изображения путем выполнения фильтрации изображений компенсации движения, извлеченных из множества опорных кадров, расположенных в одном или обоих временных направлениях.

Фиг.6 является схемой, иллюстрирующей принцип третьего режима предсказания.

В примере по Фиг.6 кадр, предшествующий по времени текущему кадру (предсказанному кадру), задан в качестве опорного кадра R₀, а кадр, предшествующий по времени опорному кадру R₀, задан в качестве опорного кадра R₁. В этом случае согласно третьему режиму предсказания изображения МС₀ и MC₁ компенсации движения, извлеченные из опорных кадров R₀ и R₁, вводятся в фильтрующую схему, а пиксельное значение в изображении, выведенном из фильтрующей схемы, задается в качестве пиксельного значения в предсказанном изображении, которое является целевым макроблоком.

Фиг.7 является схемой, иллюстрирующей идею в случае, когда различные изображения вводятся в третий режим предсказания.

В примере по Фиг.7 кадр, предшествующий по времени текущему кадру (предсказанному кадру), задается в качестве опорного кадра R₀. В этом случае для третьего режима предсказания изображение МС₀ компенсации движения, извлеченное из опорного кадра R₀, и изображение IP с внутрикадровым предсказанием, генерированное из кодированного изображения, которое расположено рядом с текущим блоком в текущем кадре, вводятся в фильтрующую схему, а пиксельное значение в изображении, выведенном из фильтрующей схемы, задается в качестве пиксельного значения в предсказанном изображении, которое является целевым макроблоком.

Далее режим предсказания, поясненный со ссылкой на Фиг.1, в котором пиксельное значение в одном изображении компенсации движения среди изображений компенсации движения, извлеченных из множества опорных кадров, расположенных в одном направлении, задается в качестве пиксельного значения предсказанного изображения, называется просто режимом однонаправленного предсказания. Кроме того, режим предсказания, поясненный со ссылкой на Фиг.2, в котором среднее значение пиксельных значений в изображениях компенсации движения, извлеченных по отдельности из множества опорных кадров, расположенных в обоих направлениях, задается в качестве пиксельного значения предсказанного изображения, называется просто режимом двунаправленного предсказания.

Третий режим предсказания, показанный на Фиг.6, в котором пиксельное значение в предсказанном изображении определяется путем выполнения фильтрации каждого из изображений компенсации движения, извлеченных из множества опорных кадров, расположенных в одном или обоих направлениях, называется режимом фильтрационного предсказания.

Аналогично, третий режим предсказания, показанный на Фиг.7, в котором пиксельное значение в предсказанном изображении определяется, в дополнение к фильтрации каждого изображения компенсации движения, извлеченного из одного из множества опорных кадров, путем выполнения фильтрации изображения с внутрикадровым предсказанием, извлеченного путем выполнения внутрикадрового предсказания из кодированного изображения в текущем кадре, также называется режимом фильтрационного предсказания. Этот режим фильтрационного предсказания будет подробно описан ниже.

На Фиг.5 схема 13 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования, поданного из схемы 12 декодирования без потерь, способом, соответствующим способу квантования, использованному кодирующей стороной. Схема 13 обратного квантования выводит коэффициент преобразования, полученный путем выполнения обратного квантования, на схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет, например, обратное ортогональное преобразование четвертого порядка для коэффициента преобразования, поданного из схемы 13 обратного квантования, способом, соответствующим способу ортогонального преобразования, использованному кодирующей стороной, такому как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение на суммирующую схему 15.

Суммирующая схема 15 совмещает декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и предсказанное изображение, поданное из схемы 21 предсказания-компенсации движения или из схемы 22 внутрикадрового предсказания через переключатель 23, и выводит комбинированное изображение на фильтр 16 устранения блочности.

Фильтр 16 устранения блочности удаляет блоковый шум, включенный в изображение, поданное с суммирующей схемы 15, и выводит изображение, из которого удален блоковый шум. Изображение, выведенное из фильтра 16 устранения блочности, подается на переупорядочивающий буфер 17 и кадровую память 19.

Переупорядочивающий буфер 17 временно сохраняет изображение, поданное из фильтра 16 устранения блочности. Переупорядочивающий буфер 17 генерирует отдельный кадр из изображения, например, каждого сохраненного макроблока, и переупорядочивает генерированные кадры в определенном порядке, таком как порядок отображения, перед выведением их на цифроаналоговую преобразовательную схему 18.

Цифроаналоговая преобразовательная схема 18 выполняет цифроаналоговое преобразование каждого из кадров, поданных с переупорядочивающего буфера 17, и выводит сигналы кадров вовне.

Кадровая память 19 временно сохраняет изображение, поданное из фильтра 16 устранения блочности. Данные, сохраненные в кадровой памяти 19, подаются на схему 21 предсказания-компенсации движения или схему 22 внутрикадрового предсказания через переключатель 20.

Переключатель 20 соединяется с терминалом а1 в случае, если предсказанное изображение должно генерироваться посредством межкадрового предсказания, и соединяется с терминалом b1 в случае, если предсказанное изображение должно генерироваться посредством внутрикадрового предсказания. Переключением переключателя 20 управляет, например, управляющая схема 31.

Схема 21 предсказания-компенсации движения определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь, и выбирает кадр для использования в качестве опорного кадра среди декодированных кадров, сохраненных в кадровой памяти 19, в соответствии с режимом предсказания. Схема 21 предсказания-компенсации движения определяет макроблок, соответствующий целевому предсказанному изображению, среди макроблоков, образующих опорный кадр, на основе векторов движения, поданных из схемы 12 декодирования без потерь, и извлекает определенный макроблок как изображение компенсации движения. Схема 21 предсказания-компенсации движения определяет пиксельное значение в предсказанном изображении из пиксельного значения в изображении компенсации движения в соответствии с режимом предсказания и выводит предсказанное изображение, пиксельные значения которого определены, на суммирующую схему 15 через переключатель 23.

Схема 22 внутрикадрового предсказания выполняет внутрикадровое предсказание в соответствии с данными режима внутрикадрового предсказания, поданными из схемы 12 декодирования без потерь, и генерирует предсказанное изображение. Схема 22 внутрикадрового предсказания выводит генерированное предсказанное изображение на суммирующую схему 15 через переключатель 23.

Переключатель 23 соединяется с терминалом а2 в случае, если предсказанное изображение генерируется схемой 21 предсказания-компенсации движения, и с терминалом b2 в случае, если предсказанное изображение генерируется схемой 22 внутрикадрового предсказания. Переключением переключателя 23 также управляет, например, управляющая схема 31.

Управляющая схема 31 управляет всей работой декодирующего устройства 1 путем, например, переключения соединения переключателей 20 и 23. Является ли целевое изображение кодирования изображением внутрикадровым кодированием или изображением с межкадровым кодированием, может быть определено управляющей схемой 31.

Фиг.8 является блок-схемой, иллюстрирующей пример конфигурации схемы 21 предсказания-компенсации движения по Фиг.5.

Как показано на Фиг.8, схема 21 предсказания-компенсации движения состоит из схемы 41 определения режима предсказания, схемы 42 однонаправленного предсказания, схемы 43 двунаправленного предсказания, предсказывающей схемы 44 и фильтрующей схемы 45. Векторы движения и идентификационная метка, поданные из схемы 12 декодирования без потерь, вводятся в схему 41 определения режима предсказания.

Схема 41 определения режима предсказания определяет режим предсказания в соответствии с идентификационной меткой, поданной из схемы 12 декодирования без потерь. Схема 41 определения режима предсказания выводит векторы движения на схему 42 однонаправленного предсказания в случае, если определено, что предсказанное изображение должно генерироваться посредством однонаправленного предсказания, и выводит векторы движения на схему 43 двунаправленного предсказания в случае, если определено, что предсказанное изображение должно генерироваться посредством двунаправленного предсказания. Кроме того, в случае, если определено, что предсказанное изображение должно генерироваться посредством фильтрационного предсказания, схема 41 определения режима предсказания выводит векторы движения на предсказывающую схему 44.

Таким образом, чтобы позволить определить фильтрационное предсказание, в качестве значения идентификационной метки может быть установлено значение, отличное от значения, обозначающего однонаправленное предсказание, и от значения, обозначающего двунаправленное предсказание, которые определены в обычном стандарте Н.264. Отметим, что для того, чтобы снизить объем данных, режим предсказания может быть определен заранее определенным способом вместо определения его в соответствии с идентификационной меткой.

Схема 42 однонаправленного предсказания задает, как показано на Фиг.1, множество кадров, расположенных в одном временном направлении, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения. Кроме того, схема 42 однонаправленного предсказания генерирует предсказанное изображение путем считывания каждого из определенных макроблоков в опорных кадрах из кадровой памяти 19 в качестве изображения компенсации движения и установления пиксельного значения в одном из изображений компенсации движения в качестве пиксельного значения в предсказанном изображении. Схема 42 однонаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве однонаправленного предсказания, выполненного схемой 42 однонаправленного предсказания, используется, например, однонаправленное предсказание, определенное в стандарте Н.264.

Схема 43 двунаправленного предсказания задает, как показано на Фиг.2, множество кадров, расположенных в обоих временных направлениях, в качестве опорных кадров и определяет макроблоки в опорных кадрах, соответствующих предсказанному изображению, на основе векторов движения. Кроме того, схема 43 двунаправленного предсказания генерирует предсказанное изображение путем считывания каждого из определенных макроблоков в опорных кадрах из кадровой памяти 19 в качестве изображений компенсации движения и путем установления средних значений пиксельных значений в считанных изображениях компенсации движения в качестве пиксельного значения в предсказанном изображении. Схема 43 двунаправленного предсказания выводит предсказанное изображение на суммирующую схему 15. В качестве двунаправленного предсказания, выполненного схемой 43 двунаправленного предсказания, используется, например, двунаправленное предсказание, определенное в стандарте Н.264.

Предсказывающая схема 44 определяет множество кадров, расположенных в одном или обоих временных направлениях, как опорные кадры. Какие из кадров подлежат использованию в качестве опорных кадров, может быть определено заранее или может быть указано с помощью данных, переданных кодирующей стороной вместе с идентификационной меткой.

Фиг.9 является схемой, иллюстрирующей пример опорных кадров.

В примере по Фиг.9 в качестве опорных кадров заданы кадр, предшествующий по времени предсказанному кадру, и кадр, предшествующий ему, т.е. два кадра. Из двух опорных кадров предшествующий кадр, ближайший к предсказанному кадру, задан в качестве опорного кадра R₀, а кадр, предшествующий опорному кадру Ro, задан в качестве опорного кадра r).

Фиг.10 является схемой, иллюстрирующей другой пример опорных кадров.

В примере по Фиг.10 в качестве опорных кадров заданы кадр, предшествующий по времени предсказанному кадру, и следующий за ним по времени, т.е. два кадра. Из двух опорных кадров кадр, предшествующий предсказанному кадру, задан в качестве опорного кадра L₀, а кадр, следующий по времени, задан в качестве опорного кадра L₁.

Таким образом, в фильтрационном предсказании в качестве опорных кадров используются множество кадров, расположенных в одном временном направлении или множество кадров, расположенных в обоих направлениях.

Кроме того, предсказывающая схема 44 определяет макроблок, соответствующий предсказанному изображению, среди декодированных макроблоков в по меньшей мере одном опорном кадре среди опорных кадров, определенных способом, показанным на Фиг.9 или 10, на основе векторов движения, поданных из схемы 41 определения режима предсказания.

Вместе с тем, как описано со ссылкой на Фиг.7, предсказывающая схема 44 выполняет внутрикадровое предсказание текущего кадра в соответствии, например, со стандартом Н.264.

Предсказывающая схема 44 считывает определенный макроблок в каждом из опорных кадров из кадровой памяти 19 в качестве изображения с внутрикадровым предсказанием и выводит считанные изображения с внутрикадровым предсказанием на фильтрующую схему 45.

То есть предсказывающая схема 44 извлекает изображение компенсации движения на основе вектора движения из опорного кадра, отличного от текущего кадра, а также генерирует изображение с внутрикадровым предсказанием путем выполнения внутрикадрового предсказания по отношению к текущему кадру.

Отметим, что вектор движения может быть выполнен не в элементах макроблоков размером 16×16 пикселов или т.п., а в элементах блоков, на которые далее поделен макроблок. Изображение, например, каждого макроблока вводится в фильтрующую схему 45. На Фиг.8 изображение двух стрелок, идущих от предсказывающей схемы 44 к фильтрующей схеме 45 означают, что подаются два изображения компенсации движения.

Фильтрующая схема 45 принимает в качестве вводимых данных изображения компенсации движения, поданные из предсказывающей схемы 44, выполняет фильтрацию и выводит предсказанное изображение, полученное путем выполнения фильтрации, на суммирующую схему 15.

Фиг.11 является блок-схемой, иллюстрирующей пример конфигурации предсказывающей схемы 44 по Фиг.6. На Фиг.9 предсказывающая схема 44 включает в себя схему 51 компенсации движения и схему 52 внутрикадрового предсказания.

Схема 51 компенсации движения определяет макроблок, соответствующий предсказанному изображению в опорном кадре, отличном от текущего кадра, с помощью векторов движения, поданных из схемы 41 определения режима предсказания. Схема 51 компенсации движения считывает изображение определенного макроблока из кадровой памяти 19 и извлекает считанное изображение в качестве изображения компенсации движения. Схема 51 компенсации движения подает извлеченное изображение МС₀ компенсации движения на фильтрующую схему 45.

Схема 52 предсказания движения выполняет внутрикадровое предсказание текущего кадра (настоящего кадра) произвольным способом и генерирует в качестве результата предсказания изображение IP с внутрикадровым предсказанием, соответствующее желаемому предсказанному изображению. Здесь, чтобы выполнить внутрикадровое предсказание, например, используется предсказание Н.264 внутри блока 4×4, внутри блока 8×8 или внутри блока 16×16. В случае, если используется описанное выше внутрикадровое предсказание, управляющие данные для однозначного определения способа предсказания на декодирующей стороне описываются в потоке и передаются. Схема 52 внутрикадрового предсказания подает генерированное изображение IP с внутрикадровым предсказанием на фильтрующую схему 45.

Фиг.12 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы 45. В фильтрующей схеме 45, сконфигурированной по Фиг.12, выполняется фильтрация сигнала во временной области.

Как показано на Фиг.12, фильтрующая схема 45 состоит из схемы 61 вычисления разности, схемы 62 фильтра нижних частот, схемы 63 настройки усиления, схемы 64 фильтра верхних частот, схемы 65 настройки усиления, суммирующей схемы 66 и суммирующей схемы 67. Изображение МС₀ компенсации движения, поданное из предсказывающей схемы 44, вводится в схему 61 вычисления разности и суммирующую схему 67, а изображение MC₁ компенсации движения вводится в схему 61 вычисления разности.

Как описано выше, в случае, если предсказанное изображение генерируется посредством внутрикадрового предсказания, например, изображение, генерированное в текущем кадре, задается в качестве изображения IP с внутрикадровым предсказанием, а изображение, извлеченное из опорного кадра, отличного от текущего кадра, задается в качестве изображения MC₁ компенсации движения.

Отметим, что в случае, если предсказанное изображение генерируется посредством однонаправленного предсказания способом, показным на Фиг.9, например, то изображение, извлеченное из опорного кадра R₀, которое, как считается, имеет более высокую корреляцию с предсказанным изображением, задается в качестве изображения МС₀ компенсации движения, а изображение, извлеченное из опорного кадра R₁, задается в качестве изображения MC₁ компенсации движения. Изображение, извлеченное из опорного кадра R₀, может быть спроектировано так, чтобы его задавали в качестве изображения МС₀ компенсации движения.

Кроме того, в случае, если предсказанное изображение генерируется посредством двунаправленного предсказания способом, показанным на Фиг.10, например, изображение, извлеченное из предшествующего опорного кадра L₀, задается в качестве изображения МС₀ компенсации движения, а изображение, извлеченное из последующего опорного кадра L₁, задается в качестве изображения MC₁ компенсации движения. Изображение, извлеченное из опорного кадра L₀, может быть спроектировано так, чтобы его задавали в качестве изображения MC₁ компенсации движения, а изображение, извлеченное из опорного кадра L₁, может быть спроектировано так, чтобы его задавали в качестве изображения МС₀ компенсации движения.

Кроме того, в случае, если предсказанное изображение генерируется посредством двунаправленного предсказания способом, показанным на Фиг.10, например, изображение, извлеченное из предшествующего опорного кадра L₀, задается в качестве изображения МС₀ компенсации движения, а изображение, извлеченное из последующего опорного кадра L₁, задается в качестве изображения MC₁ компенсации движения. Изображение, извлеченное из опорного кадра L₀, может быть спроектировано так, чтобы его задавали в качестве изображения MC₁ компенсации движения, а изображение, извлеченное из опорного кадра L₁, может быть спроектировано так, чтобы его задавали в качестве изображения МС₀ компенсации движения.

Описанное выше изображение МС₀ компенсации движения может быть замещено изображением IP с внутрикадровым предсказанием по Фиг.12 и может быть обработано способом, аналогичным таковому для изображения IP с внутрикадровым предсказанием. Далее будет пояснено изображение IP с внутрикадровым предсказанием.

Схема 61 вычисления разности вычисляет разность между изображением IP с внутрикадровым предсказанием (изображением МС₀ компенсации движения) и изображением MC₁ компенсации движения и выводит разностное изображение на схему 62 фильтра нижних частот. Разностное изображение D представлено следующим уравнением (3):

$$D\left(i,j=IP(i,j\right)-MC\left(i,j\right)\dots \left(3\right)$$

В уравнении (3) (ij) обозначает относительное положение пиксела в изображении компенсации движения и удовлетворяет условиям 0≤i≤16 и 0≤j≤16 в случае, если обработка должна быть выполнена в элементах макроблоков размером 16×16 пикселов. Предполагается, что это аналогичным образом относится к нижеследующему описанию.

В схеме 62 фильтра нижних частот имеется схема КИХ-фильтра. Схема 62 фильтра нижних частот применяет фильтр нижних частот к разностному изображению D, поданному из схемы 61 вычисления разности, и выводит полученное изображение на схему 63 настройки усиления и схему 64 фильтра верхних частот. Разностное изображение D', которое является изображением, полученным путем применения фильтра нижних частот, представлено нижеследующим уравнением (4). В уравнении (4) LPF(X) обозначает применение фильтра нижних частот к введенному изображению Х с помощью двумерного КИХ-фильтра.

$$D\text{'}=LPF\left(D\right)\dots \left(4\right)$$

Схема 63 настройки усиления настраивает усиление разностного изображения D', поданного из схемы 62 фильтра нижних частот, и выводит изображение с настроенным усилением на суммирующую схему 66. Выведенное из схемы 63 настройки усиления изображение X(i, j) представлено нижеследующим уравнением (5).

$$X\left(i,j\right)=\alpha D\text{'}\left(i,j\right)\dots \left(4\right)$$

В схеме 64 фильтра верхних частот имеется схема КИХ-фильтра. Схема 64 фильтра верхних частот применяет фильтр верхних частот к разностному изображению D', поданному из схемы 62 фильтра нижних частот, и выводит полученное изображение на схему 65 настройки усиления. Разностное изображение D", которое является изображением, полученным путем применения фильтра верхних частот, представлено нижеследующим уравнением (6). В уравнении (6) HPF(X) обозначает применение фильтра верхних частот к введенному изображению Х с помощью двумерного КИХ-фильтра.

$$D\text{'}\text{'}=HPF\left(D\text{'}\right)\dots \left(6\right)$$

Схема 65 настройки усиления настраивает усиление разностного изображения D", поданного из схемы 64 фильтра верхних частот, и выводит изображение с настроенным усилением на суммирующую схему 66. Выводимое изображение Y(i, j) схемы 65 настройки усиления представлено нижеследующим уравнением (7).

$$Y\left(i,j\right)=\beta D\text{'}\text{'}\left(i,j\right)\dots \left(7\right)$$

В качестве значений α в выражении (5) и β в выражении (7) выбраны, например, такие значения, как α=0,8 и β=0,2. Однако для увеличения точности предсказанного пиксела могут быть использованы другие значения. Кроме того, значения могут быть адаптивно изменены в соответствии со свойствами введенной последовательности или т.п.

Суммирующая схема 66 суммирует изображение X(i, j) с настроенным усилением и изображение Y(i, j) и выводит изображение, полученное посредством суммирования. Выводимое изображение Z(i, j) суммирующей схемы 66 представлено нижеследующим уравнением (8).

$$Z\left(i,j\right)=X\left(i,j\right)+Y\left(i,j\right)\dots \left(8\right)$$

Выводимое изображение Z(i, j) представляет собой высокочастотные компоненты изображения, которые могут быть получены из разности, то есть корреляции, между изображением МС₀ компенсации движения и изображением MC₁ компенсации движения.

Суммирующая схема 67 суммирует выводимое изображение Z(i, j), поданное из суммирующей схемы 66, с изображением IP с внутрикадровым предсказанием и выводит полученное изображение на суммирующую схему 15 в качестве предсказанного изображения. Окончательные выходные данные суммирующей схемы 67, т.е. предсказанное изображение S(i,j), представлено нижеследующим уравнением (9).

$$S\left(i,j\right)=IP\left(i,j\right)+Z\left(i,j\right)\dots \left(9\right)$$

Таким образом, согласно режиму фильтрационного предсказания, изображение, полученное путем суммирования изображения, представляющего собой высокочастотные компоненты, с изображением IP с внутрикадровым предсказанием, генерируется в качестве предсказанного изображения. Это предсказанное изображение включает в себя больше высокочастотных компонентов, чем предсказанное изображение, полученное в случае, если просто выполняется двунаправленное предсказание. Кроме того, поскольку предсказанное изображение, включающее в себя большое число высокочастотных компонентов, суммируется с декодированным изображением на суммирующей схеме 15, изображение, которое окончательно выводится с декодирующего устройства 1, является также изображением высокой четкости, включающим в себя большое число высокочастотных компонентов.

Кроме того, при генерировании предсказанного изображения выполняется внутрикадровое предсказание текущего кадра, и генерированное таким образом изображение IP с внутрикадровым предсказанием используется вместе с изображением MC₁. Это может снизить число векторов движения для генерирования изображений компенсации движения.

Как описано выше, после того, как устройство компенсации движения согласно настоящему изобретению выводит предсказанное изображение, данные изображения восстанавливаются за счет выполнения декодирования обычным способом.

Таким образом, декодирующее устройство 1 может осуществить улучшение эффективности кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания, используя точность предсказания межкадрового предсказания, а также может осуществить снижение затрат на обработку путем снижения числа опорных плоскостей, необходимых для межкадрового предсказания.

Пояснение последовательности обработки декодирования

Здесь будет пояснена обработка, выполняемая декодирующим устройством 1, имеющим описанную выше конфигурацию.

Вначале обработка декодирования, выполняемая декодирующим устройством 1, будет пояснена со ссылкой на блок-схему по Фиг.13.

Обработка по Фиг.13 начинается, когда, например, изображение некоторого размера, такое как макроблок 16×16 пикселов, считывается схемой 12 декодирования без потерь из данных, сохраненных в запоминающем буфере 11. Обработка в каждом этапе по Фиг.13 выполняется, при необходимости, параллельно с обработкой на другом этапе или путем изменения порядка этапов. Это аналогичным образом справедливо для обработки в каждом этапе на каждой блок-схеме, описанной ниже.

На этапе S1 схема 12 декодирования без потерь выполняет обработку декодирования изображения, считанного из запоминающего буфера 11, и выводит квантованный коэффициент преобразования на схему 13 обратного квантования. Кроме того, схема 12 декодирования без потерь выводит данные режима внутрикадрового предсказания на схему 22 внутрикадрового предсказания в случае, если изображение, подлежащее декодированию, является изображением с внутрикадровым кодированием, и выводит вектор движения и идентификационную метку на схему 21 предсказания-компенсации движения в случае, если изображение, подлежащее декодированию, является изображением с межкадровым кодированием.

На этапе S2 схема 13 обратного квантования выполняет обратное квантование способом, соответствующим способу квантования, использованному кодирующей стороной, и выводит коэффициент преобразования на схему 14 обратного ортогонального преобразования.

На этапе S3 схема 14 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 13 обратного квантования, и выводит полученное изображение на суммирующую схему 15.

На этапе S4 суммирующая схема 15 совмещает декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и предсказанное изображение, поданное из схемы 21 предсказания-компенсации движения или из схемы 22 внутрикадрового предсказания, и выводит комбинированное изображение на фильтр 16 устранения блочности.

На этапе S5 фильтр 16 устранения блочности выполняет фильтрацию, чтобы устранить блоковый шум, включенный в комбинированное изображение, и выводит изображение, из которого удален блоковый шум.

На этапе S6 кадровая память 19 временно сохраняет изображение, поданное из фильтра 16 устранения блочности.

На этапе S7 управляющая схема 31 оценивает, является ли целевое изображение изображением с внутрикадровым кодированием.

В случае, если на этапе S7 установлено, что целевое изображение является изображением с внутрикадровым кодированием, на этапе S8 схема 22 внутрикадрового предсказания генерирует предсказанное изображение путем выполнения внутрикадрового предсказания и выводит генерированное предсказанное изображение на суммирующую схему 15.

В противоположность этому, в случае, если на этапе S7 установлено, что целевое изображение не является изображением с внутрикадровым кодированием, или является изображением с межкадровым кодированием, на этапе. S9 схема 21 предсказания-компенсации движения выполняет обработку предсказания-компенсации движения. Предсказанное изображение, генерированное путем выполнения обработки предсказания-компенсации движения, выводится на суммирующую схему 15. Обработка предсказания-компенсации движения будет описана ниже со ссылкой на блок-схему по Фиг.14.

На этапе S10 управляющая схема 31 оценивает, была ли описанная выше обработка выполнена по отношению к макроблокам во всем кадре. В случае, если установлено, что обработка не была выполнена, внимание переносится на другой макроблок, и обработка выполняется повторно с этапа S1.

Напротив, в случае, если на этапе S10 установлено, что обработка была выполнена по отношению к макроблокам во всем кадре, на этапе S11 переупорядочивающий буфер 17 выводит генерированный кадр на цифроаналоговую преобразовательную схему 18 под управляющим воздействием управляющей схемы 31.

На этапе S12 цифроаналоговая преобразовательная схема 18 выполняет цифроаналоговое преобразование кадра, поданного с переупорядочивающего буфера 17, и выводит аналоговый сигнал вовне. Описанная выше обработка выполняется по отношению к отдельным кадрам.

Далее обработка предсказания-компенсации движения, которая выполняется на этапе S9 по Фиг.13, будет описана со ссылкой на блок-схему по Фиг.14.

На этапе S31 схема 41 определения режима предсказания в схеме 21 предсказания-компенсации движения оценивает, означает ли идентификационная метка, поданная из схемы 12 декодирования без потерь, что обработка должна быть выполнена в режиме фильтрационного предсказания.

Если на этапе S31 установлено, что идентификационная метка означает, что обработка должна быть выполнена в режиме фильтрационного предсказания, обработка переходит к этапу S32. На этапе S32 предсказывающая схема 44 выполняет обработку извлечения для извлечения изображения компенсации движения и операцию генерирования для генерирования изображения с внутрикадровым предсказанием. Подробности операций извлечения и генерирования будут описаны ниже.

Если изображения компенсации движения извлечены, и генерируется изображение с внутрикадровым предсказанием, на этапе S33 фильтрующая схема 45 выполняет обработку фильтрационного предсказания. Подробности обработки фильтрационного предсказания будут описаны ниже.

Когда обработка на этапе S33 завершена, завершается обработка предсказания-компенсации движения. Тогда обработка возвращается к этапу S9 по Фиг.13 и переходит к этапу S10.

Кроме того, в случае, если на этапе S31 установлено, что идентификационная метка не означает, что обработка должна быть выполнена в режиме фильтрационного предсказания, обработка переходит к этапу S32. На этапе S32 схема 42 однонаправленного предсказания выполняет однонаправленное предсказание или схема 43 двунаправленного предсказания выполняет двунаправленное предсказание. Таким образом, генерируется предсказанное изображение.

То есть в случае, если идентификационная метка означает, что обработка должна быть выполнена в режиме однонаправленного предсказания, векторы движения подаются из схемы 41 определения режима предсказания на схему 42 однонаправленного предсказания, и схема 42 однонаправленного предсказания выполняет однонаправленное предсказание. Кроме того, в случае, если идентификационная метка означает, что обработка должна быть выполнена в режиме двунаправленного предсказания, векторы движения подаются из схемы 41 определения режима предсказания на схему 43 двунаправленного предсказания, и схема 43 двунаправленного предсказания выполняет двунаправленное предсказание. После того, как предсказанное изображение выведено на суммирующую схему 15, обработка предсказания-компенсации движения завершается. Затем обработка возвращается к этапу S9 по Фиг.13 и переходит к этапу S10.

Далее пример алгоритма обработки извлечения, выполняемой на этапе S32 по Фиг.14, будет описан со ссылкой на блок-схему по Фиг.15.

Когда обработка извлечения начата, на этапе S51 предсказывающая схема 44 задает значение переменной i=l. На этапе S52 схема 51 компенсации движения выполняет компенсацию движения i-го опорного кадра, то есть опорной плоскости i, и извлекает изображение МС_[i] компенсации движения. На этапе S53 схема 51 компенсации движения выводит изображение МС_[i] компенсации движения на фильтрующую схему 45.

На этапе S54 предсказывающая схема 44 оценивает, удовлетворяет ли значение переменной i условию «меньше или равно N». В случае, если установлено, что значение переменной i меньше или равно некоторому натуральному числу N, обработка переходит к этапу S55.

На этапе S55 схема 51 компенсации движения увеличивает переменную i. Когда обработка на этапе S55 завершена, обработка возвращается к этапу S52 и дальнейшая обработка повторяется. Кроме того, в случае, если на этапе S54 установлено, что значение переменной i больше N, обработка переходит к этапу S56.

На этапе S56 схема 52 внутрикадрового предсказания оценивает, должно ли быть выполнено внутрикадровое предсказание. В случае, если установлено, что внутрикадровое предсказание должно быть выполнено, обработка переходит к этапу S57. На этапе S57 схема 52 внутрикадрового предсказания выполняет внутрикадровое предсказание текущего кадра (настоящего кадра). На этапе S58 схема 52 внутрикадрового предсказания выводит изображение IP с внутрикадровым предсказанием, генерированное посредством внутрикадрового предсказания, на фильтрующую схему 45. Когда обработка на этапе S58 завершена, обработка извлечения завершается. Затем обработка возвращается к этапу S32 по Фиг.14 и переходит к этапу S33. Кроме того, в случае, если на этапе S56 по Фиг.15 установлено, что внутрикадровое предсказание не должно быть выполнено, обработка извлечения завершается. Затем обработка возвращается к этапу S32 по Фиг.14 и переходит к этапу S33.

Далее пример алгоритма обработки фильтрационного предсказания, выполняемой на этапе S33 по Фиг.14, будет описан со ссылкой на блок-схему по Фиг.16.

После того, как извлечено изображение компенсации движения и генерируется изображение с внутрикадровым предсказанием, когда обработка фильтрации начата, на этапе S71 схема 61 вычисления разности в фильтрующей схеме 45 вычисляет разность между изображением компенсации движения и изображением с внутрикадровым предсказанием и выводит разностное изображение на схему 62 фильтра нижних частот.

На этапе S72 схема 62 фильтра нижних частот применяет фильтр нижних частот к разностному изображению, поданному из схемы 61 вычисления разности, и выводит полученное изображение на схему 63 настройки усиления и схему 64 фильтра верхних частот.

На этапе S73 схема 63 настройки усиления настраивает усиление изображения, поданного из схемы 62 фильтра нижних частот, и выводит изображение с настроенным усилением на суммирующую схему 66.

На этапе S74 схема 64 фильтра верхних частот применяет фильтр верхних частот к разностному изображению, поданному из схемы 62 фильтра нижних частот, и выводит полученное изображение на схему 65 настройки усиления.

На этапе S75 схема 65 настройки усиления настраивает усиление разностного изображения, поданного из схемы 64 фильтра верхних частот, и выводит изображение с настроенным усилением на суммирующую схему 66.

На этапе S76 суммирующая схема 66 суммирует изображение (выходные данные фильтра нижних частот), поданное из схемы 63 настройки усиления, и изображение (выходные данные фильтра верхних частот), поданное из схемы 65 настройки усиления, и определяет высокочастотные компоненты изображений. Определенные высокочастотные компоненты подаются из суммирующей схемы 66 на суммирующую схему 67.

На этапе S77 суммирующая схема 67 суммирует изображение (высокочастотные компоненты), поданное из суммирующей схемы 66, с изображением с внутрикадровым предсказанием и выводит полученное изображение на суммирующую схему 15 в качестве предсказанного изображения. Отметим, что суммирующая схема 67 может суммировать изображение (высокочастотные компоненты), поданное из суммирующей схемы 66, с изображением компенсации движения вместо изображения с внутрикадровым предсказанием.

На этапе S78 фильтрующая схема 45 оценивает, все ли изображения компенсации движения и изображения с внутрикадровым предсказанием обработаны. В случае, если установлено, что имеется необработанное изображение компенсации движения или изображение с внутрикадровым предсказанием, обработка возвращается к этапу S71, и дальнейшая обработка повторяется.

С другой стороны, в случае, если на этапе S78 установлено, что все изображения компенсации движения и изображения с внутрикадровым предсказанием обработаны, обработка фильтрационного предсказания завершается. Затем обработка возвращается к этапу S33 по Фиг.12 и обработка предсказания-компенсации движения завершается. Затем обработка возвращается к этапу S9 по Фиг.13 и переходит к этапу S10.

Как описано выше, поскольку декодирование выполняется с помощью предсказанного изображения, генерированного посредством фильтрационного предсказания, недостаток точности предсказания внутрикадрового предсказания может быть компенсирован путем использования точности предсказания межкадрового предсказания, и тем самым может быть получено декодированное изображение высокой четкости. Далее, в этот момент по меньшей мере одно изображение с внутрикадровым предсказанием используется для вычисления предсказанного изображения, что позволяет снизить число векторов движения, подлежащих кодированию, и осуществить снижение затрат на операцию (предотвращая возрастание объема обработки). То есть декодирующее устройство 1 может генерировать предсказанное изображение высокой точности с помощью малого объема управляющих данных.

Второй вариант осуществления

Конфигурация кодирующего устройства

Далее будет описана конфигурация и работа устройства на кодирующей стороне.

Фиг.17 является блок-схемой, иллюстрирующей пример конфигурации кодирующего устройства 101. Данные сжатого изображения, полученные посредством кодирования кодирующим устройством 101, вводятся в декодирующее устройство 1 по Фиг.5.

Аналого-цифровая преобразовательная схема 111 выполняет аналого-цифровое преобразование введенного сигнала и выводит изображение на переупорядочивающий буфер 112.

Переупорядочивающий буфер 112 переупорядочивает кадры в соответствии со структурой ГИ (группы картинок) данных сжатого изображения и выводит изображение определенного блока, такого как макроблок. Изображение, выведенное с переупорядочивающего буфера 112, подается на суммирующую схему 113, схему 123 определения режима, схему 125 предсказания-компенсации движения и схему 126 внутрикадрового предсказания.

Суммирующая схема 113 определяет разность между изображением, поданным с переупорядочивающего буфера 112, и предсказанным изображением, генерированным схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания и поданным через переключатель 127, и выводит остаток на схему 114 ортогонального преобразования. Чем ближе предсказанное изображение к исходному изображению и чем меньше число определенных здесь остатков, тем меньше объем кода, который должен быть закреплен за остатками и, следовательно, тем выше эффективность кодирования.

Схема 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, остатка, поданного с суммирующей схемы 113, и выводит коэффициент преобразования, полученный путем выполнения ортогонального преобразования, на квантующую схему 115.

Квантующая схема 115 квантует коэффициент преобразования, поданный из схемы 114 ортогонального преобразования, в соответствии с управляющим воздействием схемы 118 управления скоростью и выводит квантованный коэффициент преобразования. Коэффициент преобразования, квантованный квантующей схемой 115, подается на схему 116 кодирования без потерь и схему 119 обратного квантования.

Схема 116 кодирования без потерь сжимает коэффициент преобразования, поданный с квантующей схемы 115, путем выполнения кодирования без потерь, такого как кодирование с переменной длиной или арифметическое кодирование, и выводит данные на запоминающий буфер 117.

Кроме того, схема 116 кодирования без потерь задает значение идентификационной метки в соответствии с данными, поданными из схемы 123 определения режима, и описывает идентификационную метку в заголовке изображения. Как описано выше, декодирующее устройство 1 определяет режим предсказания на основе идентификационной метки, описанной схемой 116 кодирования без потерь.

Схема 116 кодирования без потерь также описывает данные, поданные из схемы 125 предсказания-компенсации движения или схемы 126 внутрикадрового предсказания, в заголовке изображения. Векторы движения и т.п., которые обнаруживаются, когда выполняется межкадровое предсказание, подаются из схемы 125 предсказания-компенсации движения, а данные, касающиеся примененного режима внутрикадрового предсказания, подаются из схемы 126 внутрикадрового предсказания.

Запоминающий буфер 117 временно сохраняет данные, поданные из схемы 116 кодирования без потерь, и выводит их как данные сжатого изображения в определенный момент. Запоминающий буфер 117 выводит данные об объеме генерированного кода на схему 118 управления скоростью.

Схема 118 управления скоростью вычисляет уровень квантования на основе объема кода, выведенного с запоминающего буфера 117, и управляет квантующей схемой 115 так, что квантование может быть выполнено с вычисленным уровнем квантования.

Схема 119 обратного квантования выполняет обратное квантование коэффициента преобразования, квантованного квантующей схемой 115, и выводит коэффициент преобразования на схему 120 обратного ортогонального преобразования.

Схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 119 обратного квантования, и выводит полученное изображение на фильтр 121 устранения блочности.

Фильтр 121 устранения блочности удаляет блоковый шум, который появляется в локально декодированном изображении, и выводит изображение, из которого удален блоковый шум, на кадровую память 122.

Кадровая память 122 сохраняет изображение, поданное из фильтра 121 устранения блочности. Изображение, сохраненное в кадровой памяти 122, при необходимости считывается схемой 123 определения режима.

Схема 123 определения режима определяет, должно ли быть выполнено внутрикадровое кодирование или межкадровое кодирование, на основе изображения, сохраненного в кадровой памяти 122, и исходного изображения, поданного с переупорядочивающего буфера 112. Кроме того, в случае, если определено, что должно быть выполнено межкадровое кодирование, схема 123 определения режима назначает любой режим из трех: режима однонаправленного предсказания, режима двунаправленного предсказания и режима фильтрационного предсказания. Схема 123 определения режима выводит данные, обозначающие результат определения, на схему 116 кодирования без потерь в качестве данных режима.

В случае, если определено, что должно быть выполнено межкадровое кодирование, схема 123 определения режима выводит кадры, которые сохранены в кадровой памяти 122 и получены посредством локального декодирования, на схему 125 предсказания-компенсации движения через переключатель 124.

Кроме того, в случае, если определено, что должно быть выполнено внутрикадровое кодирование, схема 123 определения режима выводит кадры, которые сохранены в кадровой памяти 122 и получены посредством локального декодирования, на схему 126 внутрикадрового предсказания.

Переключатель 124 соединяется с терминалом a11 в случае, если должно быть выполнено межкадровое кодирование, и с терминалом b11 в случае, если должно быть выполнено внутрикадровое кодирование. Переключением переключателя 124 управляет, например, управляющая схема 131.

Схема 125 предсказания-компенсации движения обнаруживает векторы движения на основе исходного изображения, поданного с переупорядочивающего буфера 112, и опорных кадров, считанных из кадровой памяти 122, и выводит обнаруженные векторы движения на схему 116 кодирования без потерь. Кроме того, схема 125 предсказания-компенсации движения генерирует предсказанное изображение путем выполнения компенсации движения с помощью обнаруженных векторов движения и опорных кадров и выводит генерированное предсказанное изображение на суммирующую схему 113 через переключатель 127.

Схема 126 внутрикадрового предсказания выполняет внутрикадровое предсказание на основе исходного изображения, поданного с переупорядочивающего буфера 112, и опорного кадра, локально декодированного и сохранного в кадровой памяти 122, и генерирует предсказанное изображение. Схема 126 внутрикадрового предсказания выводит генерированное предсказанное изображение на суммирующую схему 113 через переключатель 127 и выводит данные режима внутрикадрового предсказания на схему 116 кодирования без потерь.

Переключатель 127 соединяется с терминалом а12 или терминалом b12 и выводит предсказанное изображение, генерированное схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания, на суммирующую схему 113.

Управляющая схема 131 управляет всей работой кодирующего устройства 101 путем, например, переключения соединения переключателей 124 и 127 в соответствии с режимом, определенным схемой 123 определения режима.

Фиг.18 является блок-схемой, иллюстрирующей пример конфигурации схемы 123 определения режима по Фиг.17.

Как показано на Фиг.18, схема 123 определения режима состоит из схемы 141 внутрикадрового предсказания, схемы 142 межкадрового предсказания, схемы 143 вычисления погрешности предсказания и определяющей схемы 144. На схеме 123 определения режима внутрикадровое предсказание и межкадровое предсказание выполняются по отношению к блоку, отличающемуся по размеру, и на основе полученных результатов определяется, в каком режиме предсказания должно быть выполнено предсказание. Что касается межкадрового предсказания, обработка выполняется в каждом из режимов предсказания, т.е. в режиме однонаправленного предсказания, в режиме двунаправленного предсказания и в режиме фильтрационного предсказания. Исходное изображение, поданное с переупорядочивающего буфера 112, вводится в схему 141 внутрикадрового предсказания, схему 142 межкадрового предсказания и схему 143 вычисления погрешности предсказания.

Схема 141 внутрикадрового предсказания выполняет внутрикадровое предсказание в группах блоков, отличающихся друг от друга по размеру, на основе исходного изображения и изображения, считанного из кадровой памяти 122, и выводит генерированное изображение с внутрикадровым предсказанием на схему 143 вычисления погрешности предсказания. Схема 151-1 предсказания 4×4 выполняет внутрикадровое предсказание в группах блоков размером 4×4 пиксела, а схема 151-2 предсказания 8×8 выполняет внутрикадровое предсказание в группах блоков размером 8×8 пикселов. Схема 151-3 предсказания 16×16 выполняет внутрикадровое предсказание в группах блоков размером 16×16 пикселов. Каждая схема в схеме 141 внутрикадрового предсказания также подает генерированное изображение с внутрикадровым предсказанием на фильтрующую схему 164.

Схема 161 предсказания в схеме 142 межкадрового предсказания обнаруживает векторы движения в группах блоков, отличающихся друг от друга по размеру, на основе исходного изображения и опорных кадров, считанных из кадровой памяти 122. Кроме того, схема 161 предсказания выполняет компенсацию движения на основе обнаруженных векторов движения и выводит изображения компенсации движения, используемые для генерирования предсказанного изображения.

Схема 161-1 предсказания 16×16 выполняет обработку изображения в каждом блоке размером 16×16 пикселов, а схема 161-2 предсказания 16×8 выполняет обработку изображения в каждом блоке размером 16×8 пикселов. Кроме того, схема 161-(N-1) предсказания 4×4 выполняет обработку изображения в каждом блоке размером 4×4 пиксела. Схема 161-n скачкообразного прямого предсказания обнаруживает векторы движения в режиме скачкообразного предсказания или в режиме прямого предсказания и выполняет компенсацию движения с помощью обнаруженных векторов движения.

Изображения компенсации движения, извлеченные из множества опорных кадров, расположенных в любом направлении относительно текущего кадра, подаются с соответствующих схем в схеме 161 предсказания на схему 162 однонаправленного предсказания. Кроме того, изображения компенсации движения, извлеченные из множества опорных кадров, расположенных в обоих направлениях относительно текущего кадра, подаются из соответствующих схем в схеме 161 предсказания на схему 163 двунаправленного предсказания.

В случае, если фильтрационное предсказание должно быть выполнено, как описано выше, с помощью изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в любом направлении, изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в любом направлении, подаются из соответствующих схем в схеме 161 предсказания на схему 164 фильтрационного предсказания. В случае, если фильтрационное предсказание должно быть выполнено с помощью изображений компенсации движения, извлеченных из множества опорных кадров, упорядоченных в обоих направлениях, изображения компенсации движения, извлеченные из множества опорных кадров, упорядоченных в обоих направлениях, подаются из соответствующих схем в схеме 161 предсказания на схему 164 фильтрационного предсказания.

Схема 162 однонаправленного предсказания генерирует предсказанное изображение путем выполнения однонаправленного предсказания с помощью изображений компенсации движения, отличающихся друг от друга по размеру, которые подаются из соответствующих схем в схеме 161 предсказания, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Например, схема 162 однонаправленного предсказания генерирует предсказанное изображение, используя пиксельное значение в одном изображении из множества изображений компенсации движения размером 16×16 пикселов, которые подаются из схемы 161-1 предсказания, в качестве пиксельных значений предсказанного изображения.

Схема 163 двунаправленного предсказания генерирует предсказанное изображение путем выполнения двунаправленного предсказания с помощью изображений компенсации движения, отличающихся друг от друга по размеру, которые подаются из соответствующих схем в схеме 161 предсказания, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Например, схема 163 двунаправленного предсказания генерирует предсказанное изображение, используя среднее значение пиксельных значений во множестве изображений компенсации движения размером 16×16 пикселов, которые подаются из схемы 161-1 предсказания, в качестве пиксельного значения предсказанного изображения.

Схема 164 фильтрационного предсказания генерирует предсказанное изображение путем выполнения фильтрационного предсказания с помощью изображений компенсации движения, отличающихся друг от друга по размеру, которые подаются из соответствующих схем в схеме 161 предсказания, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Например, схема 163 двунаправленного предсказания генерирует предсказанное изображение, используя среднее значение пиксельных значений во множестве изображений компенсации движения размером 16×16 пикселов, которые подаются из схемы 161-1 предсказания, в качестве пиксельного значения предсказанного изображения.

Схема 164 фильтрационного предсказания генерирует предсказанное изображение путем выполнения фильтрационного предсказания с помощью изображений компенсации движения различных размеров, которые подаются из соответствующих схем в схеме 161 предсказания, и внутренне предсказанных изображений различных размеров, которые подаются из соответствующих схем в схеме 141 внутрикадрового предсказания, и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Схема 164 фильтрационного предсказания имеет такую же конфигурацию, как та, что показана на Фиг.12, чтобы соответствовать фильтрующей схеме 45 декодирующего устройства 1.

Например, в случае генерирования предсказанного изображения на основе изображения компенсации движения размером 16×16 пикселов, которое подано из схемы 161-1 предсказания, и на основе 16×16 пикселов, которые поданы из схемы 151-3 предсказания, фильтрующая схема 164 определяет разность между изображением с внутрикадровым предсказанием и изображением компенсации движения и применяет фильтр нижних частот к определенному разностному изображению. Кроме того, фильтрующая схема 164 применяет фильтр верхних частот к выходным данным фильтра нижних частот и суммирует изображение, полученное настройкой усиления выходных данных фильтра верхних частот, и изображение, полученное настройкой усиления выходных данных фильтра нижних частот. Фильтрующая схема 164 генерирует предсказанное изображение путем суммирования изображения, полученного в результате суммирования, представляющего собой высокочастотные компоненты, с изображением с внутрикадровым предсказанием и выводит генерированное предсказанное изображение на схему 143 вычисления погрешности предсказания. Схема 143 вычисления погрешности предсказания определяет разность между каждым из предсказанных изображений, поданных из соответствующих схем в схеме 141 внутрикадрового предсказания, и исходным изображением, и выводит остаточные сигналы, представляющие собой определенную разность, на определяющую схему 144. Кроме того, схема 143 вычисления погрешности предсказания определяет разность между каждым из предсказанных изображений, поданных из схемы 162 однонаправленного предсказания, схемы 163 двунаправленного предсказания и фильтрующей схемы 164 в схеме 142 межкадрового предсказания, и исходным изображением и выводит остаточные сигналы, представляющие собой определенную разность, на определяющую схему 144.

Определяющая схема 144 измеряет интенсивности остаточных сигналов, поданных из схемы 143 вычисления погрешности предсказания, и определяет способ предсказания, используемый для генерирования предсказанного изображения, имеющего малую разность с исходным изображением, в качестве способа предсказания для генерирования предсказанного изображения для использования при кодировании. Определяющая схема 144 выводит данные, представляющие собой результат определения, на схему 116 кодирования без потерь как данные режима. Данные режима также включают в себя данные, обозначающие размер блока для использования в качестве единицы обработки, и т.п.

Кроме того, в случае, если определено, что предсказанное изображение должно генерироваться посредством межкадрового предсказания (в случае, если определено, что должно быть выполнено межкадровое кодирование), определяющая схема 144 выводит опорные кадры, считанные из кадровой памяти 122, вместе с данными режима на схему 125 предсказания-компенсации движения. В случае, если определено, что предсказанное изображение должно генерироваться с помощью внутрикадрового предсказания (определено, что должно быть выполнено внутрикадровое кодирование), определяющая схема 144 выводит изображение, используемое для внутрикадрового предсказания, которое считано из кадровой памяти 122, на схему 126 внутрикадрового предсказания вместе с данными режима.

Фиг.19 является блок-схемой, иллюстрирующей пример конфигурации схемы 125 предсказания-компенсации движения по Фиг.17.

Как показано на Фиг.19, схема 125 предсказания-компенсации движения состоит из схемы 181 обнаружения вектора движения, схемы 182 однонаправленного предсказания, схемы 183 двунаправленного предсказания, предсказывающей схемы 184 и фильтрующей схемы 185. Схема 125 предсказания-компенсации движения имеет конфигурацию, сходную с конфигурацией схемы 21 предсказания-компенсации движения, показанной на Фиг.8, за исключением того, что вместо схемы 41 определения режима предсказания имеется схема 181 обнаружения вектора движения.

Схема 181 обнаружения вектора движения обнаруживает векторы движения путем выполнения сопоставления блоков или т.п. на основе исходного изображения, поданного с переупорядочивающего буфера 112, и опорных кадров, поданных из схемы 123 определения режима. Схема 181 обнаружения вектора движения сверяется с данными режима, поданными из схемы 123 определения режима, и выводит векторы движения вместе с опорными кадрами на одну из трех схем: схему 182 однонаправленного предсказания, схему 183 двунаправленного предсказания или предсказывающую схему 184.

Схема 181 обнаружения вектора движения выводит векторы движения вместе с опорными кадрами на схему 182 однонаправленного предсказания в случае, если выбрано, что должно быть выполнено однонаправленное предсказание, и выводит эти фрагменты данных на схему 183 двунаправленного предсказания в случае, если выбрано, что должно быть выполнено двунаправленное предсказание. В случае, если выбрано, что должно быть выполнено фильтрационное предсказание, схема 181 обнаружения вектора движения выводит векторы движения вместе с опорными кадрами на предсказывающую схему 184.

Схема 182 однонаправленного предсказания генерирует предсказанное изображение, как и схема 42 однонаправленного предсказания по Фиг.8, путем выполнения однонаправленного предсказания. Схема 182 однонаправленного предсказания выводит генерированное предсказанное изображение на суммирующую схему 113.

Схема 183 двунаправленного предсказания генерирует предсказанное изображение, как и схема 43 двунаправленного предсказания по Фиг.8, путем выполнения двунаправленного предсказания. Схема 183 двунаправленного предсказания выводит генерированное предсказанное изображение на суммирующую схему 113.

Как и предсказывающая схема 44 по Фиг.8, предсказывающая схема 184 извлекает изображение компенсации движения из каждого из множества опорных кадров, такого как два опорных кадра, и выводит множество извлеченных изображений компенсации движения на фильтрующую схему 185.

Как и фильтрующая схема 45 по Фиг.8, фильтрующая схема 185 генерирует предсказанное изображение путем выполнения фильтрационного предсказания. Фильтрующая схема 185 выводит генерированное предсказанное изображение на суммирующую схему 113. Отметим, что фильтрующая схема 185 имеет конфигурацию, сходную с конфигурацией фильтрующей схемы 45, показанной на Фиг.12. Далее конфигурация фильтрующей схемы 185 будет при возможности пояснена путем ссылки на конфигурацию фильтрующей схемы 45, показанной на Фиг.12.

Предсказанное изображение, генерированное посредством фильтрационного предсказания, может являться изображением, включающим в себя больше высокочастотных компонентов, чем предсказанное изображение, генерированное посредством однонаправленного или двунаправленного предсказания и имеющее малую разность с исходным изображением. Следовательно, за остатком требуется закрепить лишь небольшой объем кода, таким образом возможно увеличить эффективность кодирования.

Далее, поскольку фильтрационное предсказание может быть выполнено с помощью по меньшей мере двух опорных кадров, такое увеличение эффективности кодирования становится достижимым без увеличения сложности обработки. Остатки от исходного изображения могут быть снижены, а эффективность кодирования увеличена также, например, путем увеличения числа опорных кадров для использования в межкадровом предсказании для генерирования предсказанного изображения высокой точности и использования его. Однако в этом случае возрастает число используемых опорных кадров и возрастает сложность обработки.

Отметим, что при выборе способа предсказания оптимальный способ предсказания может быть выбран путем учета объема кода для данных, таких как векторы движения, необходимых для предсказания, и режима кодирования, и путем добавления веса, соответствующего объему кода, к интенсивности остаточного сигнала. Это позволяет далее улучшить эффективность кодирования. Кроме того, для упрощенной обработки предсказания способ предсказания может быть адаптивно выбран с помощью значений свойств введенного исходного изображения во временном и пространственном направлениях.

Описание алгоритма обработки кодирования

Далее будет описана обработка кодирующим устройством 101, имеющим описанную выше конфигурацию.

Обработка кодирования, выполненная кодирующим устройством 101, будет описана со ссылкой на блок-схему по Фиг.20. Эта обработка начинается, когда изображение некоторой единицы, такой как макроблок, выводится с переупорядочивающего буфера 112.

На этапе S101 суммирующая схема 113 определяет разность между изображением, поданным из переупорядочивающего буфера 112, и предсказанным изображением, генерированным схемой 125 предсказания-компенсации движения или схемой 126 внутрикадрового предсказания, и выводит остаток на схему 114 ортогонального преобразования.

На этапе S102 схема 114 ортогонального преобразования выполняет ортогональное преобразование остатка, поданного из суммирующей схемы 113, и выводит коэффициент преобразования на квантующую схему 115.

На этапе S103 квантующая схема 115 квантует коэффициент преобразования, поданный из схемы 114 ортогонального преобразования, и выводит квантованный коэффициент преобразования.

На этапе S104 схема 119 обратного квантования выполняет обратное квантование коэффициента преобразования, квантованного квантующей схемой 115, и выводит коэффициент преобразования на схему 120 обратного ортогонального преобразования.

На этапе S105 схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования, поданного из схемы 119 обратного квантования, и выводит полученное изображение на фильтр 121 устранения блочности.

На этапе S106 фильтр 121 устранения блочности удаляет блоковый шум путем выполнения фильтрации и выводит изображение, из которого удален блоковый шум, на кадровую память 122.

На этапе S107 кадровая память 122 сохраняет изображение, поданное из фильтра 121 устранения блочности.

На этапе S108 схема 123 определения режима выполняет обработку определения режима. При обработке определения режима определяется, в каком режиме предсказания должно генерироваться предсказанное изображение. Обработка определения режима будет описана ниже.

На этапе S109 управляющая схема 131 оценивает, должно ли быть выполнено внутрикадровое предсказание, на основе определения, сделанного схемой 123 определения режима.

В случае, если на этапе S109 установлено, что должно быть выполнено внутрикадровое предсказание, на этапе S110 схема 126 внутрикадрового предсказания выполняет внутрикадровое предсказание и выводит предсказанное изображение на суммирующую схему 113.

Напротив, в случае, если на этапе S109 установлено, что внутрикадровое предсказание не должно быть выполнено, то есть должно быть выполнено межкадровое предсказание, на этапе S111 схемой 125 предсказания-компенсации движения выполняется обработка предсказания-компенсации движения, и предсказанное изображение выводится на суммирующую схему 113. Обработка предсказания-компенсации движения будет описана ниже.

На этапе S112 схема 116 кодирования без потерь сжимает коэффициент преобразования, поданный с квантующей схемы 115, и выводит его в запоминающий буфер 117. Далее, схема 116 кодирования без потерь описывает идентификационную метку в заголовке изображения или описывает векторы движения, поданные из схемы 125 предсказания-компенсации движения, в заголовке изображения в соответствии с данными, поданными из схемы 123 определения режима.

На этапе S113 запоминающий буфер 117 временно сохраняет данные, поданные из схемы 116 кодирования без потерь.

На этапе S114 управляющая схема 131 оценивает, выполнена ли описанная выше обработка по отношению к макроблокам во всем кадре. В случае, если установлено, что обработка не была выполнена, внимание переносится на другой макроблок, и обработка повторяется с этапа S 111.

Напротив, в случае, если на этапе S114 установлено, что обработка была выполнена по отношению к макроблокам во всем кадре, на этапе S115 запоминающий буфер 117 выводит данные сжатого изображения в соответствии с управляющим воздействием управляющей схемы 131. Описанная выше обработка выполняется по отношению к каждому кадру.

Далее обработка определения режима, выполняемая на этапе S108 по Фиг.20, будет пояснена со ссылкой на блок-схему по Фиг.21.

На этапе S131 схема 141 внутрикадрового предсказания и схема 142 межкадрового предсказания выполняют внутрикадровое и межкадровое предсказание, соответственно, по отношению к блокам, отличающимся друг от друга по размеру, и генерируют предсказанные изображения. Генерированные предсказанные изображения подаются на схему 143 вычисления погрешности предсказания.

На этапе S132 схема 143 вычисления погрешности предсказания определяет разность между каждым из предсказанных изображений, поданных из соответствующих схем в схеме 141 внутрикадрового предсказания и из схемы 162 однонаправленного предсказания, схемы 163 двунаправленного предсказания и фильтрующей схемы, 164 схемы 142 межкадрового предсказания, и исходным изображением. Схема 143 вычисления погрешности предсказания выводит остаточные сигналы на определяющую схему 144.

На этапе S133 определяющая схема 144 определяет способ предсказания для генерирования предсказанного изображения, которое подлежит подаче на суммирующую схему 113, на основе интенсивностей остаточных сигналов, поданных из схемы 143 вычисления погрешности предсказания.

На этапе S134 определяющая схема 144 выводит данные режима, то есть данные, касающиеся определенного способа предсказания, на схему 116 кодирования без потерь. После этого обработка возвращается к этапу S108 по Фиг.18, и выполняется дальнейшая обработка.

Далее обработка предсказания-компенсации движения, выполняемая на этапе S111 по Фиг.20, будет описана со ссылкой на блок-схему по Фиг.22.

На этапе S151 схема 181 обнаружения вектора движения обнаруживает векторы движения на основе исходного изображения и опорного кадра.

На этапе S152 схема 181 обнаружения вектора движения оценивает, определила ли схема 123 определения режима, что обработка должна выполняться в режиме фильтрационного предсказания.

В случае, если установлено, что определено выполнение обработки в режиме фильтрационного предсказания, обработка переходит к этапу S153. Обработка на этапах S153 и S154 выполняется способом, аналогичным этапам S32 и S33 по Фиг.14. То есть на этапе S153 выполняется обработка извлечения способом, поясненным со ссылкой на блок-схему алгоритма по Фиг.15, а на этапе S154 выполняется обработка фильтрационного предсказания способом, поясненным со ссылкой на блок-схему алгоритма по Фиг.16.

Когда обработка на этапе S154 завершена, обработка предсказания-компенсации движения завершается. Затем обработка возвращается к этапу S111 по Фиг.20 и переходит к этапу S 112.

Кроме того, в случае, если на этапе S152 по Фиг.22 установлено, что выполнение обработки в режиме фильтрационного предсказания не было определено, обработка переходит к этапу S155. На этапе S155 схема 182 однонаправленного предсказания или схема 183 двунаправленного предсказания выполняет однонаправленное или двунаправленное предсказание и генерирует предсказанное изображение.

То есть в случае, если было определено выполнение обработки в режиме однонаправленного предсказания, векторы движения подаются из схемы 181 обнаружения вектора движения на схему 182 однонаправленного предсказания, и однонаправленное предсказание выполняется схемой 182 однонаправленного предсказания. Кроме того, в случае, если было определено выполнение обработки в режиме двунаправленного предсказания, векторы движения подаются из схемы 181 обнаружения вектора движения на схему 183 двунаправленного предсказания, и двунаправленное предсказание выполняется схемой 183 двунаправленного предсказания. Когда предсказанное изображение выведено на суммирующую схему 113 и обработка на этапе S155 по Фиг.22 завершена, обработка предсказания-компенсации движения завершается. Затем обработка возвращается к этапу S111 по Фиг.20 и переходит к этапу S112.

Как описано выше, кодирование выполняется с помощью предсказанного изображения, генерированного посредством фильтрационного предсказания, за счет чего возможно увеличение эффективности кодирования. В частности, кодирующее устройство 101 может улучшить эффективность кодирования путем компенсации обеспечения недостатка в точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания. Вместе с тем, число опорных кадров, необходимое для межкадрового предсказания, может быть снижено, и, следовательно, может быть достигнуто снижение затрат на обработку.

Третий вариант осуществления

Модификации фильтрующей схемы

В приведенном выше описании принимается, что фильтрующие схемы 45 и 185 имеют конфигурацию, показанную на Фиг.12. Однако эта конфигурация при необходимости может быть изменена.

Фиг.23 является блок-схемой, иллюстрирующей другой пример конфигурации фильтрующей схемы 45. Элементы конфигурации, соответствующие элементам конфигурации, показанным на Фиг.12, обозначены теми же ссылочными позициями. Избыточное пояснение будет по возможности опущено.

Схема 61 вычисления разности по Фиг.23 вычисляет разность между изображением с внутрикадровым предсказанием и изображением компенсации движения и выводит разностное изображение на схему 62 фильтра нижних частот.

Схема 62 фильтра нижних частот применяет фильтр нижних частот к разностному изображению, поданному из схемы 61 вычисления разности, и выводит полученное изображение на суммирующую схему 67.

Суммирующая схема 67 суммирует изображение, поданное из схемы 62 фильтра нижних частот, с изображением с внутрикадровым предсказанием и выводит полученное изображение в качестве предсказанного изображения.

С помощью конфигурации, показанной на Фиг.23, объем обработки может быть снижен по сравнению с таковым в случае, когда используется конфигурация по Фиг.12, и становится осуществимым высокоскоростное действие.

Фиг.24 является блок-схемой, иллюстрирующей еще один пример конфигурации фильтрующей схемы 45. Элементы конфигурации, соответствующие элементам конфигурации, показанным на Фиг.12, обозначены теми же ссылочными позициями. Избыточное пояснение будет по возможности опущено.

В фильтрующей схеме 45 по Фиг.24 фильтрация выполняется не по отношению к сигналам временной области, а по отношению к сигналам частотной области. Обе фильтрующие схемы 45, показанные на Фиг.12 и 23, сконфигурированы так, чтобы выполнять фильтрацию по отношению к сигналам во временной области.

Схема 61 вычисления разности по Фиг.24 вычисляет разность между изображением с внутрикадровым предсказанием и изображением компенсации движения и выводит разностное изображение на схему 201 ортогонального преобразования,

Схема 201 ортогонального преобразования выполняет ортогональное преобразование, представляющее собой дискретное косинусное преобразование (DCT) (ДКП), преобразование Адамара или преобразование Карунена-Лоэва (ПКЛ), разностного изображения и выводит сигнал, полученный после ортогонального преобразования, на схему 202 полосового фильтра. Выполнение ортогонального преобразования и выполнение фильтрации по отношению к сигналам в частотной области позволяют более гибко осуществить операцию фильтрации высокой точности, чем в случае, если фильтрация выполняется по отношению к сигналам во временной области.

В случае, если в качестве ортогонального преобразования используется ДКП, выходные данные DF, полученные после ортогонального преобразования, представлены нижеследующим уравнением (10). В уравнении (10) DCT (X) обозначает выполнение обработки двумерного ДКП сигнала X.

$$DF=DCT\left(D\right)\dots \left(10\right)$$

Схема 202 полосового фильтра выполняет фильтрацию выходных данных из схемы 201 ортогонального преобразования и выводит сигнал в некотором диапазоне.

Схема 203 настройки усиления настраивает усиление выходных данных схемы 202 полосового фильтра путем умножения их на α, а также выполняет настройку частотного компонента. Выходные данные XF схемы 203 настройки усиления представлены нижеследующим уравнением (11). В уравнении (11) BPF(X) обозначает выполнение обработки полосовой фильтрации сигнала X.

$$XF=\alpha *BPF\left(DF\right)\dots \left(11\right)$$

Схема 204 обратного ортогонального преобразования выполняет обратное ортогональное преобразование способом, соответствующим ортогональному преобразованию, выполненному схемой 201 ортогонального преобразования, и преобразует сигнал частотной области, поданный из схемы 203 настройки усиления, в сигнал временной области. Например, в случае, если схема 201 ортогонального преобразования использует ДКП в качестве ортогонального преобразования, схема 204 обратного ортогонального преобразования выполняет обратное дискретное косинусное преобразование (IDCT) (ОДКП). Выходные данные Х схемы 204 обратного ортогонального преобразования представлены нижеследующим уравнением (12). В уравнении (12) IDCT(X) выполнение двумерной обработки ОДКП сигнала X.

$$X=IDCT\left(XF\right)\dots \left(12\right)$$

Суммирующая схема 67 суммирует сигнал X, поданный из схемы 204 обратного ортогонального преобразования, с изображением с внутрикадровым предсказанием во временной области и выводит полученное изображение в качестве предсказанного изображения. Предсказанное изображение S(i,j), то есть окончательные выходные данные суммирующей схемы 67, выражено нижеследующим уравнением (13).

$$S\left(i,j\right)=M{C}_0\left(i,j\right)+X\left(i,j\right)\dots \left(13\right)$$

Таким образом, даже если фильтрация выполняется по отношению к сигналу частотной области, может генерироваться предсказанное изображение высокой точности.

Кроме того, в приведенном выше описании принимается, что фильтрационное предсказание выполняется с помощью двух опорных кадров. Однако в качестве опорных кадров может быть использовано большее число кадров.

Фиг.25 является схемой, иллюстрирующей пример в случае, если используются три опорных кадра.

В примере по Фиг.25 в качестве опорных кадров заданы кадр, предшествующий по времени предсказанному кадру, далее предшествующий кадр и кадр, предшествующий ему, т.е. три кадра. Предшествующий кадр, ближайший к предсказанному кадру, задан в качестве опорного кадра R₀, кадр, предшествующий опорному кадру R₀, задан в качестве опорного кадра R₁, а кадр, предшествующий опорному кадру R₁, задан в качестве опорного кадра R₂.

Фиг.26 является блок-схемой, иллюстрирующей пример конфигурации фильтрующей схемы в случае, если используются три опорных кадра.

Как показано на Фиг.26, фильтрующая схема 211 состоит из фильтрующей схемы 221 и фильтрующей схемы 222. Обе фильтрующие схемы 221 и 222 имеют конфигурацию, показанную на Фиг.12, 23 или 24. То есть фильтрующая схема 211 выполнена так, чтобы работать в качестве схемы с тремя вводами и одним выводом путем расположения каскадом фильтрующей схемы 45, которая используется для двух вводов и одного вывода.

Здесь при пояснении будет допущено, что изображение компенсации движения, извлеченное из опорного кадра R₀, задано в качестве изображения МС₀ компенсации движения, изображение компенсации движения, извлеченное из опорного кадра R₁ - в качестве изображения MC₁ компенсации движения, а изображение с внутрикадровым предсказанием получается в текущем кадре. Изображение IP с внутрикадровым предсказанием и изображение МС₀ компенсации движения вводятся в фильтрующую схему 221, а изображение MC₁ компенсации движения вводится в фильтрующую схему 222.

Фильтрующая схема 221 выполняет фильтрацию изображения IP с внутрикадровым предсказанием и изображения МС₀ компенсации движения способом, поясненным со ссылкой на Фиг.12, и выводит промежуточные выходные данные X, то есть результат фильтрации, на фильтрующую схему 222.

Фильтрующая схема 221 выполняет фильтрацию промежуточных выходных данных X и изображения MC₁ компенсации движения способом, поясненным со ссылкой на Фиг.12, и выводит результат фильтрации в качестве предсказанного изображения.

Фильтрующая схема 211, которая поддерживает три таких кадра, может также предусматриваться в декодирующем устройстве 1 по Фиг.5 или в кодирующем устройстве 101 по Фиг.17 вместо фильтрующей схемы 45.

Отметим, что фильтрующие схемы 221 и 222 не обязательно имеют одинаковую конфигурацию и могут иметь разные конфигурации, так что одна из них имеет конфигурацию, показанную на Фиг.12, а другая имеет конфигурацию, показанную на Фиг.23. Кроме того, параметры, используемые для фильтров, также могут отличаться друг от друга с учетом характеристик ввода-вывода, полученных до и после фильтрации.

Фильтрующая схема 211 может выполнить фильтрацию изображений компенсации движения, извлеченных из трех опорных кадров, расположенных в направлениях назад и вперед, а не изображений компенсации движения, извлеченных из опорных кадров, расположенных в одном временном направлении.

Отметим, что в случае, если в качестве опорных кадров используются предшествующий и следующий по времени за предсказанным кадром кадры, включая случай, поясненный со ссылкой на Фиг.12, такой параметр, как коэффициент отвода, во время фильтрации может быть динамически изменен в соответствии с временными направлениями опорных кадров или расстояниями между ними.

Данные сжатого изображения передаются с кодирующего устройства 101 на декодирующее устройство 1 через различные носители, включая носители записи, такие как оптический диск, магнитный диск и флэш-память, спутниковое вещание, кабельное ТВ, Интернет и мобильную телефонную сеть.

Описанная выше последовательность обработок может быть выполнена с помощью аппаратного обеспечения и программного обеспечения. В случае, если эта последовательность обработок выполняется с помощью программного обеспечения, программа, составляющая программное обеспечение, устанавливается с носителя записи программы в компьютер, встроенный в специализированное аппаратное обеспечение, или на персональный компьютер общего назначения или т.п., который способен выполнять различные функции при установке в него различных программ.

Фиг.27 является блок-схемой, иллюстрирующей пример конфигурации аппаратного обеспечения компьютера 300, который выполняет описанную выше последовательность обработок в соответствии с программой.

ЦП (центральный процессор) 301, ПЗУ (постоянно запоминающее устройство) 302 и ОЗУ (оперативное запоминающее устройство) 303 соединены между собой через шину 304.

Интерфейс 310 ввода-вывода далее соединен с шиной 304. Блок 311 ввода, включающий в себя клавиатуру, мышь, микрофон и т.д., блок 312 вывода, включающий в себя дисплей, громкоговоритель и т.д., блок 313 памяти, образованный жестким диском, энергонезависимой памятью и т.д., блок 314 связи, образованный сетевым интерфейсом и т.д., и привод 315, который управляет съемным носителем 321, таким как оптический диск или полупроводниковая память, соединены с интерфейсом 310 ввода-вывода.

В компьютере 300, имеющем приведенную выше конфигурацию, ЦП 301 загружает программу, сохраненную, например, в блоке 313 памяти, на ОЗУ 303 через интерфейс 310 ввода-вывода и шину 304 и выполняет программу, тем самым выполняя описанную выше последовательность обработок.

Программа, выполняемая ЦП 301, предусматривается записанной, например, на съемный носитель 321 или переданной через проводную или беспроводную передающую среду, такую как локальная сеть, Интернет или цифровое вещание, и устанавливается на блок 313 памяти.

Отметим, что программа, выполняемая компьютером, может быть программой, в которой обработки выполняются во временной последовательности в соответствии с порядком, описанным в этом описании, или может быть программой, в которой обработки выполняются параллельно или в необходимый момент, такой как момент звонка.

Кроме того, как использовано здесь, этапы, описывающие программу, записанную на носитель записи, конечно, включают в себя обработки, выполняемые во временной последовательности в соответствии с описанным порядком, а также включают в себя обработки, которые выполняются не обязательно во временной последовательности, а параллельно или обособленно.

Далее, как использовано здесь, термин «система» относится к целому устройству, состоящему из множества устройств.

Далее, конфигурация, поясненная выше как одиночное устройство (или блок обработки данных), может быть разделена на множество устройств (или блоков обработки данных). Напротив, конфигурация, поясненная выше как множество устройств (или блоков обработки данных) может быть объединена в единственное устройство (или блок обработки данных). Кроме того, конечно, к конфигурации каждого устройства (или каждого блока обработки данных), может быть добавлена конфигурация, отличная от описанной выше. Вместе с тем, часть конфигурации некоторого устройства (или блока обработки данных) может быть включена в конфигурацию другого устройства (или другого блока обработки данных), если конфигурация или работа всей системы по сути одно и то же. То есть варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления, и возможны различные изменения, не отходящие от сущности настоящего изобретения.

Например, описанные выше декодирующее устройство 1 и кодирующее устройство 101 могут быть применены к любому электронному устройству. Далее будут пояснены примеры этого.

Фиг.28 является блок-схемой, иллюстрирующей пример конфигурации основной части телевизионного приемника, который использует декодирующее устройство 1, к которому применено настоящее изобретение.

Телевизионный приемник 1000, показанный на Фиг.28, включает в себя эфирный тюнер 1013, видеодекодер 1015, схему 1018 обработки видеосигнала, схему 1019 генерирования графики, схему 1020 управления табло и отображающее табло 1021.

Эфирный тюнер 1013 принимает волновой вещательный сигнал аналогового эфирного вещания через антенну, демодулирует его, получает видеосигнал и подает его на видеодекодер 1015. Видеодекодер 1015 выполняет обработку декодирования видеосигнала, поданного с эфирного тюнера 1013, и подает полученный цифровой составной сигнал на схему 1018 обработки видеосигнала.

Схема 1018 обработки видеосигнала выполняет определенную обработку, такую как устранение шумов, по отношению к видеоданным, поданным с видеодекодера 1015, и подает полученные видеоданные на схему 1019 генерирования графики.

Схема 1019 генерирования графики генерирует видеоданные программы, подлежащей отображению на отображающем табло 1021, данные изображения, полученные посредством обработки на основе прикладной программы, поданной по сети, и т.п.и подает генерированные видеоданные или данные изображения на схему 1020 управления табло. Кроме того, схема 1019 генерирования графики также выполняет при необходимости такие обработки, как генерирование видеоданных (графики) для отображения экрана, используемого пользователем для выбора пункта меню или т.п., наложение его на видеоданные программы для получения видеоданных и подача полученных видеоданных на схему 1020 управления табло.

Схема 1020 управления табло управляет отображающим табло 1021 на основе данных, поданных из схемы 1019 генерирования графики, и заставляет отображающее табло 1021 отображать видеопрограммы и описанные выше различные типы экранов.

Отображающее табло 1021 образовано жидкокристаллическим дисплеем (ЖКД) или т.п. и отображает видеопрограммы или т.п. в соответствии с управляющим воздействием схемы 1020 управления табло.

Кроме того, телевизионный приемник 1000 также включает в себя схему 1014 аналого-цифрового преобразователя аудиосигнала, схему 1022 обработки аудиосигнала, схему 1023 компенсации эхо-сигналов/аудио синтеза, схему 1024 аудиоусилителя и громкоговоритель 1025.

Эфирный тюнер 1013 демодулирует принятый волновой вещательный сигнал для получения как видеосигнала, так и аудиосигнала. Эфирный тюнер 1013 подает полученный аудиосигнал на схему 1014 аналого-цифрового преобразователя аудиосигнала.

Схема 1014 аналого-цифрового преобразователя аудиосигнала выполняет обработку аналого-цифрового преобразования аудиосигнала, поданного с эфирного тюнера 1013, и подает полученный цифровой аудиосигнал на схему 1022 обработки аудиосигнала.

Схема 1022 обработки аудиосигнала выполняет определенную обработку, такую как устранение шумов, по отношению к аудиоданным, поданным из схемы 1014 аналого-цифрового преобразователя аудио, и подает полученные аудиоданные на схему 1023 компенсации эхо-сигналов/аудиосинтеза.

Схема 1023 компенсации эхо-сигналов/аудиосинтеза подает аудиоданные, поданные из схемы 1022 обработки аудиосигнала, на схему 1024 аудиоусилителя.

Схема 1024 аудиоусилителя выполняет обработку цифроаналогового преобразования и операцию усиления аудиоданных, поданных из схемы 1023 компенсации эхо-сигналов/аудио синтеза, и регулирует их по уровню громкости перед выводом аудио с громкоговорителя 1025.

Далее телевизионный приемник 1000 также включает в себя цифровой тюнер 1016 и MPEG-декодер 1017.

Цифровой тюнер 1016 принимает волновой вещательный сигнал цифрового вещания (эфирного цифрового вещания, цифрового вещания с ВС (вещательного спутника) или СС (спутника связи)) через антенну, демодулирует его, получает транспортный поток (ТП) MPEG и подает его на MPEG-декодер 1017.

MPEG-декодер 1017 удаляет скремблирование ТП MPEG, поданного с цифрового тюнера 1016, и извлекает поток, включающий в себя данные программы, подлежащей воспроизведению (просмотру и прослушиванию). MPEG-декодер 1017 декодирует аудио пакеты, образующие извлеченный поток, и подает полученные аудиоданные на схему 1022 обработки аудиосигнала. MPEG-декодер 1017 также декодирует видеопакеты, образующие поток, и подает полученные видеоданные на схему 1018 обработки аудиосигнала. Далее, MPEG-декодер 1017 подает данные электронного телегида, извлеченные из ТП MPEG, на ЦП 1032 по тракту, который не показан на чертеже.

Телевизионный приемник 1000 использует описанное выше декодирующее устройство 1 в качестве MPEG-декодера 1017, который декодирует видеопакет описанным выше способом. Отметим, что ТП MPEG, переданный со станции вещания или т.п., кодирован с помощью кодирующего устройства 101.

Аналогично случаю с декодирующим устройством 1, MPEG-декодер 1017 получает изображение предсказания движения из кадра (N-1) с помощью вектора движения, а также получает изображение предсказания пространства из кадра N путем выполнения внутрикадрового предсказания с помощью декодированного пиксельного значения в кадре N. MPEG-декодер 1017 выполняет обработку фильтрации двух типов изображения для генерирования предсказанного изображения. Соответственно, MPEG-декодер 1017 может генерировать новое предсказанное изображение, более близкое к исходному изображению.

Видеоданные, поданные с MPEG-декодера 1017, аналогично случаю с видеоданными, поданными с видеодекодера 1015, подвергаются определенной обработке схемой 1018 обрабоки видеосигнала, и на них при необходимости схемой 1019 генерирования графики накладываются видеоданные или т.п. Полученные в результате видеоданные подаются на отображающее табло 1021 через схему 1020 управления табло, и относящееся к ним изображение отображается.

Аудиоданные, поданные с MPEG-декодера 1017, аналогично случаю с аудиоданными, поданными из схемы 1014 аналого-цифрового преобразования аудио, подвергаются определенной обработке схемой 1022 обработки аудиосигнала, подаются на схему 1024 аудиоусилителя через схему 1023 компенсации эхо-сигналов/аудиосинтеза и подвергаются обработки цифроаналогового преобразования или обработки усиления. Следовательно, аудио, отрегулированное по громкости до некоторого уровня, выводится с громкоговорителя 1025.

Кроме того, телевизионный приемник 1000 включает в себя микрофон 1026 и схему 1027 аналого-цифрового преобразования.

Схема 1027 аналого-цифрового преобразования принимает аудиосигнал от пользователя, уловленный микрофоном 1026, имеющимся в телевизионном приемнике 1000 для речевого общения, выполняет обработку аналого-цифрового преобразования принятого аудиосигнала и подает полученные цифровые аудиоданные на схему 1023 компенсации эхо-сигналов/аудиосинтеза.

В случае, если звуковой сигнал от пользователя (пользователя А) телевизионного приемника 1000 подан из схемы 1027 аналого-цифрового преобразования, схема 1023 компенсации эхо-сигналов/аудио синтеза выполняет компенсацию эхо-сигналов аудиоданных пользователя А и выводит данные аудиосигнала, полученные, например, путем объединения с другими аудиоданными, с громкоговорителя 1025 через схему 1024 аудиоусилителя.

Далее телевизионный приемник 1000 также включает в себя звуковой кодер-декодер 1028, внутреннюю шину 1029 и синхронное динамическое оперативное запоминающее устройство (СДОЗУ) 1030, флэш-память 1031, ЦП 1032, USB-интерфейс 1033 и сетевой интерфейс 1034.

Схема 1027 аналого-цифрового преобразования принимает аудиосигнал от пользователя, уловленный микрофоном 1026, имеющимся в телевизионном приемнике 1000 для использования при речевом общении, выполняет обработку аналого-цифрового преобразования принятого аудиосигнала и подает полученные цифровые аудиоданные на звуковой кодер-декодер 1028.

Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные из схемы 1027 аналого-цифрового преобразования, в данные определенного формата для передачи по сети и подает их на сетевой интерфейс 1034 через внутреннюю шину 1029.

Сетевой интерфейс 1034 соединен с сетью через кабель, подключенный к сетевому терминалу 1035. Сетевой интерфейс 1034 передает аудиоданные, поданные со звукового кодера-декодера 1028, например, на другое устройство, соединенное с сетью. Кроме того, сетевой интерфейс 1034 принимает, например, аудиоданные, переданные с другого устройства, подключенного по сети, через сетевой терминал 1035 и подает их на звуковой кодер-декодер 1028 через внутреннюю шину 1029.

Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные с сетевого интерфейса 1034, в данные определенного формата и подает их на схему 1023 компенсации эхо-сигналов/аудио синтеза.

Схема 1023 компенсации эхо-сигналов/аудио синтеза выполняет компенсацию эхо-сигналов аудиоданных, поданных со звукового кодера-декодера 1028, и выводит данные аудиосигнала, полученные, например, путем объединения с другими аудиоданными, из громкоговорителя 1025 через схему 1024 аудиоусилителя.

СДОЗУ 1030 сохраняет различные данные, необходимые ЦП 1032 для выполнения обработки.

Флэш-память 1031 сохраняет программу, выполняемую ЦП 1032. Программа, сохраненная во флэш-памяти 1031, считывается ЦП 1032 в определенный момент, например, при включении телевизионного приемника 1000. Флэш-память 1031 также сохраняет данные электронного телегида, полученные посредством цифрового вещания, и данные, полученные с определенного сервера по сети.

Например, флэш-память 1031 сохраняет ТП MPEG, включающий в себя данные контента, полученные с определенного сервера по сети, под управляющим воздействием ЦП 1032.

MPEG-декодер 1017 обрабатывает ТП MPEG способом, аналогичным способу в случае с ТП MPEG, поданным с цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 может принимать данные контента, состоящие из видео, аудио и т.п. по сети, декодировать данные контента с помощью MPEG-декодера 1017, отображать видеоданные контента и выводить звук.

Кроме того, телевизионный приемник также 1000 включает в себя блок 1037 приема светового сигнала, который принимает свет инфракрасного сигнала, передаваемого с пульта 1051 дистанционного управления.

Блок 1037 приема светового сигнала принимает инфракрасный свет с пульта 1051 дистанционного управления и выводит управляющий код, обозначающий содержание команды пользователя, полученной посредством демодуляции, на ЦП 1032.

ЦП 1032 выполняет программу, сохраненную во флэш-памяти 1031, и управляет всей работой телевизионного приемника 1000 в соответствии с управляющим кодом, поданным с блока 1037 приема светового сигнала, или т.п. ЦП 1032 соединен с каждым блоком телевизионного приемника 1000 трактом, не показанным на чертеже.

USB-интерфейс 1033 передает данные на внешнее устройство телевизионного приемника 1000, которое подключено через USB-кабель, подключенный к USB-терминалу 1036, и принимает данные с этого внешнего устройства. Сетевой интерфейс 1034 соединяется с сетью через кабель, подключенный к сетевому терминалу 1035, а также передает данные, отличные от аудиоданных, на различные устройства, соединенных с сетью, и принимает данные с этих устройств.

Используя декодирующее устройство 1 в качестве MPEG-декодера 1017, телевизионный приемник 1000 может генерировать предсказанное изображение путем суммирования изображения, представляющего собой высокочастотные компоненты, с изображением IP с внутрикадровым предсказанием во время декодирования видеопакетов, образующих поток.

Это предсказанное изображение включает в себя больше высокочастотных компонентов, чем предсказанное изображение, полученное в случае, если просто выполняется двунаправленное предсказание.

Кроме того, по сравнению со случаем, когда выполняется просто однонаправленное предсказание, предсказанное изображение может генерироваться путем более эффективного использования временной корреляции изображений.

Вместе с тем, поскольку предсказанное изображение, включающее в себя большое число высокочастотных компонентов, суммируется с декодированным изображением на суммирующей схеме 15, изображение, окончательно выводимое с MPEG-декодера 1017, также является изображением высокой четкости, включающим в себя большое число высокочастотных компонентов.

Кроме того, при генерировании предсказанного изображения внутрикадровое предсказание выполняется в текущем кадре, а генерированное изображение IP с внутрикадровым предсказанием используется вместе с изображением MC₁ компенсации движения. Таким образом, число векторов движения для генерирования изображения компенсации движения может быть снижено.

Таким образом, телевизионный приемник 100 может осуществить улучшение эффективности кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания во время декодирования видео пакетов, образующих поток. Вместе с тем, снижение затрат на обработку может также быть достигнуто путем снижения числа опорных кадров, необходимых для межкадрового предсказания.

Фиг.29 является блок-схемой, иллюстрирующей пример конфигурации основной части мобильного телефона, который использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Мобильный телефон 1100, показанный на Фиг.29, включает в себя основной управляющий блок 1150, выполненный так, чтобы полностью управлять отдельными блоками, блок 1151 схемы питания, блок 1152 управления вводом команд, кодер 1153 изображений, блок 1154 интерфейса фотокамеры, блок 1155 управления ЖКД, декодер 1156 изображений, мультиплексирующий-демультиплексирующий блок 1157, блок 1162 записи-воспроизведения, блок 1158 схемы модуляции-демодуляции и звуковой кодер-декодер 1159. Они соединены между собой через шину 1160.

Кроме того, мобильный телефон 1100 включает в себя панель 1119 клавиш, ПЗС-фотокамеру (прибор с зарядовой связью) 1116, жидкокристаллический дисплей 1118, запоминающий блок 1123, блок 1163 схемы передачи-приема, антенну 1114, микрофон 1121 и громкоговоритель 1117.

При завершении звонка и нажатии пользователем клавиши «вкл.» блок 1151 схемы питания подает электроэнергию с комплекта батарей на каждый блок, тем самым приводя мобильный телефон 1100 в рабочее состояние.

Мобильный телефон 1100 выполняет различные действия, такие как передача-прием аудиосигнала, передача-прием электронной почты или данных изображения, получение изображения или запись данных в различных режимах, таких как режим звукового звонка или режим цифровой связи, на основе управляющего воздействия основного управляющего блока 1150, состоящего из ЦП, ПЗУ, ОЗУ и т.д.

Например, в режиме звукового звонка мобильный телефон 1100 преобразует аудиосигнал, уловленный микрофоном 1121, в цифровые аудиоданные с помощью звукового кодера-декодера 1159, выполняет обработку расширения спектра цифровых аудиоданных с помощью блока 1158 схемы модуляции-демодуляции и выполняет обработку цифроаналогового преобразования и операцию частотного преобразования с помощью блока 1163 схемы передачи-приема. Мобильный телефон 1100 передает сигнал передачи, полученный посредством операций преобразования, на не показанную на чертеже базовую станцию через антенну 1114. Сигнал передачи (аудиосигнал), переданный на базовую станцию, подается на мобильный телефон собеседника через общедоступную сеть телефонных линий.

Кроме того, например, в режиме звукового звонка мобильный телефон 1100 усиливает сигнал приема, принятый антенной 1114, с помощью блока 1163 передачи-приема, далее выполняет обработку частотного преобразования и операцию аналого-цифрового преобразования, выполняет обработку, обратную расширению спектра, с помощью блока 1158 схемы модуляции-демодуляции и преобразует результирующий сигнал в аналоговый аудиосигнал с помощью звукового кодера-декодера 1159. Мобильный телефон 1100 выводит аналоговый аудиосигнал, полученный преобразованием, с громкоговорителя 1117.

Вместе с тем, например, в случае, если передается электронная почта в режиме цифровой связи, мобильный телефон 1100 принимает с помощью блока 1152 управления вводом команд текстовые данные электронной почты, введенные путем управления панелью 1119 клавиш. Мобильный телефон 1100 обрабатывает текстовые данные на основном управляющем блоке 1150 и заставляет отобразить результирующие данные в качестве изображения на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.

Кроме того, мобильный телефон 1100 генерирует с помощью основного управляющего блока 1150 данные электронной почты на основе текстовых данных, принятых блоком 1152 управления вводом команд, на основе команд пользователя или т.п. Мобильный телефон 1100 выполняет обработку расширения спектра данных электронной почты с помощью блока 1158 схемы модуляции-демодуляции и выполняет обработку цифроаналогового преобразования и операцию частотного преобразования с помощью блока 1163 схемы приема-передачи. Мобильный телефон 1100 передает сигнал передачи, полученный путем операций преобразования, на базовую станцию, которая не показана на чертеже, через антенну 1114. Сигнал передачи (электронная почта), переданный на базовую станцию, подается определенному адресату по сети и почтовый сервер или т.п.

Кроме того, например, в случае, когда электронная почта принимается в режиме цифровой связи, мобильный телефон 1100 с помощью блока 1163 схемы передачи-приема принимает сигнал, переданный с базовой станции, через антенну 1114, усиливает его и далее выполняет обработку частотного преобразования и операцию аналого-цифрового преобразования. Мобильный телефон 1100 выполняет обработку, обратную расширению спектра, принятого сигнала с помощью блока 1158 схемы модуляции-демодуляции для восстановления исходных данных электронной почты. Мобильный телефон 1100 отображает восстановленные данные электронной почты на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.

Отметим, что мобильный телефон 1100 также способен записывать (сохранять) принятые данные электронной почты в запоминающем блоке 1123 посредством блока 1162 записи-воспроизведения.

Запоминающий блок 1123 является любым перезаписываемым носителем записи. Запоминающий блок 1123 может, например, быть полупроводниковой памятью, такой как ОЗУ или встроенная флэш-память, жестким диском или съемным носителем, таким как магнитный диск, магнитооптический диск, оптический диск, USB-память или карта памяти. Конечно, может быть использован любой другой тип носителя.

Далее, например, в случае, когда данные изображения передаются в режиме цифровой связи, мобильный телефон 1100 с помощью ПЗС-фотокамеры 1116 генерирует данные изображения посредством фиксации изображения. ПЗС-фотокамера 1116 включает в себя оптические устройства, такие как линза и диафрагма, и ПЗС, служащий в качестве элемента фотоэлектрического преобразования, фиксирует изображение объекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения для изображения объекта. ПЗС-фотокамера 1116 кодирует данные изображения с помощью кодера 1153 изображений через блок 1154 интерфейса фотокамеры и преобразует данные изображения в кодированные данные изображения.

Мобильный телефон 1100 использует описанное выше кодирующее устройство 101 в качестве кодера 1153 изображений, который выполняет описанную выше операцию. Аналогично случаю с кодирующим устройством 101 кодер 1153 изображений получает изображение предсказания движения из кадра (N-1) с помощью векторов движения и дополнительно получает изображение предсказания пространства из кадра N посредством внутрикадрового предсказания, использующего декодированное пиксельное значение в кадре N. Кодер 1153 изображений выполняет обработку фильтрации двух типов изображений для генерирования предсказанного изображения. Соответственно, кодер 1153 изображений может генерировать новое предсказанное изображение, более близкое к исходному изображению. Следовательно, может потребоваться лишь малый объем кода, закрепленного за остатками, и тем самым становится возможным увеличение эффективности кодирования.

Отметим, что в это время мобильный телефон 1100 одновременно выполняет с помощью звукового кодера-декодера 1159 аналого-цифровое преобразование звука, уловленного микрофоном 1121 во время фиксации изображения с помощью ПЗС-фотокамеры 1116, и далее кодирует его.

Мобильный телефон 1100 мультиплексирует с помощью мультиплексирующего-демультиплексирующего блока 1157 кодированные данные изображения, поданные с кодера 1153 изображений, и цифровые аудиоданные, поданные со звукового кодера-декодера 1159, определенным способом. Мобильный телефон 1100 выполняет с помощью блока 1158 схемы модуляции-демодуляции операцию расширения спектра уплотненных данных, полученных в результате, и выполняет с помощью блока 1163 схемы передачи-приема операцию цифроаналогового преобразования и операцию частотного преобразования. Мобильный телефон 1100 передает сигнал передачи, полученный путем обработки преобразования, на базовую станцию, не показанную на чертеже, через антенну 1114. Сигнал передачи (данные изображения), переданный на базовую станцию, подается на противоположный конец линии связи по сети или т.п.

Отметим, что в случае, когда нет подлежащих передаче данных изображения, мобильный телефон 1100 может также отобразить данные изображения, генерированные с помощью ПЗС-фотокамеры 1116, на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД, не задействуя кодер 1153 изображений.

Кроме того, например, в случае, если данные файла динамического изображения, который соединен с упрощенной домашней страницей или т.п., должны быть приняты в режиме цифровой связи, мобильный телефон 1100 принимает с помощью блока 1163 схемы передачи-приема через антенну 1114 сигнал, переданный с базовой станции, усиливает его и далее выполняет обработку частотного преобразования и операцию аналого-цифрового преобразования. Мобильный телефон 1100 выполняет обработку обратного расширения спектра принятого сигнала с помощью блока 1158 схемы модуляции-демодуляции, чтобы восстановить исходные уплотненные данные.

Мобильный телефон 1100 демультиплексирует с помощью мультиплексирующего-демультиплексирующего блока 1157 уплотненные данные, разделяя их на кодированные данные изображения и аудиоданные.

Мобильный телефон 1100 декодирует кодированные данные изображения с помощью декодера 1156 изображений для генерирования воспроизводимых данных динамического изображения и отображает воспроизводимые данные динамического изображения на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД. Это позволяет, например, отобразить данные динамического изображения, включенные в файл динамического изображения, соединенный с упрощенной домашней страницей, на жидкокристаллическом дисплее 1118.

Мобильный телефон 1100 использует описанное выше декодирующее устройство 1 в качестве декодера 1156 изображений, который выполняет описанную выше обработку. То есть аналогично случаю с декодирующим устройством 1 декодер 1156 изображений получает изображение предсказания движения из кадра (N-1) с помощью векторов движения и дополнительно получает изображение предсказания пространства из кадра N посредством внутрикадрового предсказания с помощью декодированного пиксельного значения в кадре N. Декодер 1156 изображений выполняет обработку фильтрации двух типов изображения для генерирования предсказанного изображения. Соответственно, декодер 1156 изображений может генерировать новое предсказанное изображение, более близкое к исходному изображению.

В этот момент мобильный телефон 1100 одновременно преобразует цифровые аудиоданные в аналоговый аудиосигнал с помощью звукового кодера-декодера 1159 и выводит его из громкоговорителя 1117. Это позволяет, например, воспроизводить аудиоданные, включенные в файл динамического изображения, соединенный с упрощенной домашней страницей.

Отметим, что аналогично случаю с электронной почтой мобильный телефон 1100 может быть также способен записывать (сохранять) принятые данные, соединенные с упрощенной домашней страницей или т.п., на запоминающем блоке 1123 через блок 1162 записи-воспроизведения.

Кроме того, мобильный телефон 1100 может также с помощью основного управляющего блока 1150 анализировать двумерный код, полученный ПЗС-фотокамерой 1116 посредством фиксации изображений, и получать данные, записанные в двумерном коде.

Вместе с тем, мобильный телефон 1100 может связываться с внешним устройством посредством инфракрасных лучей с помощью блока 1181 инфракрасной связи.

Используя кодирующее устройство 101 в качестве кодера 1153 изображений, мобильный телефон 1100 может достичь улучшения эффективности кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания, например, кодируя данные изображения, генерированные ПЗС-фотокамерой 1116 и передавая кодированные данные изображения. Вместе с тем, поскольку число опорных кадров, необходимых для межкадрового предсказания, может быть снижено, мобильный телефон 1100 может осуществить снижение затрат на операцию.

Кроме того, используя декодирующее устройство 1 в качестве декодера 1156 изображений, мобильный телефон 1100 может быть выполнен так, чтобы генерировать предсказанное изображение путем суммирования изображения, представляющего собой высокочастотные компоненты, с изображением IP с внутрикадровым предсказанием во время декодирования, например, принимая данные файла динамического изображения (кодированные данные), соединенные с упрощенной домашней страницей.

Тем самым мобильный телефон 1100 может достичь улучшения эффективности кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания. Вместе с тем, снижение затрат на обработку может также быть осуществлено путем снижения числа опорных плоскостей, необходимых для межкадрового предсказания.

Отметим, что, хотя было пояснено, что мобильный телефон 1100 использует ПЗС-фотокамеру 1116, однако мобильный телефон 1100 может использовать вместо ПЗС-фотокамеры 1116 сенсор изображений (КМОП сенсор изображений), использующий комплементарный металлооксидный полупроводник. В этом случае аналогично случаю с использованием ПЗС-фотокамеры 1116 мобильный телефон 1100 также может фиксировать изображение объекта и генерировать данные изображения для изображения объекта.

Кроме того, хотя приведенное выше описание относится к мобильному телефону 1100, декодирующее устройство 1 и кодирующее устройство 101 аналогично случаю с мобильным телефоном 1100 могут быть применены к любому устройству, имеющему функции фиксации изображений или связи, сходные с таковыми мобильного телефонного аппарата 1100, например, такому как PDA (персональный электронный помощник), смартфон, УМПК (ультрамобильный персональный компьютер), нетбук или персональный ноутбук.

Фиг.30 является блок-схемой, иллюстрирующей пример конфигурации основной части устройства записи на жесткий диск, которое использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Устройство 1200 записи на жесткий диск (устройство записи на ЖД), показанное на Фиг.30, является устройством, которое сохраняет на встроенном в него жестком диске аудио- и видеоданные программы вещания, включенной в волновой вещательный сигнал (телевизионный сигнал), передаваемый со спутника, эфирной антенны или т.п., который принимается тюнером, и которое предоставляет сохраненные данные пользователю в момент, соответствующий команде пользователя.

Устройство 1200 записи на жесткий диск может извлекать, например, аудио- и видеоданные из волнового вещательного сигнала, декодировать их соответствующим образом и сохранять на встроенный жесткий диск. Кроме того, устройство 1200 записи на жесткий диск может также получать аудио- и видеоданные с другого устройства, например, по сети, декодировать их соответствующим образом и сохранять на встроенный жесткий диск.

Далее устройство 1200 записи на жесткий диск может декодировать аудио- и видеоданные, записанные, например, на встроенный жесткий диск, подавать их на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с громкоговорителя монитора 1260. Кроме того, устройство 1200 записи на жесткий диск может также декодировать, например, аудио- и видеоданные, извлеченные из сигнала волнового вещания, полученного через тюнер, или аудио- и видеоданные, полученные с другого устройства по сети, подавать их на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с громкоговорителя монитора 1260.

Конечно, также возможны и другие действия.

Как показано на Фиг.30, устройство 1200 записи на жесткий диск включает в себя принимающий блок 1221, демодулирующий блок 1222, демультиплексор 1223, аудиодекодер 1224, видеодекодер 1225 и блок 1226 управления устройством записи. Устройство 1200 записи на жесткий диск далее включает в себя память 1227 данных электронного телегида, программную память 1228, рабочую память 1229, преобразователь 1230 дисплея, блок 1231 управления отображением дополнительной информации (ОДИ), блок 1232 управления дисплеем, блок 1233 записи-воспроизведения, цифроаналоговый преобразователь 1234 и блок 1235 связи.

Кроме того, преобразователь 1230 дисплея включает в себя видеокодер 1241. Блок 1233 записи-воспроизведения включает в себя кодер 1251 и декодер 1252.

Принимающий блок 1221 принимает инфракрасный сигнал с пульта дистанционного управления (не показан), преобразует его в электрический сигнал и выводит его на блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством состоит, например, из микропроцессора или т.п.и выполняет различные обработки в соответствии с программой, сохраненной в программной памяти 1228. При этом блок 1226 управления записывающим устройством при необходимости использует рабочую память 1229.

Блок 1235 связи подключен к сети и выполняет обработку соединения с другим устройством по сети. Например, блок 1235 связи, управляется блоком 1226 управления записывающим устройством для соединения с тюнером (не показан) и выведения преимущественно сигнала управления выбором канала на тюнер.

Демодулирующий блок 1222 демодулирует сигнал, поданный с тюнера, и выводит на демультиплексор 1233. Демультиплексор 1233 демультиплексирует данные, поданные с демодулирующего блока 1222, на аудиоданные, видеоданные и данные электронного телегида и выводит их на аудиодекодер 1224, видеодекодер 1225 и блок 1226 управления записывающим устройством соответственно.

Аудиодекодер 1224 декодирует введенные аудиоданные и выводит декодированные аудиоданные на блок 1233 записи-воспроизведения. Видеодекодер 1225 декодирует введенные видеоданные и выводит декодированные видеоданные на преобразователь 1230 дисплея. Блок 1226 управления записывающим устройством подает введенные данные электронного телегида в память 1227 данных ЭТГ для сохранения данных ЭТГ.

Преобразователь 1230 дисплея с помощью видеодекодера 1241 кодирует видеоданные, поданные с видеодекодера 1225 или блока 1226 управления записывающим устройством, например, в видеоданные системы НКТС (Национального комитета по телевизионным стандартам), и выводит их на блок 1233 записи-воспроизведения. Кроме того, преобразователь 1230 дисплея преобразует размер экрана видеоданных, поданных с видеодекодера 1225 или блока 1226 управления записывающим устройством, в размер монитора 1260, преобразует видеоданные в видеоданные системы НКТС с помощью видеокодера 1241, преобразует их в аналоговый сигнал и выводит их на блок 1232 управления дисплеем.

Блок 1232 управления дисплеем под управлением блока 1226 управления записывающим устройством накладывает сигнал ОДИ, выведенный с блока 1231 управления ОДИ (отображением дополнительной информации), на видеосигнал, введенный с преобразователя 1230 дисплея, и выводит его на дисплей монитора 1260 для отображения.

Аудиоданные, выведенные с аудиодекодера 1224 и преобразованные в аналоговый сигнал цифроаналоговым преобразователем 1234, также подаются на монитор 1260. Монитор 1260 выводит аудиосигнал со встроенного в него громкоговорителя.

Блок 1233 записи-воспроизведения включает в себя жесткий диск в качестве носителя записи, на котором записаны видеоданные, аудиоданные и т.п.

Блок 1233 записи-воспроизведения с помощью кодера 1251 кодирует, например, аудиоданные, поданные с аудиодекодера 1224. Кроме того, блок 1233 записи-воспроизведения с помощью кодера 1251 кодирует видеоданные, поданные с видеодекодера 1241 преобразователя 1230 дисплея. Блок 1233 записи-воспроизведения с помощью мультиплексора совмещает кодированные данные аудиоданных и кодированные данные видеоданных. Блок 1233 записи-воспроизведения выполняет канальное кодирование полученных в результате комбинированных данных, усиливает их и записывает данные на жесткий диск с помощью записывающей головки.

Блок 1233 записи-воспроизведения воспроизводит данные, записанные на жесткий диск, с помощью воспроизводящей головки, усиливает их и разделяет их на аудио- и видеоданные с помощью демультиплексора. Блок 1233 записи-воспроизведения декодирует аудио- и видеоданные с помощью декодера 1252. Блок 1233 записи-воспроизведения выполняет цифроаналоговое преобразование декодированных аудиоданных и выводит их на громкоговоритель монитора 1260. Кроме того, блок 1233 записи-воспроизведения выполняет цифроаналоговое преобразование декодированных видеоданных и выводит их на дисплей монитора 1260.

Блок 1226 управления записывающим устройством считывает последние данные электронного телегида из памяти 1227 данных электронного телегида на основе команды пользователя, обозначенной инфракрасным сигналом с пульта дистанционного управления, который принимается через принимающий блок 1221, и подает данные электронного телегида на блок 1231 управления ОДИ. Блок 1231 управления ОДИ производит данные изображения, соответствующие введенным данным электронного телегида, и выводит их на блок 1232 управления дисплеем. Блок 1232 управления дисплеем выводит видеоданные, введенные с блока 1231 управления ОДИ, на дисплей монитора 1260 для отображения. Это позволяет отображать электронный телегид на дисплее монитора 1260.

Кроме того, устройство 1200 записи на жесткий диск может также получать различные типы данных, такие как видеоданные, аудиоданные и данные электронного телегида, подаваемые с другого устройства по сети, такой как Интернет.

Блок 1235 связи управляется блоком 1226 управления записывающим устройством для получения кодированных данных видеоданных, аудиоданных и данных электронного телегида, передаваемых с другого устройства по сети, и подает их на блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством подает, например, кодированные данные полученных видео- и аудиоданных на блок 1233 записи-воспроизведения для сохранения на жестком диске. В этот момент блок 1226 управления записывающим устройством и блок 1233 записи-воспроизведения могут при необходимости выполнить такую обработку, как повторное кодирование.

Кроме того, блок 1226 управления записывающим устройством декодирует кодированные данные полученных видео- и аудиоданных и подает полученные видеоданные на преобразователь 1230 дисплея. Преобразователь 1230 дисплея обрабатывает видеоданные, поданные с блока 1226 управления записывающим устройством, способом, аналогичным способу обработки видеоданных, поданных с видеодекодера 1225, подает полученные в результате видеоданные на монитор 1260 через блок 1232 управления дисплеем для отображения относящегося к ним изображения.

Кроме того, наряду с отображением изображения блок 1226 управления записывающим устройством может подать декодированные аудиоданные на монитор 1260 через цифроаналоговый преобразователь 1234 и вывести относящийся к ним звук с громкоговорителя.

Кроме того, блок 1226 управления записывающим устройством декодирует кодированные данные полученных данных ЭТГ и подает декодированные данные электронного телегида в память 1227 данных ЭТГ.

Описанное выше устройство 1200 записи на жесткий диск использует декодирующее устройство 1 в качестве видеодекодера 1225, декодера 1252 и декодера, встроенного в блок 1226 управления записывающим устройством. То есть аналогично случаю с декодирующим устройством 1 видеодекодер 1225, декодер 1252 и декодер, встроенный в блок 1226 управления записывающим устройством, получают изображение предсказания движения из кадра (N-1) с помощью векторов движения и дополнительно получают изображение предсказания пространства из кадра N посредством внутрикадрового предсказания с помощью декодированного пиксельного значения в кадре N. Видеодекодер 1225, декодер 1252 и декодер, встроенный в блок 1226 управления записывающим устройством, выполняют операцию фильтрации двух типов изображения для генерирования предсказанного изображения. Соответственно, видеодекодер 1225, декодер 1252 и декодер, встроенный в блок 1226 управления записывающим устройством, могут генерировать новое предсказанное изображение, более близкое к исходному изображению.

Соответственно, устройство 1200 записи на жесткий диск может быть выполнено так, чтобы генерировать предсказанное изображение путем суммирования изображения, представляющего собой высокочастотные компоненты, с изображением IP с внутрикадровым предсказанием во время декодирования, например, принимая видеоданные (кодированные данные) с помощью тюнера или блока 1235 связи или воспроизводя видеоданные (кодированные) с жесткого диска с помощью блока 1233 записи-воспроизведения.

Тем самым устройство 1200 записи на жесткий диск может достичь улучшения эффективности кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания. Вместе с тем, снижение затрат на обработку может быть также осуществлено путем снижения числа опорных плоскостей, необходимых для межкадрового предсказания.

Кроме того, устройство 1200 записи на жесткий диск использует кодирующее устройство 101 в качестве кодера 1251. Аналогично случаю с кодирующим устройством 101 кодер 1251 изображений выполняет обработку фильтрации изображения предсказания движения и изображения с внутрикадровым предсказанием для генерирования предсказанного изображения. Соответственно, кодер 1251 может генерировать новое предсказанное изображение, более близкое к исходному изображению. Следовательно, может потребоваться лишь малый объем кода, закрепленного за остатками, и тем самым становится возможным увеличить эффективность кодирования.

Соответственно, устройство 1200 записи на жесткий диск может улучшить эффективность кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания, например, записывая кодированные данные на жесткий диск. Вместе с тем, поскольку число опорных кадров, необходимых для межкадрового предсказания, может быть снижено, устройство 1200 записи на жесткий диск может осуществить снижение затрат на операцию.

Отметим, что хотя приведено пояснение устройства 1200 записи на жесткий диск, которое записывает видео- и аудиоданные на жесткий диск, конечно, может использоваться любой тип носителя записи. Например, даже устройство записи, которое использует носитель записи, отличный от жесткого диска, такой как флэш-память, оптический диск или видеокассету, может также использовать декодирующее устройство 1 и кодирующее устройство 101 способом, аналогичным случаю с описанным выше устройством 1200 записи на жесткий диск.

Фиг.31 является блок-схемой, иллюстрирующей пример конфигурации основной части фотокамеры, которая использует декодирующее устройство 1 и кодирующее устройство 101, к которым применено настоящее изобретение.

Фотокамера 1300, показанная на Фиг.31, фиксирует изображение объекта и отображает изображение объекта на ЖКД 1316 или записывает его на носитель 1333 записи в качестве данных изображения.

Линзовый блок 1311 пропускает свет (т.е. видеообъекта) на ПЗС/КМОП 1312. ПЗС/КМОП 1312 является датчиком изображения, который использует ПЗС или КМОП, преобразует интенсивность принятого света в электрический сигнал и подает его на блок 1313 обработки сигнала фотокамеры.

Блок 1313 обработки сигнала фотокамеры преобразует электрический сигнал, поданный из ПЗС/КМОП 1312, в цветоразностные сигналы Y, Сr и Сb и подает их на блок

1314 обработки сигнала изображения. Блок 1314 обработки сигнала изображения под управлением управляющего устройства 1321 выполняет определенную обработку изображения по отношению к сигналу изображения, поданному с блока 1313 обработки сигнала фотокамеры, или кодирует сигнал изображения с помощью кодера 1341. Блок 1314 обработки сигнала изображения подает кодированные данные, генерированные путем кодирования сигнала изображения, на декодер 1315. Далее блок 1314 обработки сигнала изображения получает данные, подлежащие отображению, генерированные на блоке 1320 отображения дополнительной информации (ОДИ), и подает их на декодер 1315.

В описанных выше операциях блок 1313 обработки сигнала фотокамеры использует ДОЗУ (динамическое ОЗУ) 1318, подключенное через шину 1317, и при необходимости хранит в ДОЗУ 1318 данные изображения, кодированные данные, полученные путем кодирования данных изображения или т.п.

Декодер 1315 декодирует кодированные данные, поданные с блока 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) на ЖКД 1316. Кроме того, декодер 1315 подает данные, подлежащие отображению, поданные с блока 1314 обработки сигнала изображения, на ЖКД 1316. ЖКД 1316 соответствующим образом совмещает изображение декодированных данных изображения, поданных с декодера 1315, и изображение данных, подлежащих отображению, и отображает полученное в результате объединенное изображение.

Блок 1320 отображения дополнительной информации под управлением управляющего устройства 1321 выводит данные, подлежащие отображению, такие как экран меню, образованный символами, буквами или цифрами, и иконку на блок 1314 обработки сигнала изображения через шину 1317.

Управляющее устройство 1321 выполняет различные обработки на основе сигнала, обозначающего содержание команды, отданной пользователем с помощью командного блока 1322, а также управляет блоком 1314 обработки сигнала изображения, ДОЗУ 1318, внешним интерфейсом 1319, блоком 1320 отображения дополнительной информации, приводом 1323 для носителей и т.п. через шину 1317. Флэш-ПЗУ 1324 сохраняет программы, данные и т.п., необходимые управляющему устройству 1321 для выполнения различных операций.

Например, управляющее устройство 1321 может кодировать данные изображения, сохраненные на ДОЗУ 1318, или декодировать кодированные данные, сохраненные на ДОЗУ 1318, для блока 1314 обработки сигнала изображения или декодера 1315. В этот момент управляющее устройство 1321 может выполнять операцию кодирования или декодирования способом, аналогичным способу кодирования или декодирования блока 1314 обработки сигнала изображения или декодера 1315, или может выполнять операцию кодирования или декодирования способом, который не поддерживается блоком 1314 обработки сигнала изображения или декодером 1315.

Кроме того, например, в случае, если с командного блока 1322 поступила команда начать печать изображения, управляющее устройство 1320 считывает данные изображения из ДОЗУ 1318 и подает их на принтер 1334, подключенный к внешнему интерфейсу 1319 через шину 1317, для печати.

Далее, например, в случае, если с командного блока 1322 поступила команда записать изображение, управляющее устройство 1321 считывает кодированные данные с ДОЗУ 1318 и подает их на носитель 1333 записи, установленный в приводе 1323 для носителей, через шину 1317 для сохранения.

Носитель 1333 записи является, например, любым съемным носителем с возможностью считывания и записи, таким как магнитный диск, магнитооптический диск, оптический диск или полупроводниковая память. Носитель 1333 записи, конечно, может также являться съемным носителем любого типа, может являться запоминающим устройством на ленте, диском или картой памяти. Конечно, носитель 1333 записи может являться бесконтактной платой ИС или т.п.

Кроме того, привод 1323 для носителей и носитель 1333 записи могут быть объединены и выполнены в виде непереносного носителя записи, такого как встроенный жесткий диск или твердотельный накопитель (SSD, solid state drive).

Внешний интерфейс 1319 состоит из, например, USB-терминала ввода-вывода или т.п. и соединяется с принтером 1334 в случае, если изображение должно быть напечатано. Кроме того, привод 1331 при необходимости соединяется с внешним интерфейсом 1319, а съемный носитель 1322, такой как магнитный диск, оптический диск или магнитооптический диск, устанавливается при необходимости, так, что считанная с него компьютерная программа при необходимости устанавливается на флэш-ПЗУ 1324.

Далее внешний интерфейс 1319 включает в себя сетевой интерфейс, подключенный к определенной сети, такой как локальная сеть или Интернет. Управляющее устройство 1321 может считывать кодированные данные с ДОЗУ 1318 в соответствии с командой, например, с командного блока 1322 и подавать их с внешнего интерфейса 1319 на другое устройство, подключенное по сети. Кроме того, управляющее устройство 1321 может через внешний интерфейс 1319 получать кодированные данные или данные изображения, поданные с другого устройства по сети, и сохранять их на ДОЗУ 1318 или подавать их на блок 1314 обработки сигнала изображения.

Описанная выше фотокамера 1300 использует декодирующее устройство 1 в качестве декодера 1315. То есть аналогично случаю с декодирующим устройством 1, декодер 1315 получает изображение предсказания движения из кадра (N-1) с помощью векторов движения, и дополнительно получает изображение предсказания пространства из кадра N посредством внутрикадрового предсказания с помощью декодированного пиксельного значения в кадре N. Декодер 1315 выполняет обработку фильтрации двух типов изображения для генерирования предсказанного изображения. Соответственно, декодер 1315 может генерировать новое предсказанное изображение, более близкое к исходному изображению.

Соответственно, фотокамера 1300 может быть выполнена так, чтобы генерировать предсказанное изображение путем суммирования изображения, представляющего собой высокочастотные компоненты, с изображением IP с внутрикадровым предсказанием во время декодирования, например, данных изображения, генерированных ПЗС/КМОП 1312, считывая кодированные данные видеоданных с ДОЗУ 1318 или носителя 1333 записи или получая кодированные данные видеоданных по сети.

Кроме того, фотокамера 1300 использует кодирующее устройство 101 в качестве кодера 1341. Аналогично случаю с кодирующим устройством 101 кодер 1341 выполняет обработку фильтрации изображения предсказания движения и изображения с внутрикадровым предсказанием с помощью векторов движения для генерирования предсказанного изображения. Соответственно, кодер 1341 может генерировать новое предсказанное изображение, более близкое к исходному изображению.

Следовательно, может потребоваться лишь малый объем кода, закрепленного за остатками, и, таким образом, становится возможным увеличение эффективности кодирования.

Соответственно, фотокамера 1300 может улучшить эффективность кодирования путем компенсации недостатка точности предсказания внутрикадрового предсказания с помощью точности предсказания межкадрового предсказания, например, записывая кодированные данные на ДОЗУ 1318 или носитель 1333 записи или предоставляя кодированные данные другому устройству. Вместе с тем, поскольку число опорных кадров, необходимых для межкадрового предсказания, может быть снижено, фотокамера 1300 может осуществить снижение затрат на обработку.

Кроме того, данные изображения, фиксируемые фотокамерой 1300, могут являться динамическим или неподвижным изображением.

Конечно, декодирующее устройство 1 и кодирующее устройство 101 могут также быть применены к устройству или системе, отличным от описанных выше устройств.

Далее, размеры макроблоков произвольны. Настоящее изобретение может быть применено, например, к макроблоку любого размера, как показано на Фиг.32. Например, настоящее изобретение может быть применено не только к обычному макроблоку размером 16×16 пикселов, но также к расширенному макроблоку, такому как макроблок размером 32×32 пиксела.

В верхней части Фиг.32 слева направо показаны макроблоки, состоящие из 32×32 пиксела, которые разделены на блоки (отделения) по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов. Кроме того, в средней части слева направо показаны блоки, состоящие из 16×16 пикселов, которые разделены на блоки по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов. Далее, в нижней части слева направо показаны блоки, состоящие из 8×8 пикселов, которые разделены на блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела.

То есть макроблок размером 32×32 пиксела может быть обработан блоками по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов, показанными в верхней части.

Блок размером 16×16 пикселов, показанный в верхней части справа, может быть обработан, как в системе H.264/AVC, блоками по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов, показанными в средней части.

Блок размером 8×8 пикселов, показанный в средней части справа, может быть обработан, как в системе H.264/AVC, блоками по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанными в нижней части.

Описанные выше блоки могут быть распределены по следующим трем уровням иерархии. То есть блоки по 32×32 пиксела, 32×16 пикселов и 16×32 пиксела, показанные в верхней части Фиг.32, отнесены к блокам первого уровня иерархии. Блок 16×16 пикселов, показанный в верхней части справа, и блоки по 16×16 пикселов, 16×8 пикселов и 8×16 пикселов, показанные в средней части, отнесены к блокам второго уровня иерархии. Блок 8×8 пикселов, показанный в средней части справа, и блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанные в нижней части, отнесены к блокам третьего уровня.

Приняв такую иерархическую структуру, касающуюся блоков размером 16×16 пикселов или меньше, можно определить большие блоки как надмножество блоков, сохраняя совместимость с системой H.264YAVC.

Например, декодирующее устройство 1 и кодирующее устройство 101 могут быть выполнены так, чтобы генерировать предсказанное изображение для каждого уровня иерархии. Кроме того, например, декодирующее устройство 1 и кодирующее устройство 101 могут быть выполнены так, чтобы использовать предсказанное изображение, генерированное в первом уровне иерархии, где размер блока больше, чем во втором уровне, также для второго уровня иерархии.

Макроблоки, для которых кодирование должно быть выполнено с помощью относительно большого размера блока, такого как в первом и втором уровнях иерархии, не включают в себя относительно высокочастотные компоненты. Напротив, считается, что макроблоки, для которых кодирование должно быть выполнено с помощью относительно малого размера блока, такого как в третьем уровне, включают в себя относительно высокочастотные компоненты.

Таким образом, предсказанные изображения генерируются отдельно в соответствии с обособленными уровнями иерархии с различными размерами блока, делая, таким образом, достижимым улучшение работы, удобное для локальных свойств изображения.

Список ссылочных позиций

1 - Декодирующее устройство

21 - Схема предсказания-компенсации

41 - Схема определения режима предсказания

42 - Схема однонаправленного предсказания

43 - Схема двунаправленного предсказания

44 - Схема предсказания

45 - Фильтрующая схема

51 - Схема компенсации движения

52 - Схема внутрикадрового предсказания

61 - Схема вычисления разности

62 - Схема фильтра нижних частот

63 - Схема настройки усиления

64 - Схема фильтра верхних частот

65 - Схема настройки усиления

66 - Суммирующая схема

67 - Суммирующая схема

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении высокой эффективности кодирования без увеличения объема передачи векторов движения в потоке. Устройство обработки изображений содержит извлекающее средство, выполняющее компенсацию движения, используя в качестве опорного кадра кадр, образованный из декодированного изображения, и используя вектор движения в изображении, которое было кодировано, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра; средство генерирования изображения с внутрикадровым предсказанием, выполняющее внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерирующее изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части декодированного изображения; и средство генерирования предсказанного изображения, генерирующее предсказанное изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном извлекающим средством, и изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и изображение с внутрикадровым предсказанием. 4 н. и 9 з.п. ф-лы, 32 ил.

1. Устройство обработки изображений, содержащее:
- извлекающее средство, предназначенное для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из декодированного изображения, и используя вектор движения в изображении, которое было кодировано, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра;
- средство генерирования изображения с внутрикадровым предсказанием, предназначенное для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению, из части декодированного изображения; и
- средство генерирования предсказанного изображения, предназначенное для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном извлекающим средством, и изображении с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и изображение с внутрикадровым предсказанием.

2. Устройство обработки изображений по п.1, в котором средство генерирования предсказанного изображения включает в себя:
- средство фильтрации нижних частот, предназначенное для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием;
- средство фильтрации верхних частот, предназначенное для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот с помощью первого фильтрующего средства; и
- суммирующее средство, предназначенное для суммирования изображения, полученного путем применения фильтра нижних частот с помощью средства фильтрации нижних частот, и изображения, полученного путем применения фильтра верхних частот с помощью средства фильтрации верхних частот, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

3. Устройство обработки изображений по п.2, в котором суммирующее средство суммирует изображение, полученное путем применения фильтра нижних частот с помощью средства фильтрации нижних частот, и изображение, полученное путем применения фильтра верхних частот с помощью средства фильтрации верхних частот, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

4. Устройство обработки изображений по п.1, дополнительно содержащее:
- приемное средство, предназначенное для приема идентификационной метки, определяющей, как должно генерироваться предсказанное изображение: посредством однонаправленного предсказания с помощью средства однонаправленного предсказания, посредством двунаправленного предсказания с помощью средства двунаправленного предсказания или посредством обработки фильтрации с помощью средства генерирования предсказанного изображения; и
- оценивающее средство, предназначенное для оценки путем сверки с идентификационной меткой, принятой приемным средством, как должно генерироваться предсказанное изображение: посредством однонаправленного предсказания с помощью средства однонаправленного предсказания, посредством двунаправленного предсказания с помощью средства двунаправленного предсказания или посредством обработки фильтрации с помощью средства генерирования предсказанного изображения.

5. Устройство обработки изображений по п.4, далее содержащее:,
- средство однонаправленного предсказания, предназначенное для выполнения однонаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения;
- средство двунаправленного предсказания, предназначенное для выполнения двунаправленного предсказания с помощью множества изображений компенсации движения и для генерирования предсказанного изображения.

6. Устройство обработки изображений по п.1, дополнительно содержащее:
- декодирующее средство, предназначенное для декодирования кодированного изображения; и
- генерирующее средство, предназначенное для суммирования изображения, декодированного декодирующим средством, и предсказанного изображения и для генерирования декодированного изображения.

7. Способ обработки изображений, содержащий этапы, на которых:
- выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из генерированного декодированного изображения, и используя вектор движения в кодированном изображении, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра;
- выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части декодированного изображения; и
- генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения и изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения и изображение с внутрикадровым предсказанием.

8. Устройство обработки изображений, содержащее:
- обнаруживающее средство, предназначенное для обнаружения вектора движения на основе изображения и исходного изображения, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением;
- извлекающее средство, предназначенное для выполнения компенсации движения, используя в качестве опорного кадра кадр, образованный из изображения, которое получено путем выполнения локального декодирования, и используя вектор движения, обнаруженный обнаруживающим средством, и для извлечения изображения компенсации движения, соответствующего предсказанному изображению, из опорного кадра;
- средство генерирования изображения с внутрикадровым предсказанием, предназначенное для выполнения внутрикадрового предсказания для текущего кадра, для которого должно генерироваться предсказанное изображение, и для генерирования изображения с внутрикадровым предсказанием, соответствующего предсказанному изображению из части изображения кадра; и
- средство генерирования предсказанного изображения, предназначенное для генерирования предсказанного изображения путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в изображении компенсации движения, извлеченном первым извлекающим средством, и изображении с внутрикадровым предсказанием, генерированном средством генерирования изображения с внутрикадровым предсказанием, за счет использования корреляции во временном направлении, которая включена в изображение компенсации движения.

9. Устройство обработки изображений по п.8, в котором средство генерирования предсказанного изображения включает в себя:
- средство фильтрации нижних частот, предназначенное для применения фильтра нижних частот к разностному изображению между изображением компенсации движения, извлеченным первым извлекающим средством, и изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием,
- средство фильтрации верхних частот, предназначенное для применения фильтра верхних частот к изображению, полученному путем применения фильтра нижних частот средством фильтрации нижних частот; и
- суммирующее средство, предназначенное для суммирования изображения, полученного путем применения фильтра нижних частот средством фильтрации нижних частот, и изображения, полученного путем применения фильтра верхних частот средством фильтрации верхних частот, с изображением с внутрикадровым предсказанием, генерированным средством генерирования изображения с внутрикадровым предсказанием, и для генерирования предсказанного изображения.

10. Устройство обработки изображений по п.9, в котором суммирующее средство суммирует изображение, полученное путем применения фильтра нижних частот с помощью средства фильтрации нижних частот, и изображение, полученное путем применения фильтра верхних частот с помощью средства фильтрации верхних частот, с изображением компенсации движения, извлеченным из предшествующего кадра по отношению ко времени предсказанного изображения.

11. Устройство обработки изображений по п.8, дополнительно содержащее:
- кодирующее средство, предназначенное для кодирования исходного изображения, которое является целевым изображением кодирования, и для генерирования кодированного изображения.

12. Устройство обработки изображений по п.11, в котором кодирующее средство помещает идентификационную метку в заголовок кодированного изображения, причем идентификационная метка определяет, должно ли предсказанное изображение, подлежащее суммированию с изображением, декодированным декодирующим устройством, генерироваться посредством однонаправленного предсказания, посредством двунаправленного предсказания или посредством обработки фильтрации.

13. Способ обработки изображений, содержащий этапы, на которых:
- обнаруживают вектор движения на основе изображения и исходного изображения, которое является целевым изображением кодирования, причем изображение получено путем выполнения локального декодирования на основе остаточного сигнала, указывающего разность между исходным изображением и предсказанным изображением;
- выполняют компенсацию движения, используя в качестве опорного кадра кадр, образованный из изображения, полученного путем выполнения локального декодирования, и используя обнаруженный вектор движения, и извлекают изображение компенсации движения, соответствующее предсказанному изображению, из опорного кадра;
- выполняют внутрикадровое предсказание для текущего кадра, для которого должно генерироваться предсказанное изображение, и генерируют изображение с внутрикадровым предсказанием, соответствующее предсказанному изображению, из части изображения кадра; и
- генерируют предсказанное изображение путем выполнения обработки фильтрации для компенсации недостатка высокочастотных компонентов в извлеченном изображении компенсации движения и генерированном изображении с внутрикадровым предсказанием за счет использования корреляции во временном направлении, включенной в изображение компенсации движения.