УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2015 года по МПК H04N19/52 G06T1/00 G06T9/00 

Область техники, к которой относится изобретение

Изобретение относится к устройству и способу обработки изображений, и, более конкретно, к устройству и способу обработки изображений, которые могут улучшить эффективность кодирования, предотвращая увеличение нагрузки.

Уровень техники

При обработке движущихся изображений обычно используются схемы кодирования, в которых применяют компенсацию движения и ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва или вейвлет-преобразование, включающее в себя MPEG (Экспертная группа по вопросам движущегося изображения), Н.26х и т.д. В таких схемах кодирования движущихся изображений уменьшение количества кода достигается путем использования корреляции в пространственном направлении и в направлении времени среди характеристик сигнала входного изображения, предназначенного для кодирования.

Например, в Н.264, однонаправленное прогнозирование или двунаправленное прогнозирование используются, когда промежуточный кадр, то есть кадра, подвергаемый межкадровому прогнозированию (межкадровое прогнозирование), генерируют, используя корреляцию в направлении времени. Межкадровое прогнозирование разрабатывают для генерирования изображения прогнозирования на основе кадров в разные моменты времени.

Кроме того, в SVC (масштабируемое кодирование видеоданных), которое представляет собой расширение стандарта Н.264, была установлена схема кодирования, которая учитывает пространственную масштабируемость. SVC (H.264/AVC Annex G) представляет собой современный стандарт видеокодирования, который был стандартизирован в ноябре 2007 г. ITU-T (Международный союз электросвязи - Сектор телекоммуникаций) и ISO/IEC (Международная организация стандартизации/Международная электротехническая комиссия).

На фиг.1 иллюстрируется взаимосвязь ссылок для формирования изображения прогнозирования для сжатия, при котором учитывается пространственная масштабируемость в SVC. В SVC кодирование выполняют для множества значений разрешения, например, на уровне основания и на уровне улучшения, показанным на фиг.1. В случае примера по фиг.1, в качестве уровня основания, кодируют изображение, имеющее разрешение n×m [пикселей (pix)] (n и m представляют собой целые числа), используя пространственную масштабируемость. Вместе с этим, изображение, имеющее разрешение N×М [пикселей (pix)] (N и М представляют собой целые числа, где N>n и М>m), как уровень расширения, кодируют, используя пространственную масштабируемость.

В случае уровня основания текущий кадр кодируют, используя внутрикадровое прогнозирование или межкадровое прогнозирование аналогично случаю кодирования на основе стандарта Н.264. В случае примера, показанного на фиг.1, когда выполняют кодирование на уровне основания, используют две опорные плоскости (Ref0, Ref1). Из отдельных опорных плоскостей выделяют изображения (МС0, МС1) компенсации движения и выполняют межкадровое прогнозирование.

Также, в случае уровня расширения, аналогично случаю уровня основания, текущий кадр может быть кодирован, используя внутрикадровое прогнозирование или межкадровое прогнозирование.

В случае внутрикадрового прогнозирования прогнозирование выполняют, используя пространственную корреляцию на уровне расширения текущего кадра. Внутрикадровое прогнозирование эффективно для движущегося изображения, которое должно быть кодировано, когда корреляция в направлении времени низкая, например, когда субъект перемещается на небольшое расстояние. Однако, в обычных движущихся изображениях, во многих случаях, корреляция в направлении времени выше, чем прогнозирование в пространственном направлении, и внутрикадровое прогнозирование нельзя назвать оптимальным с точки зрения эффективности кодирования.

В случае межкадрового прогнозирования декодируемые изображения на уровне расширения временно предшествующих или следующих кадров используют в качестве опорных плоскостей. При межкадровом прогнозировании используют корреляцию в направлении времени и, таким образом, делают реально выполнимой высокую эффективность кодирования. Однако, требуется, чтобы было необходимо заранее декодировать изображения кадра с высоким разрешением на уровне расширения, которые используются, как опорные плоскости. Кроме того, также необходимо сохранять изображения с высоким разрешением в запоминающем устройстве для использования их в качестве опорных изображений. Кроме того, необходимо считывать изображения с высоким разрешением, имеющие большое количество данных, из запоминающего устройства. В соответствии с этим межкадровое прогнозирование можно назвать схемой, которая накладывает большую нагрузку с точки зрения объема обработки и стоимости воплощения.

В этом отношении, в случае уровня расширения, в дополнение к описанным выше двум схемам, можно использовать способ прогнозирования, основанный на пространственном повышении частоты выборки (преобразование с повышением частоты) уровня основания (ниже называется прогнозированием с преобразованием с повышением частоты) для кодирования текущего кадра.

Изображение на уровне основания представляет собой версию с низким разрешением изображения на уровне расширения, и, поэтому, его можно рассматривать, как включающее в себя сигнал, соответствующий компонентам низкой частоты изображения на уровне расширения. То есть изображение на уровне расширения может быть получено путем добавления высокочастотных компонентов к изображению на уровне основания. Прогнозирование с преобразованием с повышением частоты представляет собой способ для выполнения прогнозирования с использованием такой корреляции между уровнями, и представляет собой способ прогнозирования, полезный для улучшения эффективности кодирования, в частности, в случае, когда внутри- или межкадровое прогнозирование не применяется. Кроме того, такой способ прогнозирования декодирует изображение на уровне расширения только для текущего кадра, путем декодирования изображения одновременно на уровне основания, и, поэтому, можно сказать, эта схема прогнозирования является отличной (которая накладывает малую нагрузку) также с точки зрения объема обработки.

В то же время процессы для повышения разрешения включают в себя технологию для выполнения компенсации движения и фильтрации FIR значений пикселя, для преобразования корреляции в направлении времени в пространственное разрешение для использования (см., например, NPL 1).

В способе, описанном в NPL 1, корреляция в направлении времени используется для обработки, направленной на увеличение разрешения входной последовательности изображения. В частности, рассчитывают информацию о разности прогнозируемого/компенсированного по движению изображения между текущим изображением и предыдущим изображением и подают, как обратную связь, в целевое текущее изображение для восстановления высокочастотного компонента, включенного во входное изображение.

Список литературы

Непатентная литература

NPL 1: "Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG. Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990.

Сущность изобретения

Техническая задача

Однако прогнозирование с преобразованием с повышением частоты изображения с низким разрешением приводит к получению изображения, имеющего малое количество высокочастотных компонентов, генерируемых из-за влияния фильтра линейной интерполяции. При прогнозировании с преобразованием с повышением частоты, поэтому, может быть получено только изображение прогнозирования, имеющее небольшое количество высокочастотных компонентов. То есть при прогнозировании с преобразованием с повышением частоты нельзя сказать, что переданная информация пикселя на уровне основания в достаточной степени используется для выполнения прогнозирования. На уровне расширения, поэтому, большое количество кода может потребоваться для кодирования остаточного сигнала.

Как отмечено выше, в обычных способах кодировании и декодирования было трудно достичь одновременно и улучшения эффективности кодирования, и предотвращения увеличения нагрузки.

Таким образом, может быть рассмотрен способ, в котором улучшение эффективности кодирования реализовано путем применения технологии обработки изображений, как описано в NPL 1, для преобразования временной корреляции движущегося изображения в пространственное разрешение. Однако, способ, описанный в NPL 1, нельзя просто применять для SVC.

Например, при межкадровом прогнозировании, разрешение изображения компенсации движения, получаемого из опорной плоскости, является таким же, как у изображения прогнозирования, которое генерируют, и способ, описанный в NPL 1, нельзя применять для преобразования прогнозирования с повышением частоты. Кроме того, при прогнозирования преобразовании с повышением частоты, поскольку изображение прогнозирования генерируют только из изображения текущего кадра на уровне основания, способ, описанный в NPL 1, где разрешение повышают, используя три изображения, нельзя применять для прогнозирования с преобразованием с повышением частоты.

Настоящее изобретение было предложено с учетом описанной выше ситуация, и оно предназначено для выполнения кодирования, в котором учитывается пространственная масштабируемость, путем более эффективного использования временной корреляции, включенной в последовательность сигналов в движущемся изображении, обеспечивая, таким образом, возможность улучшения эффективности кодирования, предотвращая повышение нагрузки на процессы, такие как кодирование и декодирование.

Решение задачи

В одном аспекте настоящего изобретения предусмотрено устройство обработки изображений, включающее в себя: средство декодирования, предназначенное для декодирования кодированного изображения; средство генерирования, предназначенное для суммирования изображения, декодированного средством декодирования, и изображения прогнозирования, и для генерирования декодированного изображения; средство выделения, предназначенное для выполнения компенсации движения, использующее, в качестве опорных кадров, кадры, сформированные из декодируемых изображений, генерируемых средством генерирования, и использующее векторы движения в изображениях, которые были кодированы, и для выделения изображения компенсации движения, имеющего более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и средство генерирования изображения прогнозирования, предназначенное для выполнения процесса фильтрации для компенсации изображения компенсации движения, выделенного средством выделения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, имеющее более высокое разрешение, чем у изображений компенсации движения.

Кодированное изображение было иерархически разложено на изображения во множестве уровней, имеющие различные значения разрешения, и эти изображения были кодированы; средство декодирования может декодировать кодированное изображение на каждом уровне; средство генерирования может генерировать декодированное изображение на каждом уровне; когда должно быть выполнено декодирование на уровне с высоким разрешением, средство выделения может использовать, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделять изображения компенсации движения из опорных кадров на уровне, имеющем более низкое разрешение; и средство генерирования изображения прогнозирования может генерировать изображение прогнозирования на уровне с высоким разрешением путем выполнения процесса фильтрации изображений компенсации движения, выделенных из опорных кадров на уровне, имеющем более низкое разрешение.

Средство генерирования изображения прогнозирования может включать в себя: средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и увеличения разрешения; средство первого фильтра, предназначенное для применения фильтра низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения; средство второго фильтра, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты в средстве первого фильтра; и средство суммирования, предназначенное для суммирования изображения, полученного путем применения фильтра низкой частоты средством первого фильтра, и изображения, полученного путем применения фильтра высокой частоты в средстве второго фильтра к одному из множества изображений компенсации движения, выделенных средством выделения, и для генерирования изображения прогнозирования.

Средство суммирования может суммировать изображение, полученное путем применения фильтра низкой частоты средством первого фильтра, и изображение, полученное путем применения фильтра высокой частоты средством второго фильтра с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

Устройство обработки изображений может, кроме того, включать в себя средство однонаправленного прогнозирования, предназначенное для выполнения однонаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования; средство двунаправленного прогнозирования, предназначенное для выполнения двунаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования; и средство определения, предназначенное для определения, следует ли генерировать изображение прогнозирования через однонаправленное прогнозирование средством однонаправленного прогнозирования, генерировать через двунаправленное прогнозирование средством двунаправленного прогнозирования, или генерировать посредством процесса фильтрации средством генерирования изображения прогнозирования при использовании флага идентификации, включенного в заголовок кодированного изображения.

В одном аспекте настоящего изобретения, кроме того, предусмотрен способ обработки изображений, в котором декодируют кодированное изображение;

суммируют декодированное изображение и изображение прогнозирования и генерируют декодированное изображение; выполняют компенсацию движения, используя в качестве опорных кадров кадры, сформированные из сгенерированных декодированных изображений и используя векторы движения в изображениях, которые были кодированы, и выделяют изображение компенсация движения, имеющее более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и выполняют обработку фильтрации для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, которое имеет более высокое разрешение, чем у изображений компенсации движения.

В другом аспекте настоящего изобретеняе предусмотрено устройство обработки изображений, включающее в себя: средство кодирования, предназначенное для кодирования исходного изображения, которое представляет собой изображение, предназначенное для кодирования и для генерирования кодированного изображения; средство детектирования, предназначенное для детектирования векторов движения на основе изображений и исходного изображения, каждого из изображений, получаемых, выполняя локальное декодирование на основе остаточного сигнала, обозначающего различие между исходным изображением и изображением прогнозирования; средство выделения, предназначенное для выполнения компенсации движения, используя в качестве опорных кадров кадры, сформированные из изображений, полученных при выполнении локального декодирования и используя векторы движения, детектированные средством детектирования, и для выделения изображений компенсации движения, имеющих более низкое разрешение, чем у изображений прогнозирования из опорных кадров, соответствующих изображениям прогнозирования; и средство генерирования, предназначенное для выполнения процесса фильтрации для компенсации изображений компенсации движения, выделенных средством выделения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

Средство кодирования может генерировать кодированные изображения на множестве уровней, имеющие различные значения разрешения; когда должно быть выполнено декодирование уровня с высоким разрешением, средство выделения может использовать, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделять изображения компенсации движения из опорных кадров на уровне, имеющем низкое разрешение, используя векторы движения, детектированные средством детектирования на уровне, имеющем низкое разрешение; и средство генерирования может генерировать изображение прогнозирования на уровне с высоким разрешением, выполняя процесс фильтрации для изображений компенсации движения, выделенных из опорных кадров, на уровне, имеющем низкое разрешение.

Средство генерирования может включать в себя средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и повышения разрешения; средство первого фильтра, предназначенное для применения фильтра низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения; средство второго фильтра, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты средства первого фильтра; и средство суммирования, предназначенное для суммирования изображения, полученного путем применения фильтра низкой частоты средством первого фильтра, и изображения, полученного путем применения фильтра высокой частоты средством второго фильтра, для одного из множества изображений компенсации движения, выделенных средством выделения, и генерирования изображения прогнозирования.

Средство суммирования может суммировать изображение, полученное путем применения фильтра низкой частоты средством первого фильтра, и изображение, полученное путем применения фильтра высокой частоты средством второго фильтра с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

Средство кодирования может обеспечить включение в заголовок флага идентификации, идентифицирующего, должно ли изображение прогнозирования, которое будет добавлено к изображению, декодируемому устройством декодирования, быть сгенерированным через однонаправленное прогнозирование, сгенерированным через двунаправленное прогнозирование или сгенерированным посредством процесса фильтрации.

В другом аспекте настоящего изобретение, кроме того, предусмотрен способ обработки изображений, в котором кодируют исходное изображение, которое представляет собой изображение, предназначенное для кодирования, и генерируют кодированное изображение; детектируют векторы движения на основе изображений и исходного изображения, причем каждое из изображений получают, выполняя локальное декодирование на основе остаточного сигнала, обозначающего разность между исходным изображением и изображением прогнозирования; выполняют компенсацию движения используя, как опорные кадры, кадры, сформированные из изображений, полученных при выполнении локального декодирования, и используя детектированные векторы движения, а также выделяя изображения компенсации движения, имеющие более низкое разрешение, чем у изображений прогнозирования из опорных кадров, соответствующих изображениям прогнозирования; и выполняют обработку фильтрации для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

В одном аспекте настоящего изобретения декодируют кодированное изображение; декодированное изображение и изображение прогнозирования суммируют и генерируют декодированное изображение; выполняют компенсацию движения, используя, как опорные кадры, кадры, сформированные из сгенерированных декодированных изображений, и используя векторы движения в изображениях, которые были кодированы, и выделяют изображение компенсация движения, имеющее более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и выполняют обработку фильтрации, предназначенную для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, генерируя, таким образом, изображение прогнозирования, которое имеет более высокое разрешение, чем у изображений компенсации движения.

В другом аспекте настоящего изобретения кодируют исходное изображение, которое представляет собой изображение, предназначенное для кодирования, и генерируют кодированное изображение; векторы движения детектируют на основе изображений и исходного изображения каждого из изображений, получаемых при выполнении локального декодирования на основе остаточного сигнала, обозначающего различие между исходным изображением и изображением прогнозирования; компенсацию движения выполняют, используя, как опорные кадры, кадры, сформированные из изображений, полученных при выполнении локального декодирования, и используя детектированные вектора движения, и изображения компенсации движения, имеющие более низкое разрешение, чем у изображения прогнозирования, выделяют из опорных кадров, соответствующих изображениям прогнозирования; и выполняют обработку фильтрации, предназначенную для компенсации выделенных изображений компенсации движения в отношении высокочастотных компонентов, используя корреляцию в направлении времени, которая включена в изображения компенсации движения, таким образом, генерируя изображение прогнозирования, имеющее более высокое разрешение, чем у изображения компенсации движения.

Предпочтительные эффекты изобретения

Информация может быть обработана в соответствии с настоящим изобретением. В частности, изображение прогнозирования с высокой точностью может быть сгенерировано, и эффективность кодирования может быть улучшена без увеличения нагрузки более чем необходимо.

Краткое описание чертежей

На фиг.1 показана схема, поясняющая декодирование схемы кодирования, которая учитывает обычную пространственную масштабируемость.

На фиг.2 показана схема, представляющая собой краткий обзор генерирования изображения прогнозирования, в котором применяется настоящее изобретение.

На фиг.3 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства декодирования, в котором применено настоящее изобретение.

На фиг.4 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы декодирования без потерь по фиг.3.

На фиг.5 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования/компенсации движения по фиг.3.

На фиг.6 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования путем фильтрации по фиг.5.

На фиг.7 показана блок-схема последовательности операций, поясняющая пример потока процесса декодирования.

На фиг.8 показана блок-схема последовательности операций, поясняющая пример потока процесса декодирования без потерь.

На фиг.9 показана блок-схема последовательности операций, поясняющая пример потока процесса прогнозирования путем фильтрации, когда выполняют декодирование.

На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства кодирования, в котором применено настоящее изобретение.

На фиг.11 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы определения режима по фиг.10.

На фиг.12 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования/компенсации движения.

На фиг.13 показана блок-схема последовательности операций, поясняющая пример потока процесса кодирования.

На фиг.14 показана блок-схема последовательности операций, поясняющая пример потока процесса определения режима.

На фиг.15 показана блок-схема последовательности операций, поясняющая пример потока процесса прогнозирования путем фильтрации, когда выполняют кодирование.

На фиг.16 показана схема, поясняющая другой пример краткого обзора процесса декодирования, к которому применено настоящее изобретение.

На фиг.17 - блок-схема, иллюстрирующая другой пример конфигурации схемы фильтрации на фиг.6.

На фиг.18 - схема, объясняющая все еще другой пример обзора процесса декодирования, в котором применено настоящее изобретение.

На фиг.19 показана блок-схема последовательности операций, поясняющая другой пример потока процесса прогнозирования путем фильтрации, когда выполняют декодирование.

На фиг.20 показана блок-схема последовательности операций, поясняющая другой пример процесса прогнозирования путем фильтрации, когда выполняют кодирование.

На фиг.21 показана блок-схема, иллюстрирующая пример конфигурации основной части персонального компьютера, в котором применено настоящее изобретение.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации основной части телевизионного приемника, к котором применено настоящее изобретение.

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации основной части мобильного телефона, в котором применено настоящее изобретение.

На фиг.24 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства записи жесткого диска, в котором применено настоящее изобретение.

На фиг.25 показана блок-схема, иллюстрирующая пример конфигурации основной части камеры, в которой применено настоящее изобретение.

На фиг.26 показана схема, иллюстрирующая примеры размеров макроблока.

Подробное описание изобретения

Далее поясняются режимы выполнения изобретения (ниже называются вариантами осуществления). Следует отметить, что пояснение будет представлено в следующем порядке:

1. Первый вариант осуществления (обработка декодирования)

2. Второй вариант осуществления (обработка кодирования)

3. Третий вариант осуществления (обработка декодирования с тремя или больше изображениями компенсации движения)

4. Четвертый вариант осуществления (обработка декодирования и обработка кодирования, используя изображения компенсации движения на том же уровне),

1. Первый вариант осуществления

Обзор прогнозирования

На фиг.2 показана схема, поясняющая обзор способа генерирования изображения прогнозирования, в котором используется настоящее изобретение. Как представлено на фиг.2, в этом случае фильтрацию выполняют для изображений множества опорных плоскостей на уровне основания, для генерирования изображения прогнозирования текущего блока (обработка целевого блока в текущее время) на уровне расширения.

Таким образом, используя анализ в направлении времени, становится возможным более эффективно использовать компоненты сигнала в последовательности изображения, чем при использовании пространственного фильтра с повышением частоты выборки. В результате, изображение прогнозирования, генерируемое с помощью технологии в соответствии с настоящим изобретением (ниже называется прогнозированием фильтрации), может уменьшить остаточные элементы прогнозирования, имея при этом пространственно более высокочастотные компоненты, чем у изображения прогнозирования, сгенерированного с использованием обычного прогнозирования с преобразованием с повышением частоты выборки, в котором используется изображение текущего кадра (обработка целевого кадра в текущее время) в слое основания. То есть количество кода для изображения, предназначенного для кодирования на уровне расширения, может быть уменьшено, и при этом можно способствовать улучшению эффективности кодирования.

Кроме того, при таком прогнозировании фильтрации не обращаются к декодированным изображениям на уровне расширения при различающихся по времени кадрах. Таким образом, объем обработки, необходимой для кодирования, емкость для временного сохранения, количество информации, считываемой из запоминающего устройства и т.п., можно уменьшить, и затраты на воплощение могут быть уменьшены. Кроме того, также можно уменьшить потребление энергии.

Конфигурация устройства декодирования

На фиг.3 показана блок-схема, иллюстрирующая примерную конфигурацию устройства 1 декодирования в соответствии с вариантом осуществления настоящего изобретения.

Информацию об изображении, кодированном устройством кодирования, описанным ниже, подают в устройство 1 декодирования через кабель, сеть или съемный носитель информации. Примеры информации сжатого изображении включают в себя информацию изображении, кодированную в соответствии со стандартом H.264/SVC.

В SVC сжатая информация изображения состоит из уровней множества значений разрешения. Уровень с самым низким разрешением представляет собой уровень основания, и уровни с большим разрешением, чем у уровня основания, представляют собой уровни расширения. Следует отметить, что количество уровней является произвольным; однако, в следующем описании предполагается, что информация сжатого изображении состоит из двух уровней. Таким образом, информация сжатого изображения, подаваемая в устройство 1 декодирования, имеет уровень основания и один уровень расширения.

Информацию сжатого изображения каждого кадра последовательно подают в устройство 1 декодирования. В каждом кадре последовательно вводят потоки битов соответствующих уровней со стороны с низким разрешением на сторону с высоким разрешением. То есть поток битов на уровне основания раньше подают в устройство 1 декодирования.

Поток битов на уровне основания декодируют аналогично случаю информации сжатого изображении на основе стандарта H.264/AVC, и его пояснение здесь не представлено. После того, как поток битов на уровне основания будет декодирован, поток битов на уровне расширения подают в устройство 1 декодирования. В основном, обработка потока битов на уровне расширения поясняется ниже.

В буфере 11 сохранения последовательно сохраняют потоки битов, вводимые как информация сжатого изображении. Информацию, содержащуюся в буфере 11 сохранения, считывают с помощью схемы 12 декодирования без потерь в единицах изображений определенной размерности, таких как макроблоки, формирующие кадр соответствующим образом. В стандарте Н.264 также можно выполнить обработку вместо единиц макроблоков по 16×16 пикселей, в единицах блоков, на которые макроблок дополнительно разделен, таких как блоки по 8×8 пикселей или 4×4 пикселя.

Схема 12 декодирования без потерь выполняет обработку декодирования, соответствующую схеме кодирования, такой как обработка декодирования с переменной длиной или обработка арифметического декодирования изображения, считываемого из буфера 11 сохранения. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, который получают путем выполнения процесса декодирования, в схему 13 деквантования.

Кроме того, схема 12 декодирования без потерь идентифицирует способ прогнозирования на основе флага идентификации, включенного в заголовок изображения, предназначенного для декодирования. В случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой изображение с внутрикадровым кодированием, схема 12 декодирования без потерь выводит информацию режима внутрикадрового прогнозирования, сохраненную в заголовке изображения, в схему 22 внутрикадрового прогнозирования. Информация режима внутрикадрового прогнозирования включает в себя информацию, относящуюся к внутрикадровому прогнозированию, такую как размер блока, используемого как единица при обработке.

В случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой информацию межкадрового кодирования, схема 12 декодирования без потерь выводит вектора движения и флаг идентификации, которые содержатся в заголовке изображения, в схему 21 прогнозирования/компенсации движения. Режим прогнозирования, в котором изображение прогнозирования должно быть сгенерировано с использованием межкадрового прогнозирования, идентифицируют, используя флаг идентификации. Флаги идентификации устанавливают в единицах, например, макроблоков или кадров.

В дополнение к режиму однонаправленного прогнозирования, режиму двунаправленного прогнозирования и режиму прогнозирования с преобразованием с повышением частоты, подготовленные режимы прогнозирования включают в себя режим прогнозирования путем фильтрации для генерирования изображения прогнозирования, путем выполнения фильтрации для изображений со скомпенсированным движением, выделенных из множества опорных кадров, расположенных в одной или обеих временных директориях на уровне основания.

Ниже режим прогнозирования, в котором значение пикселя в одном изображении компенсации движения среди изображений компенсации движения, выделенных из множества опорных кадров, расположенных в одном направлении, установлено, как значение пикселя в изображении прогнозирования, просто называется режимом однонаправленного прогнозирования. Кроме того, режим прогнозирования, в котором среднее значение для значений пикселя в изображениях компенсации движения, индивидуально выделенных из множества опорных кадров, расположенных в обоих направлениях, установленных, как значение пикселя в изображении прогнозирования, просто называется режимом двунаправленного прогнозирования. Кроме того, режим прогнозирования, в котором изображение компенсации движения, выделенное из текущего кадра на уровне основания, преобразуют с повышением частоты для определения значений пикселя в изображении прогнозирования, называется просто режимом прогнозирования с преобразованием с повышением частоты.

Четвертый режим прогнозирования, как показано на фиг.2, в котором значение пикселя в изображении прогнозирования определяют путем выполнения фильтрации, включающей в себя прогнозирование с преобразованием с повышением частоты для каждого из изображений компенсации движения, выделенных из множества опорных кадров, расположенных в одном или обоих направлениях уровня основания, называется режимом прогнозирования путем фильтрации.

Схема 13 деквантования выполняет деквантование квантованных коэффициентов преобразования, подаваемых из схемы 12 декодирования без потерь, используя схему, соответствующую схеме квантования, используемой на стороне кодирования. Схема 13 деквантования выводит коэффициент преобразования, полученный в результате выполнения деквантования, в схему 14 обратного ортогонального преобразования.

Схема 14 обратного ортогонального преобразования выполняет, например, обратное ортогональное преобразование четвертого порядка по коэффициенту преобразования, подаваемому из схемы 13 деквантования, используя схему, соответствующую схеме ортогонального преобразования, на стороне кодирования, такого, как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и выводит полученное изображение в схему 15 сумматора.

Схема 15 сумматора комбинирует декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и изображение прогнозирования, переданное из схемы 21 прогнозирования/компенсации движения, или из схемы 22 внутрикадрового прогнозирования через переключатель 23, и выводит композитное изображение в фильтр 16 устранения блоков.

Фильтр 16 устранения блоков удаляет шумы блоков, включенные в изображение, переданное из схемы 15 сумматора, и выводит изображение, из которого были удалены шумы блока. Изображения, выводимые из фильтра 16 устранения блоков, подают в буфер 17 изменения компоновки и в запоминающее устройство 19 кадра.

Буфер 17 изменения компоновки временно сохраняет изображение, переданное из фильтра 16 устранения блоков. Буфер 17 изменения компоновки генерирует индивидуальный кадр из изображения, например, каждого макроблока, который сохраняет и изменяет компоновку сгенерированных кадров в определенном порядке, таком, как порядок отображения, перед выводом их в схему 18 D/A (цифроаналогового) преобразователя.

Схема 18 D/A преобразователя выполняет D/A преобразование каждого из кадров, подаваемых из буфера 17 изменения компоновки, и выводит эти сигналы в виде кадров наружу.

Запоминающее устройство 19 кадра временно сохраняет изображение, переданное из фильтра 16 устранения блоков. Информацию, сохраненную в запоминающем устройстве 19 кадра, подают в схему 21 прогнозирования/компенсации движения или в схему 22 внутрикадрового прогнозирования через переключатель 20. Следует отметить, что запоминающее устройство 19 кадра также содержит изображение на уровне основания, которое было декодировано перед декодированием уровня расширения, и сохраненное изображение используется для декодирования уровня расширения, как описано ниже.

Переключатель 20 соединен с выводом а1 в случае, когда изображение прогнозирования должно быть сгенерировано с использованием межкадрового прогнозирования, и подключен к выводу b1, в случае, когда изображение прогнозирования должно быть сгенерировано через внутрикадровое прогнозирование. Переключением переключателя 20 управляют, например, с помощью схемы 31 управления.

Схема 21 прогнозирования/компенсации движения определяет режим прогнозирования в соответствии с флагом идентификации, подаваемым из схемы 12 декодирования без потерь, и выбирает кадры, предназначенные для использования, как опорные кадры, среди декодированных кадров, которые сохранены в запоминающем устройстве 19 кадра, в соответствии с режимом прогнозирования. Схема 21 прогнозирования/компенсации движения определяет макроблоки, соответствующие целевому изображению прогнозирования, среди макроблоков, формирующих опорные кадры, на основе векторов движения, подаваемых из схемы 12 декодирования без потерь, и определяет макроблоки, как изображение компенсация движения. Схема 21 прогнозирования/компенсации движения определяет значения пикселя в изображении прогнозирования из значений пикселя в изображениях компенсации движения, в соответствии с режимом прогнозирования, и выводит изображение прогнозирования, значения пикселя которого были определены, в схему 15 сумматора через переключатель 23.

Схема 22 внутрикадрового прогнозирования выполняет внутрикадровое прогнозирование в соответствии с информацией режима внутрикадрового прогнозирования, передаваемой из схемы 12 декодирования без потерь, и генерирует изображение прогнозирования. Схема 22 внутрикадрового прогнозирования выводит сгенерированное изображение прогнозирования в схему 15 сумматора через переключатель 23.

Переключатель 23 соединяют с выводом а2 в случае, когда изображение прогнозирования было сгенерировано с помощью схемы 21 прогнозирования/компенсации движения, и соединяют с выводом b2 в случае, когда изображение прогнозирования было сгенерировано схемой 22 внутрикадрового прогнозирования. Переключением переключателя 23 также управляет, например, схема 31 управления.

Схема 31 управления управляет общей работой устройства 1 декодирования путем, например, переключения соединения переключателей 20 и 23. Идентификация способа прогнозирования для изображения цели обработки может быть выполнена схемой 31 управления.

На фиг.4 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы 12 декодирования без потерь по фиг.3.

Как показано на фиг.4, схема 12 декодирования без потерь включает в себя схему 41 определения прогнозирования и схему 42 обработки декодирования. Схема 41 определения прогнозирования определяет способ прогнозирования для изображения, подаваемого из буфера 11 сохранения. Схема 41 определения прогнозирования идентифицирует способ прогнозирования на основе, например, флага идентификации, включенного в заголовок изображения, предназначенного для декодирования. Следует отметить, что схема 41 определения прогнозирования, конечно, может идентифицировать способ прогнозирования путем анализа потока битов. В этом случае флаг идентификации может быть исключен, и количество информации для информации сжатого изображения может быть уменьшено.

В случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой изображение с внутрикадровым кодированием, схема 41 определения прогнозирования выводит информацию режима внутрикадрового прогнозирования, сохраненную в заголовке изображения, в схему 22 внутрикадрового прогнозирования. Кроме того, в случае, когда определяют, что изображение, предназначенное для декодирования, представляет собой информацию межкадрового кодирования, схема 41 определения прогнозирования 41 выводит вектор движения и флаг идентификации, которые сохранены в заголовке изображения, в схему 21 прогнозирования/компенсации движения.

Схема 41 определения прогнозирования дополнительно передает поток битов изображения, для которого был определен способ прогнозирования, в схему 42 обработки декодирования. Схема 42 обработки декодирования выполняет процесс декодирования, соответствующий схеме кодирования, такой как процесс декодирования с переменной длиной или процесс арифметического декодирования, для изображения. Схема 41 определения прогнозирования выводит квантованный коэффициент преобразования, который получают путем выполнения обработки декодирования, в схему 13 деквантования.

На фиг.5 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы прогнозирования/компенсации движения на фиг.3.

Как показано на фиг.5, схема 21 прогнозирования/компенсации движения включает в себя схему 51 выбора прогнозирования, схему 61 однонаправленного прогнозирования, схему 62 двунаправленного прогнозирования, схему 63 прогнозирования с повышением частоты и схему 64 прогнозирования путем фильтрации. Векторы движения и флаг идентификации, подаваемые из схемы 12 декодирования без потерь (схема 41 определения прогнозирования), подают в схему 51 выбора прогнозирования.

Схема 51 выбора прогнозирования выбирает режим прогнозирования в соответствии с флагом идентификации, подаваемым из схемы 41 определения прогнозирования. В случае, когда определяют, что изображение прогнозирования должно быть сгенерировано с использованием однонаправленного прогнозирования, схема 51 выбора прогнозирования выводит векторы движения в схему 61 однонаправленного прогнозирования. Кроме того, в случае, когда определяют, что изображение прогнозирования должно быть сгенерировано в ходе двунаправленного прогнозирования, схема 51 выбора прогнозирования выводит векторы движения в схему 62 двунаправленного прогнозирования. Кроме того, в случае, когда определяют, что изображение прогнозирования должно быть сгенерировано путем прогнозирования с преобразованием с повышением частоты, схема 51 выбора прогнозирования выводит свою соответствующую инструкцию в схему 63 прогнозирования с преобразованием с повышением частоты.

Кроме того, в случае, когда определяют, что изображение прогнозирования должно быть сгенерировано в результате прогнозирования путем фильтрации, схема 51 выбора прогнозирования выводит векторы движения в схему 64 прогнозирования путем фильтрации.

Таким образом, для того чтобы обеспечить возможность идентификации прогнозирования путем фильтрации, значение, отличающееся от значения, представляющего однонаправленное прогнозирование, значение, представляющее двунаправленное прогнозирование, и значение, представляющее прогнозирование с преобразованием с повышением частоты, которые определены в обычном стандарте, могут быть установлены, как значение флага идентификации.

Схема 61 однонаправленного прогнозирования устанавливает множество кадров, расположенных в одном направлении по времени на уровне расширения, как опорные кадры, и определяет макроблоки в опорных кадрах, соответствующие изображению прогнозирования на основе векторов движения. Кроме того, схема 61 однонаправленного прогнозирования генерирует изображение прогнозирования путем считывания каждого из определенных макроблоков в опорных кадрах из запоминающего устройства 19 кадра, как изображение компенсации движения, и путем установки значения пикселя в одном из изображений компенсации движения, как значение пикселя в изображении прогнозирования. Схема 61 однонаправленного прогнозирования выводит сгенерированное изображение прогнозирования в схему 15 сумматора. Примеры однонаправленного прогнозирования, выполняемого схемой 61 однонаправленного прогнозирования, включают в себя однонаправленное прогнозирование, определенное в стандарте H.264/SVC (или в стандарте Н.264).

Схема 62 двунаправленного прогнозирования устанавливает множество кадров, расположенных по времени в обоих направлениях на уровне расширения, как опорные кадры, и определяет макроблоки опорных кадров, соответствующие изображению прогнозирования на основе векторов движения. Кроме того, схема 62 двунаправленного прогнозирования генерирует изображение прогнозирования путем считывания каждого из определенных макроблоков в опорных кадрах из запоминающего устройства 19 кадра, как изображение компенсации движения, и путем установки среднего для значений пикселей в считанных изображениях компенсации движения, как значения пикселя изображения прогнозирования. Схема 62 двунаправленного прогнозирования выводит сгенерированное изображение прогнозирования в схему 15 сумматора. Примеры двунаправленного прогнозирования, выполняемые схемой 62 двунаправленного прогнозирования, включают в себя двунаправленное прогнозирование, определенное в стандарте H.264/SVC (или в стандарте Н.264).

Как показано на фиг.1, схема 63 прогнозирования с повышением частоты устанавливает текущий кадр на уровне основания, как опорный кадр. Схема 63 прогнозирования с повышением частоты выделяет макроблок в том же положении, что и макроблок - цель обработки в текущем кадре на уровне расширения из опорного кадра на уровне основания. То есть схема 63 прогнозирования с повышением частоты считывает макроблок опорного кадра на уровне основания, который соответствует макроблоку - цели обработки, из запоминающее устройства 19 кадра. Выделенный макроблок представляет собой макроблок на уровне основания, и, поэтому, имеет более низкое разрешение, чем макроблок - цель обработки. Схема 63 прогнозирования с повышением частоты преобразует выделенный макроблок на уровне основания для генерирования изображения прогнозирования макроблока - цели обработки.

Схема 63 прогнозирования с повышением частоты выводит сгенерированное изображение прогнозирования в схему 15 сумматора. Примеры двунаправленного прогнозирования, выполняемого схемой 63 прогнозирования с повышением частоты, включают в себя прогнозирование с повышением частоты, определенное в стандарте H.264/SVC.

Как показано на фиг.2, схема 64 прогнозирования путем фильтрации определяет множество кадров, расположенных в одном или обоих направлениях по времени на уровне основания, как опорные кадры. Какие кадры следует использовать, как опорные кадры, может быть определено заранее или может быть установлено по информации, передаваемой со стороны кодирования вместе с флагом идентификации. Например, предшествующий по времени кадр относительно текущего кадра и следующий предшествующий кадр, то есть два кадра, могут быть установлены, как опорные кадры. Кроме того, например, предшествующий по времени кадр и следующие кадры относительно текущего кадра, то есть два кадра, могут быть установлены, как опорные кадры. Конечно, другие кадры можно использовать, как опорные кадры.

Схема 64 прогнозирования путем фильтрации определяет макроблоки опорных кадров на уровне основания, определенные описанным выше способом, которые соответствуют изображению прогнозирования, на основе векторов движения, подаваемых из схемы 51 выбора прогнозирования. Схема 64 прогнозирования путем фильтрации считывает каждый из определенных макроблоков опорных кадров, как изображение компенсации движения, из запоминающего устройства 19 кадра. Следует отметить, что векторы движения могут быть определены вместо единиц макроблоков 16х16 пикселей и т.п., в единицах блоков, на которые дополнительно разделяют макроблок.

Изображения компенсации движения представляют собой изображения на уровне основания, и поэтому имеют более низкое разрешение, чем у макроблока - цели обработки, на уровне расширения. Схема 64 прогнозирования путем фильтрации выполняет фильтрацию, подразумевающую прогнозирование с преобразованием с повышением частоты, используя изображения компенсации движения, как входные данные, и выводит изображение прогнозирования, получаемое в результате выполнения фильтрации, в схему 15 сумматора. Изображение прогнозирования было преобразовано с повышением частоты до разрешения макроблока на уровне расширения.

Схема 64 прогнозирования путем фильтрации выводит сгенерированное изображение прогнозирования в схему 15 сумматора.

На фиг.6 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы 64 прогнозирования путем фильтрации по фиг.5. В схеме 64 прогнозирования путем фильтрации, имеющей конфигурацию по фиг.6, фильтрацию выполняют по сигналу в области времени.

Как показано на фиг.6, схема 64 прогнозирования путем фильтрации включает в себя 71 схему выделения и схему 72 фильтрации. Схема 71 выделения устанавливает опорные кадры на уровне основания, на основе информации, подаваемой из схемы 51 выбора прогнозирования, и выделяет изображения компенсации движения (например, изображение МСО компенсации движения, и изображение МС1 компенсация движения) из опорных кадров на уровне основания.

Одно из пригодных для применения средств для идентификации множества изображений с низким разрешением, используемых для настоящего изобретения, должно использовать сигналы в потоке на уровне основания, без суммирования новых сигналов.

Таким образом, способ состоит в том, что два изображения используют, как входные данные для последующей обработки фильтрации, где первый вход представляет собой декодированное изображение пространственно в том же положении в изображении с низким разрешением, в текущее время, и второй вход представляет собой по времени прошлое или будущее изображение с более низким разрешением, чем у изображения, использовавшегося для прогнозирования по времени.

То есть, в этом случае схема 71 выделения выделяет, как одно изображение компенсации движения, макроблок текущего кадра на уровне основания, который находится в том же положении, что и макроблок - цель обработки на уровне расширения, и дополнительно выделяет другое изображение компенсации движения, используя вектор движения, который использовался для декодирования макроблока на уровне основания. Преимущество такой технологии состоит в том, что отсутствие суммирования новых сигналов в поток не является предпочтительным с точки зрения эффективности кодирования.

В это время в случае, когда информацию, относящуюся к множеству опорных кадров, используют для декодирования в изображении с низкой разрешением, в частности, в случае, когда выполняют двунаправленное прогнозирование и т.п., все изображения прогнозирования можно использовать, как вторые и третьи входные данные.

Обычно, чем больше используют информации по времени с высокой корреляцией, тем выше разрешение может быть сгенерировано в результате последующей обработки фильтрации. Таким образом, установленный выше способ является эффективным.

Кроме того, для того чтобы более точно сгенерировать изображение с высоким разрешением в ходе обработки фильтрации, способ кодирования вновь одного или множества векторов движения также можно использовать.

То есть в этом случае новый вектор движения, отдельный от векторов движения, использовавшихся для декодирования уровня основания, кодируют для декодирования уровня расширения. В этом способе новый сигнал добавляют к потоку; однако, увеличение точности прогнозирования для уровня расширения позволяет уменьшить остаточные сигналы на уровне расширения. Таким образом, этот способ может быть эффективным с точки зрения эффективности кодирования.

Схема 71 выделения устанавливает изображение МС0 компенсации движения и изображение МС1 компенсации движения, как описано выше, и получает информацию в отношении них из запоминающего устройства 19 кадра. Схема 71 выделения подает выделенное изображение МС0 компенсации движения и изображение МС1 компенсации движения в схему 72 фильтрации.

Схема 72 фильтрации выполняет фильтрацию, включающую в себя прогнозирование с преобразованием с повышением частоты подаваемого изображения МС0 компенсации движения, и изображение МС1 компенсации движения, и генерирует изображение прогнозирования. То есть схема 72 фильтрации выполняет обработку фильтрации для компенсации множества изображений компенсации движения, выделенных с помощью схемы 71 в отношении высокочастотных компонентов, используя корреляцию в направлении времени, включенную в изображение компенсации движения, для генерирования изображения прогнозирования, имеющего более высокое разрешение, чем у изображения компенсации движения. Изображение прогнозирования, генерируемое таким образом, было компенсировано для высокочастотных компонентов. Таким образом, улучшают точность прогнозирования. В результате улучшается эффективность кодирования.

Как показано на фиг.6, схема 72 фильтрации включает в себя схему 81 расчета разности, схему 82 преобразования с повышением частоты, схему 83 фильтра низкой частоты, схему 84 регулирования усиления, схему 85 фильтра высокой частоты, схему 86 регулирования усиления, схему 87 сумматора, схему 88 преобразования с повышением частоты и схему 89 сумматора.

Изображение МС0 компенсации движения подают из схемы 71 выделения, в схему 81 расчета разности и в схему 88 преобразования с повышением частоты, и изображение МС1 компенсации движения подают в схему 81 расчета разности.

В случае, когда изображение прогнозирования должно быть сгенерировано путем однонаправленного прогнозирования, например, изображение, выделенное из опорного кадра R0 рядом с текущим кадром, который можно рассматривать, как имеющий более высокую корреляцию, чем у изображения прогнозирования, используют, как изображение МС0 компенсации движения, и изображение, выделенное из опорного кадра R1, расположенное дальше от текущего кадра, используется, как изображение МС1 компенсации движения. Изображение, выделенное из опорного кадра R0, может быть разработано для использования, как изображение МС1 компенсации движения, и изображение, выделенное из опорного кадра R1, может быть разработано для использования, как изображение МС0 компенсации движения.

Кроме того, в случае, когда изображение прогнозирования должно быть сгенерировано через двунаправленное прогнозирование, например, изображение, выделенное из предшествующего опорного кадра L0, используется, как изображение МС0 компенсации движения, и изображение, выделенное из следующего опорного кадра L1, используется, как изображение МС1 компенсации движения. Изображение, выделенное из опорного кадра L0, может быть разработано для использования в качестве изображения МС1 компенсации движения, и изображение, выделенное из опорного кадра L1, может быть разработано для использования в качестве изображения МС0 компенсации движения.

Схема 81 расчета разности рассчитывает разность между изображением МС0 компенсации движения и изображением МС1 компенсации движения, используя, например, Уравнение (1), представленное ниже, и выводит разностное изображение D в схему 82 преобразования с повышением частоты

$$\text{D(i,j)}=\text{A(i,j)-B(i,j)}\text{(1)}$$

В Уравнении (1) (i, j) представляет относительное положение пикселя в изображении компенсации движения. Например, в случае, когда процесс представлен для выполнения в единицах макроблоков размером 16×16 пикселей, устанавливают 0≤i≤16 и 0≤j≤16. Это аналогично относится к следующему описанию.

Схема 82 преобразования с повышением частоты выполняет преобразование разрешающей способности разностного изображения D, рассчитанного в схеме 81 расчета разности. Отношение преобразования разрешающей способности основано на отношении пространственного разрешения для уровня основания к уровню расширения. Например, в случае, когда разрешение для уровня основания составляет n×m [пикселей] (n и m представляют собой целые числа), и для уровня расширения составляет N×M [пикселей] (N и М представляют собой целые числа, где N>n и М>m), степень увеличения в горизонтальном направлении H_Scale и степень увеличения в вертикальном направлении V_Scale будут заданы Уравнением (2) и Уравнением (3)

$$\text{H\_Scale}=\text{N/n }\text{(2)}$$

$$\text{V\_Scale}=\text{M/m}\text{(3)}$$

Схема 82 преобразования с повышением частоты выводит разностное изображение D', которое было подвергнуто преобразованию разрешения (было преобразовано с повышением частоты), таким образом, в схему 83 фильтра низкой частоты.

Схема 83 фильтра низкой частоты включает в себя схему фильтра FIR. В схеме 83 фильтра низкой частоты применяют фильтр низкой частоты к разностному изображению D', подаваемому из схемы 82 преобразования с повышением частоты, и выводят полученное изображение в схему 84 регулирования усиления и в схему 85 фильтра высокой частоты. Разностное изображение D'', то есть изображение, полученное путем применения фильтра низкой частоты, представляют с помощью Уравнения (4) следующим образом:

$$\text{D"}=\text{LPF (D')}\text{(4)}$$

В Уравнении (4) LPF (X) представляет применение фильтра низкой частоты к входному изображению X, используя двумерный фильтр FIR.

Схема 84 регулирования усиления регулирует усиление разностного изображения D'', подаваемого из схемы 83 фильтра низкой частоты, и выводит изображение с отрегулированным усилением в схему 87 сумматора. Если установлено 0≤I≤16×H_Scale и если установлено 0≤J≤16×V_Scale, выходное изображение Х (I, J) схемы 84 регулирования усиления будет представлено Уравнением (5) следующим образом:

$$\text{X(I,J)}=\alpha \text{D''(I,J)}\text{(5)}$$

Схема 85 фильтра высокой частоты включает в себя схему фильтра FIR. Схема 85 фильтра высокой частоты применяет фильтр высокой частоты для разностного изображения D'', подаваемого из схемы 83 фильтра низкой частоты, и выводит полученное изображение в схему 86 регулирования усиления. Разностное изображение D''', то есть изображение, полученное путем применения фильтра высокой частоты, представлено Уравнением (6) следующим образом:

$$\text{D'''}=\text{HPF (D'')}\text{ (6)}$$

В Уравнении (6) HPF(X) представляет рабочую характеристику процесса фильтрации высокой частоты во входном изображении X, используя двумерный фильтр FIR.

Схема 86 регулирования усиления регулирует усиление разностного изображения D''', подаваемого из схемы 85 фильтра высокой частоты, и выводит изображение с отрегулированным усилением в схему 87 сумматора. Выходное изображение Y (I, J) схемы 86 регулирования усиления представлено Уравнением (7) следующим образом:

$$\text{Y(U)}=\beta \text{D'''(I,J)}\text{(7)}$$

В качестве значения α в Уравнении (5) и значения β в Уравнении (7), например, выбирают значения, такие как α=0,8 и β=0,2. Однако другие значения можно использовать для увеличения точности пикселя прогнозирования. Кроме того, эти значения могут быть адаптивно изменены в соответствии с характеристиками входной последовательности и т.п.

Схема 87 сумматора суммирует изображение Х (I, J) с отрегулированным усилением и изображение Y (I, J), и выводит изображение, полученное в результате суммирования. Выходное изображение Z(I, J) схемы 87 сумматора представлено Уравнением (8) следующим образом:

$$\text{Z(I,J)}=\text{X(I,J)}+\text{Y(I,J)}\text{(8)}$$

Выходное изображение Z (I, J) является представлением высокочастотных компонентов изображения, которое может быть определено по-разному, то есть в корреляции между изображением МС0 компенсации движения и изображением МС1 компенсации движения.

Схема 88 преобразования с повышением частоты выполняет преобразование разрешения изображения МС0 компенсации движения. Аналогично случаю схемы 82 преобразования с повышением частоты, отношение преобразования разрешения основано на отношении пространственного разрешения для уровня основания к уровню расширения. То есть степень увеличения в горизонтальном направлении H_Scale и степень увеличения в вертикальном направлении V_Scale заданы Уравнением (2) и Уравнением (3), приведенными выше. Схема 88 преобразования с повышением частоты выводит изображение А', которое представляет собой изображение МС0 компенсации движения, подвергнутое преобразованию разрешения (преобразованное с повышением частоты), как описано выше, в схему 89 сумматора.

Схема 89 сумматора суммирует выходное изображение Z (I, J), подаваемое из схемы 87 сумматора с изображением А', подаваемым из схемы 88 преобразования с повышением частоты, и выводит полученное изображение в схему 15 сумматора, как изображение прогнозирования. Изображение S (I, J) прогнозирования, которое в конечном итоге выводят из схемы 89 сумматора, представлено Уравнением (9) следующим образом:

$$\text{S(I,J)}=\text{A'(I,J)}+\text{Z(I,J)}\text{(9)}$$

Таким образом, в соответствии с режимом прогнозирования путем фильтрации изображение, которое представляет высокочастотные компоненты и которое генерируют путем преобразования с повышением частоты изображения на уровне основания, добавляют к изображению, полученному в результате прогнозирования с преобразованием с повышением частоты изображения МС0 компенсации движения. Таким образом, генерируют изображение прогнозирования.

В результате генерирования изображения прогнозирования в режиме прогнозирования путем фильтрации, как описано выше, устройство 1 декодирования может получать изображение прогнозирования, включающее в себя больше высокочастотных компонентов, чем изображение прогнозирования при прогнозировании с преобразованием с повышением частоты, которое получают в результате преобразования с повышением частоты изображения текущего кадра на уровне основания. Кроме того, поскольку фильтрацию выполняют таким образом, как описано выше, когда изображение прогнозирования генерируют из множества изображений компенсации движения, устройство 1 декодирования может получать изображение прогнозирования, включающее в себя больше высокочастотных компонентов, чем изображение прогнозирования, которое просто имеет, как каждое значение пикселя, среднее значение соответствующих пикселей множества изображений компенсации движения.

Кроме того, разрешение изображения, к которому требуется обратиться, меньше, чем у изображения, предназначенного для межкадрового прогнозирования, в котором изображения прогнозирования генерируют путем обращения к кадрам на уровне расширения. В соответствии с этим нет необходимости сохранять изображения с высоким разрешением на уровне расширения в запоминающем устройстве 19 кадра или считывать их из запоминающего устройства 19 кадра. Кроме того, например, как векторы движения, информация во время декодирования уровня основания может использоваться во время декодирования уровня расширения. Таким образом, может быть уменьшено количество кода для информации сжатого изображения. То есть устройство 1 декодирования может улучшить эффективность сжатия.

Таким образом, устройство 1 декодирования может улучшить эффективность кодирования, исключая увеличение нагрузки.

Пояснения потока обработки декодирования

Далее поясняется обработка, выполняемая устройством 1 декодирования, имеющим описанную выше конфигурацию. Вначале поясняется пример потока процесса декодирования для уровня расширения со ссылкой на блок-схему последовательности операций, показанную на фиг.7. Аналогично случаю процесса декодирования для уровня основания, декодирование для уровня расширения также, в основном, выполняют, используя способ, соответствующий стандарту Н.264.

В этом отношении процесс декодирования для уровня расширения в значительной степени отличается от процесса декодирования для уровня основания или стандарта Н.264, в котором существует режим, в котором изображение на уровне основания одновременно используется для генерирования изображения прогнозирования. Кроме того, в случае процесса декодирования для уровня расширения, в котором применяется настоящее изобретение, добавляют функцию для использования множества изображений на уровне основания, которые по времени расположены в одном и том же времени или в разные моменты времени относительно текущего кадра, для декодирования уровня расширения.

Процесс по фиг.9 начинается, когда, например, изображение с определенным размером, такое как макроблок размером 16х16 пикселей, считывают с помощью схемы 12 декодирования без потерь из информации, сохраненной в буфере 11 сохранения. Обработка каждого этапа на фиг.9 выполняется соответствующим образом, параллельно с обработкой другого этапа или в результате изменения порядка выполнения этапов. Это в аналогичной степени относится к обработке каждого этапа в каждой блок-схеме последовательности операций, описанной ниже.

На этапе S1 схема 12 декодирования без потерь начинает процесс декодирования без потерь для изображения, считанного из буфера 11 сохранения. Детали процесса декодирования без потерь будут описаны ниже. Схема 12 декодирования без потерь выводит квантованный коэффициент преобразования, который генерируют, используя процесс декодирования без потерь, в схему 13 устранения квантования. Кроме того, схема 12 декодирования без потерь выводит информацию о режиме внутрикадрового прогнозирования в схему 22 внутрикадрового прогнозирования 22 в случае, когда изображение, предназначенное для декодирования, представляет собой изображение внутрикадрового кодирования, и выводит векторы движения и флаг идентификации в схему 21 прогнозирования/компенсации движения в случае, когда изображение представляет собой изображение, кодированное между кадрами, в процессе декодирования без потерь.

На этапе S2 схема 13 устранения квантования выполняет устранение квантования, используя схему, соответствующую схеме квантования, использовавшейся на стороне кодирования, и выводит коэффициент преобразования в схему 14 обратного ортогонального преобразования. На этапе S3 схема 14 обратного ортогонального преобразование выполняет обратное ортогональное преобразование по коэффициенту преобразования, поданному из схемы 13 устранения квантования, и выводит полученное изображение в схему 15 сумматора.

На этапе S4 схема 15 сумматора комбинирует декодированное изображение, поданное из схемы 14 обратного ортогонального преобразования, и изображение прогнозирования, поданное из схемы 21 прогнозирования/компенсации движения, или схемы 22 внутрикадрового прогнозирования, и выводит композитное изображение в фильтр 16 устранения блоков. На этапе S5 фильтр 16 устранения блоков выполняет фильтрацию для удаления шумов блока, включенных в композитное изображение, и выводит изображение, из которого были удалены шум блоков. На этапе S6 запоминающее устройство 19 кадра временно сохраняет изображение, поданное из фильтра 16 устранения блоков. Кроме того, в это время изображение также удерживается в буфере 17 изменения компоновки.

На этапе S7 схема 31 управления определяет, был или нет описанный выше процесс выполнен для макроблоков в одном всем кадре. В случае, когда определяют, что процесс не был выполнен, внимание фокусируют на другом макроблоке и повторно выполняют процесс от этапа S1.

Кроме того, в случае, когда на этапе S7 определяют, что процесс был выполнен над макроблоками во всем кадре, процесс переходит на этап S8. На этапе S8 буфер 17 изменения компоновки выводит сгенерированный кадр в схему 18 D/A преобразователя в соответствии с управлением схемой 31 управления.

На этапе S9 схема 18 D/A преобразователя выполняет D/A преобразование для кадра, поданного из буфера 17 изменения компоновки, и выводит аналоговый сигнал наружу. Описанную выше обработку выполняют для каждого кадра.

Далее со ссылкой на блок-схему последовательности операций, показанную на фиг.8, будет описан пример потока обработки декодирования без потерь.

Когда начинается процесс декодирования без потерь, на этапе S21, схема 41 определения прогнозирования обращается к заголовку информации сжатого изображения, поданному из буфера 11 сохранения. На этапе S22 схема 41 определения прогнозирования определяет, следует ли выполнить или нет внутрикадровое прогнозирование на основе информации, обозначающей режим прогнозирования, установленный устройством кодирования, которое включено в заголовок. В случае, когда режим внутрикадрового прогнозирования был установлен с помощью устройства кодирования, процесс переходит на этап S23.

На этапе S23 схема 22 внутрикадрового прогнозирования выполняет внутрикадровое прогнозирование для генерирования изображения прогнозирования, и подает изображение прогнозирования в схему 15 сумматора. Изображение прогнозирования комбинируют с декодируемым изображением, подаваемым из схемы 14 обратного ортогонального преобразование на этапе S4 по фиг.7.

Когда обработка на этапе S23 закончена, обработка переходит на этап S29. Кроме того, если на этапе S22 определяют, что внутрикадровое прогнозирование не следует выполнять, обработка переходит на этап S24.

На этапе S24 схема 41 определения прогнозирования определяет, следует или нет выполнить прогнозирование с преобразованием с повышением частоты на основе информации, обозначающей режим прогнозирования, установленный устройством кодирования, которая включена в заголовок. В случае, когда режим прогнозирования с преобразованием с повышением частоты был установлен устройством кодирования, обработка переходит на этап S25.

На этапе S25 схема 63 прогнозирования с преобразованием с повышением частоты схемы 21 прогнозирования/компенсации движения выполняет прогнозирование с преобразованием с повышением частоты, для генерирования изображения прогнозирования, и подает это изображение прогнозирования в схему 15 сумматора. Изображение прогнозирования комбинируют с декодированным изображением, подаваемым из схемы 14 обратного ортогонального преобразования на этапе S4 на фиг.7.

Когда обработка на этапе S25 заканчивается, обработка переходит на этап S29. Кроме того, в случае, когда на этапе S24 определяют, что прогнозирование с преобразованием с повышением частоты не должно быть выполнено, обработка переходит на этап S26.

На этапе S26 схема 41 определения прогнозирования определяет, должно ли быть выполнено межкадровое прогнозирование на основе информации, обозначающей режим прогнозирования, определенный устройством кодирования, включенной в заголовок. В случае, когда режим межкадрового прогнозирования был определен устройством кодирования, обработка переходит на этап S27.

На этапе S27 схема 61 однонаправленного прогнозирования или схема 62 двунаправленного прогнозирования из схемы 21 прогнозирования/компенсации движения выполняет межкадровое прогнозирование (однонаправленное прогнозирование или двунаправленное прогнозирование), чтобы сгенерировать изображение прогнозирования, и подает изображение прогнозирования в схему 15 сумматора. Изображение прогнозирования объединяют с декодируемым изображением, поданным из схемы 14 обратного ортогонального преобразования на этапе S4 по фиг.7.

Когда обработка на этапе S27 заканчивается, обработка переходит на этап S29. Кроме того, в случае, когда на этапе S26 определяют, что режим прогнозирования путем фильтрации был определен устройством кодирования и что межкадровое прогнозирование не должно быть выполнено, обработка переходит на этап S28.

На этапе S28 схема 64 прогнозирования путем фильтрации схемы 21 прогнозирования/компенсации движения выполняет прогнозирование фильтрации для генерирования изображения прогнозирования на основе информации, обозначающей режим прогнозирования путем фильтрации, которая включена в заголовок, и подает это изображение прогнозирования в схему 15 сумматора. Изображение прогнозирования комбинируют с декодируемым изображением, подаваемым из схемы 14 обратного ортогонального преобразование на этапе S4 на фиг.7. Когда обработка на этапе S28 закончена, обработка переходит на этап S29.

На этапе S29 схема 42 обработки декодирования декодирует остаточный сигнал сжатой информации изображения и выводит квантованный коэффициент преобразования в схему 13 деквантования. Когда обработка на этапе S29 закончена, обработка декодирования без потерь заканчивается. Затем обработка возвращается на этап S1 по фиг.7 и выполняется обработка после этапа S2.

Следует отметить, что выше пояснялось, что режим прогнозирования выбирают на основе информации, включенной в заголовок сжатой информации изображения, к которой обращаются на этапе S21. Однако это не является ограничением, и схема 41 определения прогнозирования может быть выполнена с возможностью выбора соответствующего режима прогнозирования, например, путем анализа потока битов информации сжатого изображения. В этом случае на этапе S21 вместо обращения к заголовку схема 41 определения прогнозирования анализирует информацию сжатого изображения и выбирает режим прогнозирования на основе результата анализа при обработке на этапе S22 и на последующих этапах.

Далее пример потока обработки прогнозирования путем фильтрации, выполняемый при обработке на этапе S28 на фиг.8, поясняется со ссылкой на блок-схему последовательности операций, показанную на фиг.9.

Когда начинается обработка прогнозирования путем фильтрации, на этапе S41, схема 71 выделения выделяет изображение компенсации движения из текущего кадра или из опорных кадров из уровня основания. На этапе S42 схема 81 расчета разности рассчитывает разность между изображениями компенсации движения. На этапе S43 схема 82 преобразования с повышением частоты преобразует с повышением частоты разность между изображениями компенсации движения, рассчитанными на этапе S42. На этапе S44 схема фильтра 83 низкой частоты применяет фильтр низкой частоты к разности, полученной после преобразования с повышением частоты на этапе S43.

На этапе S45 схема 84 регулирования усиления умножает выход фильтра низкой частоты при обработке на этапе S44 на коэффициент α для выполнения регулирования усиления. На этапе S46 схема 85 фильтра высокой частоты применяет фильтр высокой частоты к выходу фильтра низкой частоты при обработке на этапе S44. На этапе S47 схема 86 регулирования усиления умножает выход фильтра высокой частоты при обработке на этапе S46 на коэффициент β для выполнения регулирования усиления.

На этапе S48 схема 87 сумматора суммирует выход с отрегулированным усилением фильтра низкой частоты при обработке на этапе S45 и выход с отрегулированным усилением фильтра высокой частоты при обработке на этапе S47 для определения компонентов высокой частоты.

На этапе S49 схема 88 преобразования с повышением частоты выполняет преобразование с повышением частоты изображения МС0 компенсации движения, выделенного из уровня основания. На этапе S50 схема 89 сумматора суммирует компоненты высокой частоты, определенные на этапе S48, с изображением компенсации движения, полученным после преобразования с повышением частоты на этапе S49, для генерирования изображения прогнозирования. Схема 89 сумматора подает сгенерированное изображение прогнозирования в схему 15 сумматора.

Когда обработка на этапе S50 будет закончена, обработка прогнозирования путем фильтрации заканчивается. Затем процесс возвращается на этап S28 на фиг.8, и выполняется обработка после этапа S29.

Как отмечено выше, декодирование выполняют, используя изображение прогнозирования, сгенерированное в ходе прогнозирования путем фильтрации, что, таким образом, позволяет получить декодированное изображение с высоким разрешением, без увеличения нагрузки на обработку. То есть устройство 1 декодирования позволяет улучшить эффективность кодирования, предотвращая увеличение нагрузки.

Следует отметить, что выше пояснялось, что декодирование уровня основания и декодирование уровня расширения выполняют с помощью одного и того же устройства 1 декодирования. Однако, это не является ограничением, и декодирование на обоих уровнях может быть выполнено с помощью разных устройств 1 декодирования. В этом отношении, также в этом случае, запоминающее устройство 19 кадра является общим для всех устройств декодирования, и кадр на уровне основания может быть выполнен с возможностью его считывания во время декодирования уровня расширения.

2. Второй вариант осуществления

Конфигурация устройства кодирования

На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации основной части устройства кодирования, в котором применяется настоящее изобретение. Устройство 101 кодирования представляет собой устройство кодирования, соответствующее устройству 1 декодирования на фиг.3. То есть сжатую информацию изображения, полученную в результате выполнения кодирования устройством 101 кодирования, вводят в устройство 1 декодирования по фиг.3.

Устройство 101 кодирования включает в себя схему 111 A/D преобразователя, буфер 112 изменения компоновки, схему 113 сумматора, схему 114 ортогонального преобразования, схему 115 квантования, схему 116 кодирования без потерь и буфер 117 сохранения. Устройство 101 кодирования дополнительно включает в себя схему 118 управления скоростью, схему 119 деквантования, схему 120 обратного ортогонального преобразования, фильтр 121 удаления блоков, запоминающее устройство 122 кадра и схему 123 определения режима. Кроме того, устройство 101 кодирования включает в себя переключатель 124, схему 125 прогнозирования/компенсации движения, схему 126 внутрикадрового прогнозирования, переключатель 127 и схему 131 управления.

Информацию изображения делят на два уровня (или на множество уровней больше чем два уровня), то есть уровень основания с низким разрешением и уровень расширения с высоким разрешением, и информацию изображения по каждому кадру на уровне основания с низким разрешением заранее подают в устройство 101 кодирования и кодируют. Кодирование уровня основания выполняют аналогично случаю в соответствии со стандартом Н.264. Когда кодирование уровня основания закончено, информацию изображения на уровне расширения кодируют с помощью устройства 101 кодирования. Кодирование уровня расширения поясняется ниже.

Схема 111 A/D преобразователя выполняет A/D преобразование входного сигнала и выводит изображение в буфер 112 изменения компоновки. Буфер 112 изменения компоновки изменяет кадры в соответствии со структурой GOP (группа изображений) сжатой информации изображения и выводит изображение определенного модуля, такого как макроблока. Изображение, выводимое из буфера 112 изменения компоновки, подают в схему 113 сумматора, схему 123 определения режима, схему 125 прогнозирования/компенсации движения и в схему 126 внутрикадрового прогнозирования.

Схема 113 сумматора определяет разность между изображением, подаваемым из буфера 112 изменения компоновки, и изображением прогнозирования, сгенерированным схемой 125 прогнозирования/компенсации движения, или схемой 126 внутрикадрового прогнозирования, и подаваемым через переключатель 127, и выводит остаток в схему 114 ортогонального преобразования. Чем ближе изображение прогнозирования к исходному изображению и чем меньше количество остатков, определенных здесь, тем меньшее количество кода требуется назначать для остатков, и, поэтому, можно сказать, тем выше эффективность кодирования.

Схема 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва для остатка, подаваемого из схемы 113 сумматора, и выводит коэффициент преобразования, полученный в результате выполнения ортогонального преобразования в схему 115 квантования.

Схема 115 квантования выполняет квантование коэффициента преобразования, подаваемого из схемы 114 ортогонального преобразования, в соответствии с управлением со стороны схемы 118 управления скоростью, и выводит квантованный коэффициент преобразования. Коэффициент преобразования, квантованный с помощью схемы 115 квантования, подают в схему 116 кодирования без потерь и схему 119 деквантования.

Схема 116 кодирования без потерь сжимает коэффициент преобразования, подаваемый из схемы 115 квантования, путем выполнения кодирования без потерь, такого как кодирование переменной длины или арифметическое кодирование, и выводит информацию в буфер 117 сохранения.

Кроме того, схема 116 кодирования без потерь устанавливает значение флага идентификации в соответствии с информацией, подаваемой из схемы 123 определения режима, и описывает этот флаг идентификации в заголовке изображения. Как описано выше, устройство 1 декодирования определяет режим прогнозирования на основе флага идентификации, описанного схемой 116 кодирования без потерь.

Схема 116 кодирования без потерь также описывает информацию, подаваемую из схемы 125 прогнозирования/компенсации движения или схемы 126 внутрикадрового прогнозирования, в заголовке изображения. Векторы движения и т.п., которые детектируют, когда выполняют межкадровое прогнозирование, передают из схемы 125 прогнозирования/компенсации движения, и информацию, относящуюся к режиму внутрикадрового прогнозирования, подают из схемы 126 внутрикадрового прогнозирования.

Буфер 117 сохранения временно сохраняет информацию, подаваемую из схемы 116 кодирования без потерь, и выводит ее, как сжатую информацию об изображении в определенный момент времени. Буфер 117 сохранения выводит информацию о количестве сформированного кода в схему 118 управления скоростью.

Схема 118 управления скоростью вычисляет масштаб квантования на основе количества кода, выводимого из буфера 117 сохранения, и управляет схемой 115 квантования таким образом, что квантование может быть выполнено с рассчитанным масштабом квантования.

Схема 119 деквантования выполняет деквантование по рассчитанному коэффициенту преобразования, квантованному с помощью схемы 115 квантования, и выводит этот коэффициент преобразования в схему 120 обратного ортогонального преобразования.

Схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование по коэффициенту преобразования, переданному из схемы 119 деквантования, и выводит полученное изображение в фильтр 121 удаления блоков.

Фильтр 121 удаления блоков удаляет шумы блоков, которые возникают в локально декодированном изображении, и выводит изображение, из которого были удалены шумы блоков, в запоминающее устройство 122 кадра.

В запоминающем устройстве 122 кадра содержится изображение, переданное из фильтра 121 удаления блоков. Изображение, сохраненное в запоминающем устройстве 122 кадра, считывают с помощью схемы 123 определения режима соответствующим образом.

Схема 123 определения режима определяет, следует ли выполнить внутрикадровое кодирование или должно быть выполнено межкадровое кодирование, на основе изображения, сохраненного в запоминающем устройстве 122 кадра, и исходного изображения, переданного из буфера 112 изменения компоновки. Кроме того, в случае, когда определяют, что должно быть выполнено межкадровое кодирование, схема 123 определения режима определяет один режим среди режима однонаправленного прогнозирования, режима двунаправленного прогнозирования, режима прогнозирования с преобразованием с повышением частоты и режима прогнозирования путем фильтрации. Схема 123 определения режима выводит информацию, обозначающую результат определения, в схему 116 кодирования без потерь, как информацию режима.

В случае, когда определяют, что должно быть выполнено межкадровое кодирование, схема 123 определения режима выводит кадры, которые сохранены в запоминающем устройстве 122 кадра и которые получают в результате локального декодирования, в схему 125 прогнозирования/компенсации движения через переключатель 124.

Кроме того, в случае, когда определяют, что должно быть выполнено внутрикадровое кодирование, схема 123 определения режима выводит кадры, которые сохранены в запоминающем устройстве 122 кадра и, которые получают в результате локального декодирования, в схему 126 внутрикадрового прогнозирования.

Переключатель 124 подключают к выводу a11 в случае, когда требуется выполнить межкадровое кодирование, и его подключают к выводу b11 в случае, когда должно быть выполнено внутрикадровое кодирование. Переключением переключателя 124 управляют, например, с помощью схемы 131 управления.

Схема 125 прогнозирования/компенсации движения детектирует векторы движения на основе исходного изображения, подаваемого из буфера 112 изменения компоновки и опорных кадров, считываемых из запоминающего устройства 122 кадра, и выводит детектированные векторы движения в схему 116 кодирования без потерь. Кроме того, схема 125 прогнозирования/компенсации движения генерирует изображение прогнозирования путем выполнения компенсации движения, используя детектируемые векторы движения и опорные кадры, и выводит сгенерированное изображение прогнозирования в схему 113 сумматора через переключатель 127.

Схема 126 внутрикадрового прогнозирования выполняет внутрикадровое прогнозирование на основе исходного изображения, переданного из буфера 112 изменения компоновки, и опорного кадра, локально декодированного и сохраненного в запоминающем устройстве 122 кадра, и генерирует изображение прогнозирования. Схема 126 внутрикадрового прогнозирования выводит сгенерированное изображение прогнозирования в схему 113 сумматора через переключатель 127 и выводит информацию о режиме внутрикадрового прогнозирования в схему 116 кодирования без потерь.

Переключатель 127 соединяют с выводом а12 или выводом b12, и он выводит изображение прогнозирования, генерируемое схемой 125 прогнозирования/компенсации движения или схемой 126 внутрикадрового прогнозирования, в схему 113 сумматора.

Схема 131 управления управляет общей работой устройства 101 кодирования путем, например, переключения соединения переключателей 124 и 127 в соответствии с режимом, определенным схемой 123 определения режима.

На фиг.11 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы 123 определения режима по фиг.10.

Как показано на фиг.11, схема 123 определения режима включает в себя схему 141 внутрикадрового прогнозирования, схему 142 однонаправленного прогнозирования, схему 143 двунаправленного прогнозирования, схему 144 прогнозирования с преобразованием с повышением частоты, схему 145 прогнозирования путем фильтрации, схему 146 расчета ошибки прогнозирования и схему 147 определения.

В схеме 123 определения режима каждое из внутрикадрового прогнозирования и межкадрового прогнозирования выполняют для блока, имеющего разный размер, и определяют, какой режим прогнозирования следует выполнить, по полученному результату. Что касается межкадрового прогнозирования, обработку выполняют в каждом из режимов прогнозирования, то есть в режиме однонаправленного прогнозирования, в режиме двунаправленного прогнозирования, в режиме прогнозирования с преобразованием с повышением частоты и в режиме прогнозирования путем фильтрации.

Схема 141 внутрикадрового прогнозирования, схема 142 однонаправленного прогнозирования, схема 143 двунаправленного прогнозирования, схема 144 прогнозирования с преобразованием с повышением частоты и схема 145 прогнозирования путем фильтрации выполняют прогнозирование, используя отдельные способы для генерирования изображения прогнозирования на основе исходного изображения и изображений, считанных из запоминающего устройства 122 кадра, и выводят сгенерированные изображения прогнозирования в схему 146 расчета ошибки прогнозирования.

Схема 141 внутрикадрового прогнозирования выполняет внутрикадровое прогнозирование, используя способ, аналогичный способу, применяемому в схеме 22 внутрикадрового прогнозирования устройства 1 декодирования. Схема 142 однонаправленного прогнозирования детектирует векторы движения, выделяет изображения компенсации движения из опорных кадров на основе детектированных векторов движения и выполняет однонаправленное прогнозирование, используя изображения компенсации движения для генерирования изображения прогнозирования. То есть схема 142 однонаправленного прогнозирования генерирует изображение прогнозирования, используя способ, аналогичный способу схемы 61 однонаправленного прогнозирования устройства 1 декодирования на основе детектированных векторов движения.

Схема 143 двунаправленного прогнозирования детектирует векторы движения, выделяет изображения компенсации движения из опорных кадров на основе детектированных векторов движения и выполняет двунаправленное прогнозирование, используя изображения компенсации движения, для генерирования изображения прогнозирования. То есть схема 143 двунаправленного прогнозирования генерирует изображение прогнозирования, используя способ, аналогичный выполняемому схемой 62 двунаправленного прогнозирования устройства 1 декодирования на основе детектированных векторов движения.

Схема 144 прогнозирования с преобразованием с повышением частоты устанавливает макроблок текущего кадра на уровне основания, который находится в том же положении, что и целевой макроблок обработки текущего кадра на уровне расширения, как изображение компенсации движения, и выполняет преобразование с повышением частоты изображения компенсации движения для генерирования изображения прогнозирования на уровне расширения. То есть схема прогнозирования 144 с преобразованием с повышением частоты генерирует изображение прогнозирования, используя способ, аналогичный применяемому в схеме 63 прогнозирования с преобразованием с повышением частоты устройства 1 декодирования.

Схема 145 прогнозирования путем фильтрации детектирует векторы движения на уровне основания, выделяет изображения компенсации движения на уровне основания из опорных кадров на основе детектированных векторов движения и выполняет прогнозирование фильтрации, используя изображения компенсации движения на уровне основания, для генерирования изображения прогнозирования. То есть схема 145 прогнозирования путем фильтрации генерирует изображение прогнозирования, используя способ, аналогичный схеме 145 прогнозирования путем фильтрации устройства 1 декодирования на основе детектированных векторов движения.

Следует отметить, что все схемы от схемы 141 внутрикадрового прогнозирования до схемы 145 прогнозирования путем фильтрации детектируют векторы движения или выполняют прогнозирование в модулях, например, блоков 4х4 пикселя, блоков 8х8 пикселей и блоков 16×16 пикселей. Размер блока, который используется, как модуль обработки, является произвольным. Кроме того, количество типов блоков, для которых должно быть выполнено прогнозирование, также является произвольным. Все схемы от схемы 141 внутрикадрового прогнозирования до схемы 145 прогнозирования путем фильтрации генерируют изображения прогнозирования для каждого блока и выводят сгенерированные отдельные изображения прогнозирования в схему 146 расчета ошибки прогнозирования.

Исходное изображение, подаваемое из буфера 112 изменения компоновки, поступает в схемы от схемы 141 внутрикадрового прогнозирования до схемы 145 прогнозирования путем фильтрации и в схему 146 расчета ошибки прогнозирования.

Схема 146 расчета ошибки прогнозирования определяет разность между каждым из изображений прогнозирования, переданным из соответствующих схем, в схему 141 внутрикадрового прогнозирования и исходным изображением, и выводит остаточные сигналы, представляющие определенные разности в схему 147 определения. Аналогично схема 146 расчета ошибки прогнозирования определяет разность между каждым из изображений прогнозирования, переданных из схемы 142 однонаправленного прогнозирования, схемы 143 двунаправленного прогнозирования, схемы 144 прогнозирования с преобразованием с повышением частоты и схемы 145 прогнозирования путем фильтрации и исходным изображением, и выводит остаточные сигналы, представляющие определенные разности, в схему 147 определения.

Схема 147 определения измеряет интенсивность остаточных сигналов, подаваемых из схемы 146 расчета ошибки прогнозирования, и определяет, как способ прогнозирования, для генерирования изображения прогнозирования, предназначенного для использования для кодирования, способ прогнозирования, который использовался для генерирования изображения прогнозирования, имеющего небольшую разность с исходным изображением. Схема 147 определения выводит информацию, представляющую результат определения, в схему 116 кодирования без потерь, как информацию о режиме. Информация о режиме также включает в себя информацию, представляющую размер блока, предназначенного для использования в качестве модуля обработки, и т.п.

Кроме того, в случае, когда определяют, что изображение прогнозирования должно быть сгенерировано через межкадровое прогнозирование (в случае, когда определяют, что межкадровое кодирование должно быть выполнено), схема 147 определения выводит опорные кадры, считанные из запоминающего устройства 122 кадра, вместе с информацией о режиме, в схему 125 прогнозирования/компенсации движения. В случае, когда определяют, что изображение прогнозирования должно быть сгенерировано через внутрикадровое прогнозирование (в случае, когда определяют, что должно быть выполнено внутрикадровое кодирование), схема 147 определения выводит изображение, используемое для внутрикадрового прогнозирования, которое считывают из запоминающего устройства 122 кадра, в схему 126 внутрикадрового прогнозирования, вместе с информацией о режиме.

На фиг.12 показана блок-схема, иллюстрирующая пример конфигурации основной части схемы 125 прогнозирования/компенсации движения по фиг.10.

Как показано на фиг.12, схема 125 прогнозирования/компенсации движения включает в себя схему 151 детектирования вектора движения, схему 152 однонаправленного прогнозирования, схему 153 двунаправленного прогнозирования, схему 154 прогнозирования с преобразованием с повышением частоты и схему 155 фильтрации. Схема 125 прогнозирования/компенсации движения имеет аналогичную конфигурацию со схемой 21 прогнозирования/компенсации движения, представленной на фиг.5, за исключением того, что схема 151 детектирования вектора движения предусмотрена вместо схемы 51 выбора прогнозирования.

Схема 151 детектирования вектора движения детектирует векторы движения, выполняя сопоставление блоков и т.п. на основе исходного изображения, подаваемого из буфера 112 изменения компоновки и опорных кадров, передаваемых из схемы 123 определения режима. Схема 151 детектирования вектора движения обращается к информации режима, передаваемой из схемы 123 определения режима, и выводит опорные кадры в одну из схем от схемы 152 однонаправленного прогнозирования до схемы 155 прогнозирования путем фильтрации. Кроме того, схема 151 детектирования вектора движения также выводит векторы движения в место назначения, в которое должны быть выведены опорные кадры, по мере необходимости.

Схема 151 детектирования вектора движения выводит векторы движения, вместе с опорными кадрами, в схему 152 однонаправленного прогнозирования, в случае, когда было выбрано однонаправленное прогнозирование, и выводит эти части информации в схему 153 двунаправленного прогнозирования, в случае, когда было выбрано, что следует выполнить двунаправленное прогнозирование. Кроме того, в случае, когда было выбрано прогнозирование с преобразованием с повышением частоты, схема 151 детектирования вектора движения выводит изображение текущего кадра на уровне основания, который представляет собой опорный кадр, в схему 154 прогнозирования с преобразованием с повышением частоты. Кроме того, в случае, когда было выбрано прогнозирование с фильтрацией, схема 151 детектирования вектора движения выводит векторы движения, вместе с опорными кадрами на уровне основания, в схему 155 прогнозирования путем фильтрации.

Схема 152 однонаправленного прогнозирования генерирует изображение прогнозирования, путем, аналогично схеме 61 однонаправленного прогнозирования на фиг.5, выполнения однонаправленного прогнозирования. Схема 152 однонаправленного прогнозирования выводит сгенерированное изображение прогнозирования в схему 113 сумматора. Схема 153 двунаправленного прогнозирования генерирует изображение прогнозирования, путем, аналогично схеме 62 двунаправленного прогнозирования на фиг.5, выполнения двунаправленного прогнозирования. Схема 153 двунаправленного прогнозирования выводит сгенерированное изображение прогнозирования в схему 113 сумматора. Схема 154 прогнозирования с преобразованием с повышением частоты генерирует изображение прогнозирования, путем, аналогично схеме 63 прогнозирования с преобразованием с повышением частоты на фиг.5, выполнения прогнозирования с преобразованием с повышением частоты. Схема 154 прогнозирования с преобразованием с повышением частоты выводит сгенерированное изображение прогнозирования в схему 113 сумматора.

Схема 155 прогнозирования путем фильтрации генерирует изображение прогнозирования, путем, аналогично схеме 64 прогнозирования путем фильтрации по фиг.5, выделения изображения компенсации движения из каждого из множества опорных кадров на уровне основания и выполнения прогнозирования путем фильтрации, включающего в себя преобразование с повышением частоты множества выделенных изображений компенсации движения. Схема 155 прогнозирования путем фильтрации выводит сгенерированное изображение прогнозирования в схему 113 сумматора. Следует отметить, что схема 155 прогнозирования путем фильтрации имеет конфигурацию, аналогичную конфигурации схемы 64 прогнозирования путем фильтрации, представленной на фиг.6. Ниже конфигурация схемы 155 прогнозирования путем фильтрации поясняется со ссылкой на конфигурацию схемы 64 прогнозирования путем фильтрации, показанную на фиг.6, соответственно.

Изображение прогнозирования, сгенерированное в ходе прогнозирования путем фильтрации, может представлять собой изображение, которое включает в себя больше высокочастотных компонентов, чем изображение прогнозирования, сгенерированное в ходе однонаправленного прогнозирования, двунаправленного прогнозирования или прогнозирования с преобразованием с повышением частоты, и которое имеет небольшие различия от исходного изображения. Поэтому прогнозирование фильтрации требует только небольшого количества кода, назначаемого для остатков, что позволяет повысить эффективность кодирования. Кроме того, при прогнозировании фильтрации разрешение опорных кадров будет ниже, чем в случае однонаправленного прогнозирования или двунаправленного прогнозирования, в которых выполняют обращение кадров на уровне расширения, в результате чего получают малую нагрузку при выполнении процессов, таких как сохранение опорных кадров в запоминающем устройстве 122 кадра и считывание опорных кадров из запоминающего устройства 122 кадра. То есть при использовании прогнозирования путем фильтрации устройство 101 кодирования может улучшить эффективность кодирования, предотвращая увеличение нагрузки во время кодирования или декодирования.

Кроме того, прогнозирование фильтрации может быть выполнено с использованием, по меньшей мере, двух опорных кадров. Таким образом, такое увеличение эффективности кодирования становится реально выполнимым, без увеличения сложности обработки. Остаток от исходного изображения может быть уменьшен, и эффективность кодирования может быть увеличена, например, путем увеличения количества опорных кадров, предназначенных для использования при межкадровом прогнозировании, для генерирования изображения прогнозирования с высокой точностью и при его использовании. Однако, в этом случае, количество используемых опорных кадров увеличивается, и повышается сложность обработки.

Следует отметить, что, когда выбирают способ прогнозирования, может быть выбран оптимальный способ прогнозирования, учитывая количество кода для информации, такой как векторы движения, необходимые для прогнозирования, и режим кодирования, и путем добавления веса, соответствующего количеству кода, к интенсивности остаточного сигнала. Это позволяет дополнительно улучшить эффективность кодирования. Кроме того, для упрощенных процессов кодирования способ прогнозирования может быть адаптивно выбран с использованием значений особенностей входного исходного изображения во временном и пространственном направлениях.

Объяснение потока обработки кодирования

Далее поясняется обработка устройства 101 кодирования, имеющего описанную выше конфигурацию.

Процесс кодирования для уровня расширения, который выполняют с помощью устройства 101 кодирования, поясняется со ссылкой на блок-схему последовательности операций, показанную на фиг.13. Этот процесс начинается, когда изображение определенного модуля, такого как макроблок, выводят из буфера 112 изменения компоновки. Следует отметить, что, как описано выше, процесс кодирования для уровня основания аналогичен способу на основе требований Н.264, и его пояснение здесь, таким образом, исключено.

На этапе S101 схема 113 сумматора определяет разность между изображением, подаваемым из буфера 112 изменения компоновки, и изображением прогнозирования, генерируемым схемой 125 прогнозирования/компенсации движения, или схемой 126 внутрикадрового прогнозирования, и выводит остаток в схему 114 ортогонального преобразования.

На этапе S102 схема ортогонального 114 преобразования выполняет ортогональное преобразование остатка, подаваемого из схемы 113 сумматора, и выводит коэффициент преобразования в схемы 115 квантования.

На этапе S103 схема 115 квантования квантует коэффициент преобразования, подаваемый из схемы 114 ортогонального преобразования, и выводит квантованный коэффициент преобразования.

На этапе S104 схема 119 деквантования выполняет деквантование коэффициента преобразования, квантованного схемой 115 квантования, и выводит коэффициент преобразования в схему 120 обратного ортогонального преобразования.

На этапе S105 схема 120 обратного ортогонального преобразования выполняет обратное ортогональное преобразование по коэффициенту преобразования, передаваемому из схемы 119 деквантования, и выводит полученное изображение в фильтр 121 удаления блоков.

На этапе S106 фильтр 121 удаления блоков удаляет шумы блоков, выполняя фильтрацию, и выводит изображение, из которого были удалены шумы блоков, в запоминающее устройство 122 кадра.

На этапе S107 в запоминающем устройстве 122 кадра сохраняют изображение, переданное из фильтра 121 удаления блоков.

На этапе S108 схема 123 определения режима выполняет процесс определения режима. В процессе определения режима определяют, с помощью какого процесса прогнозирования должно быть сгенерировано изображение прогнозирования. Детали процесса определения режима будут описаны ниже.

На этапе S109 схема 125 прогнозирования/компенсации движения или схема 126 внутрикадрового прогнозирования генерируют изображение прогнозирования в режиме, определенном на этапе S108. Такое изображение прогнозирования используется при обработке на этапе S101.

На этапе S110 схема 116 кодирования без потерь сжимает коэффициент преобразования, передаваемый из схемы 115 квантования, и выводит сжатый коэффициент преобразования в буфер 117 сохранения. Кроме того, схема 116 кодирования без потерь описывает флаг идентификации в заголовке изображения или описывает векторы движения, передаваемые из схемы 125 прогнозирования/компенсации движения в заголовке изображения, в соответствии с информацией, подаваемой из схемы 123 определения режима.

На этапе S111 буфер 117 сохранения временно сохраняет информацию, подаваемую из схемы 116 кодирования без потерь.

На этапе S112 схема 31 управления определяет, был или нет описанный выше процесс выполнен для макроблоков в одном всем кадре. В случае, когда определяют, что процесс не был выполнен, внимание фокусируют на другом макроблоке, и процесс повторно выполняют с этапа S101.

В отличие от этого, в случае, когда на этапе S112 определяют, что процесс был выполнен для макроблоков в одном всем кадре, тогда, на этапе S113, буфер 117 сохранения выводит сжатую информацию об изображении в соответствии с управлением, выполняемым схемой 131 управления. Описанный выше процесс выполняют для каждого кадра.

Далее процесс определения режима, выполняемый на этапе S108 по фиг.13, поясняется со ссылкой на блок-схему последовательности операций на фиг.14.

На этапе S131 каждая из схем от схемы 141 внутрикадрового прогнозирования до схемы 145 прогнозирования путем фильтрации выполняет внутрикадровое прогнозирование или межкадровое прогнозирование для блока, имеющего разные размеры, и генерирует изображение прогнозирования. Сгенерированное изображение прогнозирования подают в схему 146 расчета ошибки прогнозирования.

На этапе S132 схема 146 расчета ошибки прогнозирования определяет разность между исходным изображением и каждым из изображений прогнозирования, поданных из схемы 141 внутрикадрового прогнозирования в схему 145 прогнозирования путем фильтрации. Схема 146 расчета ошибки прогнозирования выводит остаточные сигналы в схему 147 определения.

На этапе S133 схема 147 определения определяет способ прогнозирования, для генерирования изображения прогнозирования, предназначенного для подачи в схему 113 сумматора на основе интенсивности остаточных сигналов, подаваемых из схемы 146 расчета ошибки прогнозирования.

На этапе S134 схема 147 определения выводит информацию о режиме, которая представляет собой информацию, относящуюся к определенному способу прогнозирования, в схему 116 кодирования без потерь. После этого обработка возвращается на этап S108 по фиг.13, и выполняется последующая обработка.

Далее пример потока процесса прогнозирования путем фильтрации, для генерирования изображения прогнозирования, путем выполнения прогнозирования путем фильтрации, поясняется со ссылкой на блок-схему последовательности операций на фиг.15, как пример процесса для генерирования изображения прогнозирования, выполняемого на этапе S109 на фиг.13.

Как описано выше, на этапе S109, на фиг.13, изображение прогнозирования генерируют, используя режим, определенный в процессе определения режима, на этапе S108. В соответствии с этим в случае, когда режим прогнозирования путем фильтрации определяют на этапе S108, на этапе S109 выполняют процесс прогнозирования путем фильтрации, как представлено на фиг.15.

Когда начинают процесс прогнозирования путем фильтрации, на этапе S151, схема 151 детектирования вектора движения детектирует векторы движения на основе исходного изображения и опорных кадров.

Когда детектируют векторы движения, выполняют обработку на этапах S152 - S161, используя детектированные векторы движения, аналогично обработке, выполняемой на этапах S41-S50, на фиг.9, соответственно. То есть изображения компенсации движения генерируют в опорных кадрах на уровне основания, на основе векторов движения, и обработку фильтрации, включающую в себя преобразование с повышением частоты, выполняют для изображений компенсации движения, для генерирования изображения прогнозирования на уровне расширения.

Когда обработка на этапе S161 закончена, обработка прогнозирования путем фильтрации заканчивается. Затем обработка возвращается на этап S109 по фиг.13, и выполняется обработка после этапа S110.

Следует отметить, что в случае, когда разные режимы выбирают при обработке на этапе S108, схема 125 прогнозирования/компенсации движения или схема 126 внутрикадрового прогнозирования генерирует изображение прогнозирования, используя выбранный другой режим. Описанную выше обработку выполняют в соответствии со стандартом H.264/SVC, и ее пояснение здесь, таким образом, исключено.

Как отмечено выше, кодирование, при котором учитывается пространственная масштабируемость, выполняют путем более эффективного использования временной корреляции, включенной в последовательность сигнала в движущемся изображении, обеспечивая, таким образом, например, улучшения эффективности кодирования, при предотвращении увеличения нагрузки процессов, таких как кодирование и декодирование.

3. Третий вариант осуществления

Обзор процесса декодирования

На фиг.16 показана схема, поясняющая другой пример обзора процесса декодирования, в котором применяется настоящее изобретение. Как показано фиг.16, количество опорных кадров может быть три или больше.

В примере, показанном на фиг.16, временно предшествующий кадр относительно текущего кадра и далее предшествующий кадр, и еще далее предшествующий кадр, то есть три кадра (Ref0, Ref1, Ref2), установлены как опорные кадры. Предшествующий кадр относительно текущего кадра установлен, как опорный кадр Ref0, предшествующий кадр относительно опорного кадра Ref0 установлен, как опорный кадр Ref1, и предшествующий кадр относительно опорного кадра Ref1 установлен, как опорный кадр Ref2.

Конфигурация схемы фильтрации

На фиг.17 показана блок-схема, иллюстрирующая пример конфигурации схемы фильтрации по фиг.6 в таком случае, когда обращаются к трем кадрам.

Как показано на фиг.17, схема 211 фильтрации включает в себя схему 221 фильтрации и схему 222 фильтрации. Каждая из схемы 221 фильтрации и схемы 222 фильтрации имеет конфигурацию, такую, как представлена на фиг.6. Таким образом, схема 211 фильтрации выполнена с возможностью работать, как схема с одним выходом и схема с тремя входами, путем каскадного подключения схемы 72 фильтрации, используемой для конструкции с одним выходом и с двумя входами.

Следует отметить, что в это время схема 71 выделения выделяет изображение компенсации движения из каждого из трех опорных кадров (Ref0, Ref1, Ref2). То есть, например, схема 71 выделения выделяет изображение МС0 компенсации движения из опорного кадра Ref0. Кроме того, например, схема 71 выделения выделяет изображение МС1 компенсации движения из опорного кадра Ref1. Кроме того, например, схема 71 выделения выделяет изображение МС2 компенсации движения из опорного кадра Ref2.

Изображения МС1 и МС2 компенсации движения подают в схему 221 фильтрации, и изображение МС0 компенсации движения подают в схему 222 фильтрации.

Схема 221 фильтрации выполняет фильтрацию, используя изображения МС1 и МС2 компенсации движения, как изображения МС0 и МС1 компенсации движения, соответственно, на фиг.6 и т.п., и промежуточный выход X, который представляет собой результат фильтрации, выводят в схему 222 фильтрации.

Схема 221 фильтрации выполняет фильтрацию, используя промежуточный выход X, и изображение МС0 компенсации движения, как изображения МС0 и МС1 компенсации движения, соответственно, на фиг.6 и т.п., и результат фильтрации выводят, как изображение прогнозирования.

Схема 211 фильтрации, которая обрабатывает такие три опорных кадра, вместо схемы 72 фильтрации, также может быть предусмотрена в устройстве 1 декодирования по фиг.3 или в устройстве 101 кодирования по фиг.10.

Следует отметить, что схема 221 фильтрации и схема 222 фильтрации необязательно должны иметь одинаковую конфигурацию и могут иметь разные конфигурации. Кроме того, параметры (например, α, β), используемые для фильтров, также могут быть сделаны разными для каждого из них, учитывая характеристики входа/выхода, полученные перед и после фильтрации.

Схема 211 фильтрации может выполнять фильтрацию не для изображений компенсации движения, выделенных из опорных кадров, расположенных в одном временном направлении, но для изображений компенсации движения, выделенных из трех опорных кадров, расположенных в направлениях вперед и назад.

Следует отметить, что в случае, когда предыдущие и следующие кадры относительно времени текущего кадра используют, как опорные кадры, параметр, такой как коэффициент вывода во время фильтрации, может динамически изменяться в соответствии с направлением времени или расстоянием опорных кадров.

Сжатую информацию изображения передают из устройства 101 кодирования в 1 устройство декодирования через различные среды, включая в себя носители записи, такие как оптический диск, магнитный диск и запоминающее устройство типа флэш, спутниковая широковещательная передача, кабельное телевидение, Интернет и сеть мобильной телефонии.

Следует отметить, что выше пояснялось, что в случае кодирования и декодирования уровня расширения изображения компенсации движения выделяют из опорных кадров на уровне основания. Однако изображения компенсации движения могут быть выделены из произвольного уровня кроме уровня основания.

Например, предполагается, что сжатая информация об изображении формирует трехуровневую структуру, имеющую с первого уровня по третий уровень, где первый уровень представляет собой уровень основания, который представляет собой уровень, имеющий самое низкое разрешение, второй уровень представляет собой уровень, имеющий следующее самое низкое разрешение, и третий уровень представляет собой уровень, имеющий наибольшее разрешение. В этом случае при прогнозировании с фильтрацией для третьего уровня изображения компенсации движения могут быть выделены из опорных кадров во втором уровне, который не является уровнем основания. Конечно, изображения компенсации движения могут быть выделены из опорных кадров на первом уровне, который представляет собой уровень основания.

4. Четвертый вариант осуществления

Обзор обработки декодирования

Кроме того, изображения компенсации движения также могут быть выделены из опорных кадров на том же уровне, на котором находиться изображение прогнозирования, которое должно быть сгенерировано. Например, в случае трехуровневой структуры, описанной выше, при прогнозировании фильтрации для третьего уровня изображения компенсации движения с низким разрешением могут быть выделены из опорных кадров на третьем уровне.

На фиг.18 показана схема, поясняющая обзор процесса декодирования в этом случае.

В случае примера, показанного на фиг.18, опорный кадр Ref0 и опорный кадр Ref1 представляют собой кадры на уровне расширения, который представляет собой тот же уровень, что и уровень изображения прогнозирования. В этом отношении значения разрешения для изображений компенсации движения, выделенных из соответствующих опорных кадров, будут ниже, чем разрешение изображения прогнозирования.

Например, аналогично обычному способу, соответствующему стандарту Н.264, положения (диапазоны), соответствующие целевому макроблоку обработки в опорных кадрах на уровне расширения, устанавливают по векторам движения, значения пикселей в диапазонах прореживают с определенным коэффициентом, и выделяют изображения компенсации движения. Кроме того, например, аналогично обычному способу, соответствующему стандарту Н.264, положения, соответствующие целевому макроблоку обработки в опорных кадрах на уровне расширения, устанавливают по векторам движения, и диапазоны, которые установлены по центру положений и которые меньше, чем размер целевого макроблока обработки, выделяют, как изображение компенсации движения. Конечно, может использоваться любой другой способ.

То есть значения разрешения изображений компенсации движения, которые должны быть выделены, могут быть ниже, чем разрешение изображения прогнозирования, и способ их выделения может быть произвольным. Кроме того, изображения компенсации движения могут быть выделены из любого уровня.

Изображения компенсации движения с низким разрешением, выделенные таким образом, подвергают обработке фильтрации, включающей в себя преобразование с повышением частоты, аналогично обработке в других случаях, описанной выше, и генерируют изображение прогнозирования, имеющее требуемое разрешение.

Уровень, по которому должны быть сгенерированы изображения компенсации движения, является просто другим, и конфигурация устройства 1 кодирования в этом случае в принципе аналогична конфигурации, в случае, пояснявшемся со ссылкой на фиг.3-6. В этом отношении запоминающее устройство 19 кадра содержит кадры на уровне расширения, и схема 71 выделения считывает изображение на уровне расширения из запоминающего устройства 19 кадра.

Пояснение потока процесса декодирования

В соответствии с этим поток процесса декодирования и процесс декодирования без потерь также выполняют, используя способ, в принципе, аналогичный способу для случая, пояснявшемуся со ссылкой на блок-схемы последовательности операций на фиг.7 и 8. Поток процесса прогнозирования путем фильтрации, выполняемый схемой 64 прогнозирования путем фильтрации в этом случае, поясняется со ссылкой на блок-схему последовательности операций на фиг.19. Эта блок-схема последовательности операций соответствует блок-схеме последовательности операций, показанной на фиг.9.

Когда начинается процесс прогнозирования путем фильтрации, на этапе S341, схема 71 выделения выделяет изображение компенсации движения с низким разрешением из опорных кадров на уровне расширения. Обработка на этапах S342-S350 выполняется способом, аналогичным обработке на этапах S42-S50 на фиг.9, соответственно, и изображение прогнозирования генерируют аналогично случаю, показанному на фиг.9.

Когда обработка на этапе S350 будет закончена, обработка прогнозирования путем фильтрации заканчивается. Затем обработка возвращается на этап S28 на фиг.8, и обработка продолжается на этапе S29.

Таким образом, даже в случае, когда изображения компенсации движения выделяют из кадров на уровне расширения, устройство 1 декодирования может генерировать изображение прогнозирования с высоким разрешением и высокой точностью, более эффективно используя временную корреляцию, включенную в последовательность сигнала в движущемся изображении, и может улучшить эффективность кодирования. Кроме того, поскольку изображения компенсации движения могут быть выполнены так, чтобы они имели более низкое разрешение, чем изображение прогнозирования, например, устройство 1 декодирования может уменьшить количество информации об изображении, которое должно быть считано из запоминающего устройства кадра, и может улучшить эффективность кодирования, предотвращая увеличение нагрузки, связанной с обработкой, такой как кодирование и декодирование.

Пояснение потока процесса кодирования

Следует отметить, что конфигурация устройства 101 кодирования, соответствующего устройству 1 декодирования в данном случае, в принципе, аналогична случаю, пояснявшемуся со ссылкой на фиг.10-12. В этом отношении в запоминающем устройстве 122 кадра содержатся кадры на уровне расширения, и обработка 123 определения режима считывает изображения на уровне расширения из запоминающего устройства 19 кадра.

Даже в этом случае, аналогично случаю на фиг.11 и 12, конфигурации схемы 145 прогнозирования путем фильтрации процесса 123 определения режима и схемы 155 прогнозирования путем фильтрации схемы 125 прогнозирования/компенсации движения также аналогичны конфигурации схемы 64 прогнозирования путем фильтрации, показанной на фиг.6. В этом отношении, аналогично случаю устройства 1 декодирования, схема 71 выделения выделяет изображение компенсации движения из кадров на уровне расширения.

В соответствии с этим поток процесса кодирования или процесса определения режима выполняют таким же способом, который, в принципе, аналогичен случаю, пояснявшемуся со ссылкой на блок-схемы последовательности операций, показанные на фиг.13 и 14. Поток процесса прогнозирования путем фильтрации, выполняемый схемой 155 прогнозирования путем фильтрации в данном случае, поясняется со ссылкой на блок-схему последовательности операций на фиг.20. Эта блок-схема последовательности операций соответствует блок-схеме последовательности операций, показанной на фиг.15.

Когда начинается процесс прогнозирования путем фильтрации, на этапе S451, аналогично случаю этапа S151 на фиг.15, схема 151 детектирования вектора движения детектирует векторы движения. На этапе S452 схема 71 выделения выделяет изображение компенсации с низким разрешением из опорных кадров на уровне расширения. Обработка на этапах S453-S461 выполняется аналогично обработке на этапах S153-S161, показанных на фиг.15, соответственно, и изображение прогнозирования генерируют аналогично представленному на фиг.15.

Когда обработка на этапе S461 будет закончена, процесс прогнозирования путем фильтрации заканчивается. Затем обработка возвращается на этап S109 на фиг.13, и процесс продолжается на этапе S110.

Таким образом, даже в случае, когда изображения компенсации движения выделяют из кадров на уровне расширения, устройство 101 кодирования может генерировать изображение прогнозирования с более высоким разрешением и более высокой точностью, более эффективно используя временную корреляцию, включенную в последовательность сигнала в движущемся изображении, и может улучшить эффективность кодирования. Кроме того, поскольку изображения компенсации движения могут быть выполнены так, чтобы они имели более низкое разрешение, чем изображение прогнозирования, например, устройство 101 кодирования может уменьшить количество информации об изображении, которая должна быть считана из запоминающего устройства кадра, и может улучшить эффективность кодирования, предотвращая увеличение нагрузки на обработку, такую как кодирование и декодирование.

Таким образом, описанный выше способ также можно применять в случае кодирования и декодирования информации об изображении, используя одноуровневую структуру, в которой не учитывается пространственная масштабируемость. То есть описанный выше способ также можно применять для кодирования и декодирования в соответствии со стандартом H.264/AVC.

Следует отметить, что, как описано выше, когда выделяют изображения компенсации движения, значения разрешения можно регулировать до низких значений разрешения. Таким образом, выделение изображений компенсации движения может быть выполнено на множестве уровней. В этом отношении обработка прогнозирования путем фильтрации требует определять разность между изображениями компенсации движения. Таким образом, к этому времени необходимо сделать так, чтобы разрешения соответствующих изображений компенсации движения соответствовали друг другу.

Последовательности обработки, описанные выше, могут быть выполнены с помощью аппаратных или программных средств. В этом случае последовательности обработки могут быть выполнены, например, в персональном компьютере, как представлено на фиг.21.

На фиг.21 CPU (центральное процессорное устройство) 501 персонального компьютера 500 выполняет различные процессы в соответствии с программой, сохраненной в ROM (постоянное запоминающее устройство) 502, или в соответствии с программой, загружаемой в RAM (оперативное запоминающее устройство) 503 из модуля 513 сохранения. В RAM 503 также содержатся, в соответствующем случае, данные и т.п., необходимые для CPU 501, для выполнения различной обработки.

CPU 501, ROM 502 и RAM 503 соединены друг с другом через шину 504. Интерфейс 510 ввода/вывода также соединен с шиной 504.

Модуль 511 ввода, включающий в себя клавиатуру, мышь и т.д., модуль 512 вывода, включающий в себя дисплей, такой дисплей, как CRT (электронно-лучевая трубка) или LCD (жидкокристаллический дисплей), громкоговорители и т.д., модуль 513 сохранения, состоящий из жесткого диска и т.п., и модуль 514 передачи данных, состоящий из модема и т.п., соединены с интерфейсом 510 ввода/вывода. Модуль 514 передачи данных выполняет обработку передачи данных через сеть, включающую в себя Интернет.

Привод 515 также соединяют с интерфейсом 510 ввода/вывода, в соответствии с необходимостью, и съемный носитель 521, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, устанавливают в привод 515, соответствующим образом. Компьютерную программу, считанную со съемного носителя 521 записи, устанавливают в модуле 513 сохранения, в соответствии с необходимостью.

В случае, когда последовательность обработки, описанная выше, выполняется с помощью программных средств, программу, составляющую программное средство, устанавливают из сети или с носителя записи.

Как показано на фиг.21, такой носитель записи состоит не только, например, из съемного носителя 521 записи, который поставляют отдельно от основного корпуса устройства для поставки программ пользователям и на котором записана программа, такой как магнитный диск (включая в себя гибкий диск), оптический диск (включая в себя CD-ROM (постоянное запоминающее устройство на компакт-диске) и DVD (цифровой универсальный диск), магнитооптический диск (включая в себя MD (мини-диск), или полупроводниковое запоминающее устройство, но также состоит из ROM 502, жесткого диска, включенного в модуль 513 сохранения и т.п., которые поставляют пользователям в состоянии, предварительной установки в основной корпус устройства, и на которых записана программа.

Следует отметить, что программа, выполняемая компьютером, может представлять собой программу, в которой процессы выполняются во временной последовательности в соответствии с порядком, описанным здесь, или могут представлять собой программу, в которой процессы выполняются параллельно или в необходимые моменты времени, например, по вызову.

Кроме того, как используется здесь, этапы, описывающие программу, записанную на носителе записи, включают в себя, конечно, процессы, выполняемые во временной последовательности в порядке, описанном здесь, и также включают в себя процессы, которые не обязательно обрабатывают во временной последовательности, но выполняют параллельно или по-отдельности.

Кроме того, используемый здесь термин система относится к общему устройству, состоящему из множества устройств.

Кроме того, конфигурация, пояснявшаяся выше, как одно устройство (или модуль обработки) может быть разделена так, чтобы построить множество устройств (или модулей обработки). И, наоборот, конфигурация, пояснявшаяся выше, как множество устройств (или модулей обработки) может быть собрана для построения одного устройства (или модуля обработки). Кроме того, конечно, другая конфигурация, кроме описанной выше, может быть добавлена к конфигурации каждого устройства (или каждого модуля обработки). Кроме того, участок конфигурации определенного устройства (или модуля обработки) может быть включен в конфигурацию другого устройства (или другой модуль обработки), если конфигурация или операция всей системы, по существу, является одинаковой. То есть варианты осуществления настоящего изобретения не должны быть ограничены описанными выше вариантами осуществления, и различные изменения могут быть произведены без отхода от сущности настоящего изобретения.

Например, устройство 1 декодирования или устройство 101 кодирования, описанные выше, можно применять в любом электронном устройстве. Их примеры поясняются ниже.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации основной части телевизионного приемника, в котором используется устройство 1 декодирования, в котором применяется настоящее изобретение.

Телевизионный приемник 1000, показанный на фиг.22, включает в себя наземный тюнер 1013, видеодекодер 1015, схему 1018 обработки видеосигнала, схему 1019 генерирования графики, схему 1020 управления панелью и панель 1021 дисплея.

Наземный тюнер 1013 принимает волновой сигнал широковещательной передачи наземной аналоговой широковещательной передачи через антенну, демодулирует его, получает видеосигнал и подает его в видеодекодер 1015. Видеодекодер 1015 выполняет процесс декодирования для видеосигнала, подаваемого из наземного тюнера 1013, и подает полученный цифровой компонентный сигнал в схему 1018 обработки видеосигнала.

Схема 1018 обработки видеосигнала выполняет определенную обработку, такую как удаление шумов, для видеоданных, подаваемых из видеодекодера 1015, и подает полученные видеоданные в схему 1019 генерирования графики.

Схема 1019 генерирования графики генерирует видеоданные программы, которая должна отображаться на панели 1021 дисплея, данные изображения, полученные в ходе процесса, который основан на приложении, переданном через сеть и т.п., и подает сгенерированные видеоданные или данные изображения в схему 1020 управления панелью. Кроме того, схема 1019 генерирования графики также выполняет соответствующую обработку, такую как генерирование видеоданных (графики), для отображения на экране, используемом пользователем, для выбора элемента и т.п. накладывает ее на видеоданные программы для получения видеоданных и подает полученные видеоданные в схему 1020 управления панелью.

Схема 1020 управления панелью управляет панелью 1021 дисплея на основе данных, передаваемых из схемы 1019 генерирования графики, и обеспечивает отображение видеоизображения программы или различных экранов, описанных выше, на панели 1021 дисплея.

Панель 1021 дисплея сформирована из LCD (жидкокристаллический дисплей) и т.п. и обеспечивает отображение видеоизображений программы и т.п. в соответствии с управлением, выполняемым схемой 1020 управления панелью.

Кроме того, телевизионный приемник 1000 также включает в себя схему 1014 A/D (аналогово-цифрового) преобразователя аудиосигнала, схему 1022 обработки аудиосигнала, схему 1023 удаления эхо-сигнала/синтеза звука, схему 1024 усилителя звука и громкоговоритель 1025.

Наземный тюнер 1013 демодулирует принимаемый волновой сигнал широковещательной передачи для получения видеосигнала, а также аудиосигнал. Наземный тюнер 1013 подает полученный аудиосигнал в схему 1014 A/D преобразователя аудиосигнала.

Схема 1014 A/D преобразователя аудиосигнала выполняет обработку A/D преобразования для аудиосигнала, подаваемого из наземного тюнера 1013, и подает полученный цифровой аудиосигнал в схему 1022 обработки аудиосигнала.

Схема 1022 обработки аудиосигнала выполняет определенную обработку, такую как удаление шумов, из аудиоданных, подаваемых из схемы 1014 A/D преобразователя, и подает полученные аудиоданные в схему 1023 удаления эхо-сигнала/синтеза звука.

Схема 1023 удаления эхо-сигнала/синтеза звука подает аудиоданные, переданные из схемы 1022 обработки аудиосигнала, в схему 1024 усилителя звука.

Схема 1024 усилителя звука выполняет обработку D/A преобразования и обработку усиления для аудиоданных, подаваемых из схемы 1023 удаления эхо-сигнала/синтеза, и регулирует их до определенного уровня громкости перед выводом звука из громкоговорителя 1025.

Кроме того, телевизионный приемник 1000 также включает в себя цифровой тюнер 1016 и декодер 1017 MPEG.

Цифровой тюнер 1016 принимает волновой сигнал широковещательной передачи цифровой широковещательной передачи (наземной цифровой широковещательной передачи, BS (спутника широковещательной передачи)/С8 (спутника передачи данных) цифровой широковещательной передачи) через антенну, демодулирует его, получает MPEG-TS (транспортный поток Экспертной группы по вопросам движущегося изображения), и подает его в декодер 1017 MPEG.

Декодер 1017 MPEG выполняет дескремблирование MPEG-TS, подаваемого из цифрового тюнера 1016, и выделяет поток, включающий в себя данные программы, которая должна быть воспроизведена (должна быть просмотрена и прослушана). Декодер 1017 MPEG декодирует аудиопакеты, формирующие выделенный поток, и передает полученные аудиоданные в схему 1022 обработки аудиосигнала. Кроме того, декодер 1017 MPEG декодирует видеопакеты, формирующие поток, и подает полученные видеоданные в схему 1018 обработки видеосигнала. Кроме того, декодер 1017 MPEG передает данные EPG (электронная программа передач), выделенную из MPEG-TS в CPU 1032 через путь, который не показан на чертеже.

Телевизионный приемник 1000 использует устройство 1 декодирования, описанное выше, как декодер 1017 MPEG, который декодирует видеопакет описанным выше способом. Следует отметить, что MPEG-TS, переданный из станции широковещательной передачи и т.п., был кодирован с помощью устройства 101 кодирования.

Аналогично случаю устройства 1 декодирования декодер 1017 MPEG выполняет фильтрацию изображений множества опорных плоскостей на уровне основания для генерирования изображения прогнозирования в текущем блоке на уровне расширения. В соответствии с этим декодер 1017 MPEG может более эффективно использовать компоненты сигнала в последовательности изображения, чем пространственный фильтр с преобразованием с повышением частоты. В результате изображение прогнозирования может иметь пространственно более высокие компоненты частоты, чем изображение прогнозирования, генерируемое в результате обычного прогнозирования с преобразованием с повышением частоты, в котором используется изображение текущего кадра на уровне основания, в то время как остатки прогнозирования могут быть уменьшены. То есть количество кода для изображения, которое должно быть кодировано на уровне расширения, может быть уменьшено, и при этом становится возможным способствовать улучшению эффективности кодирования.

Кроме того, при таком прогнозировании фильтрации не происходит обращения к декодируемым изображениям на уровне расширения в разных по времени кадрах. Таким образом, количество обработки, необходимой для кодирования, емкость временного сохранения, количество информации, считываемой из запоминающего устройства и т.п., можно уменьшить, и затраты, необходимые для воплощения, могут быть уменьшены. Кроме того, потребление энергии также может быть уменьшено.

Видеоданные, подаваемые из декодера 1017 MPEG, подвергают, аналогично случаю видеоданных, подаваемых из видеодекодера 1015, определенной обработке с помощью схемы 1018 обработки видеосигнала, и сгенерированные видеоданные и т.п. накладывают на них с помощью схемы 1019 генерирования графики. Полученные в результате данные подают в панель 1021 дисплея через схему 1020 управления панелью и отображают их изображение.

Аудиоданные, подаваемые из декодера 1017 MPEG, подвергают, аналогично случаю аудиоданных, подаваемых из схемы 1014A/D преобразователя, определенному процессу с помощью схемы 1022 обработки аудиосигнала, подают в схему 1024 усилителя звука через схему 1023 удаления эхо-сигнала/синтеза звука, и подвергают обработке D/A преобразования или обработке усиления. Следовательно, аудиоданные, громкость которых была отрегулирована до определенного значения, выводят через громкоговоритель 1025.

Кроме того, телевизионный приемник 1000 также включает в себя микрофон 1026 и схему 1027 A/D преобразователя.

Схема 1027 A/D преобразователя принимает звуковой сигнал пользователя, который захватывают с помощью микрофона 1026, предусмотренного в телевизионном приемнике 1000, для использования при звуковых переговорах, выполняет процесс A/D преобразования для принятого аудиосигнала и подает полученные цифровые аудиоданные в схему 1023 удаления эхо-сигнала/синтеза звука.

В случае, когда данные звука пользователя (пользователя А) телевизионного приемника 1000 были поданы из схемы 1027 A/D преобразователя, схема 1023 удаления эхо-сигнала/синтеза звука выполняет удаление эхо-сигнала из аудиоданных пользователя А, и обеспечивает вывод аудиоданных, полученных, например, в результате комбинирования с другими аудиоданными, через громкоговоритель 1025, через схему 1024 усилителя звука.

Кроме того, телевизионный приемник 1000 также включает в себя аудиокодек 1028, внутреннюю шину 1029, SDRAM (синхронное динамическое оперативное запоминающее устройство) 1030, запоминающее устройство 1031 типа флэш, CPU 1032, интерфейс 1033 USB (универсальной последовательной шины) и сетевой интерфейс 1034.

Схема 1027 A/D преобразователя принимает звуковой сигнал пользователя, который снимают с помощью микрофона 1026, который предусмотрен в телевизионном приемнике 1000, для использования при звуковом разговоре, выполняет процесс A/D преобразования для принятого аудиосигнала и передает полученные цифровые аудиоданные в аудиокодек 1028.

Аудиокодек 1028 преобразует аудиоданные, переданные из схемы 1027 A/D преобразователя в данные определенного формата для передачи по сети, и подает их в сетевой интерфейс 1034 через внутреннюю шину 1029.

Сетевой интерфейс 1034 соединен с сетью через кабель, подключенный к сетевому выводу 1035. Сетевой интерфейс 1034 передает аудиоданные, переданные из аудиокодека 102, например, в другое устройство, подключенное к сети. Кроме того, сетевой интерфейс 1034 принимает, например, аудиоданные, переданные из другого устройства, подключенного через сеть, через сетевой вывод 1035, и подает их в аудиокодек 1028 через внутреннюю шину 1029.

Аудиокодек 1028 преобразует аудиоданные, поданные через сетевой интерфейс 1034, в данные определенного формата, и подает их в схему 1023 удаления эхо-сигнала/синтеза звука.

Схема 1023 удаления эхо-сигнала/синтеза звука выполняет удаление эхо-сигнала для аудиоданных, переданных из аудиокодека 1028, и обеспечивает вывод аудиоданных, полученных, например, путем комбинирования с другими аудиоданными, предназначенными для вывода через громкоговоритель 1025, через схему 1024 усилителя звука.

В SDRAM 1030 содержатся различные данные, необходимые для выполнения обработки CPU 1032.

В запоминающем устройстве 1031 типа флэш содержится программа, выполняемая CPU 1032. Программа, содержащаяся в запоминающем устройстве 1031 типа флэш, считывается CPU 1032 в определенные моменты времени, такие как включение телевизионного приемника 1000. Запоминающее устройство 1031 типа флэш также содержит данные EPG, полученные в результате цифровой широковещательной передачи, данные, полученные из определенного сервера через сеть, и т.п.

Например, в запоминающем устройстве 1031 типа флэш содержится MPEG-TS, включающий в себя данные содержания, полученные из определенного сервера через сеть, используя управление CPU 1032. Запоминающее устройство 1031 типа флэш подает MPEG-TS в декодер 1017 MPEG через внутреннюю шину 1029, используя, например, управление CPU 1032.

Декодер 1017 MPEG обрабатывает MPEG-TS, аналогично случаю MPEG-TS, переданного из цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 может принимать данные содержания, состоящие из видеоданных, аудиоданных и т.п., через сеть, декодировать данные содержание, используя декодер 1017 MPEG, отображать видеоданные содержания и выводить звук.

Кроме того, телевизионный приемник 1000 также включает в себя модуль 1037 приема света, который принимает свет инфракрасного сигнала, передаваемого из пульта 1051 дистанционного управления.

Модуль 1037 приема света принимает инфракрасный свет из пульта 1051 дистанционного управления и выводит код управления, обозначающий содержание операции пользователя, полученной путем демодуляции в CPU 1032.

CPU 1032 выполняет программу, сохраненную в запоминающем устройстве 1031 типа флэш, и управляет общей работой телевизионного приемника 1000, в соответствии с кодом управления, передаваемым из модуля 1037 приема света и т.п. CPU 1032 соединено с каждым модулем телевизионного приемника 1000 через контур, который не представлен на чертеже.

Интерфейс 1033 USB передает и принимает данные во внешнее устройство телевизионного приемника 1000 и из него, которое соединено через кабель USB, подключенный к разъему 1036 USB. Сетевой интерфейс 1034 соединен с сетью через кабель, подключенный к сетевому разъему 1035 и также передает и принимает другие данные, кроме аудиоданных, в и из различных устройств, подключенных через сеть.

При использовании устройства 1 декодирования в качестве декодера 1017 MPEG телевизионный приемник 1000 может получать декодируемые изображения с высоким разрешением без увеличения нагрузки во время декодирования видеопакетов, формирующих поток. То есть телевизионный приемник 1000 может улучшать эффективность кодирования, предотвращая увеличение нагрузки.

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации основной части мобильного телефона, в котором используются устройство 1 декодирования и устройство 101 кодирования, с которым применяется настоящее изобретение.

Мобильный телефон 1100, показанный на фиг.23, включает в себя модуль 1150 основного управления, выполненный с возможностью полного управления отдельными модулями, модуль 1151 схемы источника питания, модуль 1152 управления операциями ввода, модуль 1153 кодера изображения, модуль 1154 интерфейса камеры, модуль 1155 управления LCD, декодер 1156 изображения, модуль 1157 мультиплексирования/демультиплексирования, модуль 1162 записи/воспроизведения, модуль 1158 схемы модуляции/демодуляции и аудиокодек 1159. Они взаимно соединены через шину 1160.

Кроме того, мобильный телефон 1100 включает в себя кнопку 1119 операций, камеру 1116 CCD (прибор с зарядовой связью), жидкокристаллический дисплей 1118, модуль 1123 сохранения, модуль 1163 схемы передачи/приема, антенну 1114, микрофон (mic) 1121 и громкоговоритель 1117.

Когда пользователь, выполняя операцию, нажимает на кнопку окончания вызова и кнопку питания, модуль 1151 схемы источника питания подает электроэнергию в каждый модуль из пакета батареи, запуская, таким образом, работу мобильного телефона 1100, так, что он получает возможность работать.

Мобильный телефон 1100 выполняет различные операции в различных режимах, таких как режим звукового вызова и режим передачи данных, такой как передача и прием аудиосигнала, передача и прием электронной почты и данных изображения, съемка изображений и данных записи, на основе управления модулем 1150 основного управления, состоящего из CPU, ROM, RAM и т.д.

Например, в режиме аудиовызова мобильный телефон 1100 преобразует, используя аудиокодек 1159, аудиосигнал, снятый микрофоном (MIC) 1121 в цифровые аудиоданные, выполняет обработку расширения спектра для цифровых аудиоданных, используя модуль 1158 схемы модуляции/демодуляции, и выполняет процесс цифроаналогового преобразования и процесс преобразования частоты, используя модуль 1163 схемы передачи/приема. Мобильный телефон 1100 передает сигнал передачи, полученный в результате обработки преобразования, в базовую станцию, которая не представлена на чертеже, через антенну 1114. Сигнал передачи (аудиосигнал), передаваемый в базовую станцию, поступает в мобильный телефону на другом конце вызова через телефонную сеть общего пользования.

Кроме того, например, в режиме аудиовызова мобильный телефон 1100 усиливает, используя модуль 1163 схемы передачи/приема, принятый сигнал, который был принят с помощью антенны 1114, дополнительно выполняет процесс преобразования частоты и процесс аналогово-цифрового преобразования, выполняет процесс обратного расширения спектра, используя модуль 1158 схемы модуляции/демодуляции, и преобразует полученный в результате сигнал в аналоговый аудиосигнал, используя аудиокодек 1159. Мобильный телефон 1100 выводит аналоговый аудиосигнал, полученный в результате преобразованием из громкоговорителя 1117.

Кроме того, например, в случае, когда электронную почту передают в режиме передачи данных, мобильный телефон 1100 принимает, используя модуль 1152 управления вводом операций, текстовые данные электронной почты, вводимые при выполнении операций кнопкой 1119 операций. Мобильный телефон 1100 обрабатывает текстовые данные, используя модуль 1150 основного управления, и обеспечивает отображение полученных в результате данных, как изображение на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD.

Кроме того, мобильный телефон 1100 генерирует, используя модуль 1150 основного управления, данные электронной почты, на основе текстовых данных, принятых модулем 1152 управления вводом операции, на основе инструкции пользователя, и т.п. Мобильный телефон 1100 выполняет, используя модуль 1158 схемы модуляции/демодуляции, процесс расширения спектра для данных электронной почты и выполняет, используя модуль 1163 схемы передачи/приема, процесс цифроаналогового преобразования и процесс преобразования частоты. Мобильный телефон 1100 передает сигнал передачи, полученный с помощью процессов преобразования, в базовую станцию, которая не показана на чертеже, через антенну 1114. Сигнал передачи (электронной почты), передаваемый в базовую станцию, подают в определенное место назначения через сеть, почтовый сервер и т.п.

Кроме того, например, в случае, когда электронную почту принимают в режиме передачи данных, мобильный телефон 1100 принимает, используя модуль 1163 схемы передачи/приема, сигнал, передаваемый из базовой станции через антенну 1114, усиливает его, и, кроме того, выполняет процесс преобразования частоты и процесс аналогово-цифрового преобразования. Мобильный телефон 1100 выполняет процесс обратного расширения спектра для принятого сигнала, используя модуль 1158 схемы модуляции/демодуляции, для восстановления исходных данных электронной почты. Мобильный телефон 1100 отображает восстановленные данные электронной почты на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD.

Следует отметить, что мобильный телефон 1100 также выполнен с возможностью записи (сохранения) принятых данных электронной почты в модуле 1123 сохранения через модуль 1162 записи/воспроизведений.

Модуль 1123 сохранения представляет собой любой модуль сохранения с возможностью перезаписи. Модуль 1123 сохранения может представлять собой, например, полупроводниковое запоминающее устройство, такое как RAM, или встроенное запоминающее устройство типа флэш, или может представлять собой жесткий диск или съемный носитель записи, такой как магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB или карту памяти. Конечно, можно использовать любой другой тип носителя.

Кроме того, например, в случае, когда данные изображения передают в режиме передачи данных, мобильный телефон 1100 генерирует, используя камеру 1116 CCD, данные изображения, путем съемки изображения. Камера 1116 CCD включает в себя оптические устройства, такие как объектив и диафрагму, и CCD, используемый, как элемент фотоэлектрического преобразования, снимает изображение объекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения, представляющие изображения объекта. CCD камера 1116 кодирует данные изображения, используя кодер 1153 изображения, через модуль 1154 интерфейса камеры, и преобразует данные изображения в данные кодированного изображения.

Мобильный телефон 1100 использует устройство 101 кодирования, описанное выше, как кодер 1153 изображения, который выполняет описанную выше обработку. Аналогично случаю устройства 101 кодирования кодер 1153 изображения использует прогнозирование с фильтрацией для генерирования изображения прогнозирования. В соответствии с этим может быть получено изображение прогнозирования, которое включает в себя более высокочастотные компоненты, чем изображение прогнозирования, генерируемое при однонаправленном прогнозировании, двунаправленном прогнозировании или прогнозировании с преобразованием с повышением частоты, и которое имеет малое отличие от исходного изображения. Следовательно, только небольшое количество кода, которое должно быть назначено для остатков, может потребоваться, и при этом можно повысить эффективность кодирования. Поскольку разрешение опорных кадров ниже, чем в случае однонаправленного прогнозирования или двунаправленного прогнозирования, в котором обращаются к кадрам уровня расширения, нагрузка на обработку, такая как сохранение опорных кадров в запоминающем устройстве 122 кадра, и считывание опорных кадров из запоминающего устройства 122 кадра, будет малой. Кроме того, прогнозирование фильтрации может быть выполнено с использованием, по меньшей мере, двух опорных кадров. Таким образом, такое повышение эффективности кодирования становится технически выполнимым, без повышения сложности обработки.

Следует отметить, что в это время мобильный телефон 1100 одновременно выполняет, используя аудиокодек 1159, аналогово-цифровое преобразование звука, собранного микрофоном (MIC) 1121 во время съемки изображения, используя камеру 1116 CCD, и дополнительно кодирует его.

Мобильный телефон 1100 мультиплексирует, используя модуль 1157 мультиплексирования/демультиплексирования, данные кодированного изображения, переданные из кодера 1153 изображения, и цифровые аудиоданные, переданные из аудиокодека 1159, используя определенную схему. Мобильный телефон 1100 выполняет, используя модуль 1158 схемы модуляции/демодуляции, процесс расширения спектра для мультиплексированных данных, полученных в результате, и выполняет, используя модуль 1163 схемы передачи/приема, процесс цифроаналогового преобразования и процесс преобразования частоты. Мобильный телефон 1100 передает сигнал передачи, полученный в результате процесса преобразования, в базовую станцию, которая не представлена на чертеже, через антенну 1114. Сигнал передачи (данные изображения), переданный в базовую станцию, подают в другой конец передачи данных через сеть и т.п.

Следует отметить, что в случае, когда данные изображения не требуется передавать, мобильный телефон 1100 также может отображать данные изображения, генерируемые с использованием камеры 1116 CCD, на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD, без использования кодера 1153 видеоизображения.

Кроме того, например, в случае, когда данные файла движущегося изображения, имеющего связь с упрощенной домашней страницей и т.п., должны быть приняты в режиме передачи данных, мобильный телефон 1100 принимает, используя модуль 1163 схемы передачи/приема через антенну 1114, сигнал, передаваемый из базовой станции, усиливает его, и дополнительно выполняет процесс преобразования частоты и процесс аналогово-цифрового преобразования. Мобильный телефон 1100 выполняет операцию, обратную расширению спектра, для принятого сигнала, используя модуль 1158 схемы модуляции/демодуляции, для восстановления исходных мультиплексированных данных. Мобильный телефон 1100 демультиплексирует, используя модуль 1157 мультиплексирования/демультиплексирования, мультиплексированные данные, для разделения их на данные кодированного изображения и аудиоданные.

Мобильный телефон 1100 декодирует кодированные данные изображения, используя декодер 1156 изображения, для генерирования данных воспроизводимого движущегося изображения, и отображает данные воспроизводимого движущегося изображения в жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD. Это позволяет, например, отображать данные движущегося изображения, включенные в файл движущегося изображения, связанный с упрощенной домашней страницей, на жидкокристаллическом дисплее 1118.

В мобильном телефоне 1100 используется устройство 1 декодирования, описанное выше, как декодер 1156 изображения, который выполняет описанные выше процессы. То есть аналогично случаю устройства 1 декодирования декодер 1156 изображения выполняет фильтрацию для изображений множества опорных плоскостей на уровне основания для генерирования изображения прогнозирования текущего блока на уровне расширения. В соответствии с этим декодер 1156 изображения может более эффективно использовать компоненты сигнала в последовательности изображения, чем фильтр пространственной дискретизации с повышением частоты. В результате изображение прогнозирования может использовать пространственно более высокочастотные компоненты, чем у изображения прогнозирования, генерируемого в результате обычного прогнозирования с преобразованием с повышением частоты, в котором используется изображение текущего кадра на уровне основания, в то время как остатки прогнозирования могут быть уменьшены. То есть количество кода для изображения, предназначенного для кодирования на уровне расширения, может быть уменьшено, и при этом можно способствовать улучшению эффективности кодирования.

Кроме того, при таком прогнозировании фильтрации не обращаются к декодированным изображениям на уровне расширения, к пространственно разным по времени кадрам. Таким образом, количество обработки, необходимой для кодирования, емкость временного сохранения, количество информации, считываемой из запоминающего устройства и т.п., можно уменьшить, и затраты, связанные с воплощением, могут быть уменьшены. Кроме того, потребление энергии также может быть уменьшено.

В это время мобильный телефон 1100 одновременно преобразует цифровые аудиоданные в аналоговый аудиосигнал, используя аудиокодек 1159, и обеспечивают его выход из громкоговорителя 1117. Это позволяет, например, воспроизводить аудиоданные, включенные в файл движущегося изображения, связанный с упрощенной домашней страницей.

Следует отметить, что аналогично случаю электронной почты, мобильный телефон 1100 также может быть выполнен с возможностью обеспечения записи принятых данных, связанных с упрощенной домашней страницей и т.п., для записи (сохранения) в модуле 1123 сохранения через модуль 1162 записи/воспроизведения.

Кроме того, мобильный телефон 1100 также может анализировать, используя основной модуль 1150 управления, двумерный код, полученный камерой 1116 CCD, путем съемки его изображения, и получать информацию, записанную в двумерном коде.

Кроме того, мобильный телефон 1100 может связываться с внешним устройством через инфракрасный канал передачи данных, используя модуль 1181 инфракрасной передачи данных.

Мобильный телефон 1100 использует устройство 101 кодирования, как кодер 1153 изображения. Таким образом, например, кодирование, при котором учитывают пространственную масштабируемость, когда данные изображения, генерируемые камерой 1116 CCD, кодируют и передают, путем более эффективного использования временной корреляции, включенной в последовательность сигнала в движущемся изображении. Таким образом, например, эффективность кодирования может быть улучшена при предотвращении увеличения нагрузки при обработке, такой, как кодирование и декодирование.

Кроме того, мобильный телефон 1100 использует устройство 1 декодирования, в качестве декодера 1156 изображения, позволяя, таким образом, получить декодированное изображение с высокой четкостью, без увеличения нагрузки на обработку во время декодирования, когда, например, принимают данные (кодированные данные) файла движущегося изображения, связанного с упрощенной домашней страницей и т.п. То есть мобильный телефон 1100 может улучшить эффективность кодирования без предотвращения увеличения нагрузки.

Следует отметить, что здесь пояснялось, что в мобильном телефоне 1100 используется камера 1116 CCD. Однако, в мобильном телефоне 1100 может использоваться, вместо камеры 1116 CCD, датчик изображения (датчик изображения CMOS), в котором используется CMOS (комплементарный металлооксидный полупроводник). Также, в этом случае, аналогично случаю использования камеры 1116 CCD, мобильный телефон 1100 может снимать изображение объекта и генерировать данные изображения, представляющие изображения объекта.

Кроме того, в то время, как предшествующее пояснение было представлено в контексте мобильного телефона 1100, устройство 1 декодирования и устройство 101 кодирования могут применяться, аналогично случаю мобильного телефона 1100, например, в любом устройстве, имеющем функцию съемки изображения или функцию обмена данными, аналогичную функциям 1100 мобильного телефона, таком как PDA (карманный персональный компьютер), смартфон, UMPC (ультра мобильный персональный компьютер), нетбук или переносной персональный компьютер.

На фиг.24 показана блок-схема, иллюстрирующая пример конфигурации основной части блока записи на жесткий диск, в котором используется устройство 1 декодирования и устройство 101 кодирования, в которых применяется настоящее изобретение.

Блок 1200 записи на жесткий диск (блок записи на жесткий диск), представленный на фиг.24, представляет собой устройство, которое сохраняет, на его встроенном жестком диске, аудиоданные и видеоданные программы широковещательной передачи, включенной в волновой сигнал широковещательной передачи (телевизионный сигнал), передаваемый со спутника, наземной антенны и т.п., которые были приняты тюнером и который обеспечивает для пользователя сохраненные данные в момент времени в соответствии с инструкцией пользователя.

Устройство 1200 записи на жесткий диск может выделять, например, аудиоданные и видеоданные из волнового сигнала широковещательной передачи, декодировать их соответствующим образом и сохранять их на встроенном жестком диске. Кроме того, устройство 1200 записи на жесткий диск также может получать аудиоданные или видеоданные из другого устройства, например, через сеть, декодировать их соответствующим образом и сохранять декодированные данные на встроенном жестком диске.

Кроме того, устройство 1200 записи на жесткий диск может декодировать аудиоданные и видеоданные, записанные, например, на встроенный жесткий диск, подавать их на монитор 1260, отображать их изображение на экране монитора 1260 и выводить их звук через громкоговоритель монитора 1260. Кроме того, устройство 1200 записи на жесткий диск также может декодировать, например, аудиоданные и видеоданные, выделенные из волнового сигнала широковещательной передачи, полученные через тюнер, или аудиоданные и видеоданные, полученные из другого устройства через сеть, подавать их на монитор 1260, отображать их изображение на экране монитора 1260 и выводить их звук через громкоговоритель монитора 1260.

Конечно, также возможны и другие операции.

Как показано на фиг.24, устройство 1200 записи на жесткий диск включает в себя модуль 1221 приема, модуль 1222 демодуляции, демультиплексор 1223, аудиодекодер 1224, видеодекодер 1225 и модуль 1226 управления устройством записи. Устройство 1200 записи на жесткий диск, кроме того, включает в себя запоминающее устройство 1227 данных EPG, запоминающее устройство 1228 программы, оперативное запоминающее устройство 1229, преобразователь 1230 отображения, модуль 1231 управления OSD (отображение меню на экране), модуль 1232 управления дисплеем, модуль 1233 записи/воспроизведения, D/A преобразователь 1234 и модуль 1235 передачи данных.

Кроме того, преобразователь 1230 отображения включает в себя видеокодер 1241. Модуль 1233 записи/воспроизведений включает в себя кодер 1251 и декодер 1252.

Модуль 1221 приема принимает инфракрасный сигнал из пульта дистанционного управления (не показан), преобразует их в электрический сигнал и выводит его в модуль 1226 управления устройством записи. Модуль 1226 управления устройством записи состоит, например, из микропроцессора и т.п., и выполняет различную обработку в соответствии с программой, сохраненной в запоминающем устройстве 1228 программы. В это время модуль 1226 управления устройством записи использует оперативное запоминающее устройство 1229 в соответствии с необходимостью.

Модуль 1235 передачи данных соединен с сетью и выполняет обработку обмена данными с другим устройством через сеть. Например, модулем 1235 передачи данных управляет модуль 1226 управления устройством записи для обмена данными с тюнером (не показан) и для вывода, в основном, сигнала управления выбором канала в тюнер.

Модуль 1222 демодуляции демодулирует сигнал, подаваемый из тюнера, и выводит его в демультиплексор 1223. Демультиплексор 1223 демультиплексирует данные, подаваемые из модуля 1222 демодуляции, в аудиоданные, видеоданные и данные EPG и выводит их в аудиодекодер 1224, видеодекодер 1225 и в модуль 1226 управления устройством записи, соответственно.

Аудиодекодер 1224 декодирует входные аудиоданные и выводит декодированные аудиоданные в модуль 1233 записи/воспроизведения. Видеодекодер 1225 декодирует входные видеоданные и выводит декодируемые видеоданные в преобразователь 1230 отображения. Модуль 1226 управления устройством записи передает входные данные EPG в запоминающее устройство 1227 данных EPG, для сохранения данных EPG.

Преобразователь 1230 отображения кодирует, используя видеокодер 1241, видеоданные, переданные из видеодекодера 1225, или модуля 1226 управления устройством записи, в видеоданные, например, по схеме NTSC (Национальный комитет по телевизионным стандартам), и выводит их в модуль 1233 записи/воспроизведения. Кроме того, преобразователь 1230 отображения преобразует размер экрана видеоданных, подаваемых из видеодекодера 1225 или модуля 1226 управления устройством записи в размер, соответствующий размеру монитора 1260, преобразует эти видеоданные в видеоданные по схеме NTSC, используя видеокодер 1241, преобразует их в аналоговый сигнал и выводит их в модуль 1232 управления дисплеем.

Под управлением модуля 1226 управления устройством записи модуль 1232 управления дисплеем накладывает сигнал OSD, выводимый из модуля 1231 управления OSD (отображение на экране), на видеосигнал, вводимый из преобразователя 1230 отображения, и выводит его на дисплей монитора 1260, для его отображения.

Аудиоданные, выводимые из аудиодекодера 1224, которые были преобразованы в аналоговый сигнал с помощью D/A преобразователя 1234, также подают в монитор 1260. Монитор 1260 выводит аудиосигнал через его встроенный громкоговоритель.

Модуль 1233 записи/воспроизведений включает в себя жесткий диск, как носитель записи, на который записывают видеоданные и аудиоданные, и т.п.

Модуль 1233 записи/воспроизведения кодирует, используя кодер 1251, например, аудиоданные, подаваемые из аудиодекодера 1224. Кроме того, модуль 1233 записи/воспроизведения кодирует, используя кодер 1251, видеоданные, передаваемые из видеокодера 1241 преобразователя 1230 отображения. Модуль 1233 записи/воспроизведения комбинирует кодированные данные аудиоданных и кодированные данные видеоданных, используя мультиплексор. Модуль 1233 записи/воспроизведения выполняет кодирование канала по полученным композитным данным, усиливает их и записывает данные на жесткий диск через головку записи.

Модуль 1233 записи/воспроизведения воспроизводит данные, записанные на жестком диске, через головку воспроизведения, усиливает их и разделяет их на аудиоданные и видеоданные, используя демультиплексор. Модуль 1233 записи/воспроизведения декодирует аудиоданные и видеоданные, используя декодер 1252.

Модуль 1233 записи/воспроизведения выполняет D/A преобразование декодируемых аудиоданных и выводит их в громкоговоритель монитора 1260. Кроме того, модуль 1233 записи/воспроизведения выполняет D/A преобразование декодируемых видеоданных и выводит их на дисплей монитора 1260.

Модуль 226 управления устройством записи считывает последние данные EPG из запоминающего устройства 1227 данных EPG на основе инструкции пользователя, переданной с инфракрасным сигналом из пульта дистанционного управления, который принимают через модуль 1221 приема, и подает данные EPG в модуль 1231 управления OSD. Модуль 1231 управления OSD получает данные изображения, соответствующие введенным данным EPG, и выводит их в модуль 1232 управления дисплеем. Модуль 1232 управления дисплеем выводит видеоданные, поданные из модуля 1231 управления OSD на дисплей монитора 1260, для их отображения. Это позволяет отображать EPG (электронную программу телевизионных передач) на дисплее монитора 1260.

Кроме того, устройство 1200 записи на жесткий диск также может получать различные данные, такие как видеоданные, аудиоданные и данные EPG, подаваемые из другого устройства через сеть, такую как Интернет.

Модулем 1235 передачи данных управляют с помощью модуля управления 1226 устройством записи для получения кодированных данных, таких как видеоданные, аудиоданные и данные EPG, переданные из другого устройства через сеть, и подает их в модуль 1226 управления устройством записи. Модуль 1226 управления устройством записи подает, например, кодированные данные полученных видеоданных и аудиоданных в модуль 1233 записи/воспроизведения для сохранения их на жестком диске. В это время модуль 1226 управления устройством записи и модуль 1233 записи/воспроизведения, в случае необходимости, может выполнять обработку, такую как повторное кодирование.

Кроме того, модуль 1226 управления устройством записи декодирует кодированные данные полученных видеоданных и аудиоданных и подает полученные видеоданные в преобразователь 1230 отображения. Преобразователь 1230 отображения обрабатывает видеоданные, переданные из модуля 1226 управления устройством записи, аналогично обработке видеоданных, подаваемых из видеодекодера 1225, и подает полученные в результате видеоданные в монитор 1260 через модуль 1232 управления дисплеем для отображения их изображения.

Кроме того, вместе с отображением изображения модуль 1226 управления устройством записи может подавать декодированные аудиоданные в монитор 1260 через D/A преобразователь 1234 и выводить их звук через громкоговоритель.

Кроме того, модуль 1226 управления устройством записи декодирует кодированные данные полученных данных EPG и подает декодированные данные EPG в запоминающее устройство 1227 данных EPG.

Устройство 1200 записи на жесткий диск, такое, как описано выше, использует устройство 1 декодирования, как каждый из видеодекодера 1225, декодера 1252 и встроенного декодера модуля 1226 управления устройством записи. То есть, аналогично случаю устройства 1 декодирования, видеодекодер 1225, декодер 1252 и встроенный декодер модуля 1226 управления устройством записи выполняют фильтрацию изображений, состоящих из множества опорных плоскостей, на уровне основания, для генерирования изображения прогнозирования текущего блока на уровне расширения.

В соответствии с этим, видеодекодер 1225, декодер 1252 и встроенный декодер модуля 1226 управления устройством записи позволяют более эффективно использовать компоненты сигнала в последовательности изображения, чем пространственный фильтр повышения частоты дискретизации. В результате изображение прогнозирования может иметь пространственно более высокочастотные компоненты, чем изображение прогнозирования, генерируемое в результате обычного прогнозирования с преобразованием с повышением частоты, в котором используется изображение текущего кадра на уровне основания, в то время как остатки прогнозирования могут быть уменьшены. То есть количество кода для изображения, которое должно быть кодировано на уровне расширения, может быть уменьшено, и при этом возможно способствовать улучшению эффективности кодирования.

Кроме того, при таком прогнозировании фильтрации не выполняют ссылку на декодированные изображения на уровне расширения при разных по времени кадрах. Таким образом, объем обработки, необходимый для кодирования, емкость временного сохранения, количество информации, считываемой из запоминающего устройства, и т.п. можно уменьшить, и затраты, связанные с воплощением, могут быть уменьшены. Кроме того, также может быть уменьшено потребление энергии.

В соответствии с этим устройство 1200 записи на жесткий диск может получать декодированное изображение с высокой четкостью, без увеличения нагрузки на обработку во время декодирования, когда, например, тюнер или модуль 1235 передачи данных принимает видеоданные (кодированные данные) или когда модуль 1233 записи/воспроизведения воспроизводит видеоданные (кодированные данные) с жесткого диска. То есть устройство 1200 записи на жесткий диск может улучшить эффективность кодирования, без предотвращения повышения нагрузки.

Кроме того, устройство 1200 записи на жесткий диск использует устройство 101 кодирования в качестве кодера 1251. В соответствии с этим, аналогично случаю устройства 101 кодирования, кодер 1251 получает изображение прогнозирования, которое включает в себя более высокочастотные компоненты, чем изображение прогнозирования, генерируемое в результате двунаправленного прогнозирования или прогнозирования с преобразованием с повышением частоты, и которое имеет небольшие отличия от исходного изображения. Следовательно, только небольшое количество кода, которое должно быть назначено для остатка, может быть уменьшено, и при этом возможно повысить эффективность кодирования. Поскольку разрешение опорных кадров ниже, чем в случае однонаправленного прогнозирования или двунаправленного прогнозирования, при котором обращаются к кадрам на уровне расширения, нагрузка на обработку, такая как сохранение опорных кадров в запоминающем устройстве 122 кадра и считывание опорных кадров из запоминающего устройства 122 кадра, мала. Кроме того, прогнозирование с фильтрацией может быть выполнено с использованием, по меньшей мере, двух опорных кадров. Таким образом, такое увеличение эффективности кодирования становится технически выполнимым без увеличения сложности обработки.

В соответствии с этим устройство 1200 записи на жесткий диск выполняет кодирование, при котором учитывают пространственную масштабируемость, когда, например, кодированные данные записывают на жесткий диск, путем более эффективного использования временной корреляции, включенной в последовательность сигналов в движущемся изображении, и поэтому может, например, улучшить эффективность кодирования, без предотвращения увеличения нагрузки при обработке, такой как кодирование и декодирование.

Следует отметить, что, в то время как устройство 1200 записи на жесткий диск, которое записывает видеоданные и аудиоданные на жесткий диск, было описано выше, конечно, любой тип носителя записи может использоваться. Например, даже устройство записи, в котором используется другой носитель записи, кроме жесткого диска, такой как запоминающее устройство типа флэш, оптический диск или видеозапись также может использовать устройство 1 декодирования и устройство 101 кодирования, аналогично случаю устройства 1200 записи на жесткий диск, описанного выше.

На фиг.25 показана блок-схема, иллюстрирующая пример конфигурации основной части камеры, в которой используются устройство 1 декодирования и устройство 101 кодирования, в которых применяется настоящее изобретение.

Камера 1300, показанная на фиг.25, снимает изображение объекта и обеспечивает отображение изображения объекта на LCD 1316 или записывает его на носитель 1333 записи, как данные изображения.

Блок 1311 объектива обеспечивает падение света (то есть, видеоизображение объекта) на CCD/CMOS 1312. CCD/CMOS 1312 представляет собой датчик изображения, в котором используется CCD или CMOS, преобразует интенсивность принятого света в электрический сигнал и подает его в модуль 1313 обработки сигналов камеры.

Модуль 1313 обработки сигналов камеры преобразует электрический сигнал, подаваемый из CCD/CMOS 1312, в цветоразностные сигналы Y, Cr и Cb и подает их в модуль 1314 обработки сигнала изображения. Под управлением контроллера 1321 модуль 1314 обработки сигнала изображения выполняет определенную обработку изображений для сигнала изображения, подаваемого из модуля 1313 обработки сигналов камеры, или кодирует сигнал изображения, используя кодер 1341. Модуль 1314 обработки сигнала изображения подает кодированные данные, генерируемые в результате кодирования сигнала изображения, в декодер 1315. Кроме того, модуль 1314 обработки сигнала изображения получает данные дисплея, генерируемые модулем 1320 отображения меню на экране (OSD), и подает их в декодер 1315.

В описанной выше обработке модуль 1313 обработки сигналов камеры использует DRAM (динамическое оперативное запоминающее устройство) 1318, подключенное через шину 1317, и обеспечивает сохранение данных изображения, кодированных данных, полученных путем кодирования данных изображения, и т.п. в DRAM 1318, в случае необходимости.

Декодер 1315 декодирует кодированные данные, передаваемые из модуля 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) в LCD 1316. Кроме того, декодер 1315 подает данные отображения, подаваемые из модуля 1314 обработки сигнала изображения в LCD 1316. LCD 1316 комбинирует изображение декодированных данных изображения, подаваемых из декодера 1315, и изображение данных дисплея, соответственно, и отображает полученное в результате композитное изображение.

Под управлением контроллера 1321 модуль 1320 отображения меню на экране выводит данные дисплея, такие как экран меню, формируемый из знаков, букв или цифр, и пиктограмму в модуль 1314 обработки сигнала изображения через шину 1317.

Контроллер 1321 выполняет различную обработку на основе сигнала, обозначающего содержание команды, выработанной пользователем, используя модуль 1322 операций, и также управляет модулем 1314 обработки сигнала изображения, DRAM 1318, внешним интерфейсом 1319, модулем 1320 отображения меню на экране, приводом 1323 носителя информации и т.п. через шину 1317. ROM 1324 типа флэш содержит программы, данные и т.п., необходимые для контроллера 1321, для выполнения различной обработки.

Например, контроллер 1321 может кодировать данные изображения, сохраненные в DRAM 1318, или декодировать кодированные данные, сохраненные в DRAM 1318, от имени модуля 1314 обработки сигнала изображения или декодера 1315. В это время контроллер 1321 может выполнять процесс кодирования или декодирования, используя схему, аналогичную схеме кодирования или декодирования модуля 1314 обработки сигнала изображения или декодера 1315, или может выполнять процесс кодирования или декодирования, используя схему, которая не поддерживается модулем 1314 сигнала обработки изображения или декодером 1315.

Кроме того, например, в случае, когда инструкция на начало печати изображения была выработана модулем 1322 операций, контроллер 1321 считывает данные изображения из DRAM 1318 и подает их в принтер 1334, подключенный через внешний интерфейс 1319, через шину 1317, для их печати.

Кроме того, например, в случае, когда инструкция для записи изображения была выработана из модуля 1322 операций, контроллер 1321 считывает кодированные данные из DRAM 1318 и подает их в носитель 1333 записи, установленный в приводе 1323 носителя записи через шину 1317, для их сохранения.

Носитель 1333 записи представляет собой, например, любой съемный носитель записи с возможностью считывания и перезаписи, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Носитель 1333 записи также может представлять собой, конечно, любой тип съемного носителя и может представлять собой ленточное устройство, диск или карту памяти. Конечно, также можно использовать бесконтактную IC-карту и т.п.

Кроме того, привод 1323 носителя записи и носитель 1333 записи также могут быть интегрально сформированы, например, в несъемный носитель информации, такой как встроенный привод жесткого магнитного диска или SSD (твердотельный привод).

Внешний интерфейс 1319 состоит, например, из разъема ввода/вывода USB и т.п., и его подключают к принтеру 1334 в случае, когда требуется напечатать изображение. Кроме того, привод 1331 подключают к внешнему интерфейсу 1319, в соответствии с необходимостью, и съемный носитель 1332, такой как магнитный диск, оптический диск или магнитооптический диск устанавливают, соответственно, так, что компьютерная программа, считываемая с него, устанавливается в ROM 1324 типа флэш, в соответствии с необходимостью.

Кроме того, внешний интерфейс 1319 включает в себя сетевой интерфейс, который соединен с определенной сетью, такой как LAN или Интернет. Контроллер 1321 может считывать кодированные данные из DRAM 1318 в соответствии с инструкцией, например, из модуля 1322 операций, и подавать их в другое устройство, подключенное через сеть, из внешнего интерфейса 1319. Кроме того, контроллер 1321 может получать, через внешний интерфейс 1319 кодированные данные или данные изображения, подаваемые из другого устройства через сеть, и содержать их в DRAM 1318 или подавать их в модуль 1314 обработки сигнала изображения.

Камера 1300, такая, как описана выше, использует устройство 1 декодирования, как декодер 1315. То есть, аналогично случаю устройства 1 декодирования, декодер 1315 выполняет фильтрацию изображений из множества опорных плоскостей на уровне основания, для генерирования изображения прогнозирования текущего блока на уровне расширения. В соответствии с этим декодер 1315 может более эффективно использовать компоненты сигнала в последовательности изображения, чем пространственный фильтр, повышающий частоту дискретизации. В результате изображение прогнозирования может иметь пространственно более высокочастотные компоненты, чем у изображения прогнозирования, сгенерированного в результате обычного прогнозирования с преобразованием с повышением частоты, в котором используется изображение текущего кадра на уровне основания, в то время как остатки прогнозирования могут быть уменьшены. То есть, количество кода для изображения, которое должно быть кодировано на уровне расширения, может быть уменьшено, и при этом возможно способствовать улучшению эффективности кодирования.

В соответствии с этим камера 1300 может улучшить эффективность кодирования, без предотвращения увеличения нагрузки, например, для данных изображения, генерируемых с помощью CCD/CMOS1312, когда кодированные данные из видеоданных считывают из DRAM 1318 или с носителя 1333 записи или когда кодированные данные видеоданных получают через сеть.

Кроме того, в камере 1300 используется устройство 101 кодирования в качестве кодера 1341. Аналогично случаю устройства 101 кодирования кодер 1341 может получать изображение прогнозирования, которое включает в себя большее количество высокочастотных компонентов, чем у изображения прогнозирования, сгенерированного с использованием двунаправленного прогнозирования или прогнозирования с преобразованием с повышением частоты, и которое имеет небольшое отличие от исходного изображения. Следовательно, только небольшое количество кода, которое должно быть назначено для остатков, может быть уменьшено, и при этом можно повысить эффективность кодирования. Поскольку разрешение опорных кадров ниже, чем в случае однонаправленного прогнозирования или двунаправленного прогнозирования, при котором обращаются к кадрам на уровне расширения, нагрузка обработки, такая как сохранение опорных кадров в запоминающем устройстве кадра 122 и считывание опорных кадров из запоминающего устройства 122, будет малой. Кроме того, прогнозирование фильтрации может быть выполнено с использованием, по меньшей мере, двух опорных кадров. Таким образом, такое увеличение эффективности кодирования может быть технически осуществимым, без увеличения сложности обработки.

В соответствии с этим камера 1300 выполняет кодирование, при котором учитывают пространственную масштабируемость, когда, например, кодированные данные записывают в DRAM 1318 или на носитель 1333 записи, или когда кодированные данные предоставляют в другое устройство, путем более эффективного использования временной корреляции, включенной в последовательность сигналов в движущемся изображении, и поэтому могут, например, улучшить эффективность кодирования, без предотвращения увеличения нагрузки на такие процессы, как кодирование и декодирование.

Следует отметить, что способ декодирования устройства 1 декодирования может применяться к процессу декодирования, выполняемому контроллером 1321. Аналогично, способ кодирования устройства 101 кодирования может применяться к процессу кодирования, выполняемому контроллером 1321.

Кроме того, данные изображения, снятые камерой 1300, могут представлять собой данные движущегося изображения или неподвижного изображения.

Конечно, устройство 1 декодирования и устройство 101 кодирования также можно применять в другом устройстве или системе, чем устройства, описанные выше.

Кроме того, размеры макроблока являются произвольными. Настоящее изобретение можно применять, например, к макроблоку, имеющему любые размеры, как представлено на фиг.26. Например, настоящее изобретение можно применять не только к нормальному макроблоку размером 16×16 пикселей, но также и к расширенному макроблоку (макроблоку расширения), такому как макроблок размером 32×32 пикселя.

На фиг.26, в верхней части, макроблоки, состоящие из 32×32 пикселя, которые разделены на блоки (разделы) по 32×32 пикселей, 32×16 пикселей, 16×32 пикселей и 16×16 пикселей, представлены в последовательности, начиная слева. Кроме того, в средней части, блоки, состоящие из 16×16 пикселей, которые разделены на блоки размером 16×16 пикселей, 16×8 пикселей, 8×16 пикселей и 8×8 пикселей, показаны в последовательности, начиная слева. Кроме того, в нижней части, блоки, состоящие из 8×8 пикселей, которые разделены на блоки размером 8×8 пикселей, 8×4 пикселей, 4×8 пикселей и 4×4 пикселей, представлены в последовательности, начиная слева.

Таким образом, макроблоки размером 32×32 пикселей могут быть обработаны по блокам 32×32 пикселей, 32×16 пикселей, 16×32 пикселей и 16×16 пикселей, показанным в верхней части.

Блоки размером 16×16 пикселей, показанные с правой стороны в верхней части, могут быть обработаны, аналогично схеме H.264/AVC, по блокам 16×16 пикселей, 16×8 пикселей, 8×16 пикселей и 8×8 пикселей, показанным в средней части.

Блок размером 8×8 пикселей, показанный с правой стороны в средней части, может быть обработан, аналогично схеме H.264/AVC, по блокам 8×8 пикселей, 8×4 пикселей, 4×8 пикселей и 4×4 пикселей, показанным в нижней части.

Описанные выше блоки могут быть классифицированы на следующие три иерархических уровня. Таким образом, блоки 32×32 пикселей, 32×16 пикселей и 16×32 пикселей, показанные в верхней части на фиг.26, называются блоками первого иерархического уровня. Блок 16×16 пикселей, показанный с правой стороны в верхней части, и блоки 16×16 пикселей, 16×8 пикселей и 8×16 пикселей, показанные в средней части, называются блоками на втором иерархическом уровне. Блок 8×8 пикселей, показанный с правой стороны в средней части, и блоки 8х8 пикселей, 8×4 пикселей, 4×8 пикселей и 4×4 пикселей, показанные в нижней части, называются блоками на третьем иерархическом уровне.

Если принять описанную выше структуру иерархических уровней, в отношении блоков, равных или меньше, чем блок 16×16 пикселей, более крупные блоки могут быть определены, как их сверхнаборы, при поддержании совместимости со схемой H.264/AVC.

Например, устройство 1 декодирования и устройство 101 кодирования могут быть выполнены с возможностью генерировать изображение прогнозирования для каждого иерархического уровня. Кроме того, например, устройство 1 декодирования и устройство 101 кодирования могут быть выполнены с возможностью использования изображения прогнозирования, которое генерируют на первом иерархическом уровне, который имеет больший размер блока, чем второй иерархический уровень, также для второго иерархического уровня.

Макроблоки, для которых должно быть выполнено кодирование, используя сравнительно большой размер блока, такие как первый иерархический уровень и второй иерархический уровень, не включают в себя сравнительно высокочастотные компоненты. В отличие от этого, макроблоки, для которых кодирование должно быть выполнено с использованием блока сравнительно малого размера, такие как, на третьем иерархическом уровне, как считается, включают в себя сравнительно высокочастотные компоненты.

Таким образом, изображения прогнозирования генерируют отдельно в соответствии с отдельными иерархическими уровнями, имеющими разные размеры блока, делая, таким образом, технически выполнимыми улучшения рабочих характеристик кодирования, пригодных для локальных характеристик изображения.

Список номеров ссылочных позиций

1 - устройство декодирования, 12 - схема декодирования без потерь, 15 - схема сумматора, 19 - запоминающее устройство кадра, 21 - схема прогнозирования/компенсации движения, 41 - схема определения прогнозирования, 51 - схема выбора прогнозирования, 64 - схема прогнозирования путем фильтрации, 71 - схема выделения, 72 - схема фильтрации, 81 - схема расчета разности, 82 - схема с преобразованием с повышением частоты, 83 - схема фильтра низкой частоты, 84 - схема регулирования усиления, 85 - схема фильтра высокой частоты, 86 - схема регулирования усиления, 87 - схема сумматора, 88 схема с преобразованием с повышением частоты, 89 - схема сумматора, 101 - устройство кодирования, 112 - буфер изменения компоновки, 123 - схема определения режима, 125 - схема прогнозирования/компенсации движения, 126 - схема внутрикадрового прогнозирования, 145 - схема прогнозирования путем фильтрации, 155 - схема прогнозирования путем фильтрации, 211 - схема фильтрации.

Изобретение относится к устройству обработки изображений и способу, которые могут улучшить эффективность кодирования, предотвращая увеличение нагрузки. Технический результат заключается в снижении нагрузки с точки зрения объема обработки за счет пространственного повышения частоты выборки уровня основания для кодирования текущего кадра. Технический результат достигается за счет того, что схема 71 выделения из схемы 64 прогнозирования путем фильтрации выделяет изображения компенсации движения для генерирования изображения прогнозирования на уровне расширения с высоким разрешением из опорных кадров на уровне основания с низким разрешением. Схема 72 фильтрации схемы 64 прогнозирования путем фильтрации выполняет фильтрацию, которая включает в себя преобразование с повышением частоты и которая использует анализ в направлении времени множества изображений компенсации движения на уровне основания, выделенном схемой 71 выделения, чтобы сгенерировать изображение прогнозирования на уровне расширения. 2 н. и 17 з.п. ф-лы, 26 ил.

1. Устройство обработки изображения, содержащее:
средство выделения, предназначенное для выполнения компенсации движения, используя в качестве опорных кадров кадры, сформированные из декодируемых изображений, и используя векторы движения в изображениях, которые были кодированы, и для выделения изображений компенсации движения, имеющих более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и
средство генерирования изображения прогнозирования, предназначенное для выполнения процесса фильтрации над по меньшей мере двумя изображениями компенсации движения, выделенными средством выделения, используя корреляцию в направлении времени, которая включена в первое изображение компенсации движения и второе изображение компенсации движения, генерируя, таким образом, изображение прогнозирования, имеющее более высокое разрешение, чем у изображений компенсации движения.

2. Устройство обработки изображения по п.1,
в котором средство генерирования изображения прогнозирования выполнено с возможностью добавления фильтрованного второго изображения компенсации движения к первому изображению компенсации движения.

3. Устройство обработки изображения по п.1,
в котором средство генерирования изображения прогнозирования выполнено с возможностью добавления изображения, представляющее собой высокочастотный компонент, к первому изображению компенсации движения.

4. Устройство обработки изображения по п.1,
в котором изображения, которые были кодированы, были иерархически разложены на изображения на множестве уровней, имеющих различные значения разрешения, и изображения были кодированы,
в котором, когда должно быть выполнено декодирование на уровне с высоким разрешением, средство выделения использует, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделяет изображения компенсации движения из опорных кадров на уровне, имеющем более низкое разрешение, и
в котором средство генерирования изображения прогнозирования генерирует изображение прогнозирования на уровне с высоким разрешением, выполняя процесс фильтрации для изображений компенсации движения, выделенных из опорных кадров на уровне, имеющем низкое разрешение.

5. Устройство обработки изображения по п.1,
в котором средство генерирования изображения прогнозирования включает в себя
средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и увеличения разрешения,
средство фильтра низкой частоты, предназначенное для применения фильтра низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения,
средство фильтра высокой частоты, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты в средстве первого фильтра, и
средство суммирования, предназначенное для суммирования изображения, полученного путем применения фильтра низкой частоты средством фильтра низкой частоты, и изображения, полученного путем применения фильтра высокой частоты в средстве фильтра высокой частоты для одного из множества изображений компенсации движения, выделенных средством выделения, и для генерирования изображения прогнозирования.

6. Устройство обработки изображения по п.5,
в котором средство суммирования суммирует изображение, полученное путем применения фильтра низкой частоты средством фильтра низкой частоты, и изображение, полученное путем применения фильтра высокой частоты средством фильтра высокой частоты с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

7. Устройство обработки изображения по п.1, дополнительно содержащее:
средство приема, предназначенное для приема флага идентификации идентифицирующего, следует ли генерировать изображение прогнозирования через однонаправленное прогнозирование, следует ли генерировать изображение прогнозирования через двунаправленное прогнозирование, или изображение прогнозирования должно генерироваться посредством процесса фильтрации, выполненного средством генерирования изображения прогнозирования; и
средство определения, предназначенное для определения, следует ли генерировать изображение прогнозирования через однонаправленное прогнозирование, следует ли генерировать изображение прогнозирования через двунаправленное прогнозирование, или изображение прогнозирования должно генерироваться посредством процесса фильтрации со ссылкой на флаг идентификации, принятый средством приема.

8. Устройство обработки изображения по п.7, дополнительно содержащее:
средство однонаправленного прогнозирования, предназначенное для выполнения однонаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования;
средство двунаправленного прогнозирования, предназначенное для выполнения двунаправленного прогнозирования, используя множество изображений компенсации движения, и для генерирования изображения прогнозирования.

9. Устройство обработки изображения по п.1, дополнительно содержащее:
средство декодирования, предназначенное для декодирования кодированного изображения; и
средство генерирования, предназначенное для суммирования изображения, декодированного средством декодирования, и изображения прогнозирования и для генерирования декодированного изображения.

10. Устройство обработки изображения по п.1, дополнительно содержащее:
средство детектирования, предназначенное для детектирования векторов движения на основе изображений и исходного изображения, которое представляет собой изображение, предназначенное для кодирования, каждое из изображений получают, выполняя локальное декодирование на основе остаточного сигнала, обозначающего различие между исходным изображением и изображением прогнозирования.

11. Устройство обработки изображения по п.10,
в котором, когда должно быть выполнено декодирование уровня с высоким разрешением, средство выделения использует, как опорные кадры, кадры на уровне, имеющем более низкое разрешение, чем на уровне, и выделяет изображения компенсации движения из опорных кадров на уровне, имеющем низкое разрешение, используя векторы движения, детектированные средством детектирования на уровне, имеющем низкое разрешение, и
в котором средство генерирования генерирует изображение прогнозирования на уровне с высоким разрешением, выполняя процесс фильтрации для изображений компенсации движения, выделенных из опорных кадров на уровне, имеющем низкое разрешение.

12. Устройство обработки изображения по п.10,
в котором средство генерирования включает в себя
средство преобразования разрешения, предназначенное для преобразования разрешения разностного изображения между множеством изображений компенсации движения, выделенных средством выделения, и повышения разрешения,
средство фильтра низкой частоты, предназначенное для применения низкой частоты к разностному изображению, разрешение которого было увеличено средством преобразования разрешения,
средство фильтра высокой частоты, предназначенное для применения фильтра высокой частоты к изображению, полученному путем применения фильтра низкой частоты средства фильтра низкой частоты, и
средство суммирования, предназначенное для суммирования изображения, полученного,путем применения фильтра низкой частоты средством фильтра низкой частоты, и изображения, полученного путем применения фильтра высокой частоты средством фильтра высокой частоты, для одного из множества изображений компенсации движения, выделенных средством выделения, и генерирования изображения прогнозирования.

13. Устройство обработки изображения по п.12,
в котором средство суммирования суммирует изображение, полученное путем применения фильтра низкой частоты средством фильтра низкой частоты, и изображение, полученное путем применения фильтра высокой частоты средством фильтра высокой частоты с изображением компенсации движения, выделенным из предыдущего кадра относительно времени изображения прогнозирования.

14. Устройство обработки изображения по п.10, дополнительно содержащее:
средство кодирования, предназначенное для кодирования исходного изображения, которое представляет собой изображение, предназначенное для кодирования, и для генерирования кодированного изображения.

15. Устройство обработки изображения по п.10,
в котором средство кодирования обеспечивает включение в заголовок флага идентификации, идентифицирующего, должно ли изображение прогнозирования, которое будет добавлено к изображению, декодируемому устройством декодирования, быть сгенерированным через однонаправленное прогнозирование, сгенерированным через двунаправленное прогнозирование или сгенерированным посредством процесса фильтрации.

16. Способ обработки изображений, содержащий:
выполняют компенсацию движения, используя в качестве опорных кадров, кадры, сформированные из декодированных изображений, и используя векторы движения в изображениях, которые были кодированы, и выделяют по меньшей мере два изображения компенсации движения, имеющее более низкое разрешение, чем у изображения прогнозирования, из опорных кадров, соответствующих изображению прогнозирования; и
выполняют обработку фильтрации для компенсации по меньшей мере двух выделенных изображений компенсации движения, используя корреляцию в направлении времени, которая включена в первое изображение компенсации движения и второе изображение компенсации движения, генерируя, таким образом, изображение прогнозирования, которое имеет более высокое разрешение, чем у по меньшей мере двух изображений компенсации движения.

17. Способ по п.16, в котором фильтрованное второе изображение компенсации движения добавляют к первому изображению компенсации движения.

18. Способ по п.16, в котором изображение, представляющее высокочастотный компонент, добавляют к первому изображению компенсации движения.

19. Способ по п.16, дополнительно, в котором
детектируют векторы движения на основе изображений и исходного изображения, причем каждое из изображений получают, выполняя локальное декодирование на основе остаточного сигнала, обозначающего разность между исходным изображением и изображением прогнозирования.