УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N19/00 H04N19/117 H04N19/60 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений, в частности к устройству и способу обработки изображений, которые позволяют подавлять ухудшение качества изображения из-за кодирования и декодирования изображения, благодаря чему дополнительно улучшается качество декодированных изображений.

Уровень техники

В последние годы широкое распространение получили устройства, совместимые с таким форматам, как MPEG (Экспертная группа по вопросам движущегося изображения) и т.п., которые обрабатывают информацию изображения, как цифровые сигналы, и в которых используются преимущества избыточности, в частности информации изображения, для выполнения чрезвычайно эффективной передачи информации с последующим сохранением для сжатия изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование и т.п., и компенсацию движения, как при распространении информации, такой как широковещательная передача, так и при приеме информации в обычных жилых домах.

В частности, MPEG2 (ISO (Международная организация по стандартизации) / IEC (Международная электротехническая комиссия) 13818-2) определен, как формат кодирования изображения общего назначения, и представляет собой стандарт, охватывающий как изображения с чересстрочной разверткой, так и изображения с последовательной разверткой, и изображения со стандартным разрешением, и изображения с высокой четкостью. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений для профессионального использования и для использования потребителями. В результате применения формата сжатия MPEG2, количество кодов (частота битов) от 4 до 8 Мбит/с выделяют, например, в случае изображения с чересстрочной разверткой стандартным разрешением, имеющим 720×480 пикселей. Кроме того, в результате использования формата сжатия MPEG2 количество кодов (частота битов) от 18 до 22 Мбит/с выделяют в случае изображения с чересстрочной разверткой с высоким разрешением, например, имеющим 1920×1088 пикселей, в результате чего могут быть достигнуты высокая степень сжатия и превосходное качество изображения.

При использовании MPEG2 кодирование с высокой четкостью изображения, предназначенное для использования при широковещательной передаче, преимущественно используется как цель, но при меньшем количестве кодов (частота битов), чем количество кодов при MPEG1, то есть формат кодирования, имеющий более высокую степень сжатия, не обрабатывается. В соответствии с распространением использования карманных персональных компьютеров ожидается, что в будущем увеличится потребность в таком формате кодирования, и в ответ на это, была выполнена стандартизация формата кодирования MPEG4. Что касается формата кодирования изображения, его спецификация была подтверждена как международный стандарт, такой как ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была продолжена стандартизация стандарта H.26L (ITU-T (Сектор стандартизации для телекоммуникаций ITU) Q6/16 VCEG (Группа экспертов кодирования видеоизображений)), первоначально будучи направленной на кодирование изображения для использования в видеоконференциях. Что касается H.26L, стало известно, что по сравнению с обычным форматом кодирования, таким как MPEG2 или MPEG4, хотя требуется больший объем вычислений для его кодирования и декодирования, реализуется более высокая эффективность кодирования. Кроме того, в настоящее время как часть действий, связанных со стандартизацией MPEG4, была выполнена стандартизация для того, чтобы также использовать преимущество функций, не поддерживаемых H.26L, используя этот H.26L как основу для реализации более высокой эффективности кодирования, как Обобщенная модель видеокодирования с улучшенным сжатием. В качестве плана стандартизации Н.264 и MPEG 4 Part 10 (AVC (Улучшенное кодирование видеоданных)) были приняты как международный стандарт в марте 2003 г.

Кроме того, в качестве его расширения, FRExt (расширение диапазона точности), включающий в себя инструмент кодирования, необходимый для использования в бизнесе, такой как RGB, 4:2:2 или 4:4:4, 8×8DCT (дискретное косинусное преобразование) и матрица квантования, предписанная в соответствии с MPEG 2, был стандартизован таким образом, что AVC можно использовать в качестве формата кодирования, который позволяет соответствующим образом выражать даже шумы пленки, включенные в кинофильмы, и который стали использовать для широкого диапазона применений, таких как Диск Blu-ray (зарегистрированный товарный знак) и т.д.

Однако в настоящее время повысилась потребность в дополнительном кодировании с высокой степенью сжатия, такой как требуется для сжатия изображения, имеющего приблизительно 4000×2000 пикселей, что составляет в четыре раза больше, чем у изображения высокой четкости, или в качестве альтернативы повысились потребности в дополнительном кодировании с более высокой степенью сжатия, таком, которое предназначено для распределения изображения высокой четкости в среде с ограниченной пропускной способностью, такой как Интернет. Поэтому постоянно проводятся исследования по улучшению эффективности кодирования, используя упомянутые выше VCEG под управлением ITU-T.

Кроме того, существует фильтр с адаптивным контуром (ALF (Фильтр с адаптивным контуром)) как технология кодирования видеоизображения следующего поколения, которую рассматривают в последнее время (см., например, NPL 1 и NPL 2). Что касается такого фильтра с адаптивным контуром, оптимальную обработку фильтра выполняют для каждого кадра, и шумы блока, которые не были полностью удалены в фильтре удаления блоков, и шумы из-за квантования могут быть уменьшены.

В настоящее время размер макроблока 16×16 пикселей не является оптимальным для больших кадров изображения, таких как UHD (ультравысокая четкость; 4000×2000 пикселей), которые будут обрабатываться с помощью способов кодирования следующего поколения. Было предложено увеличить размер макроблока, например, до таких размеров, как 32×32 пикселя или 64×64 пикселя (например, NPL 3).

Список литературы

Непатентная литература

NPL 1: Yi-Jen Chiu and L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008.

NPL 2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, All 8, Germany, July, 2008.

NPL 3: Qualcomm Inc, "Video Coding Using Extended Block Sizes" ITU-T SG16 Contribution, C123, English, January 2009.

Сущность изобретения

Техническая задача

Обычно изображения, в общем, имеют различные локальные особенности, поэтому оптимальные коэффициенты фильтрации локально отличаются друг от друга. Например, при использовании формата кодирования AVC наблюдается различная степень ухудшения качества изображения между случаем, когда размер ортогонального преобразования составляет 4×4 и случаем 8×8. Например, при использовании блоков ортогонального преобразования 8×8, наблюдается "москитный" шум, который не наблюдается при блоках ортогонального преобразования 4×4. Кроме того, существует тенденция, состоящая в том, что блоки ортогонального преобразования 8×8 непосредственно выбирают для однородных областей, но блоки ортогонального преобразования 4×4 выбирают непосредственно для областей с более тонкой текстурой.

Однако в обычно предлагаемом способе один и тот же коэффициент фильтрации практически однородно применяется для всего изображения, поэтому удаление шумов, соответствующее локальным свойствам, которые имеет изображение, не обязательно выполняется, и существует проблема, состоящая в том, что качество декодированного изображения может иметь локальное ухудшение.

Настоящее изобретение было разработано с учетом такой ситуации, и его цель состоит в подавлении ухудшения качества изображения, вызываемого кодированием и декодированием изображения для дополнительного улучшения качества изображения декодированных изображений.

Решение задачи

Один аспект настоящего изобретения обеспечивает устройство обработки изображений, включающее в себя: средство классифицирования, выполненное с возможностью классификации изображения по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения; и средство фильтрации, выполненное с возможностью фильтрации для удаления шумов, для каждого частичного изображения, каждого размера изображения, классифицированного средством классифицирования, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами изображения, соответствующими размеру ортогонального преобразования частичного изображения.

Средство фильтрации может представлять собой фильтр Винера.

Размер изображения может составлять макроблок, при этом средство классифицирования выполнено с возможностью классификации макроблоков по их размерам ортогонального преобразования, и средство фильтрации выполняет фильтрацию каждого макроблока, классифицированного средством классифицирования, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами изображения, соответствующего его размеру ортогонального преобразования.

Устройство обработки изображений может дополнительно включать в себя средство кодирования, выполненное с возможностью кодирования изображения, и генерирования кодированных данных.

Средство кодирования может выполнять кодирование изображения, используя формат AVC (усовершенствованное кодирование видеоданных), со средством классифицирования, которое классифицирует по размеру изображения, декодированное изображение, подвергнутое ортогональному преобразованию, квантованию, обратному квантованию и обратному ортогональному преобразованию с помощью средства кодирования, и при этом средство фильтрации выполняет обработку фильтра в отношении частичного изображения декодируемого изображения и сохраняет результаты обработки фильтра в запоминающем устройстве кадра, как опорное изображение.

Устройство обработки изображений может дополнительно включать в себя средство выполнения коэффициента фильтрации, выполненное с возможностью вычисления коэффициентов фильтрации, с использованием входного изображения для средства кодирования, и декодированное изображение, при этом средство фильтрации выполняет фильтрацию с использованием коэффициента фильтрации, вычисленного средством вычисления коэффициента фильтрации.

Средство вычисления коэффициента фильтрации выполнено с возможностью классификации каждого входного изображения и декодированного изображения по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой средством кодирования, для каждого из размеров изображения; и вычисляет коэффициент фильтрации таким образом, что разность между входным изображением и декодируемым изображением будет наименьшей для каждого размера ортогонального преобразования.

Средство вычисления коэффициента фильтрации может устанавливать значения коэффициентов фильтрации в соответствии с локальными особенностями изображения, соответствующими размеру ортогонального преобразования, применяемому при обработке ортогонального преобразования, выполняемой средством кодирования.

Средство вычисления коэффициента фильтрации дополнительно выполнено с возможностью установки количества отводов коэффициентов фильтрации в соответствии с локальными особенностями изображения, соответствующими размеру ортогонального преобразования, применяемому при обработке ортогонального преобразования, выполняемой средством кодирования.

Средство вычисления коэффициента фильтрации выполнено с возможностью установки ряда отводов так, что для большего размера ортогонального преобразования устанавливаются более длинные отводы коэффициентов фильтрации и установки ряда отводов так, что для меньшего размера ортогонального преобразования устанавливаются более короткие отводы коэффициентов фильтрации.

Устройство обработки изображений дополнительно включает в себя средство суммирования, выполненное с возможностью суммирования коэффициента фильтрации с кодированными данными, генерируемыми средством кодирования.

Средство суммирования дополнительно выполнено с возможностью добавления информации флага суммирования для управления, следует или нет выполнять фильтрацию в отношении кодированных данных.

Устройство обработки изображений дополнительно включает в себя: средство выделения, выполненное с возможностью выделения коэффициента фильтрации из кодированных данных изображения, которое было кодировано; и средство декодирования, выполненное с возможностью декодирования кодированных данных и генерирования декодированного изображения; при этом средство классификации выполнено с возможностью классификации декодированного изображения, сгенерированного средством декодирования, по размеру ортогонального преобразования для каждого из размеров изображения; и средство фильтрации выполнено с возможностью фильтрации для удаления шумов в каждом частичном изображении, каждого размера изображения, классифицированного средством классификации с использованием коэффициентов фильтрации, выделенных средством выделения.

Средство декодирования выполнено с возможностью кодирования кодированных данных с использованием формата AVC (усовершенствованное кодирование видеоданных), при этом средство классификации классифицирует по размеру декодированное изображение, подвергнутое декодированию, обратному квантованию и обратному ортогональному преобразованию, с помощью средства декодирования, и средство фильтрации выполняет фильтрацию в отношении частичного изображения декодируемого изображения.

Один аспект настоящего изобретения также обеспечивает способ обработки изображений, в котором средство классификации устройства обработки изображений классифицирует изображение по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения, и средство фильтрации устройства обработки изображений выполняет фильтрацию для удаления шумов каждого частичного изображения каждого размера изображения, которое было классифицировано, с использованием коэффициентов фильтрации, установленных в соответствии с локальными особенностями изображения, соответствующего размеру ортогонального преобразования частичного изображения.

В одном аспекте настоящего изобретения изображение классифицируют по размерам ортогонального преобразования, применяемым при обработке ортогонального преобразования, выполняемой для изображения, для каждого заданного размера изображения, и фильтрацию выполняют для удаления шумов в каждом частичном изображении каждого размера изображения, классифицированного с использованием коэффициентов фильтрации, установленных в соответствии с локальными особенностями изображения, соответствующего размеру ортогонального преобразования частичного изображения.

Полезные эффекты изобретения

В соответствии с настоящим изобретением изображения могут быть кодированы или декодированы. В частности, ухудшение качества изображения из-за кодирования и декодирования изображения может быть подавлено, и качество изображения декодируемых изображений может быть улучшено.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая конфигурацию варианта осуществления устройства кодирования изображения, в котором было применено настоящее изобретение.

На фиг.2 показана схема для описания примера последовательных приращений ортогонального преобразования.

На фиг.3 показана схема для описания обработки в макроблоке, в котором 4×4 ортогональных преобразования выполняют.

На фиг.4 показана схема, иллюстрирующая способ для реализации целочисленного преобразования и обратного целочисленного преобразования путем вычислений "бабочки".

На фиг.5 показана схема для описания принципа работы фильтра удаления блоков.

На фиг.6 показана схема для описания способ определения Bs.

На фиг.7 показана схема для описания принципа работы фильтра удаления блоков.

На фиг.8 показана схема, иллюстрирующая пример корреляции между indexA и indexB и значениями α и β.

На фиг.9 показана схема, иллюстрирующая пример корреляции между Bs, indexA и t_co.

На фиг.10 показана схема, иллюстрирующая пример макроблоков.

На фиг.11 показана блок-схема, иллюстрирующая основной пример конфигурации программы для работы с контурным фильтром и модулем вычисления коэффициента фильтрации.

На фиг.12 показана блок-схема последовательности операций, описывающая пример потока обработки кодирования.

На фиг.13 показана блок-схема последовательности операций, описывающая пример потока обработки прогнозирования.

На фиг.14 показана блок-схема последовательности операций, описывающая пример потока обработки контурного фильтра.

На фиг.15 показана блок-схема, описывающая пример первичной конфигурации устройства декодирования изображения, в котором было применено настоящее изобретение.

На фиг.16 показана схема, иллюстрирующая основной пример конфигурации контурного фильтра.

На фиг.17 показана блок-схема последовательности операций, описывающая пример потока обработки декодирования.

На фиг.18 показана блок-схема последовательности операций, описывающая пример потока обработки генерирования изображения прогнозирования.

На фиг.19 показана блок-схема последовательности операций, описывающая пример потока обработки контурного фильтра.

На фиг.20 показана схема, описывающая блоки ALF и флаги блока фильтра.

На фиг.21 показана схема, описывающая другой пример блоков ALF и флагов блока фильтра.

На фиг.22 показана блок-схема, описывающая пример основной конфигурации персонального компьютера, в котором применено настоящее изобретение.

На фиг.23 показана блок-схема, описывающая пример основной конфигурации телевизионного приемника, в котором применено настоящее изобретение.

На фиг.24 показана блок-схема, описывающая пример основной конфигурации сотового телефона, в котором применено настоящее изобретение.

На фиг.25 показана блок-схема, описывающая пример основной конфигурации устройства записи жесткого диска, в котором применено настоящее изобретение.

На фиг.26 показана блок-схема, описывающая пример основной конфигурации камеры, в которой применено настоящее изобретение.

Осуществление изобретения

Далее будут описаны варианты осуществления настоящего изобретения. Следует отметить, что описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (управление блоком ALF)

4. Четвертый вариант осуществления (QALF)

5. Пятый вариант осуществления (персональный компьютер)

6. Шестой вариант осуществления (телевизионный приемник)

7. Седьмой вариант осуществления (сотовый телефон)

8. Восьмой вариант осуществления (устройство записи на жесткий диск)

9. Девятый вариант осуществления (камера)

1. Первый вариант осуществления

Конфигурация устройства

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, используемого в качестве устройства обработки изображений, в котором применяется настоящее изобретение.

Устройство 100 кодирования изображения, показанное на фиг.1, представляет собой устройство кодирования изображения, подвергающее изображение кодированию сжатия, используя, например, формат Н.264 и MPEG (Экспертная группа по вопросам движущегося изображения) 4 Part 10 (AVC (Улучшенное кодирование видеоданных) (ниже обозначен, как формат H.264/AVC), и дополнительно используется фильтр с адаптивным контуром.

В примере, показанном на фиг.1, устройство 100 кодирования изображения имеет модуль 101 A/D (аналогово/цифрового) преобразования, буфер 102 изменения компоновки экрана, вычислительный модуль 103, модуль 104 ортогонального преобразования, модуль 105 квантования, модуль 106 кодирования без потерь и буфер 107 сохранения. Устройство 100 кодирования изображения также имеет модуль 108 обратного квантования, модуль 109 обратного ортогонального преобразования, вычислительный модуль 110 и фильтр 111 удаления блоков. Кроме того, устройство 100 кодирования изображения содержит модуль 112 вычисления коэффициента фильтрации, контурный фильтр 113 и запоминающее устройство 114 кадра. Кроме того, устройство 100 кодирования изображения имеет модуль 115 выбора, модуль 116 прогнозирования внутри кадра, модуль 117 прогнозирования/компенсации движения и модуль 118 выбора. Кроме того, устройство 100 кодирования изображения имеет модуль 119 управления скоростью.

Модуль 101 A/D преобразования выполняет A/D преобразование данных входного изображения, выводит в буфер 102 изменения компоновки экрана и сохраняет. Буфер 102 изменения компоновки экрана изменяет компоновку изображения кадров в сохраненном порядке для отображения в порядке кадров для кодирования в соответствии с GOP (группа изображений). Буфер 102 изменения компоновки экрана подает изображения, порядок кадров которых был изменен в вычислительном модуле 103, через модуль 116 прогнозирования внутри кадра, модуль 117 прогнозирования/компенсации движения и модуль 112 вычисления коэффициента фильтрации.

Вычислительный модуль 103 вычитает из изображения, считываемого из буфера 102 изменения компоновки экрана, изображение прогнозирования, подаваемое от модуля 118 выбора, и выводит информацию разности на модуль 104 ортогонального преобразования. Например, в случае изображения, в отношении которого было выполнено кодирование внутри кадра, вычислительный модуль 103 добавляет изображение прогнозирования, подаваемое от модуля 116 прогнозирования внутри кадра, к изображению, считываемому из буфера 102 изменения компоновки экрана. Кроме того, например, в случае, когда было выполнено кодирование между кадрами, вычислительный модуль 103 добавляет изображение прогнозирования, передаваемое от модуля 117 прогнозирования/компенсации движения, к изображению, считываемому из буфера 102 изменения компоновки экрана.

Модуль 104 ортогонального преобразования подвергает информацию разности от вычислительного модуля 103 ортогональному преобразованию, такому как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и подает его коэффициент преобразования на модуль 105 квантования. Модуль 104 ортогонального преобразования также подает информацию, относящуюся к тому, какое из ортогонального преобразования 4×4 и ортогонального преобразования 8×8 было применено к каждому макроблоку (размер ортогонального преобразования), на модуль 112 вычисления коэффициента фильтрации и контурный фильтр 113.

Модуль 105 квантования выполняет квантование коэффициента преобразования, который выводит модуль 104 ортогонального преобразования. Модуль 105 квантования подает квантованный коэффициент преобразования на модуль 106 кодирования без потерь.

Модуль 106 кодирования без потерь подвергает квантованный коэффициент преобразования кодированию без потерь, такому как кодирование с переменной длиной, арифметическое кодирование и т.п.

Модуль 106 кодирования без потерь получает информацию, обозначающую прогнозирование внутри кадра и т.д., от модуля 116 прогнозирования внутри кадра и получает информацию, обозначающую режим прогнозирования между кадрами и т.д., от модуля 117 прогнозирования/компенсации движения. Следует отметить, что информация, обозначающая прогнозирование внутри кадра, в дальнейшем также может называться информацией режима прогнозирования внутри кадра. Кроме того, информация, обозначающая режим информации, обозначающий прогнозирование между кадрами, в дальнейшем также будет называться информацией режима прогнозирования между кадрами.

Модуль 106 кодирования без потерь дополнительно получает коэффициенты фильтрации, используемые в контурном фильтре 113, от модуля 112 вычисления коэффициента фильтрации.

Модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования и применяет коэффициенты фильтрации, информацию режима прогнозирования внутри кадров, информацию режима прогнозирования между кадрами, параметры квантования и т.д., как часть информации заголовка в кодированных данных (мультиплексирование). Модуль 106 кодирования без потерь подает кодированные данные, полученные в результате кодирования, на буфер 107 хранения для хранения.

Например, с помощью модуля 106 кодирования без потерь выполняют обработку кодирования без потерь, такую как кодирование переменной длины, арифметическое кодирование и т.п. Примеры кодирования переменной длины включают в себя CAVLC (Адаптивное к контексту кодирование переменной длины), определенное форматом H.264/AVC. Примеры арифметического кодирования включают в себя САВАС (Адаптивное к контексту двоичное арифметическое кодирование).

Буфер 107 хранения временно содержит кодированные данные, подаваемые от модуля 106 кодирования без потерь, и в заданные моменты времени выводит их, например, на устройство записи или в канал передачи и т.п., расположенный после него и не показанный на чертеже, в виде сжатого изображения, кодированного в формате H.264/AVC.

Кроме того, квантованный коэффициент преобразования, выводимый модулем 105 квантования, также подают в модуль 108 обратного квантования. Модуль 108 обратного квантования выполняет обратное квантование квантованного коэффициента преобразования с помощью способа, соответствующего квантованию в модуле 105 квантования, и подает полученный коэффициент преобразования в модуль 109 обратного ортогонального преобразования.

Модуль 109 обратного ортогонального преобразования выполняет обратное ортогональное преобразование поданных коэффициентов преобразования, используя способ, соответствующий обработке ортогонального преобразования, выполняемый с помощью модуля 104 ортогонального преобразования. Выходные данные, подвергнутые обратному ортогональному преобразованию, подают на вычислительный модуль 110.

Вычислительный модуль 110 добавляет результат обратного ортогонального преобразования, переданный от модуля 109 обратного ортогонального преобразования, то есть восстановленную информацию разности, в изображение прогнозирования, подаваемое от модуля 118 выбора, и получает локально декодированное изображение (декодированное изображение). В случае, когда информация разности соответствует изображению, в отношении которого требуется выполнить кодирование внутри кадра, например, вычислительный модуль 110 добавляет изображение прогнозирования, переданное от модуля 116 прогнозирования внутри кадра, к информации разности. Кроме того, в случае, когда информация разности соответствует изображению, относящемуся, например, к тому, которое из кодирования внутри кадра следует выполнить, вычислительный модуль 110 суммирует изображение прогнозирования, поданное от модуля 117 прогнозирования/компенсации движения, с этой информацией разности.

Результаты суммирования подают на фильтр 111 удаления блоков.

Фильтр 111 удаления блоков удаляет блоки шумов из декодируемого изображения. Фильтр 111 удаления блоков затем подает результаты удаления шумов на контурный фильтр 113 и на запоминающее устройство 114 кадра.

На модуль 112 вычисления коэффициента фильтрации подают декодированные изображения, подаваемые от фильтра 111 удаления блоков через запоминающее устройство 114 кадров. На модуль 112 вычисления коэффициента фильтрации дополнительно подают входное изображение, считываемое из буфера 102 изменения компоновки экрана. Кроме того, в модуль 112 вычисления коэффициента фильтрации подают, из модуля 104 ортогонального преобразования, размер ортогонального преобразования (которое из ортогонального преобразования 4×4 и ортогонального преобразования 8×8 было применено для каждого макроблока).

Основываясь на размере ортогонального преобразования, переданном модулем 104 ортогонального преобразования, модуль 112 вычисления коэффициента фильтрации группирует макроблоки декодируемого изображения и входного изображения по размеру ортогонального преобразования (выполняет классификацию класса) и генерирует соответствующий коэффициент фильтрации для фильтрации, выполняемой в контурном фильтре 113, для каждой группы (класса). Модуль 112 вычисления коэффициента фильтрации рассчитывает коэффициенты фильтрации таким образом, что остаток (разность между декодированным изображением и входным изображением) будет минимальным в каждой группе (размер ортогонального преобразования).

Модуль 112 вычисления коэффициента фильтрации подает коэффициенты фильтрации для каждой генерируемой группы на контурный фильтр 113. Кроме того, модуль 112 вычисления коэффициента фильтрации подает коэффициенты фильтрации каждой генерируемой группы на модуль 106 кодирования без потерь. Как описано выше, коэффициенты фильтра включены в кодированные данные (мультиплексированы) модулем 106 кодирования без потерь. То есть можно сказать, что коэффициенты фильтрации каждой группы передают на устройство декодирования изображения вместе с кодированными данными.

Декодируемые изображения, переданные от фильтра 111 удаления блоков через запоминающее устройство 114 кадра, передают на контурный фильтр 113. Кроме того, на модуль 112 вычисления коэффициента фильтрации подают от модуля 104 ортогонального преобразования размер ортогонального преобразования (информацию, относящуюся к тому, которое из ортогонального преобразования 4×4 и ортогонального преобразований 8×8 применялось к каждому макроблоку).

Контурный фильтр 113 группирует (выполняет классификацию класса) макроблоки декодируемого изображения по размеру ортогонального преобразования, на основе размера ортогонального преобразования, подаваемого от модуля 104 ортогонального преобразования, и выполняет фильтрацию декодируемого изображения, используя коэффициенты фильтрации, передаваемые от модуля 112 вычисления коэффициента фильтрации, для каждой группы (класса). Фильтр Винера (винеровский фильтр), например, используется в качестве такого фильтра. Конечно, можно использовать другой фильтр, кроме фильтра Винера. Контурный фильтр 113 подает результат фильтрации на запоминающее устройство 114 кадра и сохраняет как опорное изображение.

Запоминающее устройство 114 кадра выводит сохраненное опорное изображение на модуль 11 6 кодирования внутри кадра или модуль 117 прогнозирования/компенсации движения через модуль 115 выбора в соответствующие моменты времени. Например, в случае изображения, в отношении которого следует выполнить, например, кодирование внутри кадра, запоминающее устройство 114 кадра передает опорное изображение в модуль 116 прогнозирования внутри кадра через модуль 115 выбора. Кроме того, в случае изображения, в отношении которого требуется выполнить, например, кодирование между кадрами, запоминающее устройство 114 кадра подает опорное изображение в модуль 117 прогнозирования/компенсации движения через модуль 115 выбора.

В таком устройстве 100 кодирования изображения, например, изображение I, изображение В и изображение Р из буфера 102 изменения компоновки экрана передают на модуль 116 прогнозирования внутри кадра как изображение, подвергаемое обработке прогнозирования внутри кадра (также называется обработкой внутри кадра). Кроме того, изображение В и изображение Р, считываемые из буфера 102 изменения компоновки экрана, подают в модуль 117 прогнозирования/компенсации движения как изображение, подвергаемое обработке прогнозирования между кадрами (также называется обработкой между кадрами).

Модуль 115 выбора подает опорное изображение, переданное от запоминающего устройства 114 кадра, на модуль 116 прогнозирования внутри кадра в случае изображения, в отношении которого требуется выполнить кодирование внутри кадра, и передает на модуль 117 прогнозирования/компенсации движения, в случае изображения, в отношении которого требуется кодирование между кадрами.

Модуль 116 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра всех кандидатов режима прогнозирования внутри кадра на основе изображения, подвергаемого прогнозированию внутри кадра, считываемому из буфера 102 изменения компоновки экрана, и опорного изображения, поданного из запоминающего устройства 114 кадра для генерирования изображения прогнозирования.

С помощью модуля 116 прогнозирования внутри кадра, информацию, относящуюся к режиму прогнозирования внутри кадра, подаваемую в текущий блок/макроблок, преобразуют в модуле 106 кодирования без потерь, и используют, как часть информации заголовка. В формате кодирования информация изображения Н.264, режим прогнозирования внутри кадра 4×4, режим прогнозирования внутри кадра 8×8 и режим прогнозирования внутри кадра 16×16 определены для сигналов яркости, и также в отношении цветоразностных сигналов режим прогнозирования может быть определен для каждого макроблока, независимого от сигналов яркости. Для режима прогнозирования внутри кадра 4×4 определяют один режим прогнозирования внутри кадра для каждого блока яркости размером 4×4. Для режима прогнозирования внутри кадра размером 8×8 определяют один режим прогнозирования внутри кадра для каждого блока яркости 8×8. Для режима прогнозирования внутри кадра 16×16 и для цветоразностных сигналов один режим прогнозирования внутри кадра определяют для каждого макроблока.

Модуль 116 прогнозирования внутри кадра рассчитывает значение функции стоимости для режима прогнозирования внутри кадра, где изображение прогнозирования было сгенерировано, и выбирает режим прогнозирования внутри кадра, где вычисленное значение функции стоимости имеет минимальное значение, означающее оптимальный режим прогнозирования внутри кадра. Модуль 116 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, на вычислительный модуль 103 через модуль 118 выбора изображения прогнозирования.

Что касается изображения, которое должно быть подвергнуто кодированию между кадрами, модуль 117 прогнозирования/компенсации движения использует входное изображение, подаваемое из буфера 102 изменения компоновки экрана, и декодированное изображение, используемое, как опорный кадр, подаваемый из запоминающего устройства 114 кадра, и рассчитывает вектор движения. Модуль 117 прогнозирования/компенсации движения выполняет обработку компенсации движения, в соответствии с рассчитанным вектором движения, и генерирует изображение прогнозирования (информацию изображения прогнозирования между кадрами).

Модуль 117 прогнозирования/компенсации движения выполняет обработку прогнозирования между кадрами для всех кандидатов режимов прогнозирования между кадрами и генерирует изображения прогнозирования. Режимы прогнозирования между кадрами являются теми же, что и в случае режимов прогнозирования внутри кадра.

Модуль 117 прогнозирования/компенсации движения рассчитывает значения функции стоимости для режимов прогнозирования между кадрами, в отношении которых были сгенерированы изображения прогнозирования, и выбирает режим прогнозирования между кадрами, вычисленное значение функции стоимости имеет минимальное значение, означающее оптимальный режим прогнозирования между кадрами. Модуль 117 прогнозирования/компенсации движения подает изображение прогнозирования, генерируемое в режиме оптимального прогнозирования между кадрами, в вычислительный модуль 103 через модуль 118 выбора.

Модуль 117 прогнозирования/компенсации движения подает информацию вектора движения, обозначающую рассчитанный вектор движения, в модуль 106 кодирования без потерь. Эту информацию вектора движения включают (мультиплексируют) в кодированные данные с помощью модуля 106 кодирования без потерь. То есть информацию вектора движения подают на устройство декодирования изображения вместе с кодированными данными.

В случае выполнения кодирования изображения внутри кадра модуль 118 выбора изображения прогнозирования подает выходные данные модуля 116 прогнозирования внутри кадра на вычислительный модуль 103, и в случае выполнения кодирования между кадрами подает выходные данные модуля 117 прогнозирования/компенсации движения на вычислительный модуль 103.

Модуль 119 управления скоростью управляет скоростью операций квантования модуля 105 квантования на основе сжатого изображения, сохраненного в буфере 107 хранения, таким образом, что не происходит переполнение или потеря значимости буфера.

Описание ортогонального преобразования

Далее будет подробно описана каждая обработка, представленная выше. Вначале будет описано ортогональное преобразование.

При использовании формата кодирования MPEG2 обработку ортогонального преобразования выполняют с использованием 8×8 пикселей, в качестве последовательного приращения. С другой стороны, в устройстве 100 кодирования изображения, которое выполняет ортогональное преобразование, так же, как и для формата кодирования AVC, выполняют ортогональное преобразование используя 4×4 пикселя в качестве последовательного приращения, с Исходным профилем, Основным профилем и Расширенным профилем. Кроме того, с Высоким профилем или выше, устройство 100 кодирования изображения выполнено с возможностью переключения между ортогональным преобразованием с последовательным приращением 4×4 пикселя, показанным в позиции А на фиг.2, и ортогональным преобразованием с последовательным приращением 8×8 пикселей, показанным в позиции В на фиг.2, с приращениями макроблоков.

Ортогональное преобразование 4×4

Вначале будет описано ортогональное преобразование 4×4. Ортогональное преобразование с последовательным приращением 4×4 пикселя имеет следующие особенности.

Первая особенность состоит в том, что в формате кодирования MPEG2 точность расчетов для преобразования может быть свободно установлена в отношении каждого формата кодирования в пределах определенного диапазона, таким образом, было необходимо предпринимать меры в отношении несоответствия при обратном преобразовании, но в соответствии с настоящим способом преобразование и обратное преобразование оба установлены в стандарте, поэтому нет необходимости воплощать такие меры в отношении несоответствия.

Вторая особенность состоит в том, что обеспечена возможность воплощения с использованием 16-битного регистра так, что расчеты могут быть реализованы с использованием цифровых сигнальных процессоров (DSP (цифровой сигнальный процессор)) с малым потреблением энергии такого типа, как используется с портативных терминалах и т.п.

Третья особенность состоит в том, что, в то время как москитные шумы из-за ошибки квантования в высокочастотных коэффициентах наблюдались при использовании способов кодирования, в которых используется ортогональное преобразование с приращением 8×8 пикселей, таком как MPEG2 и т.п., такие москитные шумы редко наблюдаются в соответствии с настоящим способом.

На фиг.3 иллюстрируется обзор обработки ортогонального преобразования и квантования. То есть каждые из 16×16 пикселей сигналов яркости и 8×8 пикселей цветоразностных сигналов, включенные в один макроблок, делят на блоки 4×4 пикселей, как показано на фиг.3, и каждые из них подвергают обработке целочисленного преобразования и обработке квантования. Кроме того, что касается цветоразностных сигналов, как показано на фиг.3, генерируют матрицы 2×2, собирающие только компонент постоянного тока, и их подвергают преобразованию Адамара 2-го порядка и квантованию.

Кроме того, в случае, когда текущий макроблок представляет режим 16х16 внутри кадра, как показано на фиг.3, генерируют матрицы 4×4, собирающие только компонент постоянного тока, и их подвергают преобразованию Адамара 4-го порядка и квантованию.

Ортогональное преобразование 4-го порядка может быть описано, как следующее Выражение (1).

Математическое выражение 1

$$\left[Y\right]=\left[A\right]\left[X\right]{\left[A\right]}^T=\left[\begin{array}{cccc}a& a& a& a\\ b& c& -c& -b\\ a& -a& -a& a\\ c& -b& b& -c\end{array}\right]\left[X\right]\left[\begin{array}{cccc}a& b& a& c\\ a& c& -a& -b\\ a& -c& -a& b\\ a& -b& a& -c\end{array}\right]$$

где

$$a=\frac{1}{2},b=\sqrt{\frac{1}{2}}\cos (\frac{\pi }{8}),c=\sqrt{\frac{1}{2}}\cos (\frac{3\pi }{8})\dots \left(1\right)$$

Выражение (2) представляет собой вариант, который может быть получен из этого Выражения (1).

Математическое выражение 2

$$\begin{array}{l}\left[Y\right]=\left(\left[C\right]\left[X\right]{\left[C\right]}^T\right)\otimes \left[E\right]\hfill \\ =\left\{\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& d& -d& 1\\ 1& -1& -1& 1\\ d& -1& 1& -d\end{array}\right]\left[X\right]\left[\begin{array}{cccc}1& 1& 1& d\\ 1& d& -1& -1\\ 1& -d& -1& 1\\ 1& -1& 1& -d\end{array}\right]\right\}\otimes \left[\begin{array}{cccc}{a}^2& ab& a^2& ab\\ ab& b^2& ab& b^2\\ a^2& ab& a^2& ab\\ ab& b^2& ab& b^2\end{array}\right]\hfill \end{array}$$

где

$$a=\frac{1}{2},b=\sqrt{\frac{2}{5}},d=\frac{1}{2}\dots \left(2\right)$$

Выражение (3) представляет собой дополнительный вариант, который может быть получен на основе этого Выражения (2).

Математическое выражение 3

$$\begin{array}{l}\left[Y\right]=\left(\left[C_f\right]\left[X\right]{\left[C_f\right]}^T\right)\otimes \left[E_f\right]\hfill \\ =\left\{\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\left[X\right]\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right]\right\}\otimes \left[\begin{array}{cccc}{a}^2& ab/2& a^2& ab/2\\ ab& b^2/4& ab& b^2/4\\ a^2& ab/2& a^2& ab/2\\ ab/2& b^2/4& ab/2& b^2/4\end{array}\right]\hfill \end{array}\dots \left(3\right)$$

В соответствии с этим матрица [C_f] может быть выражена как следующее Выражение (4).

Математическое выражение 4

$$\left[C_f\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\dots \left(4\right)$$

То есть устройство 100 кодирования изображения использует матрицу, показанную с правой стороны в Выражении (4), как матрицу целочисленного преобразования.

В соответствии с этим целочисленное преобразование может быть реализовано путем суммирования (суммирования - вычитания) и сдвига (побитного сдвига).

Кроме того, из Выражения (3) может быть получена матрица [E_f] как следующее Выражение (5).

Математическое выражение 5

$$\left[E_f\right]=\left[\begin{array}{cccc}{a}^2& ab/2& a^2& ab/2\\ ab& b^2/4& ab& b^2/4\\ a^2& ab/2& a^2& ab/2\\ ab/2& b^2/4& ab/2& b^2/4\end{array}\right]\dots \left(5\right)$$

Член с правой стороны в Выражении (5) реализуется с помощью устройства 100 кодирования изображения, выполняющего различную обработку квантования для каждого компонента 4×4. Другими словами, устройство 100 кодирования изображения реализует ортогональное преобразование путем комбинирования целочисленного преобразования и обработки квантования.

Кроме того, обратное преобразование может быть выражено как в следующем Выражении (6).

Математическое выражение 6

$$\begin{array}{l}\left[X\text{'}\right]={\left[C_i\right]}^T\left(\left[Y\right]\otimes \left[E_i\right]\right)\left[C_i\right]\hfill \\ =\left[\begin{array}{cccc}1& 1& 1& 1/2\\ 1& 1/2& -1& -1\\ 1& -1/2& -1& 1\\ 1& -1& 1& -1/2\end{array}\right]\left\{\left[Y\right]\otimes \left[\begin{array}{cccc}{a}^2& ab& a^2& ab\\ ab& b^2& ab& b^2\\ a^2& ab& a^2& ab\\ ab& b^2& ab& b^2\end{array}\right]\right\}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1/2& -1/2& -1\\ 1& -1& -1& 1\\ 1/2& -1& 1& -1/2\end{array}\right]\dots \left(6\right)\hfill \end{array}$$

В соответствии с этим правая сторона Выражения (6) может быть выражена как следующее Выражение (7) и Выражение (8).

Математическое выражение 7

$$\left(\left[Y\right]\otimes \left[E_i\right]\right)=\left\{\left[Y\right]\otimes \left[\begin{array}{cccc}{a}^2& ab& a^2& ab\\ ab& b^2& ab& b^2\\ a^2& ab& a^2& ab\\ ab& b^2& ab& b^2\end{array}\right]\right\}\dots \left(7\right)$$

Математическое выражение 8

$$\left[C_i\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1/2& -1/2& -1\\ 1& -1& -1& 1\\ 1/2& -1& 1& -1/2\end{array}\right]\dots \left(8\right)$$

Матрица, показанная в правой стороне в Выражении (7), представляет собой матрицу 4×4, полученную как результат обратного квантования, в то время как матрицу 4×4 в отношении декодируемого изображения рассчитывают путем применения матрицы обратного квантования, показанной с правой стороны в Выражении (8).

Обратное целочисленное преобразование также может быть реализовано только с использованием суммирования (суммирования - вычитания) и сдвига (побитового сдвига).

В позиции А на фиг.4 и в позиции В на фиг.4 иллюстрируется технология для реализации целочисленного преобразования и обратного целочисленного преобразования путем вычислений "бабочки".

Ортогональное преобразование 8×8

Далее будет представлено описание в отношении ортогонального преобразования 8×8, которое можно использовать при AVC Высокого профиля и выше.

В устройстве 100 кодирования изображения ортогональное преобразование 8×8 определено как целочисленное преобразование, реализованное только с использованием вычислений типа суммирования - вычитания и сдвига, так же, как и в случае 4×4.

Вначале устройство 100 кодирования изображения выполняет расчет ортогонального преобразования для восьми точек в горизонтальном направлении и затем выполняет преобразование для восьми точек в вертикальном направлении.

Для упрощения описания будет представлено одномерное целочисленное преобразование 8-го порядка.

Сначала выполним расчет Выражений (9)-(16) с использованием входных сигналов {d0, d1, d2, d3, d4, d5, d6, d7}.

$$e0=d0+d7\dots \left(9\right)$$

$$e1=d1+d6\dots \left(10\right)$$

$$e2=d2+d5\dots \left(11\right)$$

$$e3=d3+d6\dots \left(12\right)$$

$$e4=d0-d7\dots \left(13\right)$$

$$e5=d1-d6\dots \left(14\right)$$

$$e6=d2-d\dots \left(15\right)$$

$$e7=d3-d4\dots \left(16\right)$$

Затем выполним расчет следующих Выражений (17)-(24) для {е0, е1, е2, е3, е4, е5, е6, е7}.

$$e\text{'}0=e0+e3\dots \left(17\right)$$

$$e\text{'}1=e1+e2\dots \left(18\right)$$

$$e\text{'}2=e0-e3\dots \left(19\right)$$

$$e\text{'}3=e1-e2\dots \left(20\right)$$

$$e\text{'}4=e5+e6+\left(e4>>1+e4\right)\dots \left(21\right)$$

$$e\text{'}5=e4-e7-\left(e6>>1+e6\right)\dots \left(22\right)$$

$$e\text{'}6=e4+e7-\left(e5>>1+e5\right)\dots \left(23\right)$$

$$e\text{'}7=e5-e6+\left(e7>>1+e7\right)\dots \left(24\right)$$

Кроме того, выполним расчет следующих Выражений (25)-(32) для {е'0, е'1, е'2, е'3, е'4, е'5, е'6, е'7}, получим ортогонально преобразованные коэффициенты {D0, D1, D2, D3, D4, D5, D6, D7}.

$$D0=e\text{'}0+e\text{'}1\dots \left(25\right)$$

$$D2=e\text{'}2+e\text{'}3>>1\dots \left(26\right)$$

$$D4=e\text{'}0-e\text{'}1\dots \left(27\right)$$

$$D6=e\text{'}2>>1-e\text{'}3\dots \left(28\right)$$

$$D1=e\text{'}4+e\text{'}7>>2\dots \left(29\right)$$

$$D3=e\text{'}5+e\text{'}6>>2\dots \left(30\right)$$

$$D5=e\text{'}6-e\text{'}5>>2\dots \left(31\right)$$

$$D7=e\text{'}7+e\text{'}4>>2\dots \left(32\right)$$

Обратное ортогональное преобразование от {D0, D1, D2, D3, D4, D5, D6, D7} до {d0, d1, d2, d3, d4, d5, d6, d7} выполним следующим образом.

То есть вначале рассчитаем от {D0, D1, D2, D3, D4, D5, D6, D7} до {f0, f1, f2, f3, f4, f5, f6, f7} в соответствии со следующими Выражениями (34)-(40).

$$f0=D0+D4\dots \left(33\right)$$

$$f1=-D3+D5-\left(D7+D7>>1\right)\dots \left(34\right)$$

$$f2=D0-D4\dots \left(35\right)$$

$$f3=D1+D7-\left(D3+D3>>1\right)\dots \left(36\right)$$

$$f4=D2>>1-D6\dots \left(37\right)$$

$$f5=-D1+D7+\left(D5+D5>>1\right)\dots \left(38\right)$$

$$f6=D+D62>>1\dots \left(39\right)$$

$$f7=D3+D5+\left(D1+D1>>1\right)\dots \left(40\right)$$

Затем рассчитаем от {f0, f1, f2, f3, f4, f5, f6, f7} до {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7}, как в следующих Выражениях (41)-(48).

$$f\text{'}0=f0+f6\dots \left(41\right)$$

$$f\text{'}1=f1+f7>>2\dots \left(42\right)$$

$$f\text{'}2=f2+f4\dots \left(43\right)$$

$$f\text{'}3=f3+f5>>2\dots \left(44\right)$$

$$f\text{'}4=f2-f4\dots \left(45\right)$$

$$f\text{'}5=f3>>2-f5\dots \left(46\right)$$

$$f\text{'}6=f0-f6\dots \left(47\right)$$

$$f\text{'}7=f7-f1>>2\dots \left(48\right)$$

Наконец рассчитаем от {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7} до {d0, d1, d2, d3, d4, d5, d6, d7}, в соответствии со следующими Выражениями (49)-(56).

$$d0=f\text{'}0+f\text{'}7\dots \left(49\right)$$

$$d2=f\text{'}2+f\text{'}5\dots \left(50\right)$$

$$d2=f\text{'}4+f\text{'}3\dots \left(51\right)$$

$$d3=f\text{'}6+f\text{'}1\dots \left(52\right)$$

$$d4=f\text{'}6-f\text{'}1\dots \left(53\right)$$

$$d5=f\text{'}4-f\text{'}3\dots \left(54\right)$$

$$d6=f\text{'}2-f\text{'}5\dots \left(55\right)$$

$$d7=f\text{'}0-f\text{'}7\dots \left(56\right)$$

Фильтр удаления блоков

Далее будет описан фильтр удаления блоков. Фильтр 111 удаления блоков удаляет шумы блоков в декодированных изображениях. В соответствии с этим распространение шумов блоков в изображении, на котором основывается обработка компенсации движения, подавляется.

Следующие три способа (а)-(с) для обработки фильтра удаления блоков могут быть выбраны по двум параметрам deblocking_filter_control_present_flag, включенным в набор параметра изображения RBSP (нагрузка последовательности необработанных байтов) и disable_deblocking_filter_idc, включенных в заголовок среза (заголовок среза), которые включены в кодированные данные.

(a) применяют к границам блока и границам макроблока

(b) применяют только к границам макроблока

(c) не применяют

Что касается параметра QP квантования, QPY используют в случае применения проведения обработки для сигналов яркости, и QPC используют в случае применения к цветоразностным сигналам. Кроме того, в то время как значения пикселя, принадлежащие разным срезам, обрабатывают как "недоступные", при кодировании вектора движения, прогнозировании внутри кадра и энтропийном кодировании (CAVLC/CABAC), при обработке фильтра удаления блоков значения четного пикселя, принадлежащие разным срезам, обрабатывают, как "доступные", если только они принадлежат тому же изображению.

Далее будет указано, что значения пикселя перед обработкой фильтра удаления блоков составляют от р0 до р3 и от q0 до q3, и значения пикселя после обработки фильтра удаления блоков составляет от р0' до р3' и от q0' до q3', как показано на фиг.5.

Вначале, перед обработкой фильтра удаления блоков, определяют Bs (силу границы) для значений р и q на фиг.5, в соответствии с таблицей, показанной на фиг.6.

Значения (р2, р1, р0, q0, q1, q2) на фиг.5 подвергают обработке фильтра удаления блоков, только, в случае, когда условия, показанные в следующем Выражении (57) и Выражении (58), являются справедливыми.

$$Bs>0\dots \left(57\right)$$

$$\left|p0-q0\right|<\alpha ;\left|p1-p0\right|<\beta ;\left|q1-10\right|<\beta \dots \left(58\right)$$

В принятом по умолчанию состоянии α и β в Выражении (58) имеют значения, определенные в соответствии с QP, как показано ниже, но пользователь может регулировать их интенсивность, как обозначено стрелками на графике на фиг.7, по двум параметрам, называемым slice_alpha_c0_offset_div2 и slice_beta_offset_div2, которые включены в заголовок среза кодированных данных.

Как показано в таблице на фиг.8, α получают из indexA. Таким же образом, β получают из indexB. Эти indexA и indexB определены в соответствии со следующими Выражениями (59)-(61).

$$q{P}_{a\nu }=\left(a{P}_p+q{P}_q+1\right)>>1\dots \left(59\right)$$

$$indexA=Clip3\left(\mathrm{0,}\mathrm{51,}q{P}_{a\nu }+FilterOffsetA\right)\dots \left(60\right)$$

$$indexB=Clip3\left(\mathrm{0,}\mathrm{51,}q{P}_{a\nu }+FilterOffsetB\right)\dots \left(61\right)$$

В Выражении (60) и Выражении (61) FilterOffsetA и FilterOffsetB соответствуют величине регулирования пользователем.

При использовании обработки фильтра удаления блоков взаимно разные способы определены для случая Bs<4 и для случая Bs=4, как будет описано ниже. В случае Bs<4, значения р'0 и q'0 пикселя после обработки фильтра удаления блоков получают с помощью следующих Выражений (62)-(64).

$$\Delta =Clip3\left(-t_c,t_c\left(\left(\left(\left(q0-p0\right)<<2\right)+\left(p1-q1\right)+4\right)>>3\right)\right)\dots \left(62\right)$$

$$p\text{'}0=Clip1\left(p0+\Delta \right)\dots \left(63\right)$$

$$q\text{'}0=Clip1\left(q0+\Delta \right)\dots \left(64\right)$$

Теперь te рассчитывают в соответствии с Выражением (65) или Выражением (66), представленными ниже. То есть в случае, когда значение chromaEdgeFlag "0", t_с рассчитывают в соответствии со следующим Выражением (65).

$$t_c=t_{c0}+\left(\left(a_p<\beta \right)?1:0\right)+\left(\left(a_p<\beta \right)?1:0\right)\dots \left(65\right)$$

Кроме того, в случае, когда значение chromaEdgeFlag равно другому значению, кроме "0", t_C рассчитывают с использованием следующего Выражения (66).

$$t_c=t_{c0}+1\dots \left(66\right)$$

Значение t_c0 определяют, как показано в таблице в позиции А на фиг.9 и в позиции В на фиг.9, в соответствии с Bs и значением indexA.

Кроме того, значения a_p и a_q в Выражении (65) рассчитывают, используя следующие Выражения (67) и (68).

$$a_p=\left|p2-p0\right|\dots \left(67\right)$$

$$a{}_q=\left|q2-q0\right|\dots \left(68\right)$$

Значение р'1 пикселя после обработки фильтра удаления блоков получают следующим образом. То есть в случае, когда значение chromaEdgeFlag равно "0", и также, когда значение а_р равно другому значению, кроме β, р', 1 получают в соответствии со следующим Выражением (69).

$$p\text{'}1=p1+Clip3\left(-t_{c0},t_{c0},\left(p2+\left(\left(p0+q0+1\right)>>1\right)-\left(p1<<1\right)\right)>>1\right)\dots \left(69\right)$$

Кроме того, в случае, когда Выражение (69) не соответствует, р'1 получают с использованием следующего Выражения (70).

$$p\text{'}1=p1\dots \left(70\right)$$

Значение q'1 пикселя после обработки фильтра удаления блоков получают следующим образом. То есть в случае, когда значение chromaEdgeFlag равно "0", и также значение a_q равно другому значению, кроме β, q'1 получают в соответствии со следующим Выражением (71).

$$q\text{'}1=q1+Clip3\left(-t_{c0},t_{c0},\left(q2+\left(\left(p0+q0+1\right)>>1\right)-\left(q1<<1\right)\right)>>1\right)\dots \left(71\right)$$

Кроме того, в случае, когда Выражение (71) не соответствует, q'1 получают с использованием следующего Выражения (72).

$$q\text{'}1=q1\dots \left(72\right)$$

Значения р'2 и q'2 не меняются по сравнению со значениями р2 и q2 перед фильтрацией. То есть р'2 получают, как и в следующем Выражении (73), и q'2 получают, как в следующем Выражении (74).

$$p\text{'}2=p2\dots \left(73\right)$$

$$q\text{'}2=q2\dots \left(74\right)$$

В случае Bs=4 значения p'I (i=0…2) пикселя после обработки фильтра удаления блоков получают следующим образом. В случае, когда значение chromaEdgeFlag "0", и условия, показанные в следующем Выражении (75), являются справедливыми, р'0, p'1, и р'2 получают, используя следующие Выражения (76)-(78).

$$a_p<\beta \&\&\left|p0-q0\right|<\left(\left(\alpha >>2\right)+2\right)\dots \left(75\right)$$

$$p\text{'}0=\left(p2+2\times p1+2\times p0+2\times q0+q1+4\right)>>3\dots \left(76\right)$$

$$p\text{'}1=\left(p2+p1+p0+q0+2\right)>>2\dots \left(77\right)$$

$$p\text{'}2=\left(2\times p3+3\times p2+p1+p0+q0+4\right)>>3\dots \left(78\right)$$

Кроме того, в случае, когда условия, показанные в Выражении (75), не справедливы, р', p'1 и р'2 получают, как и в следующих Выражениях (79)-(81).

$$p\text{'}0=\left(2\times p1+p0+q1+2\right)>>2\dots \left(79\right)$$

$$p\text{'}1=p1\dots \left(80\right)$$

$$p\text{'}2=p2\dots \left(81\right)$$

Значения пикселей q'i (I=0…2) после обработки фильтра удаления блоков получают следующим образом. Таким образом, в случае, когда значение chromaEdgeFlag равно "0" и условия, показанные в следующем Выражении (82), справедливы, q'0, q'1 и q'2 получают с использованием следующих Выражений (83)-(85).

$$aq<\beta \&\&\left|p0-q0\right|<\left(\left(\alpha >>2\right)+2\right)\dots \left(82\right)$$

$$q\text{'}0=\left(p1+2\times p0+2\times q0+2\times q1+q2+4\right)>>3\dots \left(83\right)$$

$$q\text{'}1=\left(p0+q0+q1+q2+2\right)>>2\dots \left(84\right)$$

$$q\text{'}2=\left(2\times q3+3\times q2+q1+q0+p4+4\right)>>3\dots \left(85\right)$$

Кроме того, в случае, когда условия, показанные в Выражении (82), не справедливы, q'0, q'1 и q'2 получают, как в следующих Выражениях (86)-(88).

$$q\text{'}0=\left(2\times q1+q0+p1+2\right)>>2\dots \left(86\right)$$

$$q\text{'}1=q1\dots \left(87\right)$$

$$q\text{'}2=q2\dots \left(88\right)$$

Контурный фильтр теперь в случае передачи изображений с еще более высоким разрешением, таким как 4000×2000 пикселей, или в случае передачи существующих изображений высокой четкости через линии, которые имеют ограниченную пропускную способность, или через Интернет, степень сжатия, реализуемая с помощью AVC, все еще недостаточна.

Теперь, в качестве одной технологии увеличения эффективности кодирования, используется контурный фильтр 113 с устройством 100 кодирования изображения. Фильтр Винера, например, используется в качестве контурного фильтра 113. Конечно, другой фильтр, кроме фильтра Винера, может использоваться в качестве контурного фильтра 113. Контурный фильтр 113 сводит к минимуму остаток, в отношении исходного изображения, в результате выполнения фильтрации для декодируемого изображения, подвергнутого фильтрации удаления блоков. Модуль 112 вычисления коэффициента фильтрации рассчитывает коэффициенты контурного фильтра таким образом, что остаток между декодируемым изображением и исходным изображением будет сведен к минимуму в результате фильтрации. Контурный фильтр 113 использует этот коэффициент фильтрации для выполнения фильтрации. Следует отметить, что коэффициент фильтрации передают на устройство декодирования изображения путем добавления его к кодируемым данным и используют для фильтрации во время декодирования.

В результате выполнения такой фильтрации устройство 100 кодирования изображения может повысить качество изображения декодируемого изображения и дополнительно может повысить качество изображения опорного изображения.

Выбор режима прогнозирования

Теперь размер макроблока 16 пикселей × 16 пикселей не является оптимальным для кадров больших изображений, таких как UHD (ультравысокой четкости; 4000 пикселей × 2000 пикселей), которые представляют собой цель форматов кодирования следующего поколения. Было предложено сделать размер макроблока равным, например, 32 пикселя × 32 пикселя, 64 пикселя × 64 пикселя и т.д.

Для того чтобы достичь еще более высокой эффективности кодирования, важно выбрать соответствующий режим прогнозирования, например можно рассмотреть способ, в котором выбирают одну технологию из двух: режим высокой сложности и режим малой сложности. В случае такого способа при любом подходе рассчитывают значения функции стоимости, относящиеся к каждому режиму Mode прогнозирования, и режим прогнозирования, который делает их наименьшими, выбирают в качестве необязательного режима для текущего блока или макроблока.

Функция стоимости в режиме высокой сложности может быть получена с использованием следующего Выражения (89).

$$Стоимость\left(Mode\in \Omega \right)=D+\lambda \times R\dots \left(89\right)$$

В Выражении (89) Ω представляет собой весь набор режимов-кандидатов для кодирования текущего блока или макроблока. Кроме того, D представляет собой разность энергии между декодированным изображением и входным изображением в случае кодирования в текущем режиме Mode прогнозирования. Кроме того, λ представляет собой множитель Лагранжа, заданный как функция параметра квантования. Кроме того, R представляет собой суммарную величину кода в случае кодирования в текущем режиме Mode, включая в себя коэффициенты ортогонального преобразования.

То есть для выполнения кодирования в режиме высокой сложности, требуется выполнить предварительную обработку кодирования один раз для всех режимов-кандидатов Mode, для того чтобы рассчитать упомянутые выше параметры D и R, что требует значительного объема вычислений.

С другой стороны, функция стоимости в режиме Mode низкой сложности может быть получена, как показано в следующем Выражении (90).

$$Стоимость\left(Mode\in \Omega \right)=D+QP2Quant\left(QP\right)\times HeaderBit\dots \left(90\right)$$

То есть в выражении (90) D представляет собой разность энергии между изображением прогнозирования и входным изображением, в отличие от случая режима высокой сложности. Кроме того, QP2Quant (QP) задано как функция параметра QP квантования. Кроме того, HeaderBit представляет собой количество кода, относящегося к информации, принадлежащей заголовку Header, которая не включает в себя коэффициенты ортогонального преобразования, такие как векторы движения и режим.

То есть в режиме низкой сложности, обработка прогнозирования должна быть выполнена в отношении каждого режима Mode кандидата, но нет необходимости выполнять ее постоянно для декодируемого изображения, поэтому нет необходимости выполнять постоянно обработку декодирования. В соответствии с этим становится возможной реализация с меньшим количеством расчетов по сравнению с режимом высокой сложности.

При высоком профиле выбор между ортогональным преобразованием 4×4 и ортогональным преобразованием 8×8 таким, как показано на фиг.2, выполняют на основе одного из описанных выше режима высокой сложности или режима малой сложности.

Теперь размер макроблока, равный 16 пикселей × 16 пикселей, является не оптимальным для кадров больших изображений, таких как UHD, которые представляют собой цель форматов кодирования следующего поколения. Было предложено сделать размер макроблока равным, например, 32 пикселя × 32 пикселя, как показано на фиг.10.

Используя иерархическую структуру, такую как показана на фиг.10, больший блок определен для блоков размером 16×16 пикселей или меньше, как его супермножество, при поддержании совместимости с макроблоками текущего AVC.

Подробный пример конфигурации

Как описано выше, устройство 100 кодирования изображения применяет обработку контурного фильтра для обработки кодирования изображения. Устройство 100 кодирования изображения получает оптимальный коэффициент фильтрации для обработки контурного фильтра для каждого размера ортогонального преобразования и выполняет фильтрацию для каждого макроблока с коэффициентом фильтрации, соответствующим этому размеру ортогонального преобразования.

Ниже представлено подробное описание конфигурации модуля 112 вычисления коэффициента фильтрации и контурного фильтра 113, которые представляют собой конфигурации, относящиеся к такому контурному фильтру.

На фиг.11 показана блок-схема, иллюстрирующая пример основной конфигурации модуля 112 вычисления коэффициента фильтрации и контурного фильтра 113.

Как показано на фиг.11, модуль 112 вычисления коэффициента фильтрации имеет буфер 151 размера ортогонального преобразования, модуль 152 классифицирования декодируемого пикселя, модуль 153 классифицирования входного пикселя, модуль 154 вычисления коэффициента блока 4×4 и модуль 155 вычисления коэффициента блока 8×8.

Кроме того, контурный фильтр 113 имеет модуль 161 классифицирования пикселя, модуль (4×4) 162 фильтрации и модуль (8×8) 163 фильтрации.

Вначале декодируемое изображение подают от фильтра 111 удаления блоков на запоминающее устройство 114 кадра. Кроме того, информацию, относящуюся к размеру ортогонального преобразования каждого макроблока (4×4 или 8×8), подают от модуля 104 ортогонального преобразования в буфер 151 размера ортогонального преобразования модуля 112 вычисления коэффициента фильтрации.

Декодируемое изображение дополнительно подают от запоминающего устройства 114 кадра на модуль 152 классифицирования декодированного пикселя модуля 112 вычисления коэффициента фильтрации. Кроме того, входное изображение подают из буфера 102 изменения компоновки экрана в модуль 153 классифицирования входного пикселя.

Модуль 152 классифицирования декодированного пикселя считывает информацию, относящуюся к размеру ортогонального преобразования, из буфера 151 размера ортогонального преобразования и получает ее. Модуль 152 классифицирования декодированного пикселя выполняет классификацию класса (группирует) макроблоков декодируемого изображения на макроблоки, в отношении которых применили ортогональное преобразование 4×4 (блок ортогонального преобразования 4×4), и к макроблокам, в отношении которых применили ортогональное преобразование 8×8 (блок ортогонального преобразования 8×8), на основе полученных размеров ортогонального преобразования. Модуль 152 классифицирования декодированного пикселя затем подает на декодируемое изображение информацию, относящуюся к блокам ортогонального преобразования 4×4, на модуль 154 вычисления коэффициента блока 4×4, и информацию, относящуюся к блокам ортогонального преобразования 8×8, на модуль 155 вычисления коэффициента блока 8×8.

Таким же образом, модуль 153 классифицирования входного пикселя считывает информацию, относящуюся к размеру ортогонального преобразования, из буфера 151 размера ортогонального преобразования и получает его. Модуль 153 классифицирования входного пикселя выполняет классификацию класса (группирует) макроблоков входного изображения в макроблоки, в отношении которых было применено ортогональное преобразование 4×4 (блоки ортогонального преобразования 4×4), и макроблоков, в отношении которых было применено ортогональное преобразование 8×8 (блоки ортогонального преобразования 8×8), на основе полученных размеров ортогонального преобразования. Модуль 153 классифицирования входного пикселя затем подает из входного изображения информацию, относящуюся к блокам ортогонального преобразования 4×4, на модуль 154 вычисления коэффициента блока 4×4, и информацию, относящуюся к блокам ортогонального преобразования 8×8, на модуль 155 вычисления коэффициента блока 8×8.

Модуль 154 вычисления коэффициента блока 4×4 рассчитывает коэффициент фильтрации (например, коэффициент фильтрации Винера) таким образом, чтобы остаток был наименьшим, используя декодируемое изображение и входное изображение блока ортогонального преобразования размером 4×4, передаваемое в него. Модуль 154 вычисления коэффициента блока 4×4 подает рассчитанный коэффициент фильтрации в модуль 106 кодирования без потерь, и также подает в модуль (4×4) 162 фильтра контурного фильтра 113.

Таким же образом модуль 155 вычисления коэффициента блока 8×8 рассчитывает коэффициент фильтрации (например, коэффициент фильтрации Винера) так, чтобы остаток был наименьшим, используя декодируемое изображение и входное изображение блока ортогонального преобразования 8×8, подаваемое в него. Модуль 155 вычисления коэффициента блока 8×8 подает рассчитанный коэффициент фильтрации на модуль 106 кодирования без потерь и также подает на модуль (8×8) 163 фильтра в контурный фильтр 113.

Модуль 106 кодирования без потерь добавляет переданные коэффициенты фильтрации в кодированные данные.

Теперь в модуль 161 классифицирования пикселя контурного фильтра 113 подают информацию, относящуюся к размеру ортогонального преобразования (4×4 или 8×8) в отношении каждого макроблока, формирующего модуль 104 ортогонального преобразования. В его модуль 161 классифицирования пикселя подают декодируемое изображение от фильтра 111 удаления блоков.

Модуль 161 классифицирования пикселя выполняет классификацию класса (группирует) макроблоков декодируемого изображения в макроблоки, к которым было применено ортогональное преобразование 4×4 (блоки ортогонального преобразования 4×4), и макроблоков, в отношении которых было применено ортогональное преобразование 8×8 (блоки ортогонального преобразования 8×8), на основе информации, относящейся к размерам ортогонального преобразования, подаваемым от модуля 104 ортогонального преобразования. Модуль 161 классифицирования пикселя затем подает от декодируемого изображения информацию, относящуюся к блокам ортогонального преобразования 4×4, на модуль (4×4) 162 фильтра, и информацию, относящуюся к блокам ортогонального преобразования 8×8, на модуль (8×8) 163 фильтра.

Модуль (4×4) 162 фильтрации подает соответствующий коэффициент фильтрации для блоков ортогонального преобразования 4×4, подаваемых от модуля 154 вычисления коэффициента блока 4×4, и выполняет фильтрацию блоков ортогонального преобразования 4×4 декодируемого изображения.

Модуль (8×8) 163 фильтра применяет соответствующий коэффициент фильтрации для блока ортогонального преобразования 8×8, подаваемого от модуля 155 вычисления коэффициента блока 8×8, и выполняет фильтрацию для блоков ортогонального преобразования 8×8 декодируемого изображения.

Модуль (4×4) 162 фильтра и модуль (8×8) 163 фильтра сохраняют декодируемое изображение, подвергнутое фильтрации, в запоминающем устройстве 114 кадра, для его вывода на модуль 117 прогнозирования/компенсации движения в заданный момент времени.

Модуль 112 вычисления коэффициента фильтрации и контурный фильтр 113 выполняют обработку, такую как описано выше, для генерирования коэффициентов фильтрации, для каждого размера ортогонального преобразования, и выполняют фильтрацию.

Можно сказать, что локальные особенности в пределах изображения отражаются в размере ортогонального преобразования. Например, ортогональное преобразование 8×8, более вероятно, выбирают для однородных областей (участков, где в основном редко размещены крупные элементы), и ортогональное преобразование 4×4, более вероятно, выбирают для областей, включающих в себя тонкую структуру (участки, где мелкие элементы расположены плотно).

Кроме того, разные тенденции ухудшения качества изображения наблюдаются между ортогональным преобразованием 8×8 и ортогональным преобразованием 4×4. Например, москитные шумы легко наблюдаются при ортогональном преобразовании 8×8, но москитные шумы редко наблюдают при ортогональном преобразовании 4×4.

В соответствии с этим модуль 112 вычисления коэффициента фильтрации отражает локальные особенности в пределах изображения в коэффициентах фильтрации путем генерирования коэффициентов фильтрации для каждого размера ортогонального преобразования, как описано выше. Например, модуль 112 вычисления коэффициента фильтрации может влиять на управление таким образом, что он может регулировать значения коэффициентов фильтрации так, что контурный фильтр 113 применяет более слабую фильтрацию к участкам, где частота размещения низкая, и применяет более сильную фильтрацию к участкам, где мелкие элементы расположены плотно.

Следует отметить, что модуль 112 вычисления коэффициента фильтрации также может увеличивать/уменьшать количество отводов фильтра, помимо простого изменения значений коэффициентов фильтрации. Например, модуль 112 вычисления коэффициента фильтрации может уменьшать количество отводов для участков, где частота размещения низкая, и увеличивать количество отводов для участков, где мелкие элементы расположены плотно. Конечно, модуль 112 вычисления коэффициента фильтрации может выполнять как регулировку значений коэффициентов фильтрации, так и увеличение/уменьшение количества отводов.

Фильтрацию, таким образом, выполняют, используя коэффициенты фильтрации, отображающие локальные особенности в пределах изображения, таким образом, что контурный фильтр 113 может выполнять удаление шумов, соответствующее локальным особенностям, которые имеет изображение, и может дополнительно улучшать качество изображения декодируемого изображения.

Следует отметить, что устройство 100 кодирования изображения, таким образом, выполняет переключение на основе значений, уже существующих, как элементы синтаксиса, называемых размером ортогонального преобразования, таким образом, что нет необходимости вновь добавлять информацию карты к кодированным данным, относящимся к тому, какие коэффициенты фильтрации передавать, и, соответственно, высококачественную обработку изображения можно реализовать без увеличения издержек при кодировании данных (без снижения эффективности кодирования).

Последовательность обработки

Далее будет описана последовательность обработки с использованием участков, выполненных, как описано выше. Вначале, со ссылкой на блок-схему последовательности операций, показанную на фиг.12, будет описан пример неглубокой обработки кодирования, выполняемой устройством 100 кодирования изображения.

На этапе S101 модуль 101 A/D преобразования преобразует входное изображение из аналогового в цифровое. На этапе S102 буфер 102 изменения компоновки экрана сохраняет A/D преобразованное изображение и выполняет изменение компоновки из последовательности для отображения изображения на последовательность кодирования.

На этапе S103 модуль 116 прогнозирования внутри кадра и модуль 117 прогнозирования/компенсации движения и т.п. определяют режим прогнозирования, и выполняют обработку прогнозирования для генерирования изображения прогнозирования. Детали этой обработки прогнозирования будут описаны ниже.

На этапе S104 вычислительный модуль 103 вычисляет разность между изображением, компоновка которого была изменена в результате обработки на этапе S103, и изображением прогнозирования. Изображение прогнозирования подают в вычислительный модуль 103 из модуля 117 прогнозирования/компенсации движения в случае выполнения прогнозирования между кадрами и из модуля 115 прогнозирования внутри кадров в случае выполнения прогнозирования внутри кадра через модуль 118 выбора изображения прогнозирования.

Данные разности меньше по объему данных по сравнению с данными исходного изображения. В соответствии с этим количество данных может быть сжато по сравнению со случаем кодирования исходного изображения без изменения.

На этапе S105 модуль 104 ортогонального преобразования подвергает информацию разности, генерируемую на этапе S104 обработки, ортогональному преобразованию. В частности, ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., может быть выполнено, и выводят коэффициент преобразования. На этапе S106 модуль 105 квантования квантует коэффициент преобразования. Во время этого квантования управляют скоростью так, как при описанной ниже обработке на этапе S115.

На этапе S107 модуль 106 кодирования без потерь кодирует квантованный коэффициент преобразования, выводимый из модуля 105 квантования.

Кроме того, информацию разности, квантованную таким образом, локально декодируют следующим образом. В частности, на этапе S108, модуль 108 обратного квантования подвергает коэффициент преобразования, квантованный модулем 105 квантования, обратному квантованию, используя свойство, соответствующее свойству модуля 105 квантования. На этапе S109 модуль 109 обратного ортогонального преобразования подвергает коэффициент преобразования, подвергнутый обратному квантованию с помощью модуля 108 обратного квантования, обратному ортогональному преобразованию, используя свойство, соответствующее свойству модуля 104 ортогонального преобразования.

На этапе S110 вычислительный модуль 110 суммирует изображение прогнозирования, подаваемое через модуль 118 выбора, с локально декодированной информацией разности и генерирует локально декодированное изображение (изображение, соответствующее вводу в вычислительный модуль 103). На этапе S111 фильтр 111 удаления блоков подвергает фильтрации удаления блоков декодированное изображение, переданное от вычислительного модуля 110. Таким образом, удаляют шумы блока.

После выполнения описанной выше обработки для одного изображения на этапе S112 модуль 112 вычисления коэффициента фильтрации и контурный фильтр 113 выполняют контурной фильтрации. Детально контурная фильтрация будет описана ниже.

На этапе S113 модуль 106 кодирования без потерь внедряет (записывает) в заголовок среза метаданные информации режима прогнозирования внутри кадра, информации режима прогнозирования между кадрами, коэффициенты фильтрации для каждого блока ортогонального преобразования и т.д. Эти метаданные считывают и используют во время декодирования изображения.

На этапе S114 буфер 107 сохранения сохраняет кодированные данные.

Кодированные данные, сохраненные в буфере 107 сохранения, считывают соответствующим образом и передают на сторону декодирования через канал передачи.

На этапе S115 модуль 119 управления скоростью управляет скоростью операций квантования модуля 105 квантования таким образом, что не происходят переполнение или потеря значимости, на основе кодированных данных, сохраненных в буфере 107 сохранения.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.13, будет описан пример последовательности обработки прогнозирования, выполняемой на этапе S103 по фиг.12.

После начала обработки прогнозирования, на этапе S131, модуль 116 прогнозирования внутри кадра использует опорное изображение, полученное от запоминающего устройства 114 кадра через модуль 115 выбора, и входное изображение, подаваемое от буфера 102 изменения компоновки экрана, для вычисления значения функции стоимости для каждого режима обработки внутри кадра 4×4, обработки внутри кадра 8×8 и обработки внутри кадра 16×16 (каждый режим обработки внутри кадра, подготовлен заранее).

На этапе S132 модуль 116 прогнозирования внутри кадра определяет лучший режим для каждой из обработки внутри кадра 4×4, обработки внутри кадра 8×8 и обработки внутри кадра 16×16, на основе значения функции стоимости каждого режима, рассчитанного на этапе S131.

На этапе S133 модуль 116 прогнозирования внутри кадра выбирает лучший режим обработки внутри кадра из обработки внутри кадра 4×4, обработки внутри кадра 8×8 и обработки внутри кадра 16×16.

Параллельно с каждой обработкой этапов S131-S133 модуль 117 прогнозирования/компенсации движения выполняет каждую обработку этапов S134-S137.

На этапе S134 модуль 117 прогнозирования/компенсации движения выполняет поиск движения. На этапе S135 модуль 117 прогнозирования/компенсации движения определяет вектор движения/опорный кадр для каждого режима обработки между кадрами от 16×16 до 4×4.

На этапе S136 модуль 117 прогнозирования/компенсации движения вычисляет значения функции стоимости для каждого из режимов обработки между кадрами от 16×16 до 4×4.

На этапе S137 модуль 117 прогнозирования/компенсации движения определяет наилучший способ обработки между кадрами на основе значения функции стоимости.

На этапе S138 модуль 118 выбора определяет один из лучших режимов обработки внутри кадра, выбранных на этапе S133, и наилучших режимов обработки между кадрами, определенных на этапе S137, как лучший режим.

На этапе S139 модуль 116 прогнозирования внутри кадра или модуль 117 прогнозирования/компенсации движения, соответствующий режиму, определенному как лучший режим, генерирует изображение прогнозирования. Такое изображение прогнозирования подают в вычислительный модуль 103 и в вычислительный модуль 110 через модуль 118 выбора. Кроме того, такую информацию режима прогнозирования для лучшего в это время режима (информация режима прогнозирования внутри кадра или информация режима прогнозирования между кадрами) подают на модуль 106 кодирования без потерь.

После генерирования изображения прогнозирования обработка прогнозирования заканчивается, поток обработки возвращается на этап S103 фиг.12 и выполняется обработка этапа S104 и далее.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.14, будет описан пример потока обработки контурного фильтра, выполняемой на этапе S112 фиг.14.

После начала обработки контурного фильтра, на этапе S151, каждый модуль 152 классифицирования декодируемого пикселя, модуль 153 классифицирования входного пикселя и модуль 161 классифицирования пикселя группирует (выполняет классификацию класса) макроблоки входного изображения или декодируемого изображения, подаваемого на него, для каждого размера ортогонального преобразования, применяемого при обработке ортогонального преобразования, выполняемой на этапе S105 фиг.12.

На этапе S152 модуль 154 вычисления коэффициента блока 4×4 и модуль 155 вычисления коэффициента блока 8×8 рассчитывают коэффициенты фильтрации для каждой из групп.

На этапе S153 модуль (4×4) 162 фильтра и модуль (8×8) 163 фильтра выполняют фильтрацию для каждой группы, используя коэффициенты фильтра, рассчитанные на этапе S152.

На этапе S154 запоминающее 114 устройство кадра сохраняет результаты фильтрации, выполняемой на этапе S153 (декодируемое изображение, подвергнутое фильтрации). Такое изображение подают на модуль 117 прогнозирования/компенсации движения как опорное изображение в заданные моменты времени.

После окончания обработки на этапе S154 обработка контурного фильтра заканчивается, последовательность обработки возвращается на этап S112 фиг.12 и выполняется обработка этапа S113 и далее.

В результате выполнения каждой обработки, как описано выше, модуль 112 вычисления коэффициента фильтрации может генерировать соответствующие коэффициенты фильтрации для каждого размера ортогонального преобразования. Кроме того, контурный фильтр 113 может выполнять фильтрацию для каждого из макроблоков, используя коэффициенты фильтрации в соответствии с его размером ортогонального преобразования.

В результате, устройство 100 изображения может выполнять удаление шумов, соответствующее локальным особенностям в пределах изображения, и может получать опорное изображение с более высоким качеством изображения.

Кроме того, модуль 106 кодирования без потерь добавляет эти коэффициенты фильтрации к кодированным данным таким образом, что коэффициенты фильтрации можно использовать для выполнения соответствующей фильтрации для декодируемого изображения, полученного устройством декодирования изображения, которое декодирует кодированные данные. То есть устройство 100 кодирования изображения может повышать качество изображения для декодируемого изображения, полученного в результате декодирования кодированных данных, которые сгенерировало устройство 100 кодирования изображения.

Следует отметить, что, как представлено выше, "суммирование" означает корреляцию информации управления с кодированными данными в дополнительной форме. Например, это может быть описано, как синтаксис кодированных данных, или может быть описано, как данные пользователя. Кроме того, информация коэффициентов фильтрации и т.п. может быть размещена в состоянии ее связи с кодированными данными, как метаданными. То есть "суммирование" включает в себя "внедрение", "описание", "мультиплексирование", "связывание" и т.д. Это справедливо также в отношении представленного ниже.

Кроме того, хотя описание, представленное выше, относилось к размерам ортогонального преобразования, составляющим 4×4 и 8×8, размеры ортогонального преобразования являются произвольными. Кроме того, также количество применяемых размеров ортогонального преобразования является произвольным.

Группирование (классификация класса) в случае, когда применяемое количество размеров ортогонального преобразования составляет три или больше, может быть выполнено так, что классификацию выполняют в отношении двух из всех размеров ортогонального преобразования, и другие размеры ортогонального преобразования игнорируют (не выбирают). В этом случае игнорируемую группу не подвергают фильтрации. В этом случае можно управлять, например, следует или нет выполнять фильтрацию по информации флага и т.п.

Кроме того, например, размеры ортогонального преобразования могут быть размещены так, чтобы их можно было разделять на две группы. То есть в этом случае может одновременно существовать множество размеров ортогонального преобразования в одной группе. Кроме того, например, размеры ортогонального преобразования могут быть разделены на множество разных группы. В этом случае количество групп составляет три или больше. В таком случае количество приготовленных модулей вычисления коэффициента преобразования и модулей фильтра (фиг.11) является таким же, как и количество групп.

Кроме того, значение приращения при обработке с помощью фильтров может представлять собой кадр, или может быть выполнено в срезах, или может быть задано по-другому. Кроме того, значения приращения для выполнения классифицирования класса (размер изображения частичных изображений, которые представляют собой последовательные приращения при обработке) могут быть другими, чем макроблоки.

2. Второй вариант осуществления

Конфигурация устройства

Далее будет описано устройство декодирования изображения, соответствующее устройству 100 кодирования изображения, описанному в первом варианте осуществления. На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства декодирования изображения, используемого в качестве устройства обработки изображений, в котором было применено настоящее изобретение.

Устройство 200 декодирования изображения декодирует кодированные данные, выводимые из устройства 100 кодирования изображения, и генерирует декодированное изображение.

Устройство 200 декодирования изображения выполнено из буфера 201 сохранения, модуля 202 декодирования без потерь, модуля 203 обратного квантования, модуля 204 обратного ортогонального преобразования, вычислительного модуля 205 и фильтра 206 удаления блоков. Устройство 200 декодирования изображения также имеет контурный фильтр 207. Устройство 200 декодирования изображения дополнительно имеет буфер 208 изменения компоновки экрана и модуль 209 D/A (цифроаналогового) преобразования. Устройство 200 декодирования изображения также имеет запоминающее устройство 210 кадра, модуль 211 выбора, модуль 212 прогнозирования/компенсации движения и модуль 213 выбора.

В буфере 201 сохраняют кодированные данные, переданные на него. Модуль 202 декодирования без потерь декодирует информацию, передаваемую от буфера 201 сохранения и кодированную модулем 106 кодирования без потерь фиг.1, используя формат, соответствующий формату кодирования модуля 106 кодирования без потерь.

В случае, когда текущий макроблок был кодированным внутри кадра, модуль 202 декодирования без потерь выделяет информацию режима прогнозирования внутри кадра, сохраненную в участке заголовка кодированных данных, и передает его в модуль 212 прогнозирования внутри кадра. Кроме того, в случае, когда текущий макроблок был кодирован между кадрами, модуль 202 декодирования без потерь выделяет информацию вектора движения, информацию режима прогнозирования между кадрами и т.д., сохраненную на участке заголовка кодированных данных, и передает ее в модуль 213 прогнозирования/компенсации движения.

Кроме того, модуль 202 декодирования без потерь выделяет коэффициенты фильтрации для каждого из размеров ортогонального преобразования из кодированных данных и подает их на контурный фильтр 207.

Модуль 203 обратного квантования подвергает изображение, декодированное модулем 202 декодирования без потерь, обратному квантованию, используя формат, соответствующий формату квантования модуля 105 квантования по фиг.1.

Модуль 204 обратного ортогонального преобразования подвергает выход модуля 203 обратного квантования обратному ортогональному преобразованию, используя формат, соответствующий формату ортогонального преобразования модуля 104 ортогонального преобразования по фиг.1. Модуль 204 обратного ортогонального преобразования подает информацию разности, подвергнутую обратному ортогональному преобразованию, на вычислительный модуль 205. Кроме того, модуль 204 обратного ортогонального преобразования подает размеры ортогонального преобразования, применяемые для каждого макроблока при его обработке обратного ортогонального преобразования, на контурный фильтр 207.

Вычислительный модуль 205 суммирует изображение прогнозирования, переданное от модуля 214 выбора, с информацией разности, подвергнутой обратному ортогональному преобразованию, и генерирует декодированное изображение. Фильтр 206 удаления блоков удаляет шумы блока для декодированного изображения, которые были сгенерированы в результате обработки суммирования.

Контурный фильтр 207 группирует (выполняет классификацию класса) каждый из макроблоков, поданных от фильтра 206 удаления блоков, на основе информации, поданной от модуля 204 обратного ортогонального преобразования, для каждого из размеров обратного ортогонального преобразования, применяемых при обработке обратного ортогонального преобразования, с помощью модуля 204 обратного ортогонального преобразования и выполняет фильтрацию для каждой группы (класса), используя коэффициенты фильтрации, переданные от модуля 202 декодирования без потерь.

Эти коэффициенты фильтрации представляют собой коэффициенты, которые были сгенерированы в модуле 112 вычисления коэффициента фильтрации устройства 100 кодирования изображения, и были вычислены так, что остаток является наименьшим для каждого размера ортогонального преобразования, как описано в первом варианте осуществления. То есть коэффициенты фильтрации для каждого размера ортогонального преобразования, каждый, устанавливают в соответствующее значение для их соответствующих размеров ортогонального преобразования.

В соответствии с этим контурный фильтр 207 может уменьшать шумы блоков и шумы квантования, которые не могут быть полностью удалены с помощью фильтра 206 удаления блоков. В это время контурный фильтр 207 выполняет удаление шумов, соответствующее локальным особенностям в пределах изображения, и, соответственно, может выводить декодируемое изображение с более высоким качеством изображения.

Контурный фильтр 207 подает изображение после фильтрации на запоминающее устройство 210 кадра, для сохранения в качестве опорного изображения, и также выводит в буфер 208 изменения компоновки экрана.

Буфер 208 изменения компоновки экрана выполняет изменение компоновки расположения изображений. То есть порядок кадров, компоновка которых была изменена в результате кодирования буфером 102 изменения компоновки на экране на фиг.1, будет изменен на исходный порядок отображения. Модуль 209 D/A цифроаналогового преобразования выполняет D/A преобразование изображения, подаваемого из буфера 208 изменения компоновки экрана, и выводит его. Например, модуль 209 D/A преобразования выводит выходные сигналы, получаемые в результате выполнения D/A преобразования, на непоказанный дисплей и отображает изображение.

Модуль 212 прогнозирования внутри кадра получает опорное изображение от запоминающего устройства 210 кадра через модуль 211 выбора и генерирует изображение прогнозирования на основе информации, переданной от модуля 202 декодирования без потерь, в случае, когда текущий кадр был кодирован внутри кадра, и подает сгенерированное изображение прогнозирования на вычислительный модуль 205 через модуль 214 выбора.

Когда текущий кадр был кодирован внутри кадра, модуль 213 прогнозирования/компенсации движения получает опорное изображение от запоминающего устройства 210 кадра через модуль 211 выбора и выполняет обработку компенсации движения, в отношении опорного изображения, на основе информации вектора движения, переданной от модуля 202 декодирования без потерь, и генерирует изображение прогнозирования. Модуль 213 прогнозирования/компенсации движения подает сгенерированное изображение прогнозирования на вычислительный модуль 205 через модуль 214 выбора.

В случае, когда текущий макроблок был кодирован внутри кадра, модуль 214 выбора соединяется с модулем 212 прогнозирования внутри кадра, и передает изображение, передаваемое от модуля 211 прогнозирования внутри кадра, на вычислительный модуль 205, как изображение прогнозирования. Кроме того, в случае, когда текущий макроблок был кодирован между кадрами, модуль 214 выбора соединяется с модулем 213 прогнозирования/компенсации движения и подает изображение, переданное от модуля 213 прогнозирования/компенсации движения, на вычислительный модуль 205 как изображение прогнозирования.

На фиг.16 показана блок-схема, иллюстрирующая подробный пример конфигурации контурного фильтра 207 фиг.15.

Контурный фильтр 207 выполнен, в принципе, с такой же конфигурацией, как и устройство 100 кодирования изображения, и выполняет ту же обработку. Как показано на фиг.16, контурный фильтр 207 имеет модуль 251 классифицирования пикселя, модуль (4×4) 252 фильтрации и модуль (8×8) 253 фильтрации,

Модуль 251 классифицирования пикселя выполняет классификацию класса (группирование) макроблоков декодируемого изображения, переданного от фильтра 206 удаления блоков в макроблоки, в отношении которых применяли ортогональное преобразование 4×4 (блоки ортогонального преобразования 4×4), и макроблоки, в отношении которых применяли ортогональное преобразование 8×8 (блоки ортогонального преобразования 8×8), на основе размеров ортогонального преобразования, передаваемых от модуля 204 обратного ортогонального преобразования. Модуль 251 классифицирования пикселя затем подает для декодируемого изображения информацию, относящуюся к блокам ортогонального преобразования 4×4, на модуль (4×4) 252 фильтрации и информацию, относящуюся к блокам ортогонального преобразования 8×8, на модуль (8×8) 253 фильтрации.

Модуль (4×4) 252 фильтрации применяет соответствующий коэффициент фильтрации для блока ортогонального преобразования 4×4, переданного от модуля 202 декодирования без потерь, и выполняет фильтрацию для блоков ортогонального преобразования 4×4 декодируемого изображения.

Модуль (8×8) 253 фильтрации применяет соответствующий коэффициент фильтрации для блока ортогонального преобразования 8×8, переданного от модуля 202 декодирования без потерь, и выполняет фильтрацию для блоков 8×8 ортогонального преобразования декодируемого изображения.

Модуль (4×4) 252 фильтрации и модуль (8×8) 253 фильтрации подают декодируемое изображение, которое было подвергнуто фильтрации, на буфер 208 изменения компоновки экрана и на запоминающее устройство 210 кадра.

Контурный фильтр 207, таким образом, классифицирует каждый макроблок в декодируемом изображении по его размеру ортогонального преобразования и выполняет фильтрацию, используя свой коэффициент фильтрации для каждого размера ортогонального преобразования. Эти коэффициенты фильтрации были выделены из кодированных данных модулем 202 декодирования без потерь и, как описано в первом варианте осуществления, были сгенерированы так, чтобы они соответствовали изображению каждому размеру блоков ортогонального преобразования. В соответствии с этим, таким же образом, как и в случае контурного фильтра 113, описанного в первом варианте осуществления, контурный фильтр 207 может выполнять удаление шумов, соответствующее локальным особенностям, которые имеет изображение, и, следовательно, получает декодируемые изображения с более высоким качеством изображения.

Последовательность обработки

Пример потока обработки декодирования, который выполняет данное устройство 200 декодирования изображения, будет описан со ссылкой на блок-схему последовательности операций фиг.17.

На этапе S201 буфер 201 сохранения сохраняет переданное изображение (кодированные данные). На этапе S202 модуль 202 декодирования без потерь выделяет коэффициенты фильтрации из кодированных данных. Модуль 202 декодирования без потерь также выделяет информацию вектора движения, информацию опорного кадра, информацию режима прогнозирования (информация режима прогнозирования внутри кадра и информация режима прогнозирования между кадрами) и т.д.

На этапе S203 модуль 202 обратного квантования выполняет обработку декодирования без потерь кодированных данных. На этапе S204 модуль 203 обратного ортогонального преобразования выполняет обратное квантование коэффициента преобразования, на этапе S203, обратное ортогональному преобразованию, используя свойство, соответствующее свойству модуля 104 ортогонального преобразования по фиг.1. Это означает, что была декодирована информация разности, соответствующая входным данным модуля 104 ортогонального преобразования на фиг.1 (выход вычислительного модуля 103).

На этапе S206 модуль 212 прогнозирования внутри кадра и модуль 213 прогнозирования/компенсации движения и т.п. выполняют обработку генерирования изображения прогнозирования для генерирования изображения прогнозирования в соответствии с режимом прогнозирования. Детали такой обработки генерирования изображения прогнозирования будут описаны ниже. На этапе S207 вычислительный модуль 205 суммирует изображение прогнозирования, сгенерированное на этапе S206, с информацией разности, декодированной в результате обработки, выполненной вплоть до этапа S205. Таким образом декодируют исходное изображение.

На этапе S208 фильтр 206 удаления блоков подвергает фильтрации изображение, выводимое из вычислительного модуля 205. Таким образом удаляют шумы блока.

На этапе S209 контурный фильтр 207 и т.п. выполняет контурную фильтрацию и дополнительно выполняет адаптивную фильтрацию для изображения, которое было подвергнуто фильтрации удаления блоков. В то время как детали будут описаны ниже, контурная фильтрация, в принципе, является такой же, как и обработка, которую выполняет контурный фильтр 113 на фиг.1.

Благодаря такой обработке управления адаптивным фильтром шумы блоков и шумы, связанные с квантованием, которые могли быть не полностью удалены при фильтрации удаления блоков, могут быть уменьшены.

На этапе S313 буфер 208 изменения компоновки экрана выполняет изменение компоновки. В частности, последовательность кадров с измененной компоновкой кодирования в буфере 102 изменения компоновки экрана устройства 100 кодирования изображения изменяется на исходную последовательность отображения.

На этапе S211 модуль 209 D/A преобразования выполняет D/A преобразование изображений, компоновка которых была изменена на этапе S210. Такое изображение выводят на непоказанный дисплей и изображение отображают. После окончания обработки на этапе S211 обработка декодирования заканчивается.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.18, будет описан пример потока обработки генерирования изображения прогнозирования, выполняемой на этапе S206 фиг.17.

После начала обработки генерирования изображения прогнозирования на этапе 231 модуль 202 декодирования без потерь определяет, был или нет кодирован внутри кадра текущий блок, на основе такой информации, как режим прогнозирования и т.п., выделенной на этапе S202. В случае блока, который был кодирован внутри кадра, модуль 202 декодирования без потерь подает информацию режима прогнозирования внутри кадра, выделенную из кодированных данных, на модуль 212 прогнозирования внутри кадра, и поток обработки переходит на этап S232.

На этапе S232 модуль 212 прогнозирования внутри кадра получает информацию режима прогнозирования внутри кадра, переданную от модуля 202 декодирования без потерь. После получения информации режима прогнозирования внутри кадра на этапе S233 модуль 212 прогнозирования внутри кадра получает опорное изображение от запоминающего устройства 210 кадра через модуль 211 выбора на основе информации режима прогнозирования внутри кадра и генерирует изображение прогнозирования внутри кадра. После генерирования изображения прогнозирования внутри кадра модуль 212 прогнозирования внутри кадра подает это изображение прогнозирования внутри кадра на вычислительный модуль 205 через модуль 214 выбора как изображение прогнозирования.

Кроме того, в случае, когда на этапе S231 определяют, что текущий блок был кодирован между кадрами, модуль 202 декодирования без потерь подает режим прогнозирования движения, опорный кадр и информацию вектора движения и т.п., выделенные из кодированных данных, на модуль 213 прогнозирования/компенсации движения, и поток обработки переходит на этап S234.

На этапе S234 модуль 213 прогнозирования/компенсации движения получает режим прогнозирования движения, опорный кадр и информацию вектора движения и т.п., переданные от модуля 202 декодирования без потерь. После получения этой информации, на этапе S235, модуль 213 прогнозирования/компенсации движения выбирает фильтр интерполяции, в соответствии с информацией вектора движения, и на этапе S236 получает опорное изображение из запоминающего устройства 210 кадра через модуль 211 выбора и генерирует изображение прогнозирования между кадрами. После генерирования изображения прогнозирования между кадрами модуль 213 прогнозирования/компенсации движения подает изображение прогнозирования между кадрами в вычислительный модуль 205 через модуль 214 выбора как изображение прогнозирования.

После окончания обработки на этапе S233 или этапе S236 обработка генерирования изображения прогнозирования заканчивается, поток возвращается на этап S206 на фиг.17 и выполняется обработка этапа S207 и далее.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.19, будет описан пример потока контурной фильтрации, выполняемой на этапе S209 по фиг.17.

После начала контурной фильтрации на этапе S251 модуль (4×4) 252 фильтрации и модуль (8×8) 253 фильтрации контурного фильтра 207 получают коэффициенты фильтрации для каждой группы из модуля 202 декодирования без потерь.

На этапе S252 модуль 251 классифицирования пикселя получает размер ортогонального преобразования для текущего макроблока от модуля 204 обратного ортогонального преобразования. На основе полученного размера ортогонального преобразования модуль 251 классифицирования пикселя выполняет классификацию класса для текущего макроблока.

На этапе S253 модуль фильтрации, соответствующий размеру ортогонального преобразования текущего макроблока (или модуль (4×4) 252 фильтрации или модуль (8×8) 253 фильтрации) использует коэффициент фильтрации, полученный на этапе S251, для выполнения фильтрации текущего макроблока, соответствующего размеру ортогонального преобразования.

На этапе S254 в запоминающем устройстве 210 кадра сохраняют результаты фильтрации на этапе S253.

После окончания обработки на этапе S254 заканчивается контурная фильтрация, поток возвращается на этап S209 на фиг.17 и выполняется обработка этапа S210 и далее.

В результате выполнения каждой обработки, таким образом, контурный фильтр 207 выполняет фильтрацию, и шумы блоков и шумы, связанные с квантованием, которые не полностью могли быть удалены при обработке фильтром удаления блоков, могут быть уменьшены.

Кроме того, в это же время контурный фильтр 207 выполняет фильтрацию, используя коэффициенты фильтрации, выделенные из кодированных данных. Такие коэффициенты фильтрации представляют собой коэффициенты, которые были сгенерированы так, что остаток является наименьшим для каждого размера ортогонального преобразования макроблоков. Контурный фильтр 207 выполняет фильтрацию для текущего макроблока, который представляет собой объект обработки, используя коэффициент фильтрации для этого размера ортогонального преобразования. Таким образом, контурный фильтр 207 может выполнять удаление шума в соответствии с локальными особенностями в пределах изображения. В результате устройство 200 декодирования изображения может получать декодируемые изображения с еще более высоким качеством изображения.

Кроме того, таким же образом, как и в случае первого варианта осуществления, размеры ортогонального преобразования являются произвольными. Кроме того, количество применяемых размеров ортогонального преобразования является произвольным.

Способ группирования (классифицирования класса) для макроблоков может представлять собой любой способ, если только он соответствует способу устройства 100 кодирования изображения, которое сгенерировало кодированные данные. Кроме того, величины последовательных приращений при обработке с помощью фильтров могут составлять кадры, или могут быть выражены в срезах, или другим способом.

3. Третий вариант осуществления

Описание управления блоком ALF

Следует отметить, что в дополнение к управлению коэффициентами фильтрации, как описано выше, можно применять BALF (адаптивный контурный фильтр на основе блока), в котором обработку контурного фильтра не выполняют в областях, где качество изображения было бы локально ухудшено из-за обработки контурной фильтрации. BALF будет описан ниже.

Декодированное изображение после фильтрации устранения блоков показано в кадре 301 в позиции А на фиг.20. Как показано в позиции В фиг.20, множество блоков 302 ALF (адаптивный контурный фильтр), которые представляют собой блоки управления, используемые как последовательное приращение управления для адаптивной обработки фильтра, выполняемой локально, расположены без зазоров, как если бы их использовали для вымощенной мостовой, по всей области кадра 301. Область, где размещены блоки 302 ALF, не обязательно должна быть той же, что и область кадра 301, но включает в себя, по меньшей мере, всю область кадра 301. Область кадра 151, в результате, разделяют на области блоков 302 ALF (множество областей управления).

Размер в горизонтальном направлении (двусторонние стрелки 303) и размер в вертикальном направлении (двусторонние стрелки 304) блоков 302 ALF может быть установлен как один из 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96 или 128×128. Информация, определяющая размер блока ALF, будет называться индексом размера блока.

После определения размера блока также определяют количество блоков ALF в кадре, поскольку размер кадра является фиксированным.

Как показано в позиции С на фиг.20, флаг 305 блока фильтра, который управляет, следует или нет выполнить фильтрацию, устанавливают в каждом блоке 302 ALF. Например, флаг 305 блока фильтра со значением "1" генерируют для области, где качество изображения улучшено с помощью адаптивного фильтра, и флаг 305 блока фильтра со значением "0" установлен для области, где качество изображения было ухудшено адаптивным фильтром. С помощью флага 305 блока фильтра значение "1" представляет собой значение, обозначающее, что фильтрация должна быть выполнена, и значение "0" представляет собой значение, обозначающее, что фильтрацию не следует выполнять.

Управление, следует или нет выполнять контурную фильтрацию, выполняют на основе значения флага 305 блока фильтра для каждого блока 302 ALF. Например, контурный фильтр 113 обработки адаптивного фильтра выполняет фильтрацию только в областях, где блоки 302 ALF имеют значение "1" для флага 305 фильтра, и не выполняет фильтрацию в областях, где блоки 302 ALF имеют значение "0" для флага 305 фильтра.

Например, такой блок 302 ALF и флаг 305 блока фильтра устанавливают в модуле 112 вычисления коэффициента фильтрации, и контурный фильтр 113 выполняет фильтрацию, как описано выше, на основе этой информации.

Таким образом, контурный фильтр 113 может не выполнять фильтрацию в областях, где фильтрация привела бы к локальному ухудшению качества изображения, в результате чего, дополнительно улучшается качество изображения опорного изображения.

Следует отметить, что информацию, относящуюся к блокам 302 ALF и флагам 305 блока фильтра, добавляют к кодированным данным и подают на устройство 200 декодирования изображения. Таким образом, контурный фильтр 207 устройства 200 декодирования изображения также может выполнять фильтрацию, таким же образом, как и с помощью контурного фильтра 113, и может не выполнять фильтрацию в областях, где фильтрация могла бы привести к локальному ухудшению качества изображения. В результате, качество изображения декодируемого изображения может быть дополнительно улучшено.

4. Четвертый вариант осуществления

Описание QALF

Блоки ALF, описанные в третьем варианте осуществления, могут иметь структуру четырехкратного дерева. Эта технология называется QALF (адаптивный контурный фильтр на основе четырехкратного дерева). Структура четырехкратного дерева представляет собой иерархическую структуру, в которой на нижнем иерархическом уровне область одного блока ALF на один иерархический уровень выше делится на четыре.

На фиг.21 иллюстрируется пример, где разделение блока ALF выражено структурой четырехкратного дерева, где максимальное количество слоев равно трем, при этом флаг блока фильтра установлен для каждого блока ALF.

На фиг.21 обозначен уровень 0, который представляет собой блок ALF, используемый как корень структуры четырехкратного дерева. В структуре четырехкратного дерева каждый блок ALF имеет флаг разделения блока, обозначающий, разделен он или нет на четыре на более низком иерархическом уровне. Значение флага разделения блока для блока ALF, показанного в позиции А на фиг.21, равно "1". То есть этот блок ALF делится на четыре на нижнем иерархическом уровне (уровень 1). В позиции В на фиг.21 показан уровень 1. То есть четыре блока ALF сформированы на уровне 1.

В случае, когда флаг разделения блока равен "0", дополнительный более низкий иерархический уровень не делится на четыре. То есть нет дополнительного разделения, и флаг блока фильтра генерируют, как блок ALF. То есть блок ALF, для которого флаг разделения блока равен "0", также имеет флаг блока фильтра. "0" слева от "0-1", показанных в позиции В на фиг.21, обозначает флаг разделения блока, для этого блока ALF, и "1" справа представляет флаг блока фильтра этого блока ALF.

Два блока ALF, флаг разделения блока которых на уровне 1 равен "1", разделены на четыре на более низком иерархическом уровне (уровень 2). В позиции С на фиг.21 иллюстрируется уровень 2. То есть десять блоков ALF сформированы на уровне 2.

Таким же образом, блокам ALF с флагом разделения блока равным "0" на уровне 2 также назначают флаг блока фильтра. В позиции С на фиг.21 флаг разделения блока одного блока ALF равен "1". То есть блок ALF разделен на четыре на следующем нижнем иерархическом уровне (уровень 3). В позиции D на фиг.21 показан уровень 3. То есть 13 блоков ALF сформированы на уровне 3.

Таким образом, с использованием структуры четырехкратного дерева, размер блоков ALF отличается в каждом иерархическом уровне. То есть в результате использования структуры четырехкратного дерева, размеры блоков ALF могут быть сделаны разными друг от друга в пределах кадра.

Управление флагом блока фильтра в каждом блоке ALF является таким же, как и в третьем варианте осуществления. То есть фильтрацию не выполняют в областях, где значение флага блока фильтра равно "0".

Поэтому, таким же образом, как и в случае третьего варианта осуществления, контурный фильтр 113 может не выполнять фильтрацию в областях, где фильтрация привела бы к локальному ухудшению качества изображения, в результате чего дополнительно улучшается качество изображения опорного изображения.

Следует отметить, что информацию, относящуюся к блокам управления и к флагам блока фильтра, добавляют к кодированным данным и подают на устройство 200 декодирования изображения. Таким образом, контурный фильтр 207 устройства 200 декодирования изображения также может выполнять фильтрацию таким же образом, как и с использованием контурного фильтра 113, и может воздерживаться от фильтрации в областях, где фильтрация привела бы к локальному ухудшению качества изображения. В результате, качество изображения декодированного изображения может быть дополнительно улучшено.

5. Пятый вариант осуществления

Персональный компьютер

Описанная выше последовательность обработки может быть выполнена с помощью аппаратных средств и может быть выполнена с помощью программных средств. В этом случае конфигурация может быть выполнена в виде персонального компьютера, такого как показано, например, на фиг.22.

На фиг.22 CPU 501 персонального компьютера 500 выполняет различные типы обработки в соответствии с программами, сохраненными в ROM (Постоянное запоминающее устройство) 502, или программами, загружаемыми в RAM (Оперативное запоминающее устройство) 503 модуля 513 хранения. В RAM 503 также содержатся данные и т.д., необходимые для исполнения CPU 501 различных типов обработки, соответственно.

CPU 501, ROM 502 и RAM 503 взаимно соединены с помощью шины 504. Эта шина 504 также соединена с интерфейсом 510 ввода-вывода.

С интерфейсом 510 ввода-вывода соединен модуль 511 ввода, состоящий из клавиатуры, мыши и т.д., модуль 512 вывода, состоящий из дисплея, такого как CRT (электронно-лучевая трубка) или LCD (жидкокристаллический дисплей) и т.п., громкоговорителя и т.д., модуля 513 хранения, состоящего из жесткого диска и т.д., и модуля 514 передачи данных, состоящего из модема и т.д. Модуль 514 передачи данных выполняет обработку связи, через сети, включая Интернет.

Также с интерфейсом 510 ввода-вывода соединяют привод 515 в соответствии с необходимостью, при которой устанавливают съемный носитель 521 данных, такой как магнитный диск, оптический диск, магнитооптический диск, полупроводниковое запоминающее устройство и т.п., соответственно, и компьютерные программы, считываемые с него, устанавливают в модуле 513 хранения в соответствии с необходимостью.

В случае выполнения описанной выше последовательности обработки с помощью программных средств программу, соответствующую программному обеспечению, устанавливают из сети или с носителя данных.

Как показано, например, на фиг.22, такой носитель данных не только выполнен, как съемный носитель 521 данных, выполненный в виде магнитного диска (включая гибкий диск), оптический диск (включая CD-ROM (постоянное запоминающее устройство для чтения - компакт-диск)), DVD (цифровой универсальный диск), магнитооптический диск (MD (мини-диск)), или полупроводниковое запоминающее устройство и т.п., на которое записывают программу и распространяют так, чтобы распространить программы для пользователей отдельно от основного модуля устройства, но также может быть выполнено в виде ROM 502, жесткого диска, включенного в модуль 513 сохранения и т.д., на котором записаны программы, распространенные пользователям в состоянии их предварительного встраивания в основной модуль устройства.

Следует отметить, что программа, которую выполняет компьютер, может представлять собой программу, в которой обработку выполняют во временной последовательности в соответствии с порядком, описанным в настоящем описании, или может представлять собой программу, по которой обработку выполняют параллельно или в необходимые моменты времени, как, например, во время телефонного вызова.

Кроме того, в соответствии с настоящим описанием этапы, описывающие программы, записанные на носителе данных, включают в себя обработку, выполняемую во временной последовательности, следующей описанному порядку, в соответствии с курсом и также обработку, выполняемую параллельно или индивидуально, без необходимости обработки во временной последовательности.

Кроме того, в настоящем описании термин система представляет все устройства, выполненные из множества устройств (устройств).

Кроме того, конфигурация, которая была описана выше как одно устройство (или модуль обработки), может быть разделена и выполнена как множество устройств (или модулей обработки). И, наоборот, конфигурации, которые были описаны выше как множество устройств (или модулей обработки), могут быть интегрированы и выполнены как одно устройство (или модуль обработки). Кроме того, другие конфигурации, кроме описанных выше, могут быть добавлены к устройствам (или модулям обработки), как само собой разумеющееся. Кроме того, часть конфигураций некоторого устройства (или модуль обработки) могут быть включены в конфигурацию другого устройства (или другого модуля обработки), если только конфигурация и операции общей системы будут, по существу, одинаковыми. То есть варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления, и различные модификации могут быть выполнены без выхода за пределы сущности настоящего изобретения.

Например, описанное выше устройство 100 кодирования изображения и устройство 200 декодирования изображения можно применять к изображениям в различных электронных устройствах. Ниже представлено описание их примеров.

6. Шестой вариант осуществления

Телевизионный приемник

На фиг.23 показана блок-схема, иллюстрирующая принципиальный пример конфигурации телевизионного приемника с использованием устройства 200 декодирования изображения или устройства 400 декодирования изображения, в котором применяется настоящее изобретение.

Телевизионный приемник 1000, показанный на фиг.23, включает в себя наземный тюнер 1013, видеодекодер 1015, схему 1018 обработки данных видеосигнала, схему 1019 генерирования графики, схему 1020 управления панелью и панель 1021 отображения.

Наземный тюнер 1013 принимает сигналы волны широковещательной передачи наземной аналоговой широковещательной передачи через антенну, демодулирует, получает видеосигналы и подает их на видеодекодер 1015. Видеодекодер 1015 подвергает видеосигналы, переданные с наземного тюнера 1013, обработке декодирования и передает полученные цифровые сигналы компонентов на схему 1018 обработки видеосигнала.

Схема 1018 обработки видеосигнала подвергает видеоданные, переданные от видеодекодера 1015, заданной обработке, такой как удаление шумов и т.п., и подает полученные видеоданные на схему 1019 генерирования графики.

Схема 1019 генерирования графики генерирует видеоданные программы, предназначенной для отображения, на панели 1021 отображения, или данные изображения, в результате обработки, основанной на применении, которое будет передано через сеть и т.п., и передает сгенерированные видеоданные или данные изображения на схему 1020 управления панелью. Кроме того, схема 1019 генерирования графики также выполняет обработку, такую как подача видеоданных, полученных в результате генерирования видеоданных (графики) для пользователя, отображая экран, используемый для выбора элемента и т.п., и накладывая его на видеоданные программы, в схеме 1020 управления панелью, соответственно.

Схема 1020 управления панелью выполняет управление панелью 1021 отображения на основе данных, переданных от схемы 1019 генерирования графики, для отображения видеоизображения программы или упомянутых выше различных экранов на панели 1021 отображения.

Панель 1021 отображения состоит из LCD (жидкокристаллический дисплей) и т.д. и отображает видеоизображения программы и т.п. в соответствии с управлением схемой 1020 управления панелью.

Кроме того, телевизионный приемник 1000 также включает в себя схему 1014 A/D (аналого-цифрового) преобразования аудиоданных, схему 1022 обработки аудиосигнала, схему 1023 удаления эхо-сигнала/синтеза аудиоданных, схему 1024 усилителя звука и громкоговоритель 1025.

Наземный тюнер 1013 демодулирует принятый сигнал широковещательной наземной волны, получая, таким образом, не только видеосигнал, но также и аудиосигнал. Наземный тюнер 1013 применяет полученный аудиосигнал в схему 1014 A/D преобразования аудиоданных.

Схема 1014 A/D преобразования подвергает аудиосигнал, переданный от наземного тюнера 1013, обработке A/D преобразования и подает полученный цифровой аудиосигнал на схему 1022 обработки аудиосигнала.

Схема 1022 обработки аудиосигнала подвергает аудиоданные, переданные от схемы 1014 A/D преобразования аудиоданных, заданной обработке, такой как удаление шумов и т.п., и подает полученные аудиоданные в схему 1023 удаления эхо-сигнала/синтеза аудиоданных.

Схема 1023 удаления эхо-сигнала/синтеза звука подает аудиоданные, переданные из схемы 1022 обработки аудиосигнала, на схему 1024 усилителя звука.

Схема 1024 усилителя звука подвергает аудиоданные, переданные от схемы 1023 удаления эхо-сигнала/синтеза аудиоданных, обработке D/A преобразования, в соответствии с обработкой усилителя, для регулирования заданного уровня громкости и затем выводит звук через громкоговоритель 1025.

Кроме того, телевизионный приемник 1000 также включает в себя цифровой тюнер 1016 и декодер 1017 MPEG.

Цифровой тюнер 1016 принимает сигналы волны широковещательной передачи цифровой широковещательной передачи (наземная цифровая широковещательная передача, BS (спутник широковещательной передачи)/С8 (спутник передачи данных) цифровой широковещательной передачи) через антенну, демодулирует, для получения MPEG-TS (Транспортный поток Экспертной группы по вопросам движущегося изображения), и подает полученные сигналы на декодер 1017 MPEG.

Декодер 1017 MPEG устраняет скремблирование, приданное MPEG-TS, поступающему от цифрового тюнера 1016, и выделяет поток, включающий в себя данные программы, используемой как цель просмотра. Декодер 1017 MPEG декодирует аудиопакет, составляющий выделенный поток, подает полученные аудиоданные в схему 1022 обработки аудиосигнала, и также декодирует видеопакет, составляющий поток, и подает полученные видеоданные на схему 1018 обработки видеосигнала. Кроме того, декодер 1017 MPEG подает данные EPG (Электронная программа телевизионных передач), выделенные из MPEG-TS, в CPU 1032 через непоказанный путь.

Телевизионный приемник 1000 использует упомянутое выше устройство 200 декодирования изображения как декодер 1017 MPEG, для декодирования видеопакетов таким образом. Следует отметить, что MPEG-TS, переданный от станции широковещательной передачи и т.п., был кодирован устройством 100 кодирования изображения.

Декодер 1017 MPEG выполняет фильтрацию макроблоков декодированного изображения, соответствующих его размеру ортогонального преобразования, используя коэффициенты фильтрации, выделенные из кодированных данных, переданных устройством 100 кодирования изображения, так же, как и в устройстве 200 декодирования изображения. В соответствии с этим декодер 1017 MPEG может выполнять удаление шумов, свойственных локальным особенностям изображения.

Видеоданные, подаваемые от декодера 1017 MPEG, таким же образом, как и в случае видеоданных, подаваемых от видеодекодера 1015, подвергают заданной обработке в схеме 1018 обработки видеосигнала, в то время как их налагают на генерируемые видеоданные и т.д. в схеме 1019 генерирования графики, соответственно, подаваемые в панель 1021 отображения через схему 1020 управления панелью, и их изображение отображают на нем.

Аудиоданные, подаваемые от декодера 1017 MPEG, таким же образом, как и в случае аудиоданных, подаваемых от схемы 1014 A/D преобразования аудиоданных, подвергают заданной обработке в схеме 1022 обработки аудиосигнала, и подают на схему 1024 усилителя звука через схему 1023 устранения эхосигнала/синтеза аудиоданных, и подвергают обработке D/A преобразования и обработке усилителя. В результате этого, аудиоданные, отрегулированные до заданного уровня громкости, выводят через громкоговоритель 1025.

Кроме того, телевизионный приемник 1000 также включает в себя микрофон 1026 и схему 1027 A/D преобразования.

Схема 1027 A/D преобразования принимает аудиосигналы пользователя, собранные микрофоном 1026, предусмотренным в телевизионном приемнике 1000, используемом как для разговора по радио, подвергает принятый аудиосигнал обработке A/D преобразования и подает полученные цифровые аудиоданные на схему 1023 устранения эхосигнала/синтеза аудиоданных.

Когда аудиоданные пользователя (пользователя А) телевизионного приемника 1000 были поданы со схемы 1027 A/D преобразования, схема 1023 устранения эхосигнала/синтеза аудиоданных выполняют устранение эхосигнала, используя аудиоданные пользователя (пользователя А), в качестве объекта обработки, и выводит аудиоданные, полученные путем синтеза аудиоданных пользователя А и других аудиоданных и т.п. из громкоговорителя 1025, через схему 1024 усилителя звука.

Кроме того, телевизионный приемник 1000 также включает в себя аудиокодек 1028, внутреннюю шину 1029, SDRAM (синхронное динамическое оперативное запоминающее устройство) 1030, запоминающее устройство 1031 типа флэш, CPU 1032, I/F 1033 USB (универсальная последовательная шина) и сетевой I/F 1034.

Схема 1027 A/D преобразования принимает аудиосигнал пользователя, полученный с помощью микрофона 1026, который предусмотрен в телевизионном приемнике 1000, который используется для разговоров, подвергает принятый аудиосигнал обработке A/D преобразования и подает полученные цифровые аудиоданные в аудиокодек 1028.

Аудиокодек 1028 преобразует аудиоданные, поданные со схемы 1027 A/D преобразования, в данные заданного формата для передачи через сеть и подает в сетевой I/F 1034 через внутреннюю шину 1029.

Сетевой I/F 1034 соединен с сетью через кабель, установленный на сетевом терминале 1035. Сетевой I/F 1034 передает аудиоданные, поданные от аудиокодека 1028, например, в другое устройство, соединенное с сетью. Кроме того, сетевой I/F 1034 принимает, через сетевой терминал 1035, аудиоданные, переданные от другого устройства, подключенного к сети, и подает его в аудиокодек 1028, например, через внутреннюю шину 1029.

Аудиокодек 1028 преобразует аудиоданные, поданные через сетевой I/F 1034, в данные в заданном формате, и подает их на схему 1023 устранения эхосигнала/синтеза звука.

Схема 1023 устранения эхосигнала/синтеза звука выполняет устранение эхосигнала в аудиоданных, подаваемых от аудиокодека 1028, используемых как цель обработки, и выводит данные звука, полученные путем синтеза аудиоданных и других аудиоданных, и т.п., из громкоговорителя 1025 через схему 1024 усилителя звука.

В SDRAM 1030 сохраняют различные типы данных, необходимых для выполнения обработки CPU 1032.

Запоминающее устройство 1031 типа флэш содержит программу, предназначенную для исполнения в CPU 1032. Программу, сохраняемую в запоминающем устройстве 1031 типа флэши, считывают с помощью CPU 1032 в заданные моменты времени, например во время включения телевизионного приемника 1000 и т.п. Данные EPG, полученные через цифровую широковещательную передачу, данные, полученные из заданного сервера через сеть, и т.д. также сохраняют в запоминающем устройстве 1031 типа флэш.

Например, MPEG-TS, включающий в себя данные содержания, полученные из заданного сервера через сеть под управлением CPU 1032, сохраняют в запоминающем устройстве 1031. Запоминающее устройство 1031 типа флэш передает свой MPEG-TS в декодер 1017 MPEG через внутреннюю шину 1029 под управлением, например, CPU 1032.

Декодер 1017 MPEG обрабатывает свой MPEG-TS таким же образом, как и в случае MPEG-TS, поданного от цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 принимает данные содержания, состоящие из видеоданных, аудиоданных и т.д., через сеть, декодирует, используя декодер 1017 MPEG, в результате чего видеоизображение может быть отображено, и его аудиоданные могут быть выведены.

Кроме того, телевизионный приемник 1000 также включает в себя модуль 1037 приема света, предназначенный для приема инфракрасного сигнала, передаваемого от пульта 1051 дистанционного управления.

Модуль 1037 приема света принимает инфракрасные лучи от пульта 1051 дистанционного управления и выводит код управления, представляющий содержание операции пользователя, полученный в результате демодуляции, в CPU 1032.

CPU 1032 выполняет программу, сохраненную в запоминающем устройстве 1031 типа флэш для управления всей работой телевизионного приемника 1000, в соответствии с кодом управления, передаваемым от модуля 1037 приема света, и т.д. CPU 1032, и модули телевизионного приемника 1000 соединены через непоказанный путь.

I/F 1033 USB выполняет передачу/прием данных во внешнее устройство для телевизионного приемника 1000, которое соединено через кабель USB, подключенный к выводу 1036 USB. Сетевой I/F 1034 соединяется с сетью через кабель, установленный в сетевой вывод 1035, а также выполняет передачу/прием других данных, кроме аудиоданных, с различными устройствами, соединенными с сетью.

Телевизионный приемник 1000 может выполнять удаление шумов, соответствующее локальным особенностям, в пределах изображения, используя устройство декодирования изображения, такое как декодер 1017 MPEG. В результате, телевизионный приемник 1000 может получать декодируемые изображения более высокого качества изображения из сигналов широковещательной передачи, принятых через антенну, или данных содержания, полученных через сеть.

7. Седьмой вариант осуществления

Сотовый телефон

На фиг.25 показана блок-схема, иллюстрирующая пример основной конфигурации сотового телефона, в котором используется устройство кодирования изображения и устройство декодирования изображения, в которых применяется настоящее изобретение.

Сотовый телефон 1100, показанный на фиг.25, включает в себя модуль 1150 основного управления, выполненный с возможностью совместного управления модулями, модуль 1151 схемы источника питания, модуль 1152 управления вводом операции, кодер 1153 изображения, модуль 1154 I/F камеры, модуль 1155 управления LCD, декодер 1156 изображения, модуль 1157 мультиплексирования/разделения, модуль 1162 записи/ воспроизведения, модуль 1158 схемы модуляции/демодуляции и аудиокодек 1159. Они взаимно соединены через шину 1160.

Кроме того, сотовый телефон 1100 включает в себя кнопки 1119 операций, камеру 1116 CCD (прибор с зарядовой связью), жидкокристаллический дисплей 1118, модуль 1123 хранения, модуль 1163 схемы передачи/приема, антенну 1114, микрофон (MIC) 1121 и громкоговоритель 1117.

После окончания вызова и включения кнопки питания, при выполнении операции пользователя, модуль 1151 схемы подачи питания актирует сотовый телефон 1100 в рабочем состоянии путем подачи питания на модули из пакета батарей.

Сотовый телефон 1100 выполняет различные операции, такие как передача/прием аудиосигнала, передача/прием электронной почты и данных изображения, съемка изображения, запись данных и т.д., в различных режимах, таких как режим голосового вызова, режим передачи данных и т.д., на основе управления со стороны модуля 1150 основного управления, состоящего из CPU, ROM, RAM и т.д.

Например, в режиме голосового вызова сотовый телефон 1100 преобразует аудиосигнал, полученный с помощью микрофона (MIC) 1121, в цифровые аудиоданные, используя аудиокодек 1159, подвергает их обработке расширения спектра в модуле 1158 схемы модуляции/демодуляции и подвергает их обработке цифроаналогового преобразования и обработке преобразования частоты в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал для передачи, полученный в результате обработки преобразования его, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (аудиосигнал), передаваемый на базовую станцию, подают в сотовой телефон другой стороны через общественную телефонную сеть.

Кроме того, например, в режиме голосового вызова сотовый телефон 1100 усиливает принимаемый сигнал, принимаемый антенной 1114, в модуле 1163 схемы передачи/приема, дополнительно подвергает обработке преобразования частоты и обработке аналогово/цифрового преобразования, подвергает обработке обратного расширения спектра в модуле 1158 схемы модуляции/демодуляции и преобразует в аналоговый аудиосигнал с помощью аудиокодека 1159. Сотовый телефон 1100 выводит преобразованный и полученный его аналоговый аудиосигнал через громкоговоритель 1117.

Кроме того, например, в случае передачи электронной почты в режиме передачи данных сотовый телефон 1100 принимает текстовые данные электронной почты, вводимые при выполнении операции с кнопок 1119 операций, в модуле 1152 управления вводом операций. Сотовый телефон 1100 обрабатывает его текстовые данные в модуле 1150 основного управления и отображает на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD как изображение.

Кроме того, сотовый телефон 1100 генерирует данные электронной почты в модуле 1150 основного управления на основе текстовых данных, принятых модулем 1152 управления вводом операций, инструкциями пользователя и т.д. Сотовый телефон 1100 подвергает данные своей электронной почты обработке расширения спектра в модуле 1158 схемы модуляции/демодуляции и подвергает цифроаналоговой обработке и обработке преобразования частоты в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал для передачи, полученный в результате его обработки преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (электронной почты), передаваемый на базовую станцию, подают в заданное местоположение через сеть, почтовый сервер и т.д.

Кроме того, например, в случае приема электронной почты в режиме передачи данных сотовый телефон 1100 принимает сигнал, переданный от базовой станции через антенну 1114, с помощью модуля 1163 схемы передачи/приема, усиливает и дополнительно подвергает обработке преобразования частоты и обработке аналого-цифрового преобразования. Сотовый телефон 1100 подвергает принимаемый сигнал обработке инверсного расширения спектра в модуле 1158 схемы модуляции/демодуляции, для восстановления исходных данных электронной почты. Сотовый телефон 1100 отображает восстановленные данные электронной почты на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD.

Следует отметить, что сотовый телефон 1100 может записывать (сохранять) принимаемые данные электронной почты в модуле 1123 хранения через модуль 1162 записи/воспроизведения.

Модуль 1123 сохранения представляет собой необязательный, предназначенный для перезаписи носитель записи. Модуль 1123 хранения может представлять собой полупроводниковое запоминающее устройство, такое как RAM, встроенное запоминающее устройство типа флэш и т.п., может представлять собой жесткий диск, или может представлять собой съемный носитель, такой как магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB, карта памяти и т.п. Само собой разумеется, что модуль 1123 сохранения может быть другим, кроме перечисленного.

Кроме того, например, в случае передачи данных изображения в режиме передачи данных сотовый телефон 1100 генерирует данные изображения путем формирования изображения в камере 1116 CCD. Камера 1116 CCD включает в себя CCD, используемый как оптическое устройство, такое как объектив, диафрагма и т.д., и используемый, как устройство фотоэлектрического преобразования, которое формирует изображение субъекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения для изображения субъекта. Камера 1116 CCD выполняет кодирование сжатия данных изображения в кодере 1153 изображения через модуль 1154 I/F камеры и преобразует в кодированные данные изображения.

В сотовом телефоне 1100 используется упомянутое выше устройство 100 кодирования изображения, как кодер 1153 изображения, для выполнения такой обработки. Соответственно, таким же образом, как и в устройстве 100 кодирования изображения, кодер 1053 изображения может выполнять удаление шумов, соответствующих локальным особенностям изображения.

Следует отметить, что в это время, одновременно, сотовый телефон 1100 преобразует аудиоданные, собранные с помощью микрофона (MIC) 1121, во время съемки с помощью камеры 1116 CCD из аналоговой в цифровую форму в аудиокодеке 1159 и дополнительно кодирует их.

Сотовый телефон 1100 мультиплексирует кодированные данные изображения, передаваемые от кодера 1153 изображения, и цифровые аудиоданные, передаваемые из аудиокодека 1159, в модуле 1157 мультиплексирования/разделения, используя заданный способ. Сотовый телефон 1100 подвергает мультиплексированные данные, полученные в результате этого, обработке расширения спектра, в модуле 1158 схемы модуляции/демодуляции, и подвергает обработке цифроаналогового преобразования и обработке преобразования частоты, в модуле 1163 схемы передачи/приема. Сотовый телефон 1100 передает сигнал передачи, полученный в результате его обработки преобразования, в непоказанной базовой станции через антенну 1114. Сигнал для передачи (данные изображения), передаваемые от базовой станции, подают на другую сторону через сеть и т.п.

Следует отметить, что, когда данные изображения не передают, сотовый телефон 1100 также может отображать данные изображения, генерируемые камерой 1116 CCD, в устройстве 1118 жидкокристаллического дисплея через модуль 1155 управления LCD, вместо кодера 1153 изображения.

Кроме того, например, в случае приема данных файла движущегося изображения, соединенного с простым веб-сайтом и т.п. в режиме передачи данных, сотовый телефон 1100 принимает сигнал, переданный от базовой станции, в модуле 1163 схемы передачи/приема через антенну 1114, усиливает и дополнительно подвергает обработке преобразования частоты и обработке аналого-цифрового преобразования. Сотовый телефон 1100 подвергает принятый сигнал обработке обратного расширения спектра в модуле 1158 схемы модуляции/демодуляции для восстановления исходных мультиплексированных данных. Сотовый телефон 1100 разделяет свои мультиплексированные данные в модуле 1157 мультиплексирования/разделения на кодированные данные изображения и аудиоданные.

Сотовый телефон 1100 декодирует данные кодированного изображения в декодере 1156 изображения, генерируя таким образом воспроизводимые данные движущегося изображения, и отображает их на жидкокристаллическом дисплее 1118 через модуль 1155 управления LCD. Таким образом, данные движущегося изображения, включенные в файл движущегося изображения, соединенные с простым веб-сайтом, отображают, например, на жидкокристаллическом дисплее 1118.

В сотовом телефоне 1100 используется упомянутое выше устройство 200 декодирования изображения как декодер 1156 изображения, для выполнения такой обработки. Соответственно, таким же образом, как и в устройстве 200 декодирования изображения, декодер 1156 изображения может выполнять удаление шумов, соответствующих локальным особенностям изображения.

В это время, одновременно, сотовый телефон 1100 преобразует цифровые аудиоданные в аналоговый аудиосигнал в аудиокодеке 1159 и выводит его через громкоговоритель 1117. Таким образом воспроизводят, например, аудиоданные, включенные в файл движущегося изображения, соединенные с простым веб-сайтом.

Следует отметить, что таким же образом, как и в случае электронной почты, сотовый телефон 1100 может записывать (сохранять) принятые данные, соединенные с простым веб-сайтом и т.п., в модуле 1123 сохранения через модуль 1162 записи/воспроизведения.

Кроме того, сотовый телефон 1100 анализирует изображение двумерного кода, получаемый камерой 1116 CCD в модуле 1150 основного управления, в результате чего может быть получена информация, записанная в виде двумерного кода.

Кроме того, сотовый телефон 1100 может выполнять обмен данными с внешним устройством в модуле 1181 инфракрасной передачи данных, используя инфракрасные лучи.

В сотовом телефоне 1100 используется устройство 100 кодирования изображения в качестве кодера 1153 изображения, и оно может выполнять удаление шумов, соответствующее локальным особенностям, в пределах изображения. В результате, сотовый телефон 1100 может получать опорное изображение с более высоким качеством изображения. Таким образом может быть получено более высокое качество изображения для декодируемых изображений, получаемых в результате декодирования кодированных данных, генерируемых в результате кодирования данных изображения, генерируемых, например, в камере 1116 CCD.

Кроме того, в сотовом телефоне 1100 используется устройство 200 декодирования изображения, в качестве декодера 1156 изображения, и, таким образом, оно может выполнять удаление шумов, соответствующее локальным особенностям в пределах этого изображения. В результате этого, сотовый телефон 1100 может получать декодированные изображения более высокого качества из данных (кодированных данных) файла движущегося изображения, связанного, например, с простой сетевой страницей и т.п.

Следует отметить, что до сих пор было представлено описание, в котором в сотовом телефоне 1100 используется камера 1116 CCD, но в сотовом телефоне 1100 может использоваться датчик изображения (датчик изображения CMOS), в котором используется CMOS (комплементарный металлооксидный полупроводник) вместо камеры 1116 CCD. В этом случае также сотовый телефон 1100 может снимать изображение субъекта и генерировать данные изображения для изображения этого субъекта таким же образом, как и в случае использования камеры 1116 CCD.

Кроме того, до сих пор было представлено описание, относящееся к сотовому телефону 1100, но устройство 100 кодирования изображения и устройство 200 декодирования изображения могут применяться в устройстве любого типа таким же образом, как и в случае сотового телефона 1100, если только оно представляет собой устройство, имеющее ту же функцию формирования изображений и функцию обмена данными, как и в сотовом телефоне 1100, например, таком как PDA (карманный персональный компьютер), смартфон, UMPC (ультра мобильный персональный компьютер), ноутбук, персональный компьютер с размером как ноутбук и т.п.

8. Восьмой вариант осуществления

Блок записи на жесткий диск

На фиг.25 показана блок-схема, иллюстрирующая пример основной конфигурации блока записи на жесткий диск, в котором используется устройство кодирования изображения и устройство декодирования изображения, в котором применяют настоящее изобретение.

Блок 1200 записи на жесткий диск (блок записи HDD), показанный на фиг.26, представляет собой устройство, в котором содержатся, на встроенном жестком диске, аудиоданные и видеоданные программ широковещательной передачи, включенные в сигналы волны широковещательной передачи (телевизионные сигналы), принятые тюнером и переданные со спутника или через наземную антенну и т.п., и который предоставляет сохраненные данные пользователю в момент времени, в соответствии с инструкцией пользователя.

Блок 1200 записи на жесткий диск может, например, выделять аудиоданные и видеоданные из сигналов волны широковещательной передачи, декодировать их соответствующим образом, и сохранять на встроенном жестком диске. Кроме того, блок 1200 записи на жесткий диск также может получать аудиоданные и видеоданные из другого устройства через сеть, декодировать их соответствующим образом и сохранять, например, на встроенном жестком диске.

Кроме того, блок 1200 записи на жесткий диск может, например, декодировать аудиоданные и видеоданные, записанные на встроенный жесткий диск, подавать их на монитор 1260, отображать их изображение на экране монитора 1260, и выводить их звук из громкоговорителя монитора 1260. Кроме того, блок 1200 записи на жесткий диск может, например, декодировать аудиоданные и видеоданные, выделенные из сигналов цифровой широковещательной передачи, полученные через тюнер, или аудиоданные и видеоданные, полученные из другого устройства через сеть, подавать их в монитор 1260, отображать их изображение на экране монитора 1260 и выводить их звук из громкоговорителя монитора 1260.

Конечно, могут быть выполнены другие операции, кроме этих.

Как показано на фиг.26, блок 1200 записи на жестких дисках включают в себя модуль 1221 приема, модуль 1222 демодуляции, демультиплексор 1223, аудиодекодер 1224, видеодекодер 1225 и модуль 1226 управления блоком записи. Блок 1200 записи на жесткий диск дополнительно включает в себя запоминающее устройство 1227 данных EPG, запоминающее устройство 1228 программы, рабочее запоминающее устройство 1229, преобразователь 1230 отображения, модуль 1231 управления OSD (отображение на экране), модуль 1232 управления дисплеем, модуль 1233 записи/воспроизведения, D/A преобразователь 1234 и модуль 1235 передачи данных.

Кроме того, преобразователь 1230 отображения включает в себя видеокодер 1241. Модуль 1233 записи/воспроизведения включает в себя кодер 1251 и декодер 1252.

Модуль 1221 приема принимает инфракрасный сигнал с пульта дистанционного управления (не показан), преобразует его в электрический сигнал, и выводит в модуль 1226 управления блоком записи. Модуль 1226 управления блоком записи выполнен, например, на основе микропроцессора и т.д. и выполняет различные типы обработки в соответствии с программой, сохраненной в запоминающем устройстве 1228 программы. В это время модуль 1226 управления блоком записи использует рабочее запоминающее устройство 1229 в соответствии с необходимостью.

Модуль 1235 передачи данных, который соединен с сетью, выполняет обработку обмена данными с другим устройством через сеть. Например, модулем 1235 передачи данных управляют с помощью модуля 1226 управления блоком записи для связи с тюнером (не показан) и для преимущественного вывода сигнала управления выбором канала в тюнер.

Модуль 1222 демодуляции демодулирует сигнал, подаваемый от тюнера, и выводит в демультиплексор 1223. Демультиплексор 1223 разделяет данные, поданные от модуля 1222 демодуляции, на аудиоданные, видеоданные и данные EPG и выводит их в аудиодекодер 1224, видеодекодер 1225 и модуль 1226 управления блоком записи соответственно.

Аудиодекодер 1224 декодирует входные аудиоданные и выводит их в модуль 1233 записи/воспроизведения. Видеодекодер 1225 декодирует входные видеоданные и выводит в преобразователь 1230 отображения. Модуль 1226 управления блоком записи подает входные данные EPG в запоминающее устройство 1227 данных EPG для сохранения.

Преобразователь 1230 отображения кодирует видеоданные, передаваемые от видеодекодера 1225 или 1226 модуля управления блоком записи, например видеоданные, соответствующие формату NTSC (Национальный комитет по телевизионным стандартам), используя видеокодер 1241, и выводит в модуль 1233 записи/воспроизведения. Кроме того, преобразователь 1230 отображения преобразует размер экрана видеоданных, передаваемых от видеодекодера 1225 или модуля 1226 управления блоком записи, в размер, соответствующий размеру монитора 1260, преобразует эти видеоданные, размер экрана которых был преобразован, в видеоданные, соответствующие формату NTSC, используя видеокодер 1241, преобразует в аналоговый сигнал и выводит в модуль 1232 управления дисплеем.

Модуль 1232 управления дисплеем накладывает, под управлением модуля 1226 управления блоком записи, сигнал OSD, выводимый от модуля 1231 управления OSD (отображение на экране) для видеосигнала, подаваемого от преобразователя 1230 отображения, и выводит на дисплей 1260 монитора для отображения.

Кроме того, аудиоданные, выводимые из аудиодекодера 1224, преобразуют в аналоговый сигнал, используя D/A преобразователь 1234, и подают в монитор 1260. Монитор 1260 выводит этот аудиосигнал из встроенного громкоговорителя.

Модуль 1233 записи/воспроизведения включает в себя жесткий диск, как носитель данных, на котором записаны видеоданные, аудиоданные и т.д.

Модуль 1233 записи/воспроизведения кодирует аудиоданные, подаваемые от аудиодекодера 1224 с помощью кодера 1251. Кроме того, модуль 1233 записи/воспроизведения кодирует видеоданные, подаваемые из видеокодера 1241 через преобразователь 1230 отображения с помощью кодера 1251. Модуль 1233 записи/воспроизведения синтезирует кодированные данные из его аудиоданных и кодированные данные из видеоданных, используя мультиплексор. Модуль 1233 записи/воспроизведения усиливает синтезированные данные путем кодирования канала и записывает свои данные на жесткий диск через записывающую головку.

Модуль 1233 записи/воспроизведения воспроизводит данные, записанные на жесткий диск, через головку воспроизведения, усиливает и разделяет на аудиоданные и видеоданные, используя демультиплексор. Модуль 1233 записи/воспроизведения декодирует аудиоданные и видеоданные с помощью декодера 1252, используя формат MPEG. Модуль 1233 записи/воспроизведения преобразует декодированные аудиоданные из цифровой в аналоговую форму, и выводит на громкоговоритель монитора 1260. Кроме того, модуль 1233 записи/воспроизведения преобразует декодированные видеоданные из цифровой в аналоговую форму и выводит на дисплей монитора 1260.

Модуль 1226 управления блоком записи считывает последние данные EPG из запоминающего устройства 1227 данных EPG на основе инструкции пользователя, обозначенных инфракрасным сигналом от пульта дистанционного управления, которые принимает через модуль 1221 приема, и подает на модуль 1231 управления OSD. Модуль 1231 управления OSD генерирует данные изображения, соответствующие входным данным EPG, и выводит на модуль 1232 управления отображением. Модуль 1232 управления отображением выводит видеоданные, вводимые от модуля 1231 управления OSD на дисплей монитора 1260, для отображения. Таким образом, EPG (электронная программа телевизионных передач) отображается на дисплее монитора 1260.

Кроме того, блок 1200 записи на жесткий диск может получать различные типы данных, такие как видеоданные, аудиоданные, данные EPG и т.д., подаваемые от другого устройства через сеть, такую как Интернет и т.п.

Модулем 1235 связи управляют с помощью модуля 1226 управления блоком записи для получения кодированных данных, таких как видеоданные, аудиоданные, данные EPG и т.д., переданные от другого устройства через сеть, и подают их на модуль 1226 управления блоком записи. Модуль 1226 управления блоком записи подает кодированные данные полученных видеоданных и аудиоданных на модуль 1233 записи/воспроизведения и сохраняет их, например, на жестком диске. В это время модуль 1226 управления блоком записи и модуль 1233 записи/воспроизведения может выполнять обработку, такую как повторное кодирование и т.п. в соответствии с необходимостью.

Кроме того, модуль 1226 управления блоком записи декодирует кодированные данные полученных видеоданных и аудиоданных и подает полученные видеоданные на преобразователь 1230 отображения. Преобразователь 1230 отображения обрабатывает таким же образом, как и видеоданные, подаваемые от видеодекодера 1225, видеоданные, подаваемые от модуля 1226 управления блоком записи, подает на монитор 1260 через модуль 1232 управления дисплеем для отображения их изображения.

В качестве альтернативы может быть выполнена компоновка, в которой в соответствии с таким отображением изображения модуль 1226 управления блоком записи подает декодируемые аудиоданные на монитор 1260 через D/A преобразователь 1234 и выводит его аудиоданные через громкоговоритель.

Кроме того, модуль 1226 управления блоком записи декодирует кодированные данные полученных данных EPG и подает декодированные данные EPG на запоминающее устройство 1227 данных EPG.

Блок 1200 записи жесткого диска выполнен так, что использует устройство 200 декодирования изображения, как видеодекодер 1225, декодер 1252 и декодер, размещенный в модуле 1226 управления блоком записи. В соответствии с этим таким же образом, как и в устройстве 200 декодирования изображения, видеодекодер 1225, декодер 1252 и декодер, размещенный в модуле 1226 управления блоком записи, могут выполнять удаление шумов, соответствующих локальным особенностям в пределах изображения.

В соответствии с этим блок 1200 записи на жесткий диск может выполнять удаление шумов в соответствии с локальными особенностями в пределах изображения. В результате, блок 1200 записи на жесткий диск может получать декодированные изображения более высокого качества из видеоданных (кодированных данных), принятых через тюнер или модуль 1235 передачи данных, и видеоданных (кодированных данных), записанных, например, на жесткий диск модуля 1233 записи/воспроизведения.

Кроме того, в блоке 1200 записи на жесткий диск используется устройство 100 кодирования изображения или устройство 300 кодирования изображения как кодер 1251. В соответствии с этим таким же образом, как и в случае устройства изображения 100 кодирования изображения или устройства 300 кодирования изображения, кодер 1251 может выполнять удаление шумов, соответствующих локальным особенностям в пределах изображения.

В соответствии с этим блок 1200 записи на жесткий диск может выполнять удаление шумов, соответствующее локальным особенностям в пределах изображения. В результате, блок 1200 записи на жесткий диск может повысить качество изображения для декодируемых изображений кодированных данных, записанных, например, на жесткий диск.

Следует отметить, что выше было представлено описание в отношении блока 1200 записи на жесткий диск, для записи видеоданных и аудиоданных на жесткий диск, но, само собой разумеется, что может использоваться носитель записи любого вида. Например, даже при использовании блока записи, в котором применяется другой носитель записи, чем жесткий диск, такой как запоминающее устройство типа флэш, оптический диск, видеолента и т.п., устройство 100 кодирования изображения и устройство 200 декодирования изображения могут применяться в нем таким же образом, как и в случае представленного выше блока 1200 записи на жесткий диск.

9. Девятый вариант осуществления

Камера

На фиг.26 показана блок-схема, иллюстрирующая пример основной конфигурации камеры, в которой используется устройство кодирования изображения и устройство декодирования изображения, в которых применяется настоящее изобретение.

Камера 1300, показанная на фиг.26, снимает изображение субъекта, отображает изображение субъекта на LCD 1316 и записывает его на носителе 1333 данных, как данные изображения.

Блок 1311 объектива подает свет (то есть изображение субъекта) в CCD/CMOS1312. CCD/CMOS 1312 представляет собой датчик изображения, в котором используются CCD или CMOS, которые преобразуют интенсивность принятого света в электрический сигнал, и подает на модуль 1313 обработки сигналов камеры.

Модуль 1313 обработки сигналов камеры преобразует электрический сигнал, подаваемый от CCD/CMOS 1312, в цветоразностные сигналы Y, Cr и Cb и подает их на модуль 1314 обработки сигнала изображения. Модуль 1314 обработки сигнала изображения подвергает, под управлением контроллера 1321, сигнал изображения, подаваемый от модуля 1313 обработки сигналов камеры, заданной обработке изображения или кодирует свой сигнал изображения с помощью кодера 1341, используя, например, формат MPEG. Модуль 1314 обработки сигнала изображения подает кодированные данные, генерируемые путем кодирования сигнала изображения, на декодер 1315. Кроме того, модуль 1314 обработки сигнала изображения получает данные для отображения, генерируемые при отображении 1320 на экране (OSD), и подает их в декодер 1315.

При использовании упомянутой выше обработки модуль 1313 обработки сигналов камеры, соответственно, использует преимущество DRAM (динамического оперативного запоминающего устройства) 1318, соединенного через шину 1317, для содержания данных изображения, кодированных данных, кодированных из его данных изображения, и т.д. в своем DRAM 1318 в соответствии с необходимостью.

Декодер 1315 декодирует кодированные данные, подаваемые от модуля 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) в LCD 1316. Кроме того, декодер 1315 подает данные для отображения, передаваемые от модуля 1314 обработки сигнала изображения на LCD 1316. LCD 1316 синтезирует изображение декодированных данных изображения и изображение данных для отображения, передаваемых от декодера 1315 соответствующим образом, и отображает их синтезированное изображение.

Отображение 1320 на экране выводит, под управлением контроллера 1321, данные для отображения, такие как экран меню или пиктограмма и т.п., составленные из символов, знаков или фигуры, в модуль 1314 обработки сигнала изображения через шину 1317.

На основе сигнала, обозначающего содержание, на воспроизведение которого была получена команда от пользователя, используя модуль 1322 операций, контроллер 1321 выполняет различные типы обработки и управляет модулем 1314 обработки сигнала изображения, DRAM 1318, внешним интерфейсом 1319, отображением 1320 на экране, мультимедийным приводом 1323 и т.д. через шину 1317. Программы, данные и т.д., необходимые контроллеру 1321, выполняющему различные типы обработки, сохранены в запоминающем устройстве 1324 типа флэш.

Например, контроллер 1321 может кодировать данные изображения, сохраненные в DRAM 1318, или декодировать кодированные данные, сохраненные в DRAM 1318, вместо модуля 1314 обработки сигнала изображения и декодера 1315. В это время контроллер 1321 может выполнять обработку кодирования и декодирования, используя тот же формат, что и формат кодирования и декодирования модуля 1314 обработки сигнала изображения и декодера 1315, или может выполнять обработку кодирования и декодирования, используя формат, который не может обрабатывать ни модуль 1314 обработки сигнала изображения, ни декодер 1315.

Кроме того, например, в случае, когда от модуля 1322 поступила инструкция на начало печати изображения, контроллер 1321 считывает данные изображения из DRAM 1318, и подает их на принтер 1334, соединенный с внешним интерфейсом 1319 через шину 1317, для печати.

Кроме того, например, в случае, когда от модуля 1322 операций поступила инструкция на запись изображения, контроллер 1321 считывает кодированные данные из DRAM 1318, и подает их на носитель 1333 записи, установленный в мультимедийном приводе 1323 через шину 1317 для сохранения.

Носитель 1333 данных представляет собой необязательный носитель данных, выполненный с возможностью считывания с него/записи на нем, например, такой как магнитный диск, магнитооптический диск, оптический диск, полупроводниковое запоминающее устройство и т.п. Само собой разумеется, что носитель 1333 данных также является необязательным в отношении типа съемного носителя данных и, соответственно, может представлять собой устройство, работающее с магнитной лентой, или может представлять собой диск, или может быть картой памяти. Само собой разумеется, что носитель 1333 может представлять собой бесконтактную IC-карту и т.п.

В качестве альтернативы, мультимедийный привод 1323 и носитель 1333 данных могут быть выполнены так, чтобы они были интегрированы в не транспортируемый носитель данных, например, такой как встроенный привод жесткого диска, SSD (твердотельный привод) и т.п.

Внешний интерфейс 1319 выполнен, например, из терминала ввода-вывода USB и т.д., и соединен с принтером 1334, в случае выполнения печати изображения. Кроме того, привод 1331, соединяют с внешним интерфейсом 1319, в соответствии с необходимостью, в котором установлен съемный носитель 1332, такой как магнитный диск, оптический диск или магнитооптический диск, соответственно, и компьютерная программа, считанная с него, устанавливается в FLASH ROM 1324, в соответствии с необходимостью.

Кроме того, внешний интерфейс 1319 включает в себя сетевой интерфейс, который должен быть подключен к заданной сети, такой как LAN, Интернет и т.п. Например, в соответствии с инструкциями модуля 1322 операций, контроллер 1321 может считывать кодированные данные из DRAM 1318 и подавать из внешнего интерфейса 1319 на другое устройство, соединенное через сеть. Кроме того, контроллер 1321 может получать, через внешний интерфейс 1319, кодированные данные или данные изображения, подаваемые от другого устройства через сеть, и содержать их в DRAM 1318, или подавать их на модуль 1314 обработки сигнала изображения.

Камера 1300, выполненная таким образом, использует устройство 200 декодирования изображения, как декодер 1315. В соответствии с этим, так же, как в устройстве 200 декодирования изображения, декодер 1315 может выполнять удаление шумов, соответствующее локальным особенностям в пределах изображения.

В соответствии с этим, камера 1300 может выполнять удаление шумов, в соответствии с локальными особенностями в пределах изображения. В результате, блок 1200 записи на жесткий диск может получать декодируемые изображения с более высоким качеством изображения, например, из данных изображения, генерируемых в CCD/CMOS 1312, кодированных данных, таких как видеоданные, считываемые из DRAM 1318 или с носителя 1333 данных, и кодированных данных, таких как видеоданные, полученные через сеть.

Кроме того, в камере 1300 используется устройство 100 кодирования изображения в качестве кодера 1341. В соответствии с этим, так же, как и в случае устройства 100 кодирования изображения, кодер 1341 может выполнять удаление шумов, соответствующее локальным особенностям в пределах изображения.

В соответствии с этим, камера 1300 может выполнять удаление шумов, соответствующее локальным особенностям в пределах изображения. В результате, камера 1300 может сделать более высоким качество изображений, декодируемых из кодированных данных, записанных на DRAM 1318 или на носителе 1333 данных, и кодированных данных, предоставляемых в другие устройства.

Следует отметить, что способ декодирования устройства 200 декодирования изображения могут применяться при обработке декодирования, которую выполняет контроллер 1321. Таким же образом, способ кодирования устройства 100 кодирования изображения может применяться при обработке кодирования, которую выполняет контроллер 1321.

Кроме того, данные изображения, которые снимает камера 1300, могут представлять собой движущиеся изображения или могут представлять собой неподвижные изображения.

Само собой разумеющееся, устройство 100 кодирования изображения и устройство 200 декодирования изображения могут применяться в других устройствах или системах, кроме описанных выше устройств.

Кроме того, размер макроблоков не ограничен 16×16 пикселями. При этом можно применять макроблоки различных размеров, такие как, например, 32×32 пикселя, показанные на фиг.10.

Хотя выше было представлено описание в отношении коэффициентов фильтрации и т.п., мультиплексированной (описанной) в потоке битов, коэффициенты фильтрации и данные изображения (или поток битов) могут быть переданы (записаны), например, помимо их мультиплексирования. Может быть выполнена форма, в которой коэффициенты фильтрации и данные изображения (или поток битов) также соединены (суммированы).

Соединение (суммирование) обозначает состояние, в котором данные изображения (или потоки битов) и коэффициенты фильтрации взаимно связаны (коррелированное состояние), и взаимосвязь физического положения является необязательной. Например, данные изображения (или поток битов) и коэффициенты фильтрации могут быть переданы через отдельные каналы передачи. Кроме того, данные изображения (или поток битов) и коэффициенты фильтрации, каждые могут быть записаны на отдельные носители данных (или в отдельные области записи в пределах одного и того же носителя данных). Следует отметить, что последовательные приращения, в которых данные изображения (или потоки битов) и коэффициенты фильтрации связаны, являются произвольными и могут быть установлены, например, через последовательные приращения при обработке кодирования (один кадр, множество кадров и т.д.).

Список номеров ссылочных позиций

100 устройство кодирования изображения

112 модуль вычисления коэффициента фильтрации

113 контурный фильтр

151 буфер размера ортогонального преобразования

152 модуль классифицирования декодированного изображения

153 модуль классифицирования входного изображения

154 модуль вычисления коэффициента блока 4×4

155 модуль вычисления коэффициента блока 8×8

161 модуль классифицирования пикселя

162 модуль (4×4) фильтрации

163 модуль (8×8) фильтрации

200 устройство декодирования изображения

202 модуль декодирования без потерь

204 модуль обратного ортогонального преобразования

207 контурный фильтр

212 модуль прогнозирования внутри кадра

213 модуль прогнозирования/компенсации движения

251 модуль классифицирования пикселя

252 модуль (4×4) фильтрации

253 модуль (8×8) фильтрации

Изобретение относится к устройству и способу обработки изображений. Техническим результатом является подавление ухудшения качества изображения за счет удаления шумов в каждом размере ортогонального преобразования составляющей изображения. Устройство содержит средство классификации, выполненное с возможностью классификации изображения для каждого заданного размера изображения по размерам ортогонального преобразования, применяемым при ортогональном преобразовании, выполняемом в отношении упомянутого изображения; и средство фильтрации, выполненное с возможностью фильтрации для удаления шумов в каждой составляющей изображения для каждого упомянутого размера изображения, классифицированного упомянутым средством классификации, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами упомянутого изображения, соответствующими упомянутому размеру ортогонального преобразования упомянутой составляющей изображения. 2 н. и 13 з.п. ф-лы, 26 ил.

1. Устройство обработки изображений, содержащее:
средство классификации, выполненное с возможностью классификации изображения для каждого заданного размера изображения по размерам ортогонального преобразования, применяемым при ортогональном преобразовании, выполняемом в отношении упомянутого изображения; и
средство фильтрации, выполненное с возможностью фильтрации для удаления шумов в каждой составляющей изображения для каждого упомянутого размера изображения, классифицированного упомянутым средством классификации, с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами упомянутого изображения, соответствующими упомянутому размеру ортогонального преобразования упомянутой составляющей изображения.

2. Устройство обработки изображений по п.1, в котором упомянутое средство фильтрации представляет собой фильтр Винера.

3. Устройство обработки изображений по п.1, в котором упомянутый размер изображения представляет собой макроблок;
при этом упомянутое средство классификации выполнено с возможностью классификации макроблоков по их размерам ортогонального преобразования, а
средство фильтрации выполнено с возможностью фильтрации каждого макроблока, классифицированного упомянутым средством классификации с использованием упомянутых коэффициентов фильтрации, установленных в соответствии с локальными свойствами упомянутого изображения, соответствующими размеру ортогонального преобразования.

4. Устройство обработки изображений по п.1, дополнительно содержащее средство кодирования, выполненное с возможностью кодирования упомянутого изображения и генерирования кодированных данных.

5. Устройство обработки изображений по п.4, в котором упомянутое средство кодирования выполнено с возможностью кодирования упомянутого изображения с использованием формата AVC (усовершенствованное кодирование видеоданных);
при этом упомянутое средство классификации выполнено с возможностью классификации по упомянутому размеру изображения, декодированного изображения, подвергнутого ортогональному преобразованию, квантованию, обратному квантованию и обратному ортогональному преобразованию с помощью упомянутого средства кодирования,
причем упомянутое средство фильтрации выполнено с возможностью фильтрации в отношении упомянутой составляющей изображения упомянутого декодируемого изображения и сохранения результата фильтрации в запоминающем устройстве кадра в качестве опорного изображения.

6. Устройство обработки изображений по п.5, дополнительно содержащее средство вычисления коэффициента фильтрации, выполненное с возможностью вычисления упомянутых коэффициентов фильтрации с использованием входного изображения упомянутого средства кодирования и упомянутого декодированного изображения,
при этом упомянутое средство фильтрации выполнено с возможностью фильтрации с использованием упомянутого коэффициента фильтрации, вычисленного упомянутым средством вычисления коэффициента фильтрации.

7. Устройство обработки изображений по п.6, в котором упомянутое средство вычисления коэффициента фильтрации выполнено с возможностью классификации каждого упомянутого входного изображения и упомянутого декодированного изображения по размерам ортогонального преобразования, применяемым при ортогональном преобразовании, выполняемом упомянутым средством кодирования, для каждого из упомянутых размеров изображения; и с возможностью вычисления упомянутого коэффициента фильтрации так, чтобы получить наименьшую разность между упомянутым входным изображением и упомянутым декодируемым изображением для каждого размера ортогонального преобразования.

8. Устройство обработки изображений по п.6, в котором упомянутое средство вычисления коэффициента фильтрации выполнено с возможностью установки значений упомянутых коэффициентов фильтрации в соответствии с локальными особенностями упомянутого изображения для каждого размера ортогонального преобразования, применяемого при ортогональном преобразовании, выполняемом упомянутым средством кодирования.

9. Устройство обработки изображений по п.8, в котором упомянутое средство вычисления коэффициента фильтрации дополнительно выполнено с возможностью установки количества отводов упомянутых коэффициентов фильтрации в соответствии с локальными свойствами упомянутого изображения, соответствующими размеру ортогонального преобразования, применяемому при ортогональном преобразовании, выполняемом упомянутым средством кодирования.

10. Устройство обработки изображений по п.9, в котором упомянутое средство вычисления коэффициента фильтрации выполнено с возможностью установки множества отводов для упомянутых коэффициентов фильтрации тем более длинных, чем больше упомянутый размер ортогонального преобразования, и установки множества отводов для упомянутых коэффициентов фильтрации тем более коротких, чем меньше упомянутый размер ортогонального преобразования.

11. Устройство обработки изображений по п.4, дополнительно содержащее средство добавления, выполненное с возможностью добавления упомянутого коэффициента фильтрации к упомянутым кодированным данным, генерируемым упомянутым средством кодирования.

12. Устройство обработки изображений по п.11, в котором упомянутое средство добавления дополнительно выполнено с возможностью добавления информации флага для управления, выполнять ли упомянутую фильтрацию упомянутых кодированных данных.

13. Устройство обработки изображений по п.1, дополнительно содержащее:
средство выделения, выполненное с возможностью выделения кодированных данных упомянутого коэффициента фильтрации из кодированных данных изображения; и
средство декодирования, выполненное с возможностью декодирования упомянутых кодированных данных и генерирования декодированного изображения;
при этом упомянутое средство классификации выполнено с возможностью классификации по упомянутому размеру ортогонального преобразования упомянутого декодированного изображения, сгенерированного упомянутым средством декодирования для каждого из упомянутых размеров изображений;
причем упомянутое средство фильтрации выполнено с возможностью фильтрации для удаления шумов каждой составляющей изображения каждого упомянутого размера изображения, классифицированного упомянутым средством классификации с использованием коэффициентов фильтрации, выделенных упомянутым средством выделения.

14. Устройство обработки изображений по п.13, в котором упомянутое средство декодирования выполнено с возможностью кодирования упомянутых кодированных данных с использованием формата AVC (усовершенствованное кодирование видеоданных); а
упомянутое средство классификации выполнено с возможностью классификации по размеру изображения, упомянутого декодированного изображения, подвергнутого декодированию, обратному квантованию и обратному ортогональному преобразованию, с помощью упомянутого средства декодирования,
при этом упомянутое средство фильтрации выполнено с возможностью фильтрации упомянутой составляющей изображения упомянутого декодированного изображения.

15. Способ обработки изображений, в котором
классифицируют средством классификации устройства обработки изображений изображение по размерам ортогонального преобразования, применяемым при ортогональном преобразовании, выполняемом для упомянутого изображения, для каждого заданного размера изображения, и
выполняют фильтрацию средством фильтрации упомянутого устройства обработки изображений для удаления шумов в каждой составляющей изображения каждого упомянутого классифицированного размера изображения с использованием коэффициентов фильтрации, установленных в соответствии с локальными свойствами упомянутого изображения, соответствующими размеру ортогонального преобразования упомянутой составляющей изображения.