УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК H04N19/82 H04N19/117 H04N11/04 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображения и, в частности, относится к устройству и способу обработки изображения, способным повысить эффективность кодирования в отношении цветоразностного сигнала.

Уровень техники

В последнее время получило широкое распространение устройство, в котором информация об изображении обрабатывается как цифровая, и изображение сжимается и кодируется, применяя способ кодирования, осуществляющий сжатие, использующее ортогональное преобразование, такое как дискретное косинусное преобразование, и компенсацию движения, используя избыточность, являющуюся характеристикой информации об изображении, с передачей и накоплением информации с высокой эффективностью, которая является задачей в настоящее время. Для способа кодирования, например, существует MPEG (Moving Picture Experts Group, экспертная группа по кинематографии) и т.п.

В частности, MPEG2 (ISO/IEC 13818-2) определяется как общий способ кодирования изображения и является стандартом, содержащим как изображения чересстрочного сканирования, так и изображения построчного сканирования, изображения со стандартной разрешающей способностью и изображения высокой точности. Например, MPEG2 в настоящее время широко используется в качестве широкомасштабного приложения для профессиональных целей и потребительских целей. Благодаря использованию способа сжатия MPEG2, назначается объем кодирования (битовая скорость) 4-8 Мбит/с, если используется, например, для изображения чересстрочного сканирования со стандартной разрешающей способностью 720×480 пикселей. Кроме того, благодаря использованию способа сжатия MPEG2, назначается объем кодирования (битовая скорость) 18-22 Мбит/с, если используются, например, для изображения чересстрочного сканирования со стандартной разрешающей способностью 1920×1088 пикселей. За счет этого возможно осуществление высокой эффективности и изображения превосходного качества.

MPEG2, главным образом, имеет кодирование с высоким качеством изображения, соответствующее широковещательной сети как цели, но не поддерживается по объему кодирования (битовой скорости), которая ниже, чем в MPEG1, то есть способе кодирования с более высокой степенью сжатия. Благодаря распространению мобильных телефонов представляется, что потребности в способе сжатия, таком как этот, будут увеличиваться и стандартизация способа кодирования MPEG4 выполняется в соответствии с этим. В отношении способа кодирования изображения, технические требования ISO/IEC 14496-2 от декабря 1998 г. признаны в качестве международного стандарта.

В качестве графика стандартизации, существует международный стандарт Н.264 и MPEG-4 Часть 10 (Advanced Video Coding (передовое видеокодирование), который ниже упоминается как H.264/AVC).

Кроме того, стандартизация FRExt (Fidelity Range Extension, расширение диапазона точности), который содержит инструменты кодирования, необходимые для управления с RGB, 4:2:2, и 4:4:4 и 8×8 DCT и матрицей квантования, определяемые в MPEG2 как расширение H.264/AVC, была завершена в феврале 2005 г. Благодаря этому FRExt стал способом кодирования, в котором возможно превосходно реализовать шум пленки, который вводится в видео, используя Н.264/AVC, и становится переносчиком, что широко используется в таких применениях, как диски Blu-ray (зарегистрированная торговая марка).

Однако с недавнего времени потребности в кодировании с дополнительной высокой степенью сжатия возросли, например, появилось сжатие изображения с разрешающей способностью приблизительно 4000×2000 пикселей, что в четыре раза больше, чем для изображения с высокой разрешающей способностью, и получили распространение изображения с высокой разрешающей способностью в среде с ограниченной пропускной способностью, такой как Интернет. В результате, в группе VCEG(=Video Coding Experts Group, группа экспертов по видеокодированию) согласно ITU-T, как описано выше, постоянно ведутся исследования по повышению эффективности кодирования.

В качестве одного из улучшений эффективности кодирования, предложен способ, в котором в контуре компенсации движения существует фильтр FIR (например, обратитесь к NPL 1). Возможно до минимума подавить ухудшение опорного изображения и повысить эффективность кодирования информации о сжатии изображения, которая является выходной, определяя коэффициент фильтра FIR в устройстве кодирования, так чтобы ошибка между фильтром FIR и входным изображением минимизировалась, используя фильтр Винера.

Затем, с целью дальнейшего повышения эффективности кодирования, используя H.264/AVC, в настоящее время стандартизация способа кодирования, который упоминается как HEVC (High Efficiency Video Coding), движется вперед благодаря усилиям команды JCTVC (Joint Collaboration Team - Video Coding), являющейся объединенным органом по стандартизации для ITU-T и ISO/IEC. Материал NPL2 был опубликован HEVC в качестве проекта.

Блок кодирования (CU) был определен в HEVC, как тот же самый процессорный блок, что и макроблок в AVC. В отличие от макроблока, используемого в AVC, CU назначается в информации о сжатии изображения в каждой последовательности без фиксации размера до 16×16 пикселей.

CU конфигурируется по уровням от LCU (Largest Coding Unit, наибольший блок кодирования), который является наибольшим, до SCU (Smallest Coding Unit, наименьший блок кодирования), который является наименьшим. То есть в целом возможно считать, что LCU, эквивалентный макроблоку AVC и CU на более низких уровнях, чем LCU (CU, который меньше, чем LCU), эквивалентен субмакроблокам AVC.

Здесь способ выполнен с возможностью использования в HEVC с помощью адаптивного фильтра смещения, предложенного в NPL3. Адаптивный фильтр смещения в HEVC обеспечивается между деблокирующим фильтром и адаптивным контурным фильтром.

В отношении типов адаптивных смещений, существуют два типа, которые упоминаются как смещения полос, шесть типов которых упоминаются как смещения краев и, дополнительно, возможно, что смещения не адаптируются. Затем, возможно разделить изображение на квадродерево и выбрать, проводить ли кодирование, используя типы адаптивных смещений, описанных выше, в каждой из областей. Используя такой способ, можно повысить эффективность кодирования.

Список литературы

Непатентная литература (NPL)

NPL1. Takeshi Chujoh, Goki Yasuda, Naofumi Wada, Takashi Watanabe, Tomoo Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Берлин, Германия, 16-18 июля 2008 г.

NPL2 Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft 3 of High-Efficiency Video Coding", JCTVC-E603, March 2011.

NPL3 "CE8 Subtest 3:Picture Quality Adaptive Offset", JCTVC-D122, January 2011.

Сущность изобретения

Техническая проблема

Однако способ, предложенный в NPL3, применяется только в отношении сигнала яркости и не применяется к цветоразностному сигналу. Соответственно, необходима поддержка в отношении цветоразностного сигнала.

Настоящее раскрытие учитывает эти обстоятельства и способно улучшить эффективность кодирования в отношении цветоразностного сигнала.

Решение проблемы

Настоящее изобретение, в целом, содержит устройства кодирования и декодирования изображения и способы кодирования и декодирования изображения. В одном из вариантов осуществления устройство декодирования изображения содержит секцию обработки адаптивного смещения сигнала яркости и секцию обработки адаптивного смещения цветоразностного сигнала. Секция обработки адаптивного смещения сигнала яркости выполняет процесс адаптивного смещения сигнала яркости в отношении сигнала яркости изображения, которое должно декодироваться. Секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, сформированных процессом адаптивного смещения сигнала яркости секцией обработки адаптивного смещения сигнала яркости, чтобы сформировать декодированное изображение.

Краткое описание чертежей

Фиг.1 - блок-схема примера основной конфигурации устройства кодирования изображения с помощью способа Н.264/AVC.

Фиг.2 - блок-схема примера основной конфигурации устройства декодирования изображения с помощью способа Н.264/AVC.

Фиг.3 - блок-схема примера основной конфигурации устройства кодирования изображения, в которой применяется адаптивный контурный фильтр.

Фиг.4 - блок-схема примера основной конфигурации устройства декодирования изображения, в которой применяется адаптивный контурный фильтр.

Фиг.5 - принцип работы деблокирующего фильтра.

Фиг.6 - способ определения Bs.

Фиг.7 - принцип работы деблокирующего фильтра.

Фиг.8 - пример отношения соответствия индекса А и индекса В и значений альфа и бета.

Фиг.9 - пример отношения соответствия Bs и индекса A и tC0.

Фиг.10 - пример конфигурации блока кодирования.

Фиг.11 - процесс адаптивного смещения в способе HEVC.

Фиг.12 - структура квадродерева.

Фиг.13 - смещение полосы.

Фиг.14 - смещение края.

Фиг.15 - список правил по смещению края.

Фиг.16 - блок-схема примера основной конфигурации устройства кодирования изображения, соответствующего настоящему раскрытию.

Фиг.17 - примеры конфигурации секции адаптивного смещения и секции адаптивного смещения цветового контраста.

Фиг.18 - блок-схема последовательности выполнения операций примера потока процесса кодирования.

Фиг.19 - блок-схема последовательности выполнения операций примера потока процесса адаптивного смещения.

Фиг.20 - блок-схема примера основной конфигурации устройства декодирования изображения.

Фиг.21 - примеры конфигурации секции адаптивного смещения и секции адаптивного смещения цветоразностного сигнала.

Фиг.22 - блок-схема последовательности выполнения операций примера потока процесса декодирования.

Фиг.23 - блок-схема последовательности выполнения операций примера потока процесса адаптивного смещения.

Фиг.24 - блок-схема примера основной конфигурации персонального компьютера.

Фиг.25 - блок-схема примера основной конфигурации телевизионного устройства.

Фиг.26 - блок-схема примера схематичной конфигурации мобильного телефонного блока.

Фиг.27 - блок-схема примера схематичной конфигурации устройства записи и воспроизведения.

Фиг.28 - блок-схема примера схематичной конфигурации устройства получения изображения.

Описание вариантов осуществления

Ниже будут описаны варианты осуществления для реализации настоящего раскрытия. Здесь описания будут выполняться в порядке, перечисленном ниже.

1. Первый вариант осуществления (устройство кодирования изображения).

2. Второй вариант осуществления (устройство декодирования изображения).

3. Третий вариант осуществления (персональный компьютер).

4. Четвертый вариант осуществления (блок телевизионного приемника).

5. Пятый вариант осуществления (блок мобильного телефона).

6. Шестой вариант осуществления (рекордер жестких дисков).

7. Седьмой вариант осуществления (камера).

1. Первый вариант осуществления

Устройство кодирования изображения H.264/AVC

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, которое кодирует изображение, используя способ кодирования изображения Н.264 и MPEG (Moving Picture Experts Group), Часть 10 (AVC (Advanced Video Coding)). Далее способ кодирования Н.264 и MPEG упоминается как способ H.264/AVC.

В примере, показанном на фиг.1, устройство 1 кодирования изображения выполнено как содержащее секцию 11 A/D-преобразования, буфер 12 перегруппировки изображения, секцию 13 вычислений, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, аккумуляторный буфер 17, секцию 18 инверсного квантования, секцию 19 инверсного ортогонального преобразования и секцию 20 вычислений. Кроме того, устройство 1 кодирования изображения выполнено как содержащее деблокирующий фильтр 21, память 22 кадров, секцию 23 выбора, секцию 24 внутрикадрового предсказания, секцию 25 предсказания и компенсации движения, секцию 26 выбора изображения предсказания и секцию 27 управления скоростью.

Секция 11 A/D-преобразования выполняет аналогово-цифровое (A/D) преобразование введенных данных изображения, выводит их в буфер 12 перегруппировки изображения и запоминает. Буфер 12 перегруппировки изображения перегруппировывает в порядке отображения изображения кадров, которые хранятся в порядке кадров для кодирования в соответствии с конфигурацией GOP (Group of Pictures, группа изображения). Буфер 12 перегруппировки изображения подает изображения с перегруппированным порядком кадров в секцию 13 вычислений. Кроме того, буфер 12 перегруппировки изображения также подает изображения с перегруппированным порядком кадров в секцию 24 внутрикадрового предсказания и в секцию 25 предсказания и компенсации движения.

Секция 13 вычислений вычитает изображение предсказания, которое подается из секции 24 внутрикадрового предсказания или секции 25 предсказания и компенсации движения через секцию 26 выбора изображения предсказания, из изображения, которое считывается из буфера перегруппировки изображения, и выводит разностную информацию в секцию 14 ортогонального преобразования.

Например, в случае изображения, для которого выполняется внутрикадровое кодирование, секция 13 вычислений вычитает изображение предсказания, которое подается от секции 24 внутрикадрового предсказания, из изображения, которое считывается из буфера 12 перегруппировки изображения. Кроме того, например, в случае изображения, в котором выполняется межкадровое кодирование, секция 13 вычислений вычитает изображение предсказания, которое подается от секции 25 предсказания и компенсации движения, из изображения, которое считывается из буфера 12 перегруппировки изображения.

Секция 14 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва или подобное, в отношении разностной информации, которая подается от секции 13 вычислений, и подает коэффициент преобразования в секцию 15 квантования.

Секция 15 квантования квантует коэффициент преобразования, который выводится из секции 14 ортогонального преобразования. Секция 15 квантования устанавливает параметр квантования, основываясь на информации, связанной с целевым значением величины кодирования, которая подается от секции 27 управления скоростью, и выполняет квантование. Секция 15 квантования подает квантованный коэффициент преобразования в секцию 16 кодирования без потерь.

Секция 16 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины или арифметическое кодирование, в отношении квантованного коэффициента преобразования. Поскольку данные коэффициента квантуются под управлением секции 27 управления скоростью, величина кодирования становится целью, которая устанавливается секцией 27 управления скоростью (или апроксимируется к целевому значению).

Секция 16 кодирования без потерь получает информацию, выражающую внутрикадровое предсказание и т.п., от секции 24 внутрикадрового предсказания и получает информацию, которая выражает режим внутрикадрового предсказания, информацию вектора движения и т.п. от секции 25 предсказания и компенсации движения. Здесь информация, выражающая внутрикадровое предсказание (предсказание внутри экрана), также упоминается ниже как информация о режиме внутрикадрового предсказания. Здесь информация, которая выражает внутрикадровое предсказание (предсказание внутри экрана), также упоминается ниже как информация о режиме внутрикадрового предсказания.

Секция 16 кодирования без потерь кодирует квантованный коэффициент преобразования и устанавливает различную информацию, такую как коэффициент фильтра, информацию о режиме внутрикадрового предсказания, информацию о режиме межкадрового предсказания и параметры квантования, как часть информации заголовка данных кодирования (мультислоение). Секция 16 кодирования без потерь аккумулирует данные кодирования, полученные посредством кодирования, подавая их на аккумуляторный буфер 17.

Например, в секции 16 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование с переменной длиной или арифметическое кодирование. В качестве кодирования переменной длины существует CAVLC (Context-Adaptive Variable Length Coding, контекстно адаптивное кодирование переменной длины), которое определяется, используя способ H.264/AVC и т.п. В качестве арифметического кодирования существует САВАС (Context-Adaptive Binary Arithmetic Coding, контекстно адаптивное бинарное арифметическое кодирование) и т.п.

Накопительный буфер 17 временно удерживает данные кодирования, подаваемые от секции 16 кодирования без потерь, и выводит в качестве изображения, кодированного с использованием способа Н.264/AVC, например, на записывающее устройство или на путь прохождения данных, которые не показаны, на более позднем этапе при заданной синхронизации.

Кроме того, коэффициент преобразования, квантованный в секции 15 квантования, также подается в секцию 18 инверсного квантования. Секция 18 инверсного квантования выполняет инверсное квантование квантованного коэффициента преобразования, используя способ, соответствующий квантованию секцией 15 квантования. Секция 18 квантования подает полученный коэффициент преобразования в секцию 19 инверсного ортогонального преобразования.

Секция 19 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента преобразования, который подается, используя способ, соответствующий ортогональному преобразованию, посредством секцией 14 ортогонального преобразования. Выходной результат, после того, как выполнено инверсное ортогональное преобразование, (разностная информация, которая была декодирования) подается в секцию 20 вычислений.

Секция 20 вычислений добавляет изображение предсказания, которое подается от секции 24 внутрикадрового предсказания или от секции 24 предсказания и компенсации движения через секцию 26 выбора изображения предсказания, к результату инверсного ортогонального преобразования, подаваемому секцией 19 инверсного ортогонального преобразования, то есть разностную информацию, которая реконструирована, и получает изображение, которое локально декодировано (декодированное изображение).

Например, в случае, когда разностная информация соответствует изображению, для которого выполнено внутрикадровое кодирование, секция 20 вычислений добавляет изображение предсказания, поданное от секции 24 внутрикадрового предсказания, к разностной информации. Кроме того, например, в случае, когда разностная информация соответствует изображению, для которого выполнено внутрикадровое кодирование, секция 20 вычислений добавляет изображение предсказания, поданное от секции 25 предсказания и компенсации движения, к разностной информации.

Результат вычисления подается на деблокирующий фильтр 21 или в память 22 кадров.

Деблокирующий фильтр 21 удаляет блочное искажение декодируемого изображения, соответствующим образом выполняя процесс деблокирующего фильтра. Деблокирующий фильтр 21 передает результат процесса фильтрации в память 22 кадров. Здесь декодируемое изображение, которое выводится из секции 20 вычислений, пригодно для подачи в память 22 кадров, не проходя через деблокирующий фильтр 21. То есть возможно исключить процесс деблокирующего фильтра, выполняемый деблокирующим фильтром 21.

Память 22 кадров хранит декодируемое изображение, которое подано, и выводит его в секцию 24 внутрикадрового предсказания или в секцию 25 предсказания и компенсации движения через секцию 23 выбора в заданный момент времени вместе с изображением декодирования, которое хранится в качестве опорного изображения.

Например, в случае, когда выполняется внутрикадровое кодирование, память 22 кадров подает опорное изображение в секцию 24 внутрикадрового изображения через секцию 23 выбора. Кроме того, например, в случае, когда выполняется внутрикадровое кодирование, память 22 кадров подает опорное изображение в секцию 25 предсказания и компенсации движения через секцию 23 выбора.

Секция 23 выбора подает опорное изображение в секцию внутрикадрового предсказания 24 в случае, когда опорное изображение, которое подается из памяти 22 кадров, является изображением, для которого выполнено внутрикадровое кодирование. Кроме того, секция 23 выбора подает опорное изображение в секцию 25 предсказания и компенсации движения в случае, когда опорное изображение, которое подается из памяти 22 кадров, является изображением, для которого выполнено межкадровое кодирование.

Секция 24 внутрикадрового предсказания выполняет внутрикадровое предсказание (предсказание в пределах экрана), когда изображение предсказания формируется, используя пиксельное значение в обрабатываемом целевом изображении, которое подается из памяти 22 кадров через секцию 23 выбора. Секция 24 внутрикадрового предсказания выполняет внутрикадровое предсказание, используя множество подготовленных заранее режимов (режимов внутрикадрового предсказания).

В способе H.264/AVC режим внутрикадрового предсказания 4×4, режим внутрикадрового предсказания 8×8 и режим внутрикадрового предсказания 16×16 определяются в отношении сигнала яркости. Кроме того, возможно определить режим предсказания, который независим от сигнала яркости для каждого макроблока по отношению к цветоразностному сигналу. В отношении каждого из блоков яркости 4×4 существует режим внутрикадрового предсказания 4×4, в отношении каждого из блоков яркости 8×8 существует режим внутрикадрового предсказания 8×8 и определяется один режим внутрикадрового предсказания. Для режима внутрикадрового предсказания 16×16 и цветоразностного сигнала один режим предсказания определяется для каждого одного макроблока.

Секция 24 внутрикадрового предсказания формирует изображение предсказания, используя все режимы внутрикадрового предсказания в качестве возможных, оценивает значение функции стоимости каждого режима предсказания, используя входное изображение, которое подается из буфера 12 перегруппировки изображения, и выбирает оптимальный режим. Секция 24 внутрикадрового предсказания подает изображение предсказания, которое формируется, используя оптимальный режим, в секцию 13 вычислений или в секцию 20 вычислений через секцию 26 выбора режима предсказания, когда оптимальный режим внутрикадрового предсказания выбран.

Кроме того, как описано выше, секция 24 внутрикадрового предсказания соответственно подает информацию, такую как режим внутрикадрового предсказания, которая выражает режим внутрикадрового предсказания, адаптированный к секции 16 кодирования без потерь.

Секция 25 предсказания и компенсации движения выполняет предсказание движения (межкадровое предсказание), используя входное изображение, которое подается из буфера 12 перегруппировки изображения, и опорное изображение, которое подается из памяти 22 кадров, через секцию 23 выбора относительно изображения, для которого выполняется межкадровое кодирование. Секция 25 предсказания и компенсации движения выполняет процесс компенсации движения в соответствии с вектором движения, который обнаруживается и формирует изображение предсказания (информация об изображении межкадрового предсказания). Секция 25 предсказания и компенсации движения выполняет таким способом межкадровое предсказание, используя множество режимов (режимов межкадрового предсказания), подготовленных заранее.

Секция 25 предсказания и компенсации движения формирует изображение предсказания, используя все режимы межкадрового предсказания как возможные, оценивает значение функции стоимости для каждого изображения предсказания и выбирает оптимальный режим. Секция 25 предсказания и компенсации движения подает изображение предсказания, которое сформировано, в секцию 13 вычислений или в секцию 20 вычислений через секцию 26 выбора изображения предсказания.

Кроме того, секция 25 предсказания и компенсации движения подает информацию о режиме межкадрового предсказания, которая представляет адаптированный режим межкадрового предсказания, и информацию о векторе движения, которая представляет вычисленный вектор движения в секцию 16 кодирования без потерь.

Секция 26 выбора изображения предсказания подает выходной сигнал секции 24 внутрикадрового предсказания в секцию 13 вычислений или в секцию 20 вычислений в случае, когда для изображения выполнено внутрикадровое кодирование, и подает выходной сигнал секции 25 предсказания и компенсации движения в секцию 13 вычислений или в секцию 20 вычислений в случае, когда для изображения выполнено межкадровое кодирование.

Секция 27 управления скоростью управляет скоростью операции квантования секции 15 квантования, основываясь на сжатом изображении, которое аккумулируется в аккумуляторном буфере 17, так что переполнение или отрицательное переполнение не создается.

Способ декодирования изображения согласно H.264/AVC

На фиг.2 представлена блок-схема, показывающая пример основной конфигурации устройства декодирования изображения, которое реализует сжатие изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и компенсацию движения. Устройство 31 декодирования изображения, показанное на фиг.2, является устройством декодирования, соответствующим устройству кодирования изображения, показанному на фиг.1.

Данные кодирования, кодированные устройством 1 кодирования изображения, подаются и декодируются устройством 31 декодирования изображения, соответствующим секции 1 кодирования изображения, например, через произвольный маршрут, такой как путь прохождения сигнала или через носитель записи.

Как показано на фиг.2, устройство 31 декодирования изображения выполнено с возможностью использования в нем аккумуляторного буфера 41, секции 42 декодирования без потерь, секции 43 инверсного квантования, секции 44 инверсного ортогонального преобразования, секции 45 вычислений, деблокирующего фильтра 46, буфера 47 перегруппировки изображения и секции 48 цифро-аналогового (D/A) преобразователя. Кроме того, устройство 31 декодирования изображения имеет память 49 кадров, секцию 50 выбора, секцию 51 внутрикадрового прогнозирования, секцию 52 компенсации движения и секцию 53 выбора изображения.

Аккумуляторный буфер 41 накапливает преобразованные данные кодирования. Данные кодирования кодируются, используя устройство 1 кодирования изображения. Секция 42 декодирования без потерь декодирует данные кодирования, считанные в заданный момент времени из аккумуляторного буфера 41, используя способ кодирования секции 16 кодирования без потерь, показанной на фиг.1.

Кроме того, в случае, когда кадр подвергается внутрикадровому кодированию, информация о режиме внутрикадрового кодирования запоминается в секции заголовка данных кодирования. Секция 42 декодирования без потерь декодирует информацию о режиме внутрикадрового предсказания и информация подается в секцию 51 внутрикадрового предсказания. В отношении этого, в случае, когда кадр подвергается внутрикадровому кодированию, информация о векторе движения запоминается в секции заголовка данных кодирования. Секция 42 декодирования без потерь декодирует информацию о векторе движения и информация подается в секцию 52 вектора движения.

Секция 43 инверсного квантования выполняет инверсное квантование для данных коэффициента (коэффициента квантования), который получается посредством декодирования, используя секцию 42 декодирования без потерь с помощью способа, соответствующего способу квантования секции 15 квантования, показанной на фиг.1. То есть секция 43 инверсного квантования выполняет инверсное квантование коэффициента квантования тем же самым способом, что и секция 18 инверсного квантования, показанная на фиг.1.

Секция 43 инверсного квантования подает квантованные данные коэффициента преобразования, то есть коэффициент ортогонального преобразования, в секцию 44 инверсного ортогонального преобразования. Секция 44 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента ортогонального преобразования, используя способ, соответствующий способу ортогонального преобразования секции 14 ортогонального преобразования, показанной на фиг.1 (способу, который является тем же самым, что и в секции 19 инверсного ортогонального преобразования, показанной на фиг.1) и получает остаточные данные декодирования, соответствующие предыдущим остаточным данным, когда ортогональное преобразование выполнялось в устройстве 1 кодирования изображения. Например, выполняется инверсное ортогональное преобразование четвертого порядка.

Остаточные данные декодирования, которые получаются посредством инверсного ортогонального преобразования, подаются в секцию 45 вычислений. Кроме того, изображение предсказания подается от секции внутрикадрового предсказания 51 или от секции 52 компенсации движения через секцию 53 выбора изображения в секцию 45 вычислений.

Секция 45 вычислений добавляет остаточные данные декодирования и изображение предсказания и получает данные изображения декодирования, соответствующие данным предшествующего изображения, где изображение предсказания уменьшено, используя секцию 13 вычислений устройства 1 кодирования изображения. Секция 45 вычислений подает данные изображения декодирования на деблокирующий фильтр 46.

Деблокирующий фильтр подает предоставленное декодируемое изображение в буфер 47 перегруппировки изображения, после того, как искажения блока были удалены.

Буфер 47 перегруппировки изображения выполняет перегруппировку изображения. То есть порядок кадров, которые выстроены в порядке кодирования буфером 12 перегруппировки изображения на фиг.1, перегруппируется на первоначальный порядок для отображения. Секция 48 D/A-преобразования выполняет D/A-преобразование изображения, которое подается из буфера 47 перегруппировки изображения, выводит его на дисплей, который не показан, и отображает. Результат действия деблокирующего фильтра 46 дополнительно подается в память 49 кадров.

Память 49 кадров, секция 50 выбора, секция 51 внутрикадрового предсказания, секция 52 компенсации движения и секция 53 выбора изображения соответствуют памяти 22 кадров, секции 23 выбора, секции 24 внутрикадрового предсказания, секции 25 предсказания и компенсации движения и секции 26 выбора изображения предсказания, соответственно показанным на фиг.1.

Секция 50 выбора считывает изображение, для которого выполняется межкадровая обработка, и изображение, являющееся опорным, из памяти 49 кадров и подает его в секцию 52 компенсации движения. Кроме того, секция 50 выбора считывает изображение, которое используется при внутрикадровом предсказании, из памяти 49 кадров и подает его в секцию 51 внутрикадрового предсказания.

В секции 51 внутрикадрового предсказания информация, представляющая режим внутрикадрового предсказания, которая получена посредством декодирования информации заголовка и т.п., соответственно подается от секции 42 декодирования без потерь. Секция 51 внутрикадрового предсказания формирует изображение предсказания из опорного изображения, полученного из памяти 49 кадров, основываясь на информации, и подает сформированное изображение предсказания в секцию 53 выбора изображения.

Секция 52 компенсации движения принимает информацию, полученную посредством декодирования информации заголовка (информация о режиме предсказания, информация о векторе движения, информация об опорном кадре, флаги, различные типы параметров и т.п.), от секции 42 декодирования без потерь.

Секция 52 компенсации движения формирует изображение предсказания из опорного изображения, полученного из памяти 49 кадров, основываясь на информации, поданной из секции 42 декодирования без потерь, и сформированном изображении предсказания, в секцию 53 выбора изображения.

Секция 53 выбора изображения выбирает изображение предсказания, сформированное секцией 52 компенсации движения или секцией 51 внутрикадрового предсказания, и подает его в секцию 45 вычислений.

Адаптивный контурный фильтр

Далее будет описан адаптивный контурный фильтр (ALF), предложенный в PTL1.

На фиг.3 представлена блок-схема примера конфигурации устройства кодирования изображения, в которой применяется адаптивный контурный фильтр. Здесь, в примере, показанном на фиг.3, для простоты описания не показаны секция 11 A/D-преобразования, буфер 12 перегруппировки изображения, аккумулирующий буфер 17, секция 23 выбора, секция 24 внутрикадрового предсказания, секция 26 выбора изображения предсказания и секция 27 управления скоростью, показанные на фиг.1. Кроме того, соответственно, не показаны стрелки и т.п. Соответственно, в случае примера, показанного на фиг.3, опорное изображение из памяти 22 кадров напрямую вводится в секцию 25 предсказания и компенсации движения и изображение предсказания из секции 25 предсказания и компенсации движения напрямую вводится в секции 13 и 20 вычислений.

То есть устройство 61 кодирования изображения на фиг.3 отличается от устройства 1 кодирования изображения на фиг.1 только там, где между деблокирующим фильтром 21 и памятью 22 кадров добавляется адаптивный контурный фильтр 71.

Адаптивный контурный фильтр 71 выполняет вычисление коэффициента адаптивного контурного фильтра, который является остатком первоначального изображения, полученным из буфера 12 перегруппировки изображения (не показанного на чертеже), минимизируется и выполняет процесс фильтрации на декодируемом изображении, полученном от деблокирующего фильтра 21, используя коэффициент адаптивного контурного фильтра. В качестве фильтра используется, например, фильтр Винера.

Кроме того, адаптивный контурный фильтр 71 посылает вычисленный коэффициент адаптивного контурного фильтра в секцию 16 кодирования без потерь. В секции 16 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование с переменной длиной или арифметическое кодирование для коэффициента адаптивного контурного фильтра, который вставлен в секцию заголовка сжатого изображения.

На фиг.4 представлен пример конфигурации устройства декодирования изображения, соответствующего устройству кодирования, показанному на фиг.3. Здесь, в примере, показанном на фиг.4, для простоты описания не показаны аккумулирующий буфер 41, буфер 47 перегруппировки изображения, секция 48 D/A-преобразования, секция 50 выбора, секция 51 внутрикадрового предсказания и секция 53 выбора изображения, показанные на фиг.2. Кроме того, соответственно, не показаны стрелки и т.п. Соответственно, в случае, показанном на фиг.4, опорное изображение из памяти 49 кадров напрямую вводится в секцию 52 компенсации движения и изображение предсказания из секции 52 компенсации движения напрямую вводится в секции 45 вычислений.

То есть устройство 81 кодирования изображения на фиг.4 отличается от устройства 31 кодирования изображения на фиг.2 только там, где между деблокирующим фильтром 46 и памятью 49 кадров добавляется адаптивный контурный фильтр 91.

Коэффициент адаптивного контурного фильтра, декодированный секцией 42 декодирования без потерь и извлеченный из заголовка, подается на адаптивный контурный фильтр 91. Адаптивный контурный фильтр 91 выполняет процесс фильтрации на декодируемом изображении, полученном из деблокирующего фильтра 46, используя поданный коэффициент адаптивного контурного фильтра. В качестве фильтра используется, например, фильтр Винера.

Благодаря этому возможно улучшить качество изображения для декодируемого изображения и, дополнительно, улучшить качество изображения опорного сигнала.

Деблокирующий фильтр

Далее будет описан деблокирующий фильтр, соответствующий фильтру в стандарте H.264/AVC. Деблокирующий фильтр 21 входит в состав контура компенсации движения и удаляет искажение блоков в декодируемом изображении, то есть искажение в области обрабатываемых блоков. Благодаря этому преобразование блочного искажения в изображение, являющееся опорным, подавляется, используя процесс компенсации движения.

В качестве процесса деблокирующего фильтра возможно выбрать способ (a)-(c) из приведенных ниже, используя два параметра deblocking_filter_control_present_flag, который содержится в наборе параметров изображения Picture Parameter Set RBSP (Raw Byte Sequence Payload, загрузка последовательности необработанных байтов), и disable_deblocking_filter_idc, который вводится в заголовок слоя, введенного в данные кодирования.

(a) Выполнение на границе блока или на границе макроблока

(b) Выполнение только на границе макроблока

(c) Не выполнять

Что касается параметра квантования QP, то QPY используется в случае, когда процесс, описанный ниже, применяется в отношении сигнала яркости, а QPC используется в случае, когда он применяется в отношении цветоразностного сигнала. Кроме того, в отношении кодирования вектора движения, внутрикадрового предсказания, энтропийного кодирования (CAVLC/CABAC), значения пикселей, принадлежащие к различным срезам, обрабатываются как "недоступные". Однако в процессе деблокирующей фильтрации процесс выполняется, даже когда пиксельное значение, принадлежащее разностным срезам, "доступно" в случае его принадлежности к одному и тому же изображению.

Ниже, как показано на фиг.5, пиксельное значение перед деблокирующим фильтром устанавливается как p0-p3 и q0-q3 и пиксельное значение после обработки устанавливается как p0′-p3′ и q0′-q3′.

Сначала, перед процессом, выполняемым деблокирующим фильтром, определяется Bs (Boundary Strength, прочность границ), которые являются данными прочности границ в отношении p и q на фиг.5, как показано в таблице на фиг.6.

Как показано на фиг.6, Bs назначается равным "4", что является наивысшей степенью фильтрации в случае, когда пиксель p или пиксель q принадлежит к макроблоку, в котором выполнено внутрикадровое кодирование, и пиксель занимает положение на границе макроблока.

Bs назначается равным "3", что является следующей за "4" наивысшей степенью фильтрации в случае, когда пиксель p или пиксель q принадлежит к макроблоку, в котором выполнено внутрикадровое кодирование, и пиксель не занимает положение на границе макроблока.

Bs назначается равным "2", что является следующей за "3" наивысшей степенью фильтрации в случае, когда пиксель p или пиксель q принадлежит к макроблоку, в котором выполнено внутрикадровое кодирование и любой из пикселей имеет коэффициент преобразования.

Bs назначается равным "1" в случае, когда ни пиксель p, ни пиксель q не принадлежат к макроблоку, в котором выполнено внутрикадровое кодирование, в случае, когда удовлетворяется условие, когда какой-либо из пикселей не имеет коэффициента преобразования, и в случае, когда удовлетворяется условие, что любые из опорных кадров различаются, количества опорных кадров различаются или векторы движения различаются.

Bs назначается равным "0" в случае, когда ни пиксель p, ни пиксель q не принадлежат макроблоку, для которого выполнено внутрикадровое кодирование, ни один из пикселей не имеет коэффициента преобразования и опорные кадры и векторы движения являются одними и теми же. Здесь "0" означает, что процесс фильтрации не выполнен.

Процесс, выполняемый деблокирующим блоком выполняется (p2, p1, p0, q0, q1, q2) на фиг.5 только в случае, когда удовлетворяются условия, выраженные в приведенных ниже уравнении (1) и уравнении (2)

Значения альфа и бета в уравнении (2) определяются в соответствии с QP, как указано ниже по умолчанию, но для пользователя возможно регулировать его степень способом стрелок в графах за счет двух параметров данных кодирования slice_alpha_c0_offset_div2 и slice_beta_offset_div2, которые содержатся в заголовке среза.

Здесь, фиг.7 показывает взаимосвязь между QP и порогом альфа, и понятно, что прочность фильтра регулируется согласно кривой, выражающей взаимосвязь QP и порога альфа, перемещающейся в направлении стрелки, когда к QP добавляется величина смещения.

Кроме того, порог альфа определяется из таблицы, которая показана как позиция A на фиг.8, вычисляя индекс A из следующих уравнений (3) и (4), используя соответствующие параметры квантования qP_p и qP_q соседних блока P и блока Q. Таким же образом, порог β определяется из таблицы, которая показана как позиция B на фиг.8, вычисляя индекс B из следующих уравнений (3) и (5), используя соответствующие параметры квантования qP_p и qP_q соседних блока P и блока Q. Индекс A и индекс B определяются ниже уравнениями (3)-(5).

В уравнении (4) и уравнении (5) FilterOffsetA и FilterOffsetB эквивалентны величине регулировки, выполняемой пользователем.

Процесс, выполняемый деблокирующим фильтром, определяет способы, которые отличаются друг от друга в случае, когда Bs<4, и в случае, когда Bs=4, как описано ниже.

Сначала, в случае, когда Bs<4, пиксельные значения p′0 и q′0 после процесса, выполняемого деблокирующим фильтром, определяются согласно приведенным ниже уравнениям (6)-(8).

Здесь, t_c вычисляется согласно приведенным ниже уравнению (9) и уравнению (10). То есть t_c вычисляется, как указано в приведенном ниже уравнении (9), в случае, когда значение chromalEdgeFlag равно "0".

То есть t_c вычисляется, как указано в приведенном ниже уравнении (10), в случае, когда значение chromalEdgeFlag равно "0".

Значение t_c0 определяется согласно таблице, которая показана как позиция А на фиг.9 и В на фиг.9, в соответствии с Bs и индексом А.

Кроме того, вычисляются значения a_p and a_q уравнения (9) как в приведенных ниже уравнении (11) и уравнении (12).

Пиксельное значение p′1 после процесса деблокирования определяется, как указано ниже. То есть p′1 определяется согласно приведенному ниже уравнению (13) в случае, когда значение chromaEdgeFlag равно "0" и значение a_p равно β или меньше.

Кроме того, p′1 определяется согласно приведенному ниже уравнению (14) в случае, отличном от того, когда уравнение (13) не установлено.

Пиксельное значение q′1 после процесса деблокирования определяется, как указано ниже. То есть q′1 определяется согласно приведенному ниже уравнению (15) в случае, когда значение chromaEdgeFlag равно "0" и значение a_q равно β или меньше.

Кроме того, q′1 определяется согласно приведенному ниже уравнению (16) в случае, отличном от того, когда уравнение (15) не установлено.

Значения p′2 и q′2 не изменяются относительно значений p2 и q2 до фильтрации. То есть p′2 определяется согласно приведенному ниже уравнению (17), и q′2 определяется согласно приведенному ниже уравнению (18).

Затем, пиксельное значение p′i (i=0…2) после деблокирующего фильтра определяется, как указано ниже, в случае Bs=4. В случае, когда значение chromaEdgeFlag равно "0" и условия, выраженные ниже в уравнении (19) установлены, определяются p′0, p′1 и p′2, как показано ниже в уравнениях (20)-(22).

Кроме того, в случае, когда условия, представленные ниже в уравнении (19) не установлены, p′0, p′1 и p′2 определяются, как показано ниже в уравнениях (23)-(25).

Далее, пиксельное значение q′1 (i=0…2) после процесса, выполняемого деблокирующим фильтром, определяется, как указано ниже. То есть в случае, когда значение chromaEdgeFlag равно "0", и условия, которые продемонстрированы ниже в уравнении (26), установлены, q′0, q′1 и q′2 определяются, как показано ниже в уравнениях (27)-(29).

Кроме того, в случае, когда условия, представленные ниже в уравнении (26), не установлены, q′0, q′1 и q′2 определяются, как показано ниже в уравнениях (30)-(32).

Функция стоимости

Здесь, в способе кодирования AVC выбор соответствующего режима предсказания важен при достижении более высокой эффективности кодирования.

В качестве примера способа выбора, существует возможный способ, который раскрыт на сайте http://iphome.hhi.de/suehring/tml/index.htm и который выполняется, используя основное программное обеспечение H.264/MPEG-4 AVC, упоминаемое как JM (Joint Model, совместная модель).

В JM существует возможность выбрать два типа способов определения режима High Complexity Mode (режим высокой сложности) и Low Complexity Mode (режим низкой сложности), как будет описано ниже. В обоих случаях вычисляется функция стоимости, которая связывает каждый из режимов предсказания друг с другом и выбирает режим предсказания, когда они минимизированы в качестве оптимального режима в отношении блока-макроблока.

Функция стоимости в режиме высокой сложности High Complexity Mode такова, как показано ниже в уравнении (33).

Здесь, омега является общим набором возможных режимов для кодирования блока в макроблок, и D - разностная энергия декодируемого изображения и входное изображение в случае кодирования, использующего режим предсказания. Лямбда является неопределенным множителем Лагранжа, который применяется в качестве функции параметра квантования. R является общей кодируемой величиной в случае кодирования, использующего режим, содержащий коэффициент ортогонального преобразования.

То есть при выполнении режима высокой сложности необходимо выполнить временный процесс кодирования, при котором используются все возможные режимы, чтобы вычислить параметры D и R, описанные выше, и необходим больший объем вычислений.

Функция стоимости в режиме низкой сложности Low Complexity Mode такова, как показано ниже в уравнении (34).

Здесь D отличается от случая режима высокой сложности High Complexity Mode, и существует разностная энергия изображения предсказания и входного изображения. QP2Quant(QP) применяется как функция параметра квантования QP, HeaderBit является величиной кодирования, связанной с информацией, принадлежащей заголовку, такому как вектор движения, и режиму, который не содержит коэффициента ортогонального преобразования.

То есть в режиме низкой сложности Low Complexity Mode необходимо выполнять процесс предсказания в отношении каждого из возможных режимов, но вплоть до процесса кодирования нет необходимости выполнения, пока не станет необходимым декодированное изображение. Как результат, возможно реализовать более низкий объем вычислений, чем в режиме высокой сложности.

Блок кодирования

Далее будет описан блок кодирования, определенный в способе кодирования HEVC (High Efficiency Video Coding, высокоэффективное видеокодирование) (ниже упоминается как способ HEVC), который описан в NPL2.

В способе H.264/AVC возможно разделить один макроблок на множество блоков компенсации движения и иметь информацию о движении, которая различается в отношении каждого из блоков. То есть в способе H.264/AVC описывается слоеная конфигурация, использующая макроблоки и субмакроблоки, но для примера, в способе HEVC блок кодирования (CU) описывается так, как описано на фиг.10.

CU упоминается в отношении блока дерева кодирования (СТВ) и является частичной областью изображения в блоке картинки, который выполняет ту же самую роль, что и макроблок в способе H.264/AVC. Хотя последний фиксирован с размером 16×16 пикселей, размер первого не фиксирован и описывается в информации о сжатии изображения в каждой из последовательностей.

Например, в наборе параметров последовательности (SPS), который содержится в данных кодирования, выходной результат указывает наибольший размер CU (LCU (Largest Coding Unit)) и наименьший размер CU (SCU (Smallest Coding Unit)).

В каждом из LCU возможно деление на CU меньшего размера посредством установки split-flag=1 внутри диапазона, который не меньше, чем размер SCU. В примере, показанном на фиг.10, размер LCU равен 128 и наибольшая глубина наслоения равна пяти. CU с размером 2N×2N делится на CU с размером N×N, который на один уровень ниже, когда значение split-flag равно "1".

Дополнительно, CU делится на блоки предсказания (PU), которые являются областями, являющимися блоками обработки внутрикадрового или межкадрового предсказания (частичная область изображения в блоке картинки), и, кроме того, делится на блоки преобразования (TU), являющиеся областями, являющимися блоками обработки ортогонального преобразования (частичная область изображения в блоке картинки). В настоящее время в способе HEVC в дополнение к 4×4 и 8×8, возможно использование ортогонального преобразования 16×16 и 32×32.

Как в способе HEVC, описанном ниже, в случае способа кодирования, при котором CU определяется как блок, и каждый тип процесса выполняется с CU в качестве блока, возможно считать, что макроблоки в способе H.264/AVC эквивалентны LCV. Однако, поскольку CU имеет уровневую конфигурацию, как показано на фиг.10, типично, что размер LCU на верхнем уровне устанавливается большим, чем макроблок способа H.264/AVC, такой как, например, 128×128 пикселей.

Настоящее раскрытие может применяться не только к способу кодирования, использующему макроблоки в способе H.264/AVC, но также к способу кодирования, использующему CU, PU, TU и т.п., такому как способ HEVC. То есть поскольку указывается область, которой является блок или обрабатываемый блок, существует описание, использующее такой термин, как "область обрабатывающего блока", который повсеместно используется здесь ниже.

Однако ниже, в случае, когда способ Н.264/AVC описывается в качестве примера, существует описание, в котором блок используется, но блок указывает область, которая является обрабатывающим блоком и блоком в способе HEVC. С другой стороны, в случае, когда в качестве примера описывается способ H.264/AVC, описание, в котором используется блок, существует, но блок указывает область, которая является обрабатывающим блоком и блоком в способе Н.264/AVC.

Процесс адаптивного смещения в способе HEVC

Далее будет описан фильтр адаптивного смещения для способа HEVC. Пример способа адаптивного смещения, который описывается в NPL3, адаптируется в способе HEVC.

Фильтр адаптивного смещения (Picture Quality Adaptive Offset: PQAO) обеспечивается между деблокирующим фильтром (DB) и адаптивный контурным фильтром (ALF), как показано на фиг.11.

В отношении типа адаптивного смещения, существуют два типа, которые упоминаются как смещения полос, шесть типов которых упоминаются как смещения краев, дополнительно, возможно, что смещения не адаптируются. Затем, возможно разделить изображение на квадрадерево и выбрать, проводить ли кодирование, используя описанные выше типы адаптивных смещений в каждой из областей.

Информация о выборе кодируется, используя энтропийное кодирование в качестве информации PQAO, формируется битовый поток и сформированный битовый поток передается декодирующей стороне. Используя такой способ, можно повысить эффективность кодирования.

Здесь структура квадродерева будет описана со ссылкой на фиг.12.

Например, на стороне кодирования вычисляется значение функции стоимости J0 уровня 0 (глубина деления 0), которое указывает состояние, где область 0 не делится, как показано в позиции A1 на фиг.12. Кроме того, вычисляются значения J1, J2, J3 и J4 функции стоимости уровня 1 (глубина деления 0), которые указывают, что область 0 делится на четыре области 1-4.

Затем, как показано в позиции A2, значения функции стоимости сравниваются, и область деления (участки) уровня 1 выбирается при условии J0>(J1+J2+J3+J4).

Таким же образом, как показано в позиции A3, вычисляются значения J5-J20 уровня 2 (глубина деления 2), которые указывают состояние, в котором область 0 делится на 16 областей 5-20.

Затем, как показано в позиции A4, значения функции стоимости сравниваются и области деления (участки) уровня 1 выбираются в области 1 при условии J1>(J5+J6+J9+J10). Области деления (участки) уровня 2 выбираются в области 2 при условии J2>(J7+J8+J11+J12). Области деления (участки) уровня 2 выбираются в области 3 при условии J3>(J13+J14+J17+J18). Области деления (участки) уровня 1 выбираются в области 4 при условии J4>(J15+J16+J19+J20).

В результате, окончательные области квадродерева (участки), показанные в позиции A4, определяются в структуре квадродерева. Затем значения функции стоимости вычисляются в отношении всех типов смещения полос, шести типов смещения краев и отсутствия смещений для каждой области, которая определяется в структуре квадродерева, и определяется, кодировать ли ее, используя смещения.

Например, в примере, показанном на фиг.12, EO(4), то есть четвертый тип смещения края определяется в отношении области 1, как показано белой стрелкой. OFF, то есть отсутствие смещения, определяется в отношении области 7 и EO(2), то есть второй тип смещения краев, определяется в отношении области 8. OFF, то есть отсутствие смещения, определяется в отношении областей 11 и 12.

Кроме того, BO(1), то есть первый тип смещения полосы, определяется в отношении области 13 и EO(2), то есть второй тип смещения края, определяется в отношении области 14. BO(2), то есть второй тип смещения полосы, определяется в отношении области 17 и BO(1), то есть первый тип смещения полосы, определяется в отношении области 18 и EO(1), то есть первый тип смещения края определяется в отношении области 4. В отношении четвертого типа, определяется EO(1), то есть первый тип смещения края.

Далее, со ссылкой на фиг.13, будут описаны подробности смещения полосы.

Для смещений полос в примере, показанном на фиг.13, один масштаб представляет одну полосу, равную восьми пикселям, значение пикселей яркости делится на 12 полос и каждая из полос имеет независимое значение смещения.

То есть в примере, показанном на фиг.13, центральная часть из 16 полос вне 0-255 пикселей (32 полосы) составляет первую группу, и каждая из восьми полос по обе ее стороны составляют вторую группу.

Затем смещение только первой группы или только второй группы кодируется и посылается на декодирующую сторону. Обычно частым случаем бывает, что черное или белое четко определены или в одной области существует незначительный тон, и в редких случаях пиксели существуют как в первой группе, так и во второй группе. В результате, за счет посылки только одного смещения, увеличение объема кодирования подавляется преобразованием пиксельного значения для значения, которое не содержится ни в одной области квадродерева.

Здесь, в случае, когда входной сигнал обусловлен широковещательной передачей, сигнал яркости ограничивается диапазоном 16235 и цветоразностный сигнал ограничивается диапазоном 16240. В этом случае, значения смещения в отношении двух полос по каждой стороне, где применяется широкополосный стандарт, показанный на нижнем уровне на фиг.13, и показана отметка "х mark", не передаются.

Далее, со ссылкой на фиг.14, будут описаны подробности смещения краев.

При смещении краев выполняется сравнение определенного пиксельного значения с соседним пиксельным значением, которое соседствует с определенным пиксельным значением, и значение смещения передается в отношении соответствующих ему категорий.

При смещении краев существуют четыре одномерные модели, показанные в позициях A-D на фиг.14, и две двумерные модели, показанные в позициях E и F на фиг.14, и смещения передаются для каждой из них, как показано на фиг.15.

В позиции A на фиг.14 соседние пиксели располагаются слева и справа в одном измерении относительно пикселя C. То есть представляется одномерная модель с нулевым углом, имеющая нулевой градус относительно модели A на фиг.14. В позиции B на фиг.14 соседние пиксели располагаются сверху и снизу в одном измерении относительно пикселя С. То есть представляется одномерная модель с углом 90 градусов, имеющая угол 90 градусов относительно модели A на фиг.14.

В позиции C на фиг.14 соседние пиксели располагаются вверху слева и внизу справа в одном измерении относительно пикселя C. То есть представляется одномерная модель с углом 135 градусов, имеющая угол 135 градусов относительно модели A на фиг. 14. В позиции D на фиг.14 соседние пиксели располагаются вверху справа и внизу слева в одном измерении относительно пикселя C. То есть представляется одномерная модель с углом 135 градусов, имеющая угол 45 градусов относительно модели A на фиг.14.

В позиции E на фиг.14 соседние пиксели располагаются сверху и снизу и слева и справа в двух измерениях относительно пикселя C. То есть представляется двумерная крестообразная модель, которая пересекается в пикселе C. В позиции F на фиг.14 соседние пиксели располагаются сверху справа и снизу слева в двух измерениях относительно пикселя C. То есть представляется двумерная диагональная модель, которая пересекает по диагонали пиксель C.

В позиции A на фиг.15 показан список правил для одномерной модели (правило классификации для одномерных моделей). Модели A-D, показанные на фиг.14, классифицируются на пять типов категорий, таких, как показаны в позиции A на фиг.15, смещение вычисляется в соответствии с категориями и посылается в секцию декодирования.

Существует классификация на категорию 1 в случае, когда пиксельное значение пикселя C меньше, чем пиксельные значения двух соседних пикселей. Существует классификация на категорию 2 в случае, когда пиксельное значение пикселя C меньше, чем одно из пиксельных значений двух соседних пикселей, и совпадает с пиксельным значением другого соседнего пикселя. Существует классификация на категорию 3 в случае, когда пиксельное значение пикселя C больше, чем одно из пиксельных значений двух соседних пикселей, и совпадает с пиксельным значением другого соседнего пикселя. Существует классификация на категорию 4 в случае, когда пиксельное значение пикселя C больше, чем пиксельные значения двух соседних пикселей. Существует классификация на категорию 0 в случаях, когда отсутствует любое из приведенных выше условий классификации.

В позиции B на фиг.15 показан список правил для двумерных моделей (правило классификации для двумерных моделей). Модели E-F, показанные на фиг.14, классифицируются на семь типов категорий, таких, как показаны в позиции B на фиг.15, смещение посылается в секцию декодирования в соответствии с категориями.

Существует классификация на категорию 1 в случае, когда пиксельное значение пикселя C меньше, чем пиксельные значения четырех соседних пикселей. Существует классификация на категорию 2 в случае, когда пиксельное значение пикселя C меньше, чем пиксельные значения трех соседних пикселей и совпадает с пиксельным значением четвертого соседнего пикселя. Существует классификация на категорию 3 в случае, когда пиксельное значение пикселя C меньше, чем пиксельные значения трех соседних пикселей и больше, чем пиксельное значение четвертого соседнего пикселя.

Существует классификация на категорию 4 в случае, когда пиксельное значение пикселя C больше, чем пиксельные значения трех соседних пикселей, и меньше, чем пиксельное значение четвертого соседнего пикселя. Существует классификация на категорию 5 в случае, когда пиксельное значение пикселя C больше, чем пиксельные значения трех соседних пикселей, и совпадает с пиксельным значением четвертого соседнего пикселя. Существует классификация на категорию 6 в случае, когда пиксельное значение пикселя C больше, чем пиксельные значения четырех соседних пикселей. Существует классификация на категорию 0 в случаях, когда отсутствует любое из приведенных выше условий классификации.

Как описано выше, для смещения края, поскольку достаточно, если одномерные модели выполняют сравнение с двумя соседними пикселями, объем вычислений снижается. Здесь, в условиях кодирования с высокой эффективностью, значение однобитового смещения посылается на декодирующую сторону с высокой точностью по сравнению с условиями кодирования с низкой задержкой.

Процесс адаптивного смещения, описанный выше, выполняется в отношении сигнала яркости для способа HEVC.

Однако, выполнение процесса адаптивного смещения в отношении цветоразностного сигнала связано с увеличением объема вычислений. Кроме того, разрешающая способность цветоразностного сигнала низкая по сравнению с сигналом яркости, в частности, в случае, когда вход равен 4:2:0 и 4:2:2, и выполнение того же самого процесса, что и для сигнала яркости, является избыточным.

С учетом вышесказанного, в настоящем варианте осуществления существует возможность повысить эффективность кодирования цветоразностного сигнала, применяя фильтр адаптивного смещения также и к цветоразностному сигналу.

Пример конфигурации устройства кодирования изображения

На фиг.16 представлен вариант осуществления устройства кодирования изображения в качестве устройства обработки изображения, к которому применяется настоящее раскрытие.

Устройство 101 кодирования изображения, показанное на фиг.16, является таким же, как устройство 1 кодирования изображения, показанное на фиг.1, с той точки зрения, что оно содержит секцию 11 A/D-преобразования, буфер 12 перегруппировки изображения, секцию 13 вычислений, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, аккумуляторный буфер 17, секцию 18 инверсного квантования, секцию 19 инверсного ортогонального преобразования и секцию 20 вычислений. Устройство 101 кодирования изображения, показанное на фиг.16, является тем же самым, что и устройство 1 кодирования изображения, показанное на фиг.1, с той точки зрения, что оно содержит деблокирующий фильтр 21, память 22 кадров, секцию 23 выбора, секцию 24 внутрикадрового предсказания, секцию 25 предсказания и компенсации движения, секцию 26 выбора изображения предсказания и секцию 27 управления скоростью.

Кроме того, устройство 101 кодирования изображения, показанное на фиг.16, отличается от устройства 1 кодирования изображения, показанного на фиг.1, тем, что добавляется адаптивный контурный фильтр 71, показанный на фиг.3, который был описан выше. Дополнительно, устройство 101 кодирования изображения, показанное на фиг.16, отличается от устройства 1 кодирования изображения, показанного на фиг.1, тем, что добавляется секция 111 адаптивного смещения и секция 112 цветоразностного адаптивного смещения.

Устройство 101 кодирования изображения, покзанное на фиг.16, кодирует данные изображения, используя способ предсказания. Здесь, в качестве способа кодирования используются, например, способ кодирования Н.264 и MPEG (Moving Picture Experts Group, экспертная группа по кинематографии) 4, часть 10 (AVC (Advanced Video Coding, перспективное видеокодирование)) (упоминается ниже как способ H.264/AVC), способ HEVC (High Efficiency Video Coding, высокоэффективное видеокодирование).

То есть секция 111 адаптивного смещения и секция 112 адаптивного смещения цветоразностного сигнала обеспечиваются после деблокирующего фильтра 21 и перед адаптивным контурным фильтром 71. То есть секция 111 адаптивного смещения и секция секция 112 адаптивного смещения цветоразностного сигнала обеспечиваются в контуре компенсации движения, которая образуется буфером 12 перегруппировки изображения, секцией 13 вычислений, секцией 14 ортогонального преобразования, секцией 15 квантования, секцией 18 инверсного квантования, секцией 19 инверсного ортогонального преобразования, секцией 20 вычислений, деблокирующим фильтром 21, адаптивным контурным фильтром 71, памятью 22 кадров, секцией 23 выбора, секцией 24 внутрикадрового предсказания, секцией 25 предсказания и компенсации движения и секцией 26 выбора изображения предсказания. То есть изображение используется в контуре компенсации движения как контурное.

Секция 111 адаптивного смещения выполняет процесс смещения в отношении сигнала яркости декодируемого изображения, приходящего от деблокирующего фильтра 21 (информация в основной полосе после локального декодирования). То есть секция 111 адаптивного смещения определяет структуру квадродерева, описанную со ссылкой на фиг.12. Конкретно, секция 111 адаптивного смещения выполняет деление области в соответствии с квадродеревом, используя сигнал яркости, и определяет тип смещения из двух типов смещения полосы, шести типов смещения края и отсутствия смещения для каждой области, которая была поделена. Кроме того, секция 111 адаптивного смещения вычисляет значение смещения относительно сигнала яркости для каждой области, которая была поделена, посредством ссылки на структуру квадродерева.

Секция 111 адаптивного смещения подает структуру квадродерева, которая была определена, и значение смещения в отношении сигнала яркости, которое было вычислено, (упоминаемое ниже как значение смещения сигнала яркости) в секцию 16 кодирования без потерь и секцию 112 адаптивного смещения цветоразностного сигнала.

Кроме того, секция 111 адаптивного смещения выполняет процесс смещения в отношении сигнала яркости декодируемого изображения, приходящего от деблокирующего фильтра 21, используя квадродерево, которое было определено, и значение смещения сигнала яркости. Затем, секция 111 адаптивного смещения подает сигнал яркости после процесса смещения и цветоразностный сигнал, для которого процесс смещения был выполнен секцией 112 адаптивного смещения цветоразностного сигнала, на адаптивный контурный фильтр 71.

Секция 112 адаптивного смещения цветоразностного сигнала выполняет процесс смещения в отношении цветоразностного сигнала, основываясь на структуре квадродерева, полученной от секции 111 адаптивного смещения. То есть секция 112 адаптивного смещения цветоразностного сигнала вычисляет значение смещения относительно цветоразностного сигнала для каждой области, которая была поделена, посредством ссылки на структуру квадродерева секцией адаптивного смещения. Секция 112 адаптивного смещения цветоразностного сигнала выполняет процесс смещения в отношении цветоразностного сигнала декодируемого изображения, приходящего от деблокирующего фильтра 21, используя определенное значение смещения цветоразностного сигнала. Затем, секция 112 адаптивного смещения цветоразностного сигнала подает цветоразностный сигнал после процесса смещения на секцию 111 адаптивного смещения.

Дополнительно, секция 112 адаптивного смещения цветоразностного сигнала вычисляет остаток предсказания из значения смещения цветоразностного сигнала, используя значение смещения в отношении определенного цветоразностного сигнала (ниже упоминается как значение смещения цветоразностного сигнала), значение смещения сигнала яркости и коэффициент корреляции и подает их на секцию 16 кодирования без потерь.

Адаптивный контурный фильтр 71 выполняет улучшение качества изображения, выполняя процесс с помощью контурного фильтра, используя фильтр Винера в отношении декодируемого изображения, который смещается секцией 111 адаптивного смещения.

Процесс адаптивного смещения, соответствующий настоящему раскрытию

Процесс адаптивного смещения, который выполняется, используя секцию 111 адаптивного смещения и секцию 112 адаптивного смещения цветоразностного сигнала, показанные на фиг.16, будет описан с соответствующей ссылкой опять на фиг.12-15.

Сначала, в устройстве 101 кодирования изображения, в котором существует корреляция и используется цветоразностный сигнал, определение структуры квадродерева, которая описана выше со ссылкой на фиг.12, выполняется только для сигнала яркости и разделение области на структуру квадродерева, которая определена, используя сигнал яркости, также применяется к цветоразностному сигналу.

Благодаря этому, поскольку достаточно, чтобы деление области не выполнялось индивидуально для сигнала яркости и цветоразностного сигнала, возможно сократить увеличение объема вычислений. Дополнительно, поскольку нет необходимости передавать информацию, которая связана с делением области, являющуюся разностью между сигналом яркости и цветоразностным сигналом, на сторону декодирования, объем кодирования информации сжатия изображения не увеличивается.

Здесь тип смещения определяется, основываясь на структуре квадродерева сигнала яркости. Конечно, тип смещения может быть одним и тем же для сигнала яркости и для цветоразностного сигнала. Кроме того, например, деление может быть выполнено в соответствии только с двумя типами ручного смещения и смещения краев относительно цветоразностного сигнала. То есть в этом случае обработка выполняется относительно цветоразностного сигнала со структурой квадродерева с тремя типами смещения: смещение полос, смещение краев и отсутствие смещения (смещение не выполняется).

Дополнительно, когда применяется смещение полос, цветоразностный сигнал посылает смещение, которое меньше 32 полос относительно сигнала яркости, показанного на фиг.13, например, 16 полос, за счет чего разрешающая способность ниже, чем у сигнала яркости. Благодаря этому возможно улучшение качества изображения как результат сокращения увеличения объема кодирования.

Кроме того, 0 имеет тот смысл, что не существует составляющей сигнала яркости, а 128 означает, что не существует никакой составляющий в отношении цветоразностного сигнала в случае 8 бит. В результате, как показано на фиг.13, когда посылается информация, связанная с первой группой в сигнале яркости, то посылается и информация, связанная со второй группой в цветоразностном сигнале. С другой стороны, когда посылается информация, связанная со второй группой в сигнале яркости, то посылается и информация, связанная с первой группой в цветоразностном сигнале. Это может иметь место.

Дополнительно, остаток предсказания, выраженный в следующем уравнении (35), посылается на сторону декодирования вместе со смещением края и полосовым смещением и без значения смещения Oc относительно цветоразностного сигнала.

Здесь O_L является значением смещения относительно сигнала яркости, а альфа и бета являются коэффициентами корреляции, альфа и бета могут вычислять каждое из независимых значений двух типов смещений полос и шести типов смещений краев и могут передаваться декодирующей стороне. Альтернативно, два типа коэффициентов корреляции, альфа и бета, могут вычисляться и могут посылаться относительно двух типов смещения полос и шести типов смещения краев. Дополнительно, коэффициенты корреляции альфа и бета могут вычисляться индивидуально и могут посылаться в отношении Cb и Cr.

Дополнительно, кроме того, существуют 32 полосы со смещением полосы относительно сигнала яркости, но в отношении цветоразностного сигнала остаток предсказания, выражаемый следующим уравнением (36), может посылаться на декодирующую сторону, если предполагается, что O_L соответствует O_L0 и O_L1 в случае, когда существуют только 16 полос.

Здесь, уравнение (35) и уравнение (36) используют для значения смещения сигнала яркости то же самое значение, что и для цветоразностного сигнала, в случае, когда альфа=1 и бета=0. Дополнительно, в случае устройства 101 кодирования изображения значение смещения (остаток предсказания) в отношении цветоразностного сигнала может быть квантовано.

Кроме того, как будет описано далее, используя сигнал яркости и цветоразностный сигнал может определяться соответствием категорий. То есть, например, устанавливаются четыре пикселя яркости, чтобы соответствовать одному цветоразностному пикселю в случае 4:2:0, но в случае, когда все или три из четырех пикселей яркости принадлежат к одной и той же категории, та же самая категория может применяться также к цветоразностному сигналу.

В случае, когда два из каждых пикселей яркости принадлежат к одной и той же категории, посылается флаг, который представляет информацию, которая относится к тому, какие из категорий должны применяться в отношении цветоразностного сигнала. В других случаях, информация о категории, даже в отношении цветоразностного сигнала, посылается, как описано выше.

Таким образом, существует возможность повысить эффективность кодирования цветоразностного сигнала без увеличения объема вычислений, применяя адаптивное смещение также и в отношении цветоразностного сигнала.

Пример конфигурации секции адаптивного смещения и секции адаптивного смещения цветоразностного сигнала

Далее будет описана каждая секция устройства 101 кодирования изображения. На фиг.17 представлены примеры конфигурации секции 111 адаптивного смещения и секции 112 адаптивного смещения цветоразностного сигнала.

В примере, показанном на фиг.17, секция 111 адаптивного смещения выполнена с возможностью содержания в ней секции 131 определения структуры квадродерева, секции 132 вычисления смещения сигнала яркости, секции 133 смещения сигнала яркости и буфера 134 изображения.

Секция 112 адаптивного смещения цветоразностного изображения выполнена с возможностью содержания в ней секции 141 вычисления смещения цветоразностного изображения, секции 142 вычисления коэффициента корреляции, секции 143 вычисления значения предсказания смещения цветоразностного сигнала и секции 144 смещения цветоразностного сигнала.

Пиксельное значение после деблокирования деблокирующим фильтром 21 подается на секцию 131 определения структуры квадродерева, секцию 133 смещения сигнала яркости и секцию 144 смещения цветоразностного сигнала.

Секция 131 определения структуры квадродерева определяет структуру квадродерева, описанную выше о ссылкой на фиг.12, обращаясь к пиксельному значению сигнала яркости после деблокирования. То есть секция 131 определения структуры квадродерева делит изображение на квадродерево и определяет, какой из типов адаптивного смещения, описанных выше, должен кодировать каждую из областей, используя значение функции стоимости.

Секция 131 определения структуры квадродерева подает определенную структуру квадродерева на секцию 132 вычисления смещения сигнала яркости, секцию 133 смещения сигнала яркости, секцию 141 вычисления смещения цветоразностного сигнала и секцию 144 смещения цветоразностного сигнала.

Секция 132 вычисления смещения сигнала яркости выполняет вычисление значения смещения сигнала яркости в отношении каждой области, которая делится на квадродерево в отношении сигнала яркости. Секция 132 вычисления смещения сигнала яркости подает вычисленную информацию о смещении сигнала яркости на секцию 133 смещения сигнала яркости, секцию 142 вычисления коэффициента корреляции и секцию 143 вычисления значения предсказания смещения цветоразностного сигнала. Кроме того, секция 132 вычисления смещения сигнала яркости подает вычисленную информацию о смещении сигнала яркости на секцию 16 кодирования без потерь вместе с информацией о структуре квадродерева.

Секция 133 смещения сигнала яркости выполняет процесс смещения в отношении пиксельного значения сигнала яркости после деблокирования. То есть секция 133 смещения сигнала яркости добавляет значение смещения сигнала яркости, которое вычисляется, используя секцию 132 вычисления смещения сигнала яркости в отношении пиксельного значения яркости в каждой области, которая делится на квадродерево, используя секцию 131 определения структуры квадродерева. Секция 133 смещения сигнала яркости аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 134.

Пиксельный буфер 134 после процесса смещения ждет оба значения сигнала яркости и цветоразностного сигнала, чтобы подогнать их друг к другу и подает подогнанные пиксельные значения после процесса смещения на адаптивный контурный фильтр 71.

Секция 141 вычисления смещения цветоразностного сигнала и секция 144 смещения цветоразностного сигнала заранее определяют соответствие количества разделений, количество полос или категорий в случае цветоразностного сигнала, как описано выше в отношении квадродерева сигнал яркости. Учитывая это, секция 141 вычисления смещения цветоразностного сигнала вычисляет значение смещения цветоразностного сигнала для каждой области, которая делится на квадродерево секцией 131 определения структуры квадродерева в отношении цветоразностного сигнала. Секция 141 вычисления смещения цветоразностного сигнала подает информацию о вычисленном смещении цветоразностного сигнала на секцию 142 вычисления коэффициента корреляции и на секцию 144 смещения цветоразностного сигнала.

Секция 142 вычисления коэффициента корреляции вычисляет коэффициенты корреляции альфа и бета, используя информацию о смещении сигнала яркости, полученную от секции 132 вычисления смещения сигнала яркости, и информацию о смещении цветоразностного сигнала, полученную от секции 141 вычисления смещения цветоразностного сигнала. Секция 142 вычисления коэффициентов корреляции подает вычисленные значения коэффициентов корреляции альфа и бета и информацию о смещении цветоразностного сигнала на секцию 143 вычисления значения предсказания цветоразностного сигнала. Кроме того, секция 142 вычисления коэффициентов корреляции подает вычисленные значения коэффициентов корреляции альфа и бета на секцию 16 кодирования без потерь.

Секция 143 вычисления значения предсказания смещения цветоразностного сигнала вычисляет остаток предсказания (упоминаемый ниже как остаток смещения цветоразностного сигнала), используя значение смещения сигнала яркости, полученное от секции 132 вычисления смещения сигнала яркости, значения коэффициентов корреляции альфа и бета, полученные от секции 142 вычисления коэффициентов корреляции, и значение смещения цветоразностного сигнала. В этом случае используются, например, уравнение (35) и уравнение (36), описанные выше. Секция 143 вычисления значения предсказания смещения цветоразностного сигнала подает вычисленный остаток смещения цветоразностного сигнала на секцию 16 кодирования без потерь.

Секция 144 смещения цветоразностного сигнала выполняет процесс смещения в отношении пиксельного значения цветоразностного сигнала после деблокирования. То есть секция 144 смещения цветоразностного сигнала добавляет значение смещения цветоразностного сигнала, которое вычисляется секцией 141 вычисления смещения цветоразностного сигнала в отношении пиксельного значения цветоразностного сигнала в каждой области, которая делится на квадродерево, используя секцию 131 определения структуры квадродерева. Секция 144 смещения цветоразностного сигнала аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 134.

Поток операций процесса кодирования

Далее будет описан поток операций каждого процесса, выполняемого устройством 101 кодирования изображения. Сначала со ссылкой на блок-схему, показанную на фиг.18, будет описан пример потока операций процесса кодирования со ссылкой на блок-схему последовательности выполнения операций процесса кодирования.

На этапе S101 секция 11 A/D-преобразования выполняет A/D-преобразование вводимых данных изображения. На этапе S102 буфер 12 перегруппировки изображения запоминает изображения после того, как выполнено A/D-преобразование, и выполняет перегруппирование из порядка отображения каждой картинки в порядок кодирования.

В случае, когда изображение, являющееся целью обработки, которое подается из буфера 12 перегруппировки изображения, является блочным изображением, для которого внутрикадровая обработка выполнена, опорное изображение, для которого декодирование закончено, считывается из памяти 22 кадров и подается в секцию 24 внутрикадрового предсказания через секцию 23 выбора.

На основе изображения на этапе S103 секция 24 внутрикадрового предсказания выполняет внутрикадровое предсказание, используя все режимы внутрикадрового предсказания, которые возможны на блочных изображениях, являющихся целью обработки. Здесь, поскольку в качестве опорного изображения, для которого декодирование закончено, используется изображение, прошедшее фильтрацию или смещение, используя деблокирующий фильтр 21, обработка секцией 111 адаптивного смещения, секцией 112 адаптивного смещения цветоразностного сигнала или адаптивным контурным фильтром 71 не выполняется.

Благодаря этому процессу внутрикадровое предсказание выполняется, используя все возможные режимы внутрикадрового предсказания, и значение функции стоимости вычисляется в отношении всех возможных режимов внутрикадрового предсказания. Затем, основываясь на вычисленных значениях функции стоимости, выбирается оптимальный режим внутрикадрового предсказания и изображение предсказания, которое формируется посредством внутрикадрового предсказания в оптимальном режиме внутрикадрового предсказания, и его значение функции стоимости подаются на секцию 26 выбора изображения предсказания.

В случае, когда изображение, являющееся целью обработки, которое подается из буфера 12 перегруппировки изображения, является изображением, для которого выполнено межкадровое предсказание, опорное изображение считывается из памяти 22 кадров и подается в секцию 25 предсказания и компенсации движения через секцию 23 выбора. На основе изображения, на этапе S104 секция 25 предсказания и компенсации выполняет процесс предсказания и компенсации движения.

Благодаря этому процессу процесс предсказания движения выполняется, используя все возможные режимы межкадрового предсказания, значение функции стоимости вычисляется в отношении всех возможных режимов межкадрового предсказания и оптимальный режим межкадрового предсказания выбирается, основываясь на вычисленной функции стоимости. Затем изображение предсказания, сформированное, используя оптимальный режим межкадрового предсказания, и его значение функции стоимости, подаются на секцию 26 выбора режима предсказания.

На этапе S105, секция 26 выбора режима предсказания определяет оптимальный режим предсказания из числа оптимального режима внутрикадрового предсказания и оптимального режима межкадрового предсказания, основываясь на каждом из значений функции стоимости, которые выводятся секцией 24 внутрикадрового предсказания и секцией 25 предсказания и компенсации движения. Затем секция 26 выбора изображения предсказания выбирает изображение предсказания в определенном оптимальном режиме предсказания и подает его на секции 13 и 20 вычислений. Режим предсказания используется при вычислениях на этапах S106 и S111, которые будут описаны ниже.

Здесь информация о выборе изображения предсказания подается в секцию 24 внутрикадрового предсказания или в секцию 25 предсказания и компенсации движения. В случае, когда в оптимальном режиме внутрикадрового предсказания выбрано изображение предсказания, секция 24 внутрикадрового предсказания подает информацию, указывающую оптимальный режим внутрикадрового предсказания (то есть информацию о режиме внутрикадрового предсказания), в секцию 16 кодирования без потерь.

В случае, когда в оптимальном режиме внутрикадрового предсказания выбрано изображение предсказания, секция 25 предсказания и компенсации движения выводит информацию, указывающую оптимальный режим межкадрового предсказания и дополнительно, по мере необходимости, информацию, соответствующую оптимальному режиму межкадрового предсказания, в секцию 16 кодирования без потерь. Информация о векторе движения, информация об опорном кадре и т.п. является информацией, соответствующей оптимальному режиму межкадрового предсказания.

На этапе S106 секция 13 вычислений вычисляет разницу между изображением, перегруппированным на этапе S102, и изображением предсказания, выбранным на этапе S105. Изображение предсказания подается от секции 25 предсказания и компенсации движения в случае выполнения межкадрового предсказания и от секции 24 внутрикадрового предсказания в случае выполнения внутрикадрового предсказания в секцию 13 вычислений каждое через секцию 26 выбора изображения предсказания.

Объем данных для остаточных данных является меньшим по сравнению с первоначальными данными изображения. Соответственно, возможно сжать объем данных по сравнению со случаем, в котором изображение кодируется так, как оно есть.

На этапе S107 секция 14 ортогонального преобразования выполняет ортогональное преобразование для информации о разнице, поданной от секции 13 вычислений. Конкретно, выполняется ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и выводится коэффициент преобразования.

На этапе S108 секция 15 кантования квантует коэффициент преобразования. Во время квантования скорость управляется, как описано для процесса на этапе S118, который будет представлен позже.

Информация о разности, квантованная как описано выше, локально декодируется следующим образом. То есть на этапе S109 секция 18 инверсного квантования выполняет инверсное квантование коэффициента преобразования, который квантуется секцией 15 квантования с характеристиками, соответствующими характеристикам секции 15 квантования. На этапе S110 секция 19 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента преобразования, для которого инверсное квантование было выполнено секцией 18 инверсного квантования, с характеристиками, соответствующими характеристикам секции 14 ортогонального преобразования.

На этапе S111 секция 20 вычислений добавляет изображение предсказания, введенное через секцию 26 выбора изображения предсказания, к разностной информации, которая была локально декодирована, и формирует локально декодированное изображение (изображение, которое соответствует входному сигналу на секцию 13 вычислений, то есть которое локально декодировано).

На этапе S112 деблокирующий фильтр 21 выполняет процесс, выполняемый деблокирующим фильтром в отношении изображения с выхода секции 20 вычислений. Благодаря этому искажение блока удаляется. Декодируемое изображение от деблокирующего фильтра 21 выводится в секцию 111 адаптивного смещения.

На этапе S113 секция 111 адаптивного смещения и секция 112 адаптивного смещения цветоразностного сигнала выполняют процесс адаптивного смещения. Далее, со ссылкой на фиг.19, будут описаны подробности процесса адаптивного смещения. Благодаря этому процессу на основе сигнала яркости определяется структура квадродерева и вычисляется каждое из значений смещения относительно сигнала яркости и цветоразностного сигнала области, которая поделена в соответствии с квадродеревом, которое было определено. Затем выполняется процесс смещения относительно сигнала яркости и цветоразностного сигнала области, которая поделена в соответствии с определенным квадродеревом. Пиксельное значение после смещения подается в адаптивный контурный фильтр 71.

Кроме того, определяются коэффициенты корреляции и, используя значение смещения сигнала яркости и значение смещения цветоразностного сигнала, определяется остаток смещения цветоразностного сигнала. Определенный остаток смещения цветоразностного сигнала подается на секцию 16 кодирования без потерь вместе с информацией о структуре квадродерева и смещении сигнала яркости. Кроме того, также на секцию 16 кодирования без потерь подаются коэффициенты корреляции.

На этапе S114 адаптивный контурный фильтр 71 выполняет процесс, выполняемый адаптивным контурным фильтром, в отношении пиксельного значения после процесса, используя коэффициент адаптивного фильтра. Пиксельное значение после процесса, выполняемого адаптивным фильтром, выводится в память 22 кадров.

На этапе S115 память 22 кадров сохраняет изображение, для которого выполнена фильтрация. Здесь в памяти кадров используется изображение, для которого не выполнены фильтрация или смещение, использующие деблокирующий фильтр 21, секцию 111 адаптивного смещения, секцию 112 адаптивного смещения цветоразностного сигнала или адаптивный контурный фильтр 71, и оно подается из секции 20 вычислений и запоминается.

С другой стороны, коэффициент преобразования, квантованный на этапе S108, описанном выше, также подается на секцию 16 кодирования без потерь. На этапе S116 секция 116 кодирования без потерь кодирует коэффициент преобразования, который был квантован, и выводит его посредством секции 15 квантования. То есть разностное изображение подвергается кодированию без потерь, такому как кодирование переменной длины или арифметическое кодирование, и сжимается.

Кроме того, в этом случае кодируется и добавляется к информации заголовка информация об оптимальном режиме внутрикадрового предсказания от секции 24 внутрикадрового предсказания, информация об оптимальном режиме межкадрового предсказания от секции 25 предсказания и компенсации движения и т.п., которая вводится в секцию 16 кодирования без потерь на описанном выше этапе S105. Дополнительно, информация о структуре квадродерева, смещении сигнала яркости и остатке смещения цветоразностного сигнала, которые вводятся в секцию 16 кодирования без потерь на описанном выше этапе S113 также кодируется и добавляется к информации заголовка. Здесь коэффициенты корреляции добавляются к заголовку среза или к заголовку LCU (Largest Coding Unit, наибольшего блока кодирования).

Например, информация, указывающая режим межкадрового предсказания, кодируется для каждого из макроблоков. Информация о векторе движения и информация об опорном кадре кодируется для каждого блока, являющегося целью кодирования.

На этапе S117 аккумулирующий буфер 17 накапливает разностное изображение в качестве сжатого изображения. Сжатое изображение, накопленное в аккумуляторном буфере 17, соответствующим образом выводится и передается на декодирующую сторону по пути передачи.

На этапе S118 секция 27 управления скоростью управляет скоростью операции квантования секции 15 квантования, основываясь на сжатом изображении, которое накапливается в аккумуляторном буфере 17, так что переполнение или отрицательное переполнение не создается.

Когда процесс на этапе S118 закончен, процесс кодирования закончен.

Поток операций процесса адаптивного смещения

Далее, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг.19, будет описана последовательность операций процесса адаптивного смещения, выполняемого на этапе S113, показанном на фиг.18.

Пиксельное значение после деблокирования деблокирующим фильтром 21 подается на секцию 131 определения структуры квадродерева, секцию 133 смещения сигнала яркости и секцию 144 смещения цветоразностного сигнала.

На этапе S131 секция 131 определения структуры квадродерева определяет структуру квадродерева, описанную выше со ссылкой на фиг.12, обращаясь к пиксельному значению сигнала яркости после деблокирования. То есть посредством деления изображения на квадродерево и того, какой из типов адаптивного смещения, описанных выше, должен проводить кодирование при определении каждой из областей, используя значение функции стоимости, определяется структура квадродерева. Структура квадродерева, которая определена, подается на секцию 132 вычисления смещения сигнала яркости, секцию 133 смещения сигнала яркости, секцию 141 вычисления смещения цветоразностного сигнала и секцию 144 смещения цветоразностного сигнала.

На этапе S132 секция 132 вычисления смещения сигнала яркости выполняет вычисление значения смещения сигнала яркости в отношении каждой области, которая делится на квадродерево относительно сигнала яркости. Вычисленная информация о смещении сигнала яркости подается на секцию 133 смещения сигнала яркости, секцию 142 вычисления коэффициента корреляции и секцию 143 вычисления значения предсказания смещения цветоразностного сигнала.

С другой стороны, на этапе S133 секция 141 вычисления смещения цветоразностного сигнала выполняет вычисление значения смещения цветоразностного сигнала для каждой области, которая делится на квадродерево секцией 131 определения структуры квадродерева в отношении цветоразностного сигнала. Вычисленная информация о смещении цветоразностного сигнала подается на секцию 142 вычисления коэффициента корреляции и секцию 144 смещения цветоразностного сигнала.

На этапе S134 секция 142 вычисления коэффициента корреляции вычисляет коэффициенты корреляции альфа и бета, используя информацию о смещении сигнала яркости, полученную от секции 132 вычисления смещения сигнала яркости, и информацию о смещении цветоразностного сигнала, полученную от секции 141 вычисления смещения цветоразностного сигнала. Вычисленные значения коэффициентов корреляции альфа и бета и информация о смещении цветоразностного сигнала подаются на секцию 143 вычисления значения предсказания смещения цветоразностного сигнала.

На этапе S135 секция 143 вычисления значения предсказания смещения цветоразностного сигнала вычисляет остаток смещения цветоразностного сигнала как остаток предсказания, используя уравнение (35) и уравнение (36). При вычислении остатка смещения цветоразностного сигнала используются значение смещения сигнала яркости, полученное от секции 132 вычисления смещения сигнала яркости, значения коэффициентов корреляции альфа и бета, полученные от секции 142 вычисления коэффициентов корреляции, и значение смещения цветоразностного сигнала.

На этапе S136 секция 111 адаптивного смещения и секция 112 адаптивного смещения цветоразностного сигнала посылают на секцию 16 кодирования без потерь структуру квадродерева, значение смещения сигнала яркости, коэффициенты корреляции альфа и бета и остаток смещения цветоразностного сигнала, являющиеся параметрами адаптивного смещения. То есть секция 132 вычисления смещения сигнала яркости подает вычисленную информацию о смещении сигнала яркости на секцию 16 кодирования без потерь вместе с информацией о структуре квадродерева. Секция 142 вычисления коэффициентов корреляции подает вычисленные значения коэффициентов корреляции альфа и бета на секцию 16 кодирования без потерь. Секция 143 вычисления значения предсказания смещения цветоразностного сигнала подает вычисленный остаток смещения цветоразностного сигнала на секцию 16 кодирования без потерь. Здесь, остаток смещения цветоразностного сигнала может квантоваться секцией 15 квантования.

Параметры адаптивного смещения кодируются секцией 16 кодирования без потерь, показанной на описанном выше этапе S116 на фиг.18, и добавляются к информации заголовка.

На этапе S137 секция 133 смещения сигнала яркости и секция 144 смещения цветоразностного сигнала каждая выполняет процессы смещения в отношении пиксельных значений сигнала яркости и цветоразностного сигнала после деблокирования. То есть секция 133 смещения сигнала яркости добавляет значение смещения сигнала яркости, которое вычисляется, используя секцию 132 вычисления смещения сигнала яркости в отношении пиксельного значения яркости для каждой области, которая делится на квадродерево секцией 131 определения структуры квадродерева. Секция 144 смещения цветоразностного сигнала добавляет значение смещения, которое вычисляется, используя секцию 141 вычисления смещения цветоразностного сигнала в отношении пиксельного значения цветоразностного сигнала для каждой области, которая делится на квадродерево секцией 131 определения структуры квадродерева.

Пиксельное значение после процесса смещения накапливается в пиксельном буфере 134, и сигнал яркости и цветоразностный сигнал подаются на адаптивный контурный фильтр 71 при их соответствии.

Как сказано выше, поскольку процесс смещения в отношении цветоразностного сигнала выполняется, основываясь на структуре квадродерева, определенной на основе сигнала яркости, возможно повысить эффективность кодирования, в то же время сокращая увеличение объема вычислений.

Кроме того, поскольку в отношении цветоразностного сигнала на декодирующую сторону посылается остаток смещения цветоразностного сигнала, который вычисляется, используя значение смещения сигнала яркости и корреляционные коэффициенты, возможно повысить эффективность кодирования.

2. Второй вариант осуществления

Устройство декодирования изображения

На фиг.20 представлен вариант осуществления устройства декодирования изображения в качестве устройства обработки изображения, к которому применяется настоящее раскрытие. Устройство 201 декодирования изображения, показанное на фиг.20, является устройством декодирования, соответствующим устройству 101 кодирования изображения, показанному на фиг.16.

Декодируемые данные, которые декодируются, используя устройство 101 кодирования изображения, передаются устройству 201 декодирования изображения, соответствующему устройству 101 кодирования изображения, по заданному пути передачи и декодируются.

Устройство 201 декодирования изображения, показанное на фиг.20, является таким же, как устройство 31 декодирования изображения, показанное на фиг.2, с той точки зрения, что оно содержит аккумуляторный буфер 41, секцию 42 декодирования без потерь, секцию 43 инверсного квантования, секцию 44 инверсного ортогонального преобразования и секцию 45 вычислений. Устройство 201 декодирования изображения, показанное на фиг.20, является таким же, как устройство 31 декодирования изображения, показанное на фиг.2, с той точки зрения, что оно содержит деблокирующий фильтр 46, буфер 47 перегруппировки изображения, секцию 48 D/A-преобразователя, память 49 кадров, секцию 50 выбора, секцию 51 внутрикадрового предсказания, секцию 52 компенсации движения и секцию 53 выбора изображения.

Кроме того, устройство 201 декодирования изображения, показанное на фиг.20, отличается от устройства 31 декодирования изображения, показанного на фиг.2, тем, что добавляется адаптивный контурный фильтр 91, показанный на фиг.4, который описан выше.

Дополнительно, устройство 201 декодирования изображения, показанное на фиг.20, отличается от устройства 31 декодирования изображения, показанного на фиг.1, тем, что добавляется секция 211 адаптивного смещения и секция 212 адаптивного смещения цветоразностного сигнала.

То есть секция 42 декодирования без потерь декодирует информацию, кодированную секцией 16 кодирования без потерь, которая подается от аккумулирующего буфера 41, используя способ, соответствующий способу кодирования секции 16 кодирования без потерь, таким же образом, как секция 42 декодирования без потерь, показанная на фиг.2. В этом случае, в примере, показанном на фиг.20, декодируются информация о векторе движения, информация об опорном кадре, информация о режиме предсказания (то есть информация, указывающая режим внутрикадрового предсказания или режим межкадрового предсказания), параметры адаптивного смещения и т.п. Параметры адаптивного смещения определяются структурой квадродерева, значением смещения сигнала яркости, коэффициентами корреляции альфа и бета, остатком смещения цветоразностного сигнала и т.п., которые кодированы секцией 16 кодирования без потерь, показанной на фиг.16, как описано выше.

Здесь, поскольку коэффициенты корреляции альфа и бета присоединены к заголовку среза или заголовку LCU (Largest Coding Unit, наибольшего блока кодирования) коэффициенты корреляции альфа и бета получаются от него. Кроме того, в случае, когда остаток смещения цветоразностного сигнала квантован, остаток смещения цветоразностного сигнала подается на секцию 12 адаптивного смещения цветоразностного сигнала после инверсного квантования, выполняемого секцией 43 инверсного квантования.

Секция 211 адаптивного смещения и секция 212 адаптивного смещения цветоразностного сигнала обеспечиваются после деблокирующего фильтра 46 и перед адаптивным контурным фильтром 91. То есть секция 211 адаптивного смещения и секция 212 адаптивного смещения цветоразностного сигнала входят в состав контура компенсации движения, образуемого секцией 45 вычислений, деблокирующим фильтром 46, адаптивного контурного фильтра 91, памятью 49 кадров, секцией 50 выбора, секцией 52 компенсации и секцией 53 выбора изображения. То есть изображение используется в контуре компенсации движения как контурное.

Структура квадродерева и смещение сигнала яркости, не входящие в число параметров адаптивного смещения, поступающих от секции 42 декодирования без потерь, подаются в секцию 211 адаптивного смещения. Секция 211 адаптивного смещения выполняет функцию смещения в отношении пиксельного значения сигнала яркости декодируемого изображения, поступающего от деблокирующего фильтра 46, использующего эту информацию, и эта информация подается на секцию 212 адаптивного смещения цветоразностного сигнала.

Кроме того, секция 211 адаптивного смещения подает на адаптивный контурный фильтр 91 сигнал яркости после процесса смещения и цветоразностный сигнал, для которого процесс смещения был выполнен секцией 212 адаптивного смещения цветоразностного сигнала.

Коэффициенты корреляции альфа и бета и остаток смещения цветоразностного сигнала, не входящего в число параметров адаптивного смещения, подаются на секцию 212 адаптивного смещения цветоразностного сигнала. Секция 212 адаптивного смещения выполняет функцию смещения в отношении пиксельного значения цветоразностного сигнала декодируемого изображения, поступающего от деблокирующего фильтра 46, основываясь на структуре квадродерева, подаваемой от секции 211 адаптивного смещения. То есть секция 212 адаптивного смещения цветоразностного сигнала переконфигурирует смещение цветоразностного сигнала, используя коэффициенты корреляции альфа и бета и остаток смещения цветоразностного сигнала, полученный от секции 42 декодирования без потерь, и структуру квадродерева и значение смещения сигнала яркости, полученные от секции 211 адаптивного смещения. Секция 212 адаптивного смещения цветоразностного сигнала выполняет процесс смещения в отношении пиксельного значения цветоразностного сигнала декодируемого изображения, поступающего от деблокирующего фильтра 46, используя структуру квадродерева, подаваемой от секции 211 адаптивного смещения, и переконфигурированное значение смещения цветоразностного сигнала.

Адаптивный контурный фильтр 91 выполняет процесс фильтрации на декодируемом изображении, поступающем от деблокирующего фильтра 46, используя коэффициент адаптивного фильтра, который подается от секции 42 декодирования без потерь. В качестве фильтра используется, например, фильтр Винера.

Пример конфигурации секции адаптивного смещения и секции адаптивного смещения цветоразностного сигнала

Далее будет описана каждая секция устройства 201 декодирования изображения. На фиг.21 представлены примеры конфигурации секции 211 адаптивного смещения и секции 212 адаптивного смещения цветоразностного сигнала.

В примере, показанном на фиг.21, секция 211 адаптивного смещения выполнена с возможностью содержания в ней буфера 231 определения структуры квадродерева, буфера 232 смещения сигнала яркости, секции 233 смещения сигнала яркости и буфера 234 пикселей.

Секция 212 адаптивного смещения цветоразностного сигнала выполнена с возможностью содержания в ней буфера 241 вычисления коэффициента корреляции, буфера 242 остатка смещения цветоразностного сигнала, секции 243 переконфигурации смещения цветоразностного сигнала и секции 244 смещения цветоразностного сигнала.

Пиксельное значение после деблокирования, полученное от деблокирующего фильтра 46, подается на секцию 233 смещения сигнала яркости и секцию 244 смещения цветоразностного сигнала.

Информация о структуре квадродерева, полученная от секции 42 декодирования без потерь, подается на буфер 231 структуры квадродерева. Буфер 231 структуры квадродерева накапливает информацию по структуре квадродерева, поступающую от секции 42 декодирования без потерь, и информация о структуре квадродерева подается на секцию 233 смещения сигнала яркости, секцию 243 переконфигурации смещения цветоразностного сигнала и секцию 244 смещения цветоразностного сигнала.

Информация о структуре квадродерева, полученная от секции 42 декодирования без потерь, подается на буфер 232 структуры смещения сигнала яркости. Буфер 232 смещения сигнала яркости накапливает смещение сигнала яркости, получаемое от секции 42 декодирования без потерь, и информация о смещении сигнала яркости подается в секцию 233 смещения сигнала яркости и в секцию 243 переконфигурации смещения цветоразностного сигнала.

Секция 233 смещения сигнала яркости выполняет процесс смещения в отношении пиксельного значения сигнала яркости после деблокирования. То есть секция 233 смещения сигнала яркости добавляет значение смещения сигнала яркости, полученное от буфера 232 смещения сигнала яркости в отношении пиксельного значения яркости в каждой области, которая делится на квадродерево, используя буфер 231 структуры квадродерева. Секция 233 смещения сигнала яркости аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 234.

Пиксельный буфер 234 после процесса смещения ждет оба значения сигнала яркости и цветоразностного сигнала, чтобы подогнать их друг к другу и подает подогнанные пиксельные значения после процесса смещения на адаптивный контурный фильтр 91.

Коэффициенты корреляции альфа и бета, полученные от секции 42 декодирования без потерь, подаются на буфер 241 коэффициентов корреляции. Буфер 241 коэффициентов корреляции аккумулирует коэффициенты корреляции альфа и бета, полученные от секции 42 декодирования без потерь, и аккумулированные коэффициенты корреляции альфа и бета подаются в секцию 243 переконфигурации смещения цветоразностного сигнала.

Остаток смещения цветоразностного сигнала, полученный от секции 42 декодирования без потерь, подается на буфер 242 остатка смещения цветоразностного сигнала. Буфер 242 остатка смещения цветоразностного сигнала аккумулирует остаток смещения цветоразностного сигнала, полученный от секции 42 доекодирования без потерь, и остаток смещения цветоразностного сигнала, который аккумулирован, подается в секцию 243 переконфигурации смещения цветоразностного сигнала.

В секцию 243 переконфигурации смещения цветоразностного сигнала вводятся структура квадродерева из буфера 231 структуры квадродерева, смещение сигнала яркости из буфера 232 смещения сигнала яркости, коэффициенты корреляции из буфера 241 коэффициентов корреляции и остаток смещения цветоразностного сигнала из буфера 242 остатка смещения цветоразностного сигнала. Секция 243 переконфигурации смещения цветоразностного сигнала переконфигурирует смещение цветоразностного сигнала, используя эту введенную информацию, и переконфигурированная информация о смещении цветоразностного сигнала подается в секцию 244 смещения цветоразностного сигнала.

В секции 244 смещения цветоразностного сигнала соответствие количества делений, количества полос или категорий в случае цветоразностного сигнала, как описано выше, определяется заранее в отношении квадродерева сигнала яркости таким же способом, как в секции 141 вычисления смещения цветоразностного сигнала и секции 144 смещения цветоразностного сигнала, показанных на фиг.17. С учетом этого, секция 244 смещения цветоразностного сигнала выполняет процесс смещения в отношении пиксельного значения цветоразностного сигнала после деблокирования. То есть секция 244 смещения цветоразностного сигнала добавляет значение смещения цветоразностного сигнала, которое было переконфигурировано, используя секцию 243 переконфигурации смещения цветоразностного сигнала в отношении пиксельного значения яркости в каждой области, которая делится на квадродерево, используя буфер 231 структуры квадродерева. Секция 244 смещения цветоразностного сигнала аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 234.

Поток операций процесса декодирования

Далее будет описан поток операций каждого процесса, который выполняется устройством 201 кодирования изображения, как описано выше. Сначала со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг.22, будет описан пример потока операций процесса декодирования.

Когда процесс декодирования начинается, на этапе S201 аккумулирующий буфер 41 аккумулирует переданные данные кодирования. На этапе S202 секция 42 декодирования без потерь декодирует данные кодирования, поданные из аккумулирующего буфера 41. То есть декодируются картинка I, картинка P и картинка B, кодированные с использованием секции 16 кодирования без потерь, показанной на фиг.16.

В этом случае декодируются информация о векторе движения, информация об опорном кадре, информация о режиме предсказания (информация о режиме внутрикадрового предсказания и информация о режиме межкадрового предсказания) и информация о параметре адаптивного смещения.

В случае, когда информация о режиме предсказания является информацией о внутрикадровом предсказании, информация о режиме предсказания подается в секцию 51 внутрикадрового предсказания. В случае, когда информация о режиме предсказания является информацией о межкадровом предсказании, информация о режиме предсказания подается в секцию 52 компенсации движения. Кроме того, структура квадродерева и смещение сигнала яркости, не входящие в число параметров адаптивного смещения, подаются в секцию 211 адаптивного смещения. Коэффициенты корреляции альфа и бета и остаток смещения цветоразностного сигнала, не входящие в число параметров адаптивного смещения, подаются на секцию 212 адаптивного смещения цветоразностного сигнала.

На этапе S203 секция 51 внутрикадрового предсказания или секция 52 компенсации движения соответственно выполняет процесс формирования изображения предсказания, так чтобы он соответствовал информации о режиме предсказания, подаваемой от секции 42 декодирования без потерь.

То есть в случае, когда информация о режиме внутрикадрового предсказания подается от секции 42 декодирования без потерь, секция 51 внутрикадрового предсказания выполняет формирование наиболее вероятного режима и формирует изображение внутрикадрового предсказания в режиме внутрикадрового предсказания, используя параллельную обработку. В случае, когда информация о межкадровом предсказании подается от секции 42 декодирования без потерь, секция 52 компенсации движения выполняет формирование процесса предсказания и компенсации движения для режима межкадрового предсказания и формирует изображение межкадрового предсказания.

Благодаря этому процессу изображение предсказания, которое формируется секцией 51 внутрикадрового предсказания, (изображение внутрикадрового предсказания) или изображение предсказания, которое формируется секцией 52 компенсации движения, (изображение межкадрового предсказания) подается в секцию 53 выбора изображения.

На этапе S204 секция 53 выбора изображения выбирает изображение предсказания. То есть подается изображение предсказания, формируемое секцией 51 внутрикадрового предсказания, или изображение предсказания, формируемое секцией 52 компенсации движения. Соответственно, изображение предсказания, которое подается, выбирается, подается в секцию 45 вычислений и на этапе S206 добавляется к выходному сигналу секции 44 инверсного ортогонального преобразования, что будет описано позже.

На этапе S202, описанном выше, коэффициент преобразования, декодированный секцией 42 декодирования без потерь, также подается на секцию 43 инверсного квантования. На этапе S205 секция 43 инверсного квантования выполняет инверсное квантование коэффициента преобразования, который декодирован секцией 42 декодирования без потерь с характеристиками, соответствующими характеристикам секции 15 квантования, показанной на фиг.16.

На этапе S206 секция 44 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента преобразования, для которого инверсное квантование было выполнено секцией 43 инверсного квантования, с характеристиками, соответствующими характеристикам секции 14 ортогонального преобразования, показанной на фиг.16. Благодаря этому разностная информация, соответствующая входному сигналу секции 14 ортогонального преобразования (выходной сигнал секции 13 вычислений), показанной на фиг.16, декодируется.

На этапе S207 секция 45 вычислений добавляет изображение предсказания, выбранное в процессе на этапе S204, описанном выше, и вводит его чрез секцию 53 выбора изображения в разностную информацию. Благодаря этому определяется первоначальное изображение. На этапе S208 деблокирующий фильтр 46 выполняет процесс, выполняемый деблокирующим фильтром в отношении изображения с выхода секции 45 вычислений. Благодаря этому искажение блока удаляется.

На этапе S209 секция 211 адаптивного смещения и секция 212 адаптивного смещения цветоразностного сигнала выполняют процесс адаптивного смещения. Подробности процесса адаптивного смещения будут описаны позже со ссылкой на фиг.23. Благодаря этому процессу процесс смещения выполняется для сигнала яркости после деблокирования, используя структуру квадродерева и информацию о смещении сигнала яркости от секции 42 декодирования без потерь.

Кроме того, значение смещения цветоразностного сигнала переконфигурируется, используя структуру квадродерева, значение смещения сигнала яркости, коэффициенты корреляции и остаток смещения цветоразностного сигнала от секции 42 декодирования без потерь. Затем значение смещения выполняется для цветоразностного сигнала после деблокирования, используя структуру квадродерева и значение смещения цветоразностного сигнала. Пиксельное значение после смещения подается в адаптивный контурный фильтр 91.

На этапе S210 адаптивный контурный фильтр 91 выполняет процесс, выполняемый адаптивным контурным фильтром в отношении пиксельного значения, после применения значения смещения, используя коэффициент адаптивного фильтра. Пиксельное значение после процесса, выполняемого адаптивным фильтром, выводится в буфер 47 перегруппировки изображения и память 49 кадров.

На этапе S211 память 49 кадров сохраняет изображение, для которого была выполнена адаптивная фильтрация.

На этапе S212 буфер 47 перегруппировки изображения выполняет перегруппировку изображения после адаптивного контурного фильтра 91. То есть порядок кадров, которые перегруппированы для кодирования буфером 12 перегруппировки изображения устройства 101 кодирования изображения, перегруппируется на первоначальный порядок отображения.

На этапе S213 секция 48 D/A-преобразования выполняет D/A-преобразование для изображения, подаваемых от буфера 47 перегруппировки изображения. Изображение выводится на дисплей, который не показан, и изображение отображается.

Когда процесс на этапе S213 закончен, процесс декодирования закончен.

Поток операций процесса адаптивного смещения

Далее, со ссылкой на блок-схему последовательности выполнения операций, показанную на фиг.23, будет описана последовательность выполнения операций процесса адаптивного смещения, выполняемого на этапе S209, показанном на фиг.22.

Информация о структуре квадродерева, полученная от секции 42 декодирования без потерь, подается на буфер 231 структуры квадродерева. На этапе S231 буфер 231 структуры квадродерева принимает структуру квадродерева от секции 42 декодирования без потерь и осуществляет аккумулирование. После этого буфер 231 структуры квадродерева подает информацию о структуре квадродерева в секцию 233 смещения сигнала яркости.

Информация о смещении сигнала яркости, полученная от секции 42 декодирования без потерь, подается на буфер 232 смещения сигнала яркости. На этапе S232 буфер 232 смещения сигнала яркости принимает информацию о смещении (смещении сигнала яркости) в отношении сигнала яркости от секции 42 декодирования без потерь и аккумулирует ее. Затем буфер 232 смещения сигнала яркости в заданные моменты времени подает информацию о смещении сигнала яркости в секцию 233 смещения сигнала яркости и секцию 243 переконфигурации смещения цветоразностного сигнала.

Коэффициенты корреляции альфа и бета, полученные от секции 42 декодирования без потерь, подаются на буфер 241 коэффициентов корреляции. На этапе S233 буфер 241 коэффициентов корреляции принимает коэффициенты корреляции альфа и бета от секции 42 декодирования без потерь и осуществляет аккумулирование. Буфер 241 коэффициентов корреляции в заданные моменты времени подает аккумулированные коэффициенты корреляции альфа и бета в секцию 243 переконфигурации смещения цветоразностного сигнала.

Остаток смещения цветоразностного сигнала, полученный от секции 42 декодирования без потерь, подается на буфер 242 остатка смещения цветоразностного сигнала. На этапе S234 буфер 242 остатка смещения цветоразностного сигнала принимает остаток смещения для цветоразностного сигнала от секции 42 декодирования без потерь (остаток смещения цветоразностного сигнала) и аккумулирует его. Затем буфер 242 остатка смещения цветоразностного сигнала в заданные моменты времени подает аккумулированный остаток смещения цветоразностного сигнала на секцию 243 переконфигурации смещения цветоразностного сигнала.

В секцию 243 переконфигурации смещения цветоразностного сигнала вводятся структура квадродерева из буфера 231 структуры квадродерева, смещение сигнала яркости из буфера 232 смещения сигнала яркости, коэффициенты корреляции из буфера 241 коэффициентов корреляции и остаток смещения цветоразностного сигнала из буфера 242 остатка смещения цветоразностного сигнала. На этапе S235 секция 243 переконфигурации смещения цветоразностного сигнала переконфигурирует значение смещения (смещения цветоразностного сигнала), используя эту введенную информацию, и переконфигурированная информация о смещении цветоразностного сигнала, подается в секцию 244 смещения цветоразностного сигнала.

На этапе S236 секция 233 смещения сигнала яркости и секция 244 смещения цветоразностного сигнала выполняют процесс смещения в отношении цветоразностного сигнала после деблокирования. То есть секция 233 смещения сигнала яркости добавляет значение смещения сигнала яркости, полученное от буфера 232 смещения сигнала яркости, в отношении пиксельного значения яркости в каждой области, которая делится на квадродерево, используя буфер 231 структуры квадродерева. Секция 233 смещения сигнала яркости аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 234.

Кроме того, секция 244 смещения цветоразностного сигнала добавляет смещение цветоразностного сигнала, которое переконфигурируется секцией 243 переконфигурации смещения цветоразностного сигнала в отношении пиксельного значения цветоразностного сигнала каждой области, которая делится на квадродерево, используя буфер 231 определения структуры квадродерева. Секция 144 смещения цветоразностного сигнала аккумулирует пиксельное значение после процесса смещения в пиксельном буфере 234.

После этого, пиксельный буфер 234 после процесса смещения ждет оба пиксельных значения сигнала яркости и цветоразностного сигнала, чтобы подогнать их друг к другу, подает подогнанные пиксельные значения после процесса смещения на адаптивный контурный фильтр 91 и процесс адаптивного смещения заканчивается.

Как сказано выше, поскольку процесс смещения в отношении цветоразностного сигнала выполняется, основываясь на структуре квадродерева, определенной на основе сигнала яркости, возможно повысить эффективность кодирования, в то же время сокращая увеличение объема вычислений.

Кроме того, поскольку в отношении цветоразностного сигнала на декодирующую сторону посылается остаток смещения цветоразностного сигнала, который вычисляется, используя значение смещения сигнала яркости и корреляционные коэффициенты, возможно повысить эффективность кодирования.

Как сказано выше, способ H.264/AVC в качестве способа кодирования используется как основа, но настоящее раскрытие не ограничивается этим способом и существует возможность приспособить другие способ кодирования и способ декодировании, которые содержат контур предсказания и компенсации движения.

Здесь, например, настоящее раскрытие способно применяться к устройству кодирования изображения и устройству декодирования изображения, которые используются при приеме информации изображения (битового потока), сжатого в соответствии с ортогональным преобразованием, таким как дискретное косинусное преобразование и компенсация движения, через спутниковое вещание, кабельное телевидение, Интернет или сетевой носитель, такой как блок мобильного телефона, точно также, как MPEG, Н.26х и т.п. Кроме того, настоящее раскрытие может применяться к устройству кодирования изображения и устройству декодирования изображения, которые используются при выполнении процесса на носителе записи, таком как оптический или магнитный диск или флэш-память. Дополнительно, настоящее раскрытие может быть применено к устройству предсказания и компенсации движения, которое содержит устройство кодирования изображения и устройство декодирования изображения.

3. Третий вариант осуществления

Персональный компьютер

Здесь, последовательность процессов, описанных выше, может выполняться, используя аппаратурное обеспечение, или может выполняться с помощью программного обеспечения. В случае, когда последовательность процессов, описанных выше, исполняется, используя программное обеспечение, в компьютере устанавливается процесс, который конфигурирует программное обеспечение. Здесь, то есть в компьютере, компьютер, в который встроено специализированное аппаратурное обеспечение, является универсальным персональным компьютером, способным исполнять различные процессы с помощью различных установленных программ и т.п.

На фиг.24 CPU (Central Processing Unit, центральный процессор) 501 персонального компьютера 500 исполняет различные процессы в соответствии с программой, хранящейся в ROM (Read Only Memory, постоянное запоминающее устройство) 502, или программой, загруженной из блока 513 запоминающего устройства в RAM (Random Access Memory, запоминающее устройство с произвольным доступом) 503. В RAM 503, кроме этого, соответственно хранятся необходимые данные и т.п. для CPU 501, чтобы выполнять различные виды операций.

CPU 501, ROM 502 и RAM 503 соединяются друг с другом через шину 504. Интерфейс 510 ввода-вывода также соединяется с шиной 504.

Входная секция 511, образуемая клавиатурой, мышью и т.п., устройство 512 вывода, образуемое дисплеем, содержащим CRT (электронно-лучевая трубка), LCD (жидкокристаллический дисплей) и т.п., громкоговоритель и т.п., секция 513 хранения данных, образованная жестким диском или т.п., и секция 514 связи, образуемая модемом и т.п., присоединяются к интерфейсу 510 ввода-вывода. Секция 514 связи выполняет процесс связи через сеть, которая включает в себя Интернет.

Кроме того, по мере необходимости, к интерфейсу 510 присоединяется привод 515, соответственно монтируются съемный носитель 521, такой как магнитный диск, оптический диск, магнитооптический диск, полупроводниковая память и т.п., и компьютерная программа, которая считывается из них, устанавливается в секцию 513 хранения данных по мере необходимости.

В случае, когда описанная выше последовательность операций выполняется посредством программного обеспечения, программа, формирующая программное обеспечение, устанавливается из сети или с носителя записи.

Здесь, носитель записи выполнен с возможностью быть не только съемным носителем 521 записи, которым является магнитный диск (к которому относится и дискета), оптический диск (к которому относится CD-ROM (Compact Disc-Read Only Memory, компактное постоянное запоминающее устройство) или DVD (Digital Versatile Disk, цифровой универсальный диск), магнитооптический диск (к которому относится MD (Mini-Disk, минидиск)), полупроводниковая память и т.п., на который записывается программа и который устанавливается отдельно в корпус устройства для предоставления программы пользователю, как показано на фиг.24, но также содержать конфигурацию жесткого диска и т.п., содержащую ROM 502 или секцию 513 хранения данных, заранее вмонтированные в корпус устройства, куда записана программа, распространяемая пользователю.

Здесь, программа, исполняемая компьютером, может быть программой, в которой процессы проходят последовательно по времени в том порядке, который описан в спецификациях, или может быть программой, в которой процессы выполняются параллельно или с необходимой синхронизацией, такой, с которой выполняется запрос.

Здесь, в спецификациях этапы, которые описываются в программах, записанных на носителе данных, могут быть процессами, выполняемыми последовательно во времени в порядке, описанном выше, но могут не обязательно быть процессами, выполняемыми последовательно во времени, и содержать процессы, выполняемые параллельно или исполняемые индивидуально.

Кроме того, в спецификациях система представляет корпус устройства, выполненный с возможностью использования множества устройств.

Кроме того, как сказано выше, конфигурация, которая описана как одно устройство (или секция выполнения операций), может быть разделена и конфигурирована как множество устройств (или секций выполнения операций). С другой стороны, конфигурация, которая описана как множество устройств (или секций выполнения операций), может объединена вместе и конфигурирована как одно устройство (или секция выполнения операций). Кроме того, могут быть добавлены конфигурации, отличные от конфигураций отдельных устройств (или секций выполнения операций), описанных выше. Дополнительно, если конфигурация или операции системы в целом являются одними и теми же, часть конфигурации с определенным устройством (или секцией выполнения операций) может быть введена в состав конфигурации другого устройства (или секции выполнения операций). То есть настоящая технология не ограничивается описанными выше вариантами осуществления и возможны различные модификации в пределах определенного диапазона, но не выходящие за пределы объема настоящей технологии.

Устройство кодирования изображения, устройство декодирования изображения, соответствующие описанным выше вариантам осуществления, могут применяться в различных электронных устройствах, таких как передающий блок или приемный блок, таких, которые распространены на терминалах, использующих спутниковое вещание, проводное вещание, такое как кабельное телевидение, распространены в Интернете или в сотовой сети, на устройстве записи, записывающем изображение на носителе данных, таком как оптический диск, магнитный диск или флэш-память или на устройстве воспроизведения, воспроизводящем изображения с записанного носителя. Ниже описываются четыре примера.

4. Четвертый вариант осуществления

Первый пример: блок телевизионного приемника

На фиг.25 представлена блок-схема примера конфигурации схемы телевизионного устройства, в котором применяется описанный выше вариант осуществления. Телевизионное устройство 900 содержит антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 видеопроцессора, блок 906 отображения, блок 907 аудиопроцессора, громкоговоритель 908, внешний интерфейс блок 909, секцию 910 управления, интерфейс 911 пользователя и шину 912.

Тюнер 902 извлекает сигнал желаемого канала из широкополосного сигнала, принимаемого через антенну 901, и модулирует извлеченный сигнал. Затем тюнер 902 выводит кодированный битовый поток, полученный благодаря модуляции на демультиплексор 903. То есть тюнер 902 имеет функцию средства преобразования в телевизионном устройстве 900, которое принимает кодированный поток, в котором закодировано изображение.

Демультиплексор 903 выделяет видеопоток и аудиопоток программы, которая является целью просмотра, из кодированного битового потока и выводит каждый из отделенных потоков на декодер 904. Кроме того, демультиплексор 903 извлекает дополнительные данные, такие как EPG (Electronic Program Guide, электронная телевизионная программа), из кодированного битового потока и подает извлеченные данные на секцию 910 управления. Здесь демультиплексор 903 может выполнить дескремблирование в случае, когда кодированный битовый поток скремблирован.

Декодер 904 декодирует видеопоток и аудиопоток, поступающие от демультиплексора 903. Затем декодер 904 выводит видеоизображение, сформированное в процессе декодирования, на секцию 905 видеопроцессора. Кроме того, декодер 904 выводит аудиоданные, сформированные в процессе декодирования, на секцию 907 аудиопроцессора.

Секция 905 видеопроцессора воспроизводит видеоданные, введенные от декодера 904, и отображает видеоизображение в секции 906 отображения. Кроме того, секция 905 видеопроцессора может отображать образ прикладного объекта, который подается через сеть в секцию 906 отображения. Кроме того, секция 906 видеопроцессора может, например, выполнять дополнительный процесс, такой как удаление шума, в соответствии с настройкой в отношении видеоданных. Дополнительно, секция 906 видеопроцессора может, например, формировать изображение GUI (Graphical User Interface, графический интерфейс пользователя), такое как меню, кнопка или курсор, и накладывать сформированное изображение на выходное изображение.

Секция 906 отображения приводится в действие запускающим сигналом от секции 905 видеопроцессора и отображает видеосигналы или изображения на видеоэкране устройства отображения (например, жидкокристаллического дисплея, плазменного дисплея или OELC (Organic ElectroLuminescence Display, органоэлектролюминесцентного дисплея) и т.п.).

Секция 907 аудиопроцессора выполняет процесс воспроизведения, такой как D/A-преобразование или усиление в отношении аудиоданных, которые поступают от декодера 904, и выводит аудиосигнал через громкоговоритель 908. Кроме того, секция 907 аудиопроцессора может выполнять дополнительный процесс, такой как удаление шума, в отношении аудиоданных.

Внешний интерфейс 909 является интерфейсом для соединения телевизионного устройства 90 с внешним устройством или сетью. Например, видеопоток или аудиопоток, принятый через внешний интерфейс 909, может декодироваться декодером 904. То есть внешний интерфейс 909 также имеет функцию средства преобразования в телевизионном устройстве 900, принимающем кодированный поток, в котором закодировано изображение.

Секция 910 управления имеет процессор, такой как CPU, и устройство памяти, такое как RAM или ROM. Устройство памяти хранит программы, исполняемые CPU, программные данные, данные EPG и данные, полученные через сеть. Программа, которая хранится, используя устройство памяти, например, считывается и исполняется CPU при включении телевизионного устройства 900. CPU управляет операциями телевизионного устройства 900 в соответствии с рабочим сигналом, который вводится, например, от интерфейса 911 пользователя при выполнении программы.

Интерфейс 911 пользователя соединяется с блоком 910 управления. Интерфейс 911 пользователя имеет, например, кнопку или переключатель для работы пользователя с телевизионным устройством 900 и приемную секцию для приема сигнала дистанционного управления. Интерфейс 911 пользователя формирует рабочий сигнал, обнаруживая действие пользователя через соответствующие элементы, и выводит сформированный рабочий сигнал на секцию 910 управления.

Шина 912 соединяет между собой тюнер 902, демультиплексор 903, декодер 904, секцию 905 видеопроцессора, секцию 907 аудиопроцессора, внешний интерфейс 909 и секцию 910 управления.

В телевизионном устройстве 900, построенном таким образом, декодер 904 имеет функцию устройства декодирования изображения, соответствующую описанному выше варианту осуществления. Благодаря этому при декодировании изображения в телевизионном устройстве 900 возможно повысить эффективность кодирования в отношении цветоразностного сигнала.

5. Пятый вариант осуществления

Второй пример: блок мобильного телефона

На фиг.26 представлена блок-схема примера конфигурации схемы блока мобильного телефона, в котором применяется описанный выше вариант осуществления. Блок 920 мобильного телефона снабжен антенной 921, секцией 922 связи, аудиокодеком 923, громкоговорителем 924, микрофоном 925, секцией 926 камеры, секцией 927 обработки изображения, секцией 928 демультиплексирования, секцией 929 записи и воспроизведения, секцией 930 отображения, секцией 931 управления, секцией 932 операций и шиной 933.

Антенна 921 соединяется с секцией 922 связи. Громкоговоритель 924 и микрофон 925 соединяются с аудиокодеком 923. Секция 932 операций соединяется с секцией 931 управления. Шина соединяется с секцией 922 связи, аудиокодеком 923, секцией 926 камеры, секцией 927 обработки изображения, секцией 928 демультиплексирования, секцией 929 записи и воспроизведения, секцией 930 отображения и секцией 931 управления.

Блок 920 мобильного телефона выполняет операции, такие как передача и прием аудиосигналов, передача и прием электронной почты и данных изображения, получение изображения и запись изображения с помощью различных рабочих режимов, к которым относятся режим аудиопреобразования, режим передачи данных, режим получения изображения и режим телевизионного телефона.

В режиме аудиопреобразования аналоговые аудиосигналы, сформированные микрофоном 925, подаются на аудиокодек 923. Аудиокодек 923 преобразует аналоговый аудиосигнал в аудиоданные и выполняет A/D-преобразование и сжимает преобразованные аудиоданные. Затем аудиокодек 923 выводит аудиоданные после сжатия в секцию 922 связи. Секция 922 связи кодирует и модулирует аудиоданные и формирует сигнал передачи. Затем секция 922 связи передает сформированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, секция 922 связи выполняет усиление и преобразование частоты беспроводного сигнала, принятого через антенну 921. Затем секция 922 связи формирует аудиоданные, демодулируя и декодируя принятый сигнал, и выводит сформированные аудиоданные на аудиокодек 923. Аудиокодек 923 выполняет расширение и D/A-преобразование и формирует аналоговый аудиосигнал. Затем аудиокодек 923 выводит аудиосигнал, подавая сформированный аудиосигнал на громкоговоритель 924.

Кроме того, в режиме передачи данных, например, секция 931 управления формирует текстовые данные, которые конфигурируют электронную почту в соответствии с операцией пользователя и через секцию 932 операций. Кроме того, секция 931 управления отображает текст в секции 930 отображения. Кроме того, секция 931 управления формирует данные электронной почты, соответствующие команде передачи от пользователя через секцию 932 операций и выводит сформированные данные электронной почты в секцию 922 связи. Секция 922 связи кодирует и модулирует данные электронной почты и формирует сигнал передачи и формирует сигнал передачи. Затем секция 922 связи передает сформированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, секция 922 связи выполняет усиление и преобразование частоты беспроводного сигнала, принятого через антенну 921. Затем секция 922 связи восстанавливает данные электронной почты посредством демодуляции и декодирования принятого сигнала и выводит восстановленные данные электронной почты в секцию 931 управления. Секция 931 управления отображает содержание электронной почты в секции 930 отображения и запоминает данные электронной почты на носителе для записи данных секции 929 записи и воспроизведения.

Секция 929 записи и воспроизведения имеет произвольный носитель записи, для которого возможны запись и считывание данных. Например, носитель записи данных может быть носителем записи встроенного типа, таким как RAM или флэш-память, или может быть носителем записи внешнего устанавливаемого типа, таким как жесткий диск, магнитный диск, оптический магнитный диск, оптический диск, устройством памяти USB (Unallocated Space Bitmap, нераспределенной пространственной битовой матрицей) или картой памяти.

Кроме того, в режиме получения изображения, например, секция 926 камеры формирует данные изображения, получая изображение объекта, и выводит сформированные данные изображения в секцию 927 обработки изображения. Секция 927 обработки изображения кодирует данные изображения, введенные из секции 926 камеры, и запоминает кодированный поток на носителе записи данных секции 929 записи и воспроизведения.

Кроме того, в режиме телевизионного телефона, например, секция 928 демультиплексирования демультиплексирует поток изображения, кодированный секцией 927 обработки изображения, и аудиопоток, который вводится от аудиокодека 923, и выводит мультиплексированный поток в секцию 922 связи. Секция 922 связи кодирует и модулирует данные электронной почты и формирует сигнал передачи и формирует сигнал передачи. Затем секция 922 связи передает сформированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, секция 922 связи выполняет усиление и преобразование частоты беспроводного сигнала, принятого через антенну 921, и получает принимаемый сигнал. Кодированный битовый поток может быть введен в сигнал передачи и сигнал приема. Затем секция 922 связи восстанавливает данные электронной почты посредством демодуляции и декодирования принятого сигнала и выводит восстановленный поток в секцию 928 демультиплексирования. Секция 928 демультиплексирования отделяет видеопоток и аудиопоток от введенного потока, выводит видеопоток в секцию 297 видеопроцессора и выводит аудиопоток в аудиокодек 923. Блок 927 видеопроцессора декодирует видеопоток и формирует видеоданные. Видеоданные подаются в секцию 930 получения изображения и последовательности изображения отображаются, используя секцию 930 отображения. Аудиокодек 923 выполняет расширение и D/A-преобразование аудиопотока и формирует аналоговый аудиосигнал. Затем аудиокодек 923 выводит аудиосигнал, подавая аудиосигнал на громкоговоритель 924.

В блоке 920 мобильного телефона, конфигурированном таким образом, секция 927 видеопроцессора имеет функцию устройства кодирования изображения и устройства декодирования изображения, соответствующие варианту осуществления, описанному выше. Благодаря этому при кодировании и декодировании изображения с помощью блока 920 мобильного телефона возможно улучшить эффективность кодирования в отношении цветоразностного сигнала.

6. Шестой вариант осуществления

Третий пример: устройство записи и воспроизведения

На фиг.27 представлена блок-схема примера конфигурации схемы устройства записи и воспроизведения, в котором применяется описанный выше вариант осуществления. Устройство 940 записи и воспроизведения записывает аудиоданные и видеоданные, например, принятой широковещательной программы на носителе записи данных, выполняя кодирование. Кроме того, устройство 940 записи и воспроизведения может, например, записывать принимаемые аудиоданные и видеоданные от другого устройства на носителе записи, выполняя кодирование. Кроме того, устройство 940 записи и воспроизведения воспроизводит данные, которые записаны на носителе записи, на мониторе и через громкоговорители. В этом случае, устройство 940 записи и воспроизведения декодирует аудиоданные и видеоданные.

Устройство 940 записи и воспроизведения содержит тюнер 941, внешний интерфейс 942, кодер 943, блок 944 HDD (жесткий диск), дисковод 945, переключатель 946, декодер 947, блок 948 OSD (экранное меню), секцию 949 управления и интерфейс 950 пользователя.

Тюнер 941 извлекает сигнал желаемого канала из широкополосного сигнала, принимаемого через антенну (не показана), и модулирует извлеченный сигнал. Затем тюнер 941 выводит кодированный битовый поток, полученный благодаря модуляции, на переключатель 946. То есть тюнер 941 имеет функцию средства преобразования в устройстве 940 записи и воспроизведения, которое принимает кодированный поток, в котором закодировано изображение.

Внешний интерфейс 942 является интерфейсом для соединения устройства 940 записи и воспроизведения с внешним устройством или сетью. Внешний интерфейс 942 может быть, например, интерфейсом IEEE1394, сетевым интерфейсом, интерфейсом USB или интерфейсом флэш-памяти. Например, видеопоток и аудиопоток, принятый через внешний интерфейс 942, может быть введен в кодер 943. То есть внешний интерфейс 942 также имеет функцию средства преобразования в устройстве 940 записи и воспроизведения, которое принимает кодированный поток, в котором закодировано изображение.

Кодер 943 кодирует видеоданные и аудиоданные в случае, когда видеоданные и аудиоданные, введенные от внешнего интерфейса 942, не кодированы. Затем кодер 943 выводит кодированный битовый поток на переключатель 946.

Когда данные содержания, такие как видеоданные и аудиоданные, различные программы и другие данные, сжаты, на HDD 944 записывает кодированный битовый поток. Кроме того, при воспроизведении видео- и аудиоданных HDD 944 считывает данные с жесткого диска.

Дисковод 945 выполняет запись и считывание данных со смонтированного носителя записи. Носителем записи, монтируемым на дисковод 945, может быть, например, диск DVD (DVD-video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.) или диск Blu-ray (зарегистрированная торговая марка).

Переключатель 946 выбирает кодированный битовый поток, который вводится от тюнера 941 или кодера 943, и выводит выбранный кодированный битовый поток на HDD 944 или дисковод 945. Кроме того, при воспроизведении видео- и аудиоданных переключатель 946 выводит на декодер 947 кодированный битовый поток, вводимый от HDD 944 или дисковода 945.

Декодер 947 декодирует кодированный битовый поток и формирует видеоданные и аудиоданные. Затем декодер 947 выводит сформированные видеоданные на OSD 948. Кроме того, декодер 904 выводит сформированные аудиоданные на внешний громкоговоритель.

OSD 948 формирует видеоданные, которые вводятся от декодера 947, и отображает видеоданные. Кроме того, OSD 948 может накладывать, например, изображение GUI, такое как меню, кнопка или курсор, на отображаемые видеоданные.

Секция 949 управления имеет процессор, такой как CPU, и устройство памяти, такое как RAM или ROM. Устройство памяти хранит программы, исполняемые CPU, программные данные, данные EPG и данные, полученные через сеть. При включении устройства 940 записи и воспроизведения программа, которая хранится, используя устройство памяти, например, считывается и исполняется CPU. CPU управляет операциями устройства 940 записи и воспроизведения в соответствии с рабочим сигналом, который вводится, например, от интерфейса 950 пользователя при выполнении программ.

Интерфейс 950 пользователя соединяется с секцией 949 управления. Интерфейс 950 пользователя имеет, например, кнопку или переключатель для работы пользователя с устройством 940 записи и воспроизведения и приемную секцию для приема сигнала дистанционного управления. Интерфейс 950 пользователя формирует рабочий сигнал, обнаруживая действие пользователя через соответствующие элементы, и выводит сформированный рабочий сигнал на секцию 949 управления.

В устройстве 940 записи и воспроизведения, построенном таким образом, кодер 943 имеет функцию устройства кодирования изображения, соответствующую описанному выше варианту осуществления. Кроме того, декодер 947 имеет функцию устройства декодирования изображения, соответствующую описанному выше варианту осуществления. Благодаря этому при кодировании и декодировании изображения с помощью устройства 940 записи и воспроизведения возможно повысить эффективность кодирования в отношении цветоразностного сигнала.

7. Седьмой вариант осуществления

Четвертый пример: устройство получения изображения

На фиг.28 представлена блок-схема примера конфигурации схемы устройства получения изображения, в котором применяется описанный выше вариант осуществления. Устройство 960 получения изображения формирует изображение, получая изображение объекта, и записывает данные изображения на носителе записи, используя кодирование.

Устройство 960 получения изображения содержит оптический блок 961, секцию 962 получения изображения, секцию 963 процессора сигналов, секцию 964 видеопроцессора, секцию 965 отображения, внешний интерфейс 966, устройство 967 памяти, привод 968 носителя данных, OSD 969, секцию 970 управления, интерфейс 971 пользователя и шину 972.

Оптический блок 961 соединяется с секцией 962 получения изображения. Секция 962 получения изображения соединяется с секцией 963 процессора сигналов. Секция 965 отображения соединяется с секцией 964 видеопроцессора. Интерфейс 971 пользователя соединяется с секцией 970 управления. Шина 972 соединяется с секцией 964 видеопроцессора, секцией 965 отображения, внешним интерфейсом 967, дисководом 968 носителя данных, OSD 969 и секцией 970 управления.

Оптический блок 961 имеет фокусирующий объектив и механизм апертуры. Оптический блок 961 формирует оптическое изображение объекта на поверхности получения изображения секции 962 получения изображения. Секция 962 получения изображения имеет датчик изображения, такой как CCD (Charge Coupled Device, прибор с зарядовой связью) или CMOS (Complementary Metal Oxide Semiconductor, комплементарный металло-оксидный полупроводник) и преобразует оптическое изображение, полученное на поверхности получения изображения, в сигнал изображения в виде электрического сигнала, используя фотоэлектронное преобразование. Затем секция 962 получения изображения выводит сигнал изображения на секцию 963 процессора сигналов.

Секция 963 процессора сигналов выполняет различные виды обработки сигналов камеры, такие как г-образная коррекция, гамма-коррекция и коррекция цвета для сигнала изображения, поданного от секции 962 получения изображения. Секция 963 процессора сигналов выводит данные изображения, после обработки сигнала камеры, на блок 964 видеопроцессора.

Секция 964 видеопроцессора кодирует данные изображения, которые вводятся из секции 963 процессора сигналов, и формирует кодированные данные. Затем секция 964 видеопроцессора выводит сформированные кодированные данные на внешний интерфейс 966 и привод 968 носителя данных. Кроме того, секция 964 видеопроцессора декодирует кодированные данные, которые вводятся от внешнего интерфейса 966 и привода 968 носителя данных, и формирует данные изображения. Затем секция 964 видеопроцессора выводит сформированные данные изображения на секцию 965 отображения. Кроме того, секция 964 видеопроцессора может отображать изображение, выводя данные изображения, введенные от секции 963 процессора сигналов в секцию 965 отображения. Кроме того, секция 964 видеопроцессора может накладывать данные для отображения, полученные от OSD 969, на изображение, выводимое на секцию 965 отображения.

OSD 969 формирует, например, изображение GUI, такое как меню, кнопка или курсор, и выводит сформированное изображение на секцию 964 видеопроцессора.

Внешний интерфейс 966 выполнен, например, как вход USB и выходной терминал. Внешний интерфейс 966 соединяется, например, с устройством 960 получения изображения и принтером при печати изображения. Кроме того, если необходимо, привод соединяется с внешним интерфейсом 966. В дисководе, например, монтируется съемный носитель, такой как магнитный диск или оптический диск, и программа, которая считывается со съемного носителя, может быть установлена в устройство 960 получения изображения. Дополнительно, внешний интерфейс 966 может быть выполнен как сетевой интерфейс, соединенный с сетью, такой как LAN или Интернет. То есть внешний интерфейс 960 имеет функцию средства преобразования устройства 960 получения изображения.

Носитель записи, который монтируется на дисководе 968, может быть, например, произвольным съемным носителем записи, для которого возможны запись и считывание, таким как магнитный диск, оптический диск или полупроводниковая память. Кроме того, носитель записи может монтироваться в дисководе 968 фиксированным способом, как, например, секция записи, которая нетранспортабельна, такая как встроенный дисковод жесткого диска или SSD (Solid State Drive, дисковод твердотельного диска).

Секция 970 управления имеет процессор, такой как CPU, и устройство памяти, такое как RAM или ROM. Устройство памяти хранит программу, исполняемую CPU, программные данные и т.п. Программа, которая хранится, используя устройство памяти, считывается и исполняется CPU, например, при включении устройства 960 получения изображения. CPU управляет операциями устройства 960 получения изображения в соответствии с рабочим сигналом, который вводится, например, от интерфейса 971 пользователя при выполнении программ.

Интерфейс 971 пользователя соединяется с секцией 970 управления. Интерфейс 971 пользователя имеет, например, кнопку или переключатель для работы пользователя с устройством 960 получения изображения. Интерфейс 971 пользователя формирует рабочий сигнал, обнаруживая действие пользователя через соответствующие элементы, и выводит сформированный рабочий сигнал на секцию 970 управления.

В устройстве 960 получения изображения, конфигурированном таким образом, секция 964 видеопроцессора имеет функцию устройства кодирования изображения и устройства декодирования изображения, соответствующие варианту осуществления, описанному выше. Благодаря этому при кодировании и декодировании изображения с помощью устройства 960 получения изображения возможно повысить эффективность кодирования в отношении цветоразностного сигнала.

Здесь в раскрытии был описан пример, в котором каждый тип информации, такой как параметр квантования цветоразностного сигнала, передается на сторону декодирования со стороны кодирования посредством мультиплексирования в кодированном потоке. Однако, способ передачи информации не ограничивается этим примером. Например, информация может не мультиплексироваться в кодированном битовом потоке, а может передаваться или записываться как индивидуальные данные, связанные с кодированным битовым потоком. Здесь термин "связаны" имеет смысл изображения, которое вводится в битовый поток (это может быть участок изображения, такой как срез или блок), и информации, соответствующей изображению, связанному с ней при декодировании. То есть информация может передаваться по пути прохождения информации, который отличается от пути прохождения изображения (или битового потока). Кроме того, информация может записываться на другом носителе записи (или в другой области записи на одном и том же носителе записи) в изображение (битовый поток). Дополнительно, информация и изображение (или битовый поток) могут связываться друг с другом, например, в произвольных блоках, таких как множество кадров, один кадр или участок кадра.

Выше, со ссылкой на приложенные чертежи, были подробно описаны предпочтительные варианты осуществления раскрытия, но настоящее раскрытие не ограничивается этими примерами. Специалистам в области технологии, к которой принадлежит настоящее раскрытие, должно быть понятно, что в рамках технической концепции, описанной в объеме формулы изобретения, возможны различные модификации и изменения, и они должны интерпретироваться, конечно, как принадлежащие к технической области настоящего раскрытия.

(1) Устройство декодирования изображения, содержащее:

секцию обработки адаптивного смещения сигнала яркости, которая выполняет процесс адаптивного смещения сигнала яркости в отношении сигнала яркости изображения, которое должно декодироваться, и

секцию обработки адаптивного смещения цветоразностного сигнала, которая выполняет процесс адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, сформированных процессом адаптивного смещения сигнала яркости секцией обработки адаптивного смещения сигнала яркости, чтобы сформировать декодированное изображение.

(2) Устройство по п.(1), в котором секция обработки адаптивного смещения сигнала яркости делит изображение на множество областей и выполняет процесс адаптивного смещения сигнала яркости для каждой из множества областей и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для каждой из множества областей.

(3) Устройство по п.(2), в котором секция обработки адаптивного смещения сигнала яркости делит изображение на множество областей, создавая структуру квадродерева, и выполняет процесс адаптивного смещения сигнала яркости для структуры квадродерева и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для структуры квадродерева.

(4) Устройство по п.(2), в котором секция обработки адаптивного смещения сигнала яркости определяет тип смещения для каждой из множества областей и выполняет процесс адаптивного смещения сигнала яркости для каждой из областей, основываясь на типе смещения, и секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения сигнала яркости для некоторых из множества областей, основываясь на типе смещения.

(5) Устройство по п.(4), в котором секция обработки адаптивного смещения сигнала яркости определяет тип смещения из числа трех наборов смещений.

(6) Устройство по п.(5), в котором тремя наборами смещений являются отсутствие смещений, смещение полосы и смещение края.

(7) Устройство по п.(1)-(6), в котором секция обработки адаптивного смещения сигнала яркости определяет категорию для каждого пикселя в изображении и выполняет процесс адаптивного смещения сигнала яркости для каждого пикселя, основываясь на категории, и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для некоторых пикселей, основываясь на категории.

(8) Устройство по пп.(1)-(7), в котором секция обработки адаптивного смещения сигнала яркости определяет количество субполос яркости и выполняет процесс адаптивного смещения сигнала яркости, основываясь на количестве субполос яркости, и секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения сигнала яркости, основываясь на количестве субполос цветоразностного сигнала, которое меньше, чем количество субполос сигнала яркости.

(9) Устройство кодирования изображения, содержащее:

секцию обработки адаптивного смещения сигнала яркости, которая выполняет процесс адаптивного смещения сигнала яркости в отношении сигнала яркости изображения, которое должно кодироваться, и

секцию обработки адаптивного смещения цветоразностного сигнала, которая выполняет процесс адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, сформированных процессом адаптивного смещения сигнала яркости секцией обработки адаптивного смещения сигнала яркости, чтобы сформировать кодированное изображение.

Перечень ссылочных позиций

16 Секция кодирования без потерь

21 Деблокирующий фильтр

42 Секция декодирования без потерь

46 Деблокирующий фильтр

71 Адаптивный контурный фильтр

91 Адаптивный контурный фильтр

101 Устройство кодирования изображения

111 Секция адаптивного смещения

112 Секция адаптивного смещения цветоразностного сигнала

131 Секция определения конфигурации квадродерева

132 Секция вычисления смещения сигнала яркости

133 Секция смещения сигнала яркости

134 Буфер изображения

141 Секция вычисления смещения цветоразностного сигнала

142 Секция вычисления коэффициентов корреляции

143 Секция вычисления значения предсказания смещения цветоразностного сигнала

144 Секция смещения цветоразностного сигнала

201 Устройство кодирования изображения

211 Секция адаптивного смещения

212 Секция адаптивного смещения цветоразностного сигнала

231 Буфер конфигурации квадродерева

232 Буфер смещения сигнала яркости

233 Секция смещения сигнала яркости

234 Пиксельный буфер

241 Буфер коэффициентов корреляции

242 Буфер остатка смещения цветоразностного сигнала

243 Секция нереконфигурации смещения цветоразностного сигнала

244 Секция смещения цветоразностного сигнала

Изобретение относится к устройству обработки изображения, в частности к устройству декодирования изображений. Техническим результатом является повышение эффективности декодирования в отношении цветоразностного сигнала. Предложено устройство декодирования изображения, содержащее секцию обработки адаптивного смещения яркости и секцию обработки адаптивного смещения цветоразностного сигнала. Секция обработки адаптивного смещения сигнала яркости выполняет процесс адаптивного смещения сигнала яркости в отношении сигнала яркости изображения, которое должно декодироваться. Секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, сформированных процессом адаптивного смещения сигнала яркости секцией обработки адаптивного смещения сигнала яркости, чтобы сформировать декодированное изображение. 7 з.п. ф-лы, 28 ил.

1. Устройство декодирования изображения, содержащее:
секцию декодирования, выполненную с возможностью декодирования битового потока и формирования декодированного изображения,
секцию обработки адаптивного смещения сигнала яркости, выполненную с возможностью выполнения процесса адаптивного смещения сигнала яркости в отношении сигнала яркости декодированного изображения, и
секцию обработки адаптивного смещения цветоразностного сигнала, выполненную с возможностью выполнения процесса адаптивного смещения цветоразностного сигнала в отношении цветоразностного сигнала, основываясь на данных, используемых процессом адаптивного смещения сигнала яркости секции обработки адаптивного смещения сигнала яркости.

2. Устройство по п. 1, в котором секция обработки адаптивного смещения сигнала яркости делит изображение на множество областей и выполняет процесс адаптивного смещения сигнала яркости для каждой из множества областей, и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для каждой из множества областей.

3. Устройство по п. 2, в котором секция обработки адаптивного смещения сигнала яркости делит изображение на множество областей, создавая структуру квадродерева, и выполняет процесс адаптивного смещения сигнала яркости для структуры квадродерева и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для структуры квадродерева.

4. Устройство по п. 2, в котором секция обработки адаптивного смещения сигнала яркости определяет тип смещения для каждой из множества областей и выполняет процесс адаптивного смещения сигнала яркости для каждой из областей, основываясь на типе смещения, и секция адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения сигнала яркости для некоторых из множества областей, основываясь на типе смещения.

5. Устройство по п. 4, в котором секция обработки адаптивного смещения сигнала яркости определяет тип смещения из числа двух наборов смещений.

6. Устройство по п. 5, в котором двумя наборами смещений являются смещение полосы и смещение края.

7. Устройство по п. 1, в котором секция обработки адаптивного смещения сигнала яркости определяет категорию для каждого пикселя в изображении и выполняет процесс адаптивного смещения сигнала яркости для каждого пикселя, основываясь на категории, и секция обработки адаптивного смещения цветоразностного сигнала выполняет обработку адаптивного смещения сигнала яркости для некоторых пикселей, основываясь на категории.

8. Устройство по п. 1, в котором секция обработки адаптивного смещения сигнала яркости определяет количество субполос сигнала яркости для смещения и выполняет процесс адаптивного смещения сигнала яркости, основываясь на количестве субполос сигнала яркости, и секция обработки адаптивного смещения цветоразностного сигнала выполняет процесс адаптивного смещения сигнала яркости, основываясь на количестве субполос цветоразностного сигнала, которое меньше, чем количество субполос сигнала яркости.