Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к устройству кодирования изображений, способу и программе для кодирования изображений и к устройству декодирования изображений, способу и программе для декодирования изображений.
Уровень техники
[0002] Система кодирования на основе HEVC (стандарта высокоэффективного кодирования видео) (в дальнейшем в этом документе называется "HEVC") известна как система кодирования для записи со сжатием движущихся изображений. Чтобы повышать эффективность кодирования, HEVC приспосабливает базисный блок, имеющий больший размер, чем существующий макроблок (16*16 пикселов). Крупный базисный блок называется "CTU (единицей дерева кодирования)", и его размер составляет вплоть до 64*64 пикселов. CTU дополнительно разбивается на субблоки, которые представляют собой единицы для прогнозирования и преобразования. Патентный документ 1 описывает технологию для обеспечения возможности изменять единицу кодирования для параметров квантования посредством вычисления размера субблока, в котором параметры квантования кодируются (в дальнейшем в этом документе называется "размером для управления квантованием").
[0003] В последние годы, начата деятельность по международной стандартизации дополнительной системы высокоэффективного кодирования в качестве последующей версии HEVC. JVET (объединенная экспертная группа по видеостандартам) организована между ISO/IEC и ITU-T, и стандартизация продолжена в качестве системы кодирования на основе VVC (стандарта универсального кодирования видео) (в дальнейшем в этом документе "VVC"). Чтобы повышать эффективность кодирования, в дополнение к существующему способу внутреннего прогнозирования и ортогонального преобразования на основе квадратных субблоков, изучается способ внутреннего прогнозирования и ортогонального преобразования на основе прямоугольных субблоков.
[0004] Для VVC, изучается не только разбиение на квадратные субблоки (к примеру, в HEVC), но также и разбиение на прямоугольные субблоки. Размер для управления квантованием, используемый в качестве ссылки для того, чтобы кодировать параметры квантования в HEVC, задается при допущении касательно квадратных субблоков. С другой стороны, когда выполняется разбиение на прямоугольные субблоки, которое изучается в качестве VVC, возникают случаи, когда не может уникально определяться то, следует или нет кодировать параметры квантования. Следовательно, настоящее изобретение предусмотрено для того, чтобы разрешать вышеописанную проблему, и цель настоящего изобретения заключается в том, чтобы позволить надлежащим образом управлять кодированием параметров квантования посредством использования не только квадратных субблоков, но также и прямоугольных субблоков.
Список библиографических ссылок
Патентные документы
[0005] PTL 1. Выложенный патент (Япония) номер 2012-161074
Сущность изобретения
Решение задачи
[0006] Чтобы разрешать вышеописанную проблему, устройство кодирования изображений настоящего изобретения имеет следующую конфигурацию. Устройство кодирования изображений разбивает изображение на множество субблоков и кодирует изображение для каждого из разбитых субблоков и включает в себя средство кодирования, выполненное с возможностью, когда, из множества субблоков, меньший из размера по горизонтали и размера по вертикали целевого субблока, который должен обрабатываться, превышает или равен размеру для управления квантованием, используемому в качестве размера субблока для того, чтобы кодировать параметр квантования, кодировать параметр квантования.
[0007] Помимо этого, устройство декодирования изображений настоящего изобретения имеет следующую конфигурацию. Устройство декодирования изображений декодирует изображение, состоящее из множества субблоков, для каждого из субблоков, и включает в себя, когда, из множества субблоков, меньший из размера по горизонтали и размера по вертикали целевого субблока, который должен обрабатываться, превышает или равен размеру для управления квантованием, используемому в качестве размера субблока для того, декодировать параметр квантования, декодирование параметра квантования.
Краткое описание чертежей
[0008] Фиг. 1 является блок-схемой, показывающей конфигурацию устройства кодирования изображений в варианте осуществления.
Фиг. 2 является блок-схемой, показывающей конфигурацию устройства декодирования изображений в варианте осуществления.
Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс кодирования изображений, выполняемый в устройстве кодирования изображений согласно варианту осуществления.
Фиг. 4 является блок-схемой последовательности операций способа, показывающей процесс декодирования изображений, выполняемый в устройстве декодирования изображений согласно варианту осуществления.
Фиг. 5 является блок-схемой, показывающей пример аппаратной конфигурации компьютера, применимой к устройству кодирования изображений и устройству декодирования варианта осуществления.
Фиг. 6A является видом, показывающим пример структуры потока битов.
Фиг. 6B является видом, показывающим пример структуры потока битов.
Фиг. 7A является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 7B является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 7C является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 7D является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 7E является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 7F является видом, показывающим пример разбиения на субблоки, используемого в варианте осуществления.
Фиг. 8A является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 8B является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 8C является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 8D является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 8E является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 8F является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9A является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9B является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9C является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9D является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9E является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 9F является видом, показывающим сравнение между размером для управления квантованием и меньшим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 10A является видом, показывающим взаимосвязь между кодированием параметра квантования и значимым коэффициентом в варианте осуществления.
Фиг. 10B является видом, показывающим взаимосвязь между кодированием параметров квантования и значимыми коэффициентами в варианте осуществления.
Фиг. 10C является видом, показывающим взаимосвязь между кодированием параметров квантования и значимыми коэффициентами в варианте осуществления.
Фиг. 10D является видом, показывающим взаимосвязь между кодированием параметров квантования и значимыми коэффициентами в варианте осуществления.
Фиг. 10E является видом, показывающим взаимосвязь между кодированием параметров квантования и значимыми коэффициентами в варианте осуществления.
Фиг. 10F является видом, показывающим взаимосвязь между кодированием параметров квантования и значимыми коэффициентами в варианте осуществления.
Фиг. 11A является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 11B является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 11C является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 11D является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 11E является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 11F является видом, показывающим сравнение между размером для управления квантованием и большим из размера по горизонтали и размера по вертикали целевого субблока в варианте осуществления.
Фиг. 12A является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 12B является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 12C является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 12D является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 12E является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 12F является видом, показывающим сравнение между числом пикселов размера для управления квантованием и числом пикселов целевого субблока в варианте осуществления и варианте осуществления.
Фиг. 13A является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 13B является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 13C является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 13D является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 13E является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 13F является видом, показывающим глубину блоков при разбиении на субблоки, используемом в варианте осуществления.
Фиг. 14A является видом, показывающим сравнение между глубиной для управления квантованием и глубиной целевого субблока в варианте осуществления.
Фиг. 14B является видом, показывающим сравнение между глубиной для управления квантованием и глубиной целевого субблока в варианте осуществления.
Фиг. 14C является видом, показывающим сравнение между глубиной для управления квантованием и глубиной целевого субблока в варианте осуществления.
Фиг. 14D является видом, показывающим сравнение между глубиной для управления квантованием и глубиной целевого субблока в варианте осуществления.
Фиг. 14E является видом, показывающим сравнение между глубиной для управления квантованием и глубиной целевого субблока в варианте осуществления.
Фиг. 15A является видом, показывающим то, что параметры квантования считываются в случае, если значимые коэффициенты не присутствуют в единице совместного использования параметра квантования в варианте осуществления.
Фиг. 15B является видом, показывающим то, что параметры квантования считываются в случае, если значимые коэффициенты не присутствуют в единице совместного использования параметра квантования в варианте осуществления.
Фиг. 16 является блок-схемой последовательности операций способа для процесса кодирования параметров квантования с использованием глубины для управления квантованием.
Фиг. 17 является блок-схемой последовательности операций способа для процесса декодирования параметров квантования с использованием глубины для управления квантованием.
Фиг. 18 является блок-схемой последовательности операций способа для процесса кодирования параметров квантования с использованием размера для управления квантованием и глубины для управления квантованием.
Фиг. 19 является блок-схемой последовательности операций способа для процесса декодирования параметров квантования с использованием размера для управления квантованием и глубины для управления квантованием.
Подробное описание вариантов осуществления
[0009] В дальнейшем в этом документе, подробно описывается настоящее изобретение на основе своего подходящего варианта осуществления со ссылкой на прилагаемые чертежи. Конфигурация, которая описывается в нижеприведенном варианте осуществления, представляет собой всего один пример, и настоящее изобретение не ограничено проиллюстрированной конфигурацией.
[0010] Фиг. 1 является блок-схемой, показывающей устройство кодирования изображений настоящего варианта осуществления. На фиг. 1, секция 100 управления (модуль управления) представляет собой процессор, который полностью управляет устройством кодирования изображений, и терминал 101 представляет собой входной терминал для ввода данных изображений.
[0011] Секция 102 разбиения на блоки (модуль разбиения на блоки) разбивает входное изображение на множество базисных блоков и выводит изображения в единицах базисных блоков в последующую стадию.
[0012] Секция 103 формирования (модуль формирования) формирует, например, информацию относительно размера, используемого для того, чтобы кодировать параметры квантования (размера для управления квантованием), и выводит информацию. Способ формирования информации относительно размера для управления квантованием не ограничен. Пользователь может вводить размер для управления квантованием, размер для управления квантованием может вычисляться из характеристик входного изображения, либо может использоваться размер для управления квантованием, обозначенный заранее в качестве начального значения.
[0013] Секция 104 прогнозирования (модуль прогнозирования) формирует субблоки посредством разбиения каждого базисного блока, выполняет внутреннее прогнозирование, которое представляет собой внутрикадровое прогнозирование, взаимное прогнозирование, которое представляет собой межкадровое прогнозирование и т.п., в единицах субблоков и формирует данные прогнозированных изображений. Помимо этого, ошибки прогнозирования вычисляются из данных изображений, указывающих входные пиксельные значения, и данных прогнозированных изображений и выводятся. Информация, необходимая для прогнозирования, например, информация относительно разбиения на субблоки, режима прогнозирования, вектора движения и т.п., также выводится вместе с ошибками прогнозирования. В дальнейшем в этом документе, информация, необходимая для прогнозирования, называется "информацией прогнозирования".
[0014] Секция 105 преобразования и квантования (модуль преобразования и квантования) выполняет ортогональное преобразование остатков, представляющих ошибки прогнозирования в единицах субблоков, дополнительно выполняет квантование и получает остаточные коэффициенты, представляющие остатки. Параметры квантования представляют собой параметры, используемые для того, чтобы выполнять квантование коэффициентов преобразования, полученных через ортогональное преобразование.
[0015] Секция 106 обратного квантования и обратного преобразования (модуль обратного квантования и обратного преобразования) воспроизводит коэффициенты преобразования посредством выполнения обратного квантования остаточных коэффициентов, выводимых из секции 105 преобразования и квантования, и воспроизводит ошибки прогнозирования посредством применения обратного ортогонального преобразования к коэффициентам преобразования.
[0016] Память 108 кадров является памятью, которая сохраняет данные воспроизведенных изображений.
[0017] Секция 107 воспроизведения изображений (модуль воспроизведения изображений) формирует данные прогнозированных изображений посредством считывания памяти 108 кадров по мере необходимости с использованием информации прогнозирования, выводимой из секции 104 прогнозирования, и формирует данные воспроизведенных изображений из данных прогнозированных изображений и входных ошибок прогнозирования.
[0018] Секция 109 внутриконтурной фильтрации (модуль внутриконтурной фильтрации) применяет внутриконтурную фильтрацию, такую как фильтр удаления блочности и дискретизированное адаптивное смещение, к воспроизведенному изображению.
[0019] Секция 110 кодирования (модуль кодирования) формирует кодовые данные посредством кодирования остаточных коэффициентов, выводимых из секции 105 преобразования и квантования, и информации прогнозирования, выводимой из секции 104 прогнозирования.
[0020] Секция 111 интегрированного кодирования (модуль интегрированного кодирования) формирует кодовые данные заголовка посредством информации кодирования относительно размера для управления квантованием из секции 103 формирования. Секция 111 интегрированного кодирования формирует поток битов посредством дополнительного комбинирования кодовых данных заголовка с кодовыми данными, выводимыми из секции 110 кодирования. Терминал 112 представляет собой выходной терминал для вывода, наружу, потока битов, сформированного посредством секции 111 интегрированного кодирования.
[0021] Ниже описывается операция кодирования изображений в устройстве кодирования изображений. В настоящем варианте осуществления, данные движущихся изображений вводятся в единицах кадров. Альтернативно, могут вводиться однокадровые данные неподвижных изображений.
[0022] Однокадровые данные изображений, вводимые из терминала 101, вводятся в секцию 102 разбиения на блоки.
[0023] Секция 102 разбиения на блоки разбивает данные входных изображений на множество базисных блоков и выводит изображения в единицах базисных блоков в секцию 104 прогнозирования.
[0024] Секция 104 прогнозирования выполняет процесс прогнозирования для данных изображений, вводимых из секции 102 разбиения на блоки. В частности, секция 104 прогнозирования первоначально определяет разбиение на субблоки для разбиения базисных блоков на дополнительные меньшие субблоки.
[0025] Фиг. 7 показывает примеры типа разбиения базисного блока. Толстые рамки, указываемые посредством 700, представляют базисные блоки. Ради легкой иллюстрации предполагается, что размер каждого базисного блока сконфигурирован как 32*32 пикселов, и прямоугольники в толстых рамках представляют субблоки. Фиг. 7B показывает пример квадратных субблоков, полученных посредством разбиения, и пиксельный базисный блок 32*32 разбивается на пиксельные субблоки 16*16. С другой стороны, фиг. 7C-7F показывают примеры типов прямоугольных субблоков, полученных посредством разбиения. На фиг. 7C, базисный блок разбивается на вертикально удлиненные прямоугольные пиксельные субблоки 16*32. На фиг. 7D, базисный блок разбивается на горизонтально удлиненные пиксельные субблоки 32*16. На фиг. 7E и фиг. 7F, базисный блок разбивается на прямоугольные субблоки в соотношении 1:2:1. Таким образом, в настоящем варианте осуществления, процесс кодирования выполняется посредством использования не только квадратных субблоков, но также и прямоугольных субблоков. В настоящем варианте осуществления, информация относительно такого типа разбиения базисного блока кодируется как информация разбиения. Помимо этого, чтобы получать иерархическую структуру субблоков, как показано в левой стороне на фиг. 15 (описан ниже), информация относительно типов разбиения иерархически упорядочивается и кодируется.
[0026] Секция 104 прогнозирования определяет режим прогнозирования для каждого субблока, который должен обрабатываться. В частности, секция 104 прогнозирования определяет режим прогнозирования в единицах субблоков, такой как внутреннее прогнозирование, которое использует кодированные пикселы в кадре, идентичном кадру, включающему в себя каждый субблок, который должен обрабатываться, или взаимное прогнозирование, которое использует пикселы другого кодированного кадра. Секция 104 прогнозирования формирует данные прогнозированных изображений из определенных режимов прогнозирования и кодированных пикселов, дополнительно формирует ошибки прогнозирования из данных входных изображений и данных прогнозированных изображений и выводит ошибки прогнозирования в секцию 105 преобразования и квантования. Секция 104 прогнозирования также выводит информацию относительно разбиения на субблоки, режимов прогнозирования и т.п. в секцию 110 кодирования и секцию 107 воспроизведения изображений в качестве информации прогнозирования.
[0027] Здесь подробнее описываются процесс преобразования и процесс квантования, выполняемые посредством секции 105 преобразования и квантования. Секция 105 преобразования и квантования применяет преобразование частоты к данным изображений (пиксельным значениям) субблоков, для которых процесс прогнозирования выполнен посредством секции 104 прогнозирования, и дополнительно выполняет квантование для данных изображений. Фиг. 8A-8F показывают взаимосвязи между типом разбиения блока и размером для управления квантованием. Секция 105 преобразования и квантования определяет единицу субблоков, в которых параметр квантования совместно используется и кодируется, посредством использования размеров целевых субблоков и размера для управления квантованием, выводимого из секции 103 формирования. Другими словами, в последующей секции 110 кодирования, то, должен или нет параметр квантования совместно использоваться множеством субблоков, определяется в соответствии со сравнением между размером для управления квантованием и размером каждого субблока. Ниже описывается кодирование параметров квантования. Способ определения самих по себе значений параметров квантования, используемых для квантования, не ограничен. Пользователь может вводить параметры квантования, параметры квантования могут вычисляться из характеристик входного изображения, либо могут использоваться параметры квантования, обозначенные заранее в качестве начальных значений.
[0028] Далее описывается способ определения единицы, в которой кодируется параметр квантования.
[0029] Секция 105 преобразования и квантования сравнивает длину меньшей из горизонтальной стороны и вертикальной стороны каждого целевого субблока с размером для управления квантованием и определяет единицу, в которой кодируется параметр квантования, т.е. единицу, в которой используется идентичный параметр квантования.
[0030] Фиг. 8 показывает единицу, в которой кодируется параметр квантования, когда длина меньшей из горизонтальной стороны и вертикальной стороны каждого целевого субблока сравнивается с размером для управления квантованием. На фиг. 8, длина одной стороны квадратного блока задается как размер для управления квантованием. В частности, фиг. 8 показывает примеры, в которых 16 применяется в качестве размера для управления квантованием. Фиг. 8 указывает меньшую из длины по горизонтали и длины по вертикали каждого целевого субблока с помощью стрелки. Прямоугольники в толстых рамках целевых субблоков на фиг. 8 представляют области, в которых совместно используется параметр квантования, определенный в результате сравнения между каждым целевым субблоком и размером для управления квантованием. Qp обозначает параметр квантования. Для фиг. 8A, фиг. 8B, фиг. 8C и фиг. 8D, меньшая из длины по горизонтали и длины по вертикали каждого целевого субблока превышает или равна размеру для управления квантованием (16). По этой причине, квантование каждого целевого субблока выполняется посредством использования соответствующего одного из отдельных параметров (QpA-QpD) квантования. Соответствующий один из параметров (QpA-QpD) квантования кодируется для каждого субблока. С другой стороны, для фиг. 8E и фиг. 8F, субблоки, длина меньшей из горизонтальной стороны и вертикальной стороны которых меньше размера для управления квантованием, включаются в базисный блок, который должен обрабатываться, так что параметр квантования совместно используется множеством субблоков. В частности, для каждого из фиг. 8E и фиг. 8F, квантование трех субблоков выполняется посредством использования идентичного параметра квантования. В это время, для параметра квантования, который должен кодироваться, один параметр квантования кодируется не для каждого субблока, а в качестве общего параметра квантования. Как описано выше, параметр квантования используется в соответствии с размером каждого целевого субблока и размером для управления квантованием.
[0031] Далее описываются примеры случая размера для управления квантованием, отличающегося от размера для управления квантованием по фиг. 8, со ссылкой на фиг. 9. Также на фиг. 9, длина одной стороны квадратного блока задается как размер для управления квантованием. В частности, фиг. 9 показывает примеры, в которых длина 32, идентичная длине одной стороны базисного блока, который должен обрабатываться, применяется в качестве размера для управления квантованием. Смысловые значения толстых рамок, стрелок и Qp на фиг. 9 являются аналогичными смысловым значениям на фиг. 8, так что описание опускается. На фиг. 9A-9F, когда меньшая из длины по горизонтали и длины по вертикали каждого целевого субблока сравнивается с размером для управления квантованием, любой из целевых субблоков равен или меньше размера для управления квантованием. По этой причине, в каждом случае, квантование субблоков выполняется посредством использования идентичного параметра квантования. Для параметра квантования, который должен кодироваться, параметр квантования кодируется не для каждого субблока, а в качестве общего параметра квантования.
[0032] Снова ссылаясь на фиг. 1, секция 106 обратного квантования и обратного преобразования воспроизводит коэффициенты преобразования посредством выполнения обратного квантования коэффициентов входного остатка, дополнительно воспроизводит ошибки прогнозирования посредством применения обратного ортогонального преобразования к воспроизведенным коэффициентам преобразования и выводит ошибки прогнозирования в секцию 107 воспроизведения изображений. В процессе обратного квантования для каждого субблока, используется параметр квантования, идентичный параметру квантования, используемому в секции 105 преобразования и квантования.
[0033] Секция 107 воспроизведения изображений воспроизводит прогнозированное изображение посредством считывания памяти 108 кадров по мере необходимости с использованием информации прогнозирования, вводимой из секции 104 прогнозирования. Секция 107 воспроизведения изображений воспроизводит данные изображений из воспроизведенного прогнозированного изображения и воспроизведенных ошибок прогнозирования, вводимых из секции 106 обратного квантования и обратного преобразования, вводит данные изображений в память 108 кадров и сохраняет данные изображений.
[0034] Секция 109 внутриконтурной фильтрации считывает воспроизведенное изображение из памяти 108 кадров и применяет внутриконтурную фильтрацию, такую как фильтр удаления блочности, к воспроизведенному изображению. Внутриконтурная фильтрация выполняется в соответствии с режимами прогнозирования секции 104 прогнозирования, значениями параметров квантования, используемых в секции 105 преобразования и квантования, и тем, имеется или нет ненулевое значение (в дальнейшем в этом документе "значимый коэффициент") в каждом из обработанных субблоков после квантования, либо информацией разбиения на субблоки. Секция 109 внутриконтурной фильтрации вводит фильтрованное изображение в память 108 кадров снова и сохраняет изображение снова.
[0035] Секция 110 кодирования выполняет энтропийное кодирование для остаточных коэффициентов, сформированных посредством секции 105 преобразования и квантования, и информации прогнозирования, вводимой из секции 104 прогнозирования, и формирует кодовые данные в единицах блоков.
[0036] Способ энтропийного кодирования не указывается. Может использоваться кодирование кодом Голомба, арифметическое кодирование, кодирование кодом Хаффмана и т.п. Сформированные кодовые данные выводятся в секцию 111 интегрированного кодирования. При кодировании параметров квантования, которые составляют информацию квантования, кодируется идентификатор, указывающий дифференциальное значение между параметром квантования субблока, который должен кодироваться, и параметром квантования субблока, кодированного до этого субблока. В настоящем варианте осуществления, дифференциальное значение между параметром квантования, кодированным непосредственно перед этим субблоком в последовательности кодирования в качестве прогнозированного значения, и параметром квантования этого субблока вычисляется; тем не менее, прогнозированное значение параметра квантования не ограничено этим. Параметр квантования субблока, смежного слева или справа от этого субблока, может использоваться в качестве прогнозированного значения, или значение, вычисленное из параметров квантования множества субблоков, к примеру, среднее значение, может использоваться в качестве прогнозированного значения.
[0037] Здесь подробно описывается процесс кодирования параметров квантования в соответствии с размером для управления квантованием со ссылкой на фиг. 10. Левосторонний вид на каждом из фиг. 10A-10F показывает тип разбиения на блоки и параметр (Qp) квантования, используемый в каждом субблоке. Диагонально заштрихованный субблок представляет субблок, ассоциированный с параметром квантования, который должен кодироваться. Прямоугольник в толстой рамке представляет область, в которой совместно используется параметр квантования, определенный в соответствии с размером для управления квантованием и каждым размером целевого субблока. Средний вид на фиг. 10A-10F указывает то, имеет или нет каждый субблок значимый коэффициент. Значимый коэффициент означает ненулевой коэффициент из числа остаточных коэффициентов после преобразования и квантования. Другими словами, наличие значимого коэффициента означает то, что, по меньшей мере, один ненулевой остаточный коэффициент присутствует в субблоке после преобразования и квантования. Стрелка, показанная в правостороннем виде на каждом из фиг. 10A-10F, указывает последовательность кодирования (декодирования). В настоящем варианте осуществления, в области, в которой параметр квантования совместно используется, параметр квантования ассоциирован с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования, и кодируется. Например, на фиг. 10B, первый субблок, включающий в себя значимый коэффициент в последовательности кодирования, представляет собой правый верхний субблок, так что параметр квантования, ассоциированный с субблоком, кодируется. В этом случае, поскольку параметр квантования уже кодирован в правом верхнем субблоке в единице кодирования параметров квантования, то параметр квантования не кодируется в левом нижнем и правом нижнем субблоках. С другой стороны, в процессе квантования и обратного квантования в левом нижнем и правом нижнем субблоках, QpA, который представляет собой параметр квантования, идентичный параметру квантования правого верхнего субблока, используется. Кроме того, значимые коэффициенты не присутствуют в левом верхнем субблоке, так что процесс квантования не выполняется; тем не менее, QpA, который представляет собой параметр квантования, идентичный параметру квантования правого верхнего субблока, используется в процессе с использованием параметра квантования, такого как фильтр удаления блочности. На фиг. 10F, первый субблок, включающий в себя значимый коэффициент в последовательности кодирования, представляет собой субблок, расположенный в нижней стороне, так что параметр квантования ассоциирован с субблоком и кодируется, и параметр квантования не кодируется для верхнего и среднего субблоков. Тем не менее, в верхнем и среднем субблоках на фиг. 10F, а также в левом верхнем субблоке на фиг. 10B, QpA, который представляет собой параметр квантования, идентичный параметру квантования нижнего субблока, используется в процессе с использованием параметра квантования, такого как фильтр удаления блочности.
[0038] Таким образом, в субблоках в области, в которой совместно используется параметр квантования, определенный в соответствии с размером для управления квантованием, параметр квантования ассоциирован с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования, и кодируется.
[0039] В секции 111 интегрированного кодирования кодируется информация относительно размера для управления квантованием. Способ кодирования не указывается. Может использоваться кодирование кодом Голомба, арифметическое кодирование, кодирование кодом Хаффмана и т.п. Поток битов формируется посредством мультиплексирования этих кодов, кодовых данных, вводимых из секции 110 кодирования, и т.п. В конечном счете, поток битов выводится наружу из терминала 112.
[0040] Фиг. 6A показывает пример потока битов, включающего в себя кодированную информацию относительно размера для управления квантованием. Информация относительно размера для управления квантованием включается в любой из заголовков последовательности, кинокадра и т.п. В настоящем варианте осуществления, предполагается, что, как показано на фиг. 6A, информация относительно размера для управления квантованием включается в заголовок кинокадра. Тем не менее, позиция, в которой кодируется информация относительно размера для управления квантованием, не ограничена этим и может включаться в заголовок последовательности, как показано на фиг. 6B.
[0041] Фиг. 3 является блок-схемой последовательности операций способа, показывающей процесс кодирования, выполняемый в устройстве кодирования изображений согласно настоящему варианту осуществления.
[0042] Первоначально, на этапе S301, секция 102 разбиения на блоки разбивает изображения, вводимые в единицах кадров, на изображения в единицах базисных блоков.
[0043] На этапе S302, секция 103 формирования определяет размер для управления квантованием, который представляет собой размер для кодирования параметров квантования. Затем информация задается в качестве информации размера для управления квантованием. Информация размера для управления квантованием также кодируется посредством секции 111 интегрированного кодирования.
[0044] На этапе S303, секция 104 прогнозирования формирует субблоки посредством выполнения процесса разбиения для данных изображений, сформированных в единицах базисных блоков на этапе S301. Секция 104 прогнозирования выполняет процесс прогнозирования для каждого из сформированных субблоков и формирует информацию прогнозирования, такую как разбиение на блоки и режим прогнозирования и данные прогнозированных изображений. Помимо этого, ошибки прогнозирования вычисляются из данных входных изображений и данных прогнозированных изображений.
[0045] На этапе S304, секция 105 преобразования и квантования формирует коэффициенты преобразования посредством применения ортогонального преобразования к ошибкам прогнозирования, вычисленным на этапе S303. Секция 105 преобразования и квантования дополнительно формирует остаточные коэффициенты посредством использования параметров квантования, определенных в соответствии с информацией размера для управления квантованием, сформированной на этапе S302. В частности, как описано выше, то, совместно используется или нет параметр квантования субблоками в базисном блоке, определяется посредством проведения сравнения между информацией размера для управления квантованием (например, длиной одной стороны квадратного блока) и размером (например, длиной короткой стороны или длинной стороны) каждого субблока. В соответствии с определением, квантование каждого из субблоков в каждой области выполняется посредством использования параметра квантования, ассоциированного с субблоками, и остаточные коэффициенты каждого субблока формируются.
[0046] На этапе S305, секция 106 обратного квантования и обратного преобразования воспроизводит ошибки прогнозирования посредством применения обратного квантования и обратного ортогонального преобразования к остаточным коэффициентам, сформированным на этапе S304. Параметры квантования, идентичные параметрам квантования, используемым на этапе S304, используются в процессе обратного квантования на этом этапе.
[0047] На этапе S306, секция 107 воспроизведения изображений воспроизводит прогнозированное изображение в соответствии с информацией прогнозирования, сформированной на этапе S303. Секция 107 воспроизведения изображений дополнительно воспроизводит данные изображений из воспроизведенного прогнозированного изображения и ошибок прогнозирования, сформированных на этапе S305.
[0048] На этапе S307, секция 110 кодирования кодирует информацию прогнозирования, сформированную на этапе S303, и остаточные коэффициенты, сформированные на этапе S304, вместе с информацией разбиения на блоки и формирует кодовые данные. Секция 110 кодирования также кодирует параметры квантования, используемые на этапе S304, в соответствии с информацией размера для управления квантованием, сформированной на этапе S302. Секция 110 кодирования формирует поток битов за счет дополнительного включения других кодовых данных. В частности, в каждой области, в которой параметр квантования, определенный на этапе S304, совместно используется, параметр квантования кодируется в ассоциации с субблоком, включающим в себя, по меньшей мере, один значимый коэффициент в последовательности субблоков, которые должны кодироваться.
[0049] На этапе S308, секция 100 управления устройства кодирования изображений определяет то, закончено или нет кодирование всех базисных блоков в кадре, и когда кодирование закончено, процесс переходит к этапу S309; иначе, процесс возвращается к этапу S303 для следующего базисного блока.
[0050] На этапе S309, секция 109 внутриконтурной фильтрации применяет внутриконтурную фильтрацию к данным изображений, воспроизведенным на этапе S306, формирует фильтрованное изображение и завершает процесс.
[0051] Таким образом, в частности, информация размера для управления квантованием формируется на этапе S302, и процесс квантования и кодирования выполняется в соответствии с информацией размера для управления квантованием на этапе S304 и на этапе S307, так что можно надлежащим образом предоставлять процесс кодирования параметров квантования. Как результат, в то время как объем данных сформированного потока битов в целом подавляется, качество кодированного изображения повышается.
[0052] В настоящем варианте осуществления, область, в которой параметр квантования совместно используется, определяется посредством использования меньшей из длины по горизонтали и длины по вертикали каждого целевого субблока для сравнения с размером для управления квантованием; тем не менее, настоящее изобретение не ограничено этим. Например, как показано на фиг. 11A-11F, единица совместного использования параметра квантования может определяться посредством проведения сравнения с большей из длины по горизонтали и длины по вертикали каждого целевого субблока. На фиг. 11, длина длинной стороны каждого субблока представляет собой цель, которая должна сравниваться с длиной (16) одной стороны квадратного блока в качестве размера для управления квантованием. На фиг. 11, поскольку длинные стороны всех субблоков превышают размер для управления квантованием (16), параметр квантования кодируется для каждого из субблоков. При этой конфигурации, для прямоугольных субблоков, можно формировать поток битов, ориентированный на высокоточное управление параметрами квантования, а не на уменьшение объема кода параметров квантования.
[0053] Кроме того, в качестве другого варианта осуществления, область, в которой параметр квантования совместно используется, может определяться посредством сравнения числа пикселов каждого целевого субблока с числом пикселов размера для управления квантованием. Фиг. 12A-12F показывают случаи, в которых число пикселов каждого целевого субблока сравнивается с числом пикселов размера для управления квантованием. На фиг. 12, размер для управления квантованием составляет 16*16 пикселов, так что число пикселов равно 256. Для целевых субблоков, число пикселов превышает или равно 256 пикселам во всех субблоках на фиг. 12A-12F. Таким образом, в примерах по фиг. 12, параметр квантования кодируется в каждом из всех субблоков. При этой конфигурации, независимо от формы каждого субблока, можно реализовывать управление параметрами квантования на основе числа пикселов в каждом субблоке.
[0054] В настоящем варианте осуществления, приводится описание при условии, что размер для управления квантованием представляет собой одну сторону квадратного блока. Альтернативно, размер для управления квантованием может представлять собой одну сторону прямоугольного блока. В этом случае, ширина и высота размера для управления квантованием могут указываться. В этом случае, длина по вертикали и длина по горизонтали каждого целевого субблока, соответственно, могут сравниваться с шириной и высотой размера для управления квантованием, и когда обе или одна из длин превышают или равны размеру для управления квантованием, параметр квантования может кодироваться для каждого субблока. При этой конфигурации, можно реализовывать различные виды управления параметрами квантования для вертикально удлиненных прямоугольных субблоков и горизонтально удлиненных прямоугольных субблоков. Когда субблок, обе длины или одна из длин которого меньше размера для управления квантованием, присутствует в базисном блоке, который должен обрабатываться, кодируется один параметр квантования, который должен совместно использоваться субблоками, которые удовлетворяют условию.
[0055] В настоящем варианте осуществления, единица, в которой кодируется параметр квантования, задается посредством пространственного размера; тем не менее, конфигурация не ограничена этим. Глубина управления квантованием (в дальнейшем в этом документе "глубина для управления квантованием"), которая указывает число раз, когда базисный блок разбивается, может формироваться, и то, следует или нет кодировать параметр квантования, может определяться посредством сравнения глубины для управления квантованием с глубиной разбиения каждого целевого субблока. В этом случае, вместо информации размера для управления квантованием, показанной на фиг. 6, кодируется информация глубины для управления квантованием.
[0056] Далее описывается глубина разбиения каждого целевого субблока со ссылкой на фиг. 13. На фиг. 13, D0 и D1, соответственно, указывают глубину в 0 и глубину в 1. Фиг. 13A показывает то, что базисный блок не разбит однократно, и глубина субблока равна 0 (D0). Фиг. 13B показывает то, что базисный блок разбит на четыре, и глубина каждого субблока равна 1 (D1). Фиг. 13C и фиг. 13D показывают то, что базисный блок разбит на два, и глубина каждого субблока равна 1 (D1). Фиг. 13E и фиг. 13F показывают то, что базисный блок разбит на три, и глубина каждого субблока равна 1 (D1). Таким образом, глубина каждого из субблоков, на которые базисный блок разбит однократно, постепенно увеличивается на единицу при любом из четырехсекционного разбиения, двухсекционного разбиения и трехсекционного разбиения.
[0057] Далее описывается то, как параметр квантования кодируется в соответствии с глубиной для управления квантованием и глубиной разбиения каждого целевого субблока, со ссылкой на фиг. 14. Фиг. 14A-14E показывают то, что крайний внешний квадрат представляет собой базисный блок. На каждом из фиг. 14A-14E, левая сторона показывает разбитые субблоки, и правая сторона показывает области, в каждой из которых совместно используется параметр квантования. D0, D1, D2, D3 или D4 в каждом блоке на чертежах указывают глубину субблока. Например, D0 указывает глубину в 0, и D4 указывает глубину в 4. Qp обозначает параметр квантования. Фиг. 14A, фиг. 14B, фиг. 14C, фиг. 14D и фиг. 14E, соответственно, показывают случаи, когда глубины для управления квантованием равны 0, 1, 2, 3 и 4. В случае фиг. 14A, т.е. когда глубина для управления квантованием равна 0, общий параметр квантования используется для всех субблоков на чертеже, и параметр квантования кодируется в ассоциации с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования. В этом случае, число параметров квантования, которые должны кодироваться, равно единице. В случае фиг. 14B, т.е. когда глубина для управления квантованием равна 1, параметр квантования совместно используется в единицах блоков, показанных в правой стороне на фиг. 14B. Помимо этого, один параметр квантования кодируется в ассоциации с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования, в единицах блоков. В этом случае, число параметров квантования, которые должны кодироваться, равно четырем. В случае фиг. 14C, т.е. когда глубина для управления квантованием равна 2, параметр квантования совместно используется в единицах блоков, показанных в правой стороне на чертеже, и один параметр квантования кодируется в ассоциации с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования, в единицах. В этом случае, число параметров квантования, которые должны кодироваться, равно 11. В случае фиг. 14D, т.е. когда глубина для управления квантованием равна 3, параметр квантования совместно используется в единицах блоков, показанных в правой стороне на фиг. 14D, и один параметр квантования кодируется в ассоциации с первым субблоком, включающим в себя значимый коэффициент в последовательности кодирования, в единицах. В этом случае, число параметров квантования, которые должны кодироваться, равно 23. В случае фиг. 14E, т.е. когда глубина для управления квантованием равна 4, параметр квантования используется в единицах блоков, показанных в правой стороне на фиг. 14D. В случае фиг. 14E, глубина разбиения блоков равна глубине для управления квантованием, так что параметр квантования кодируется для каждого из блоков. В этом случае, число параметров квантования, которые должны кодироваться, равно 27.
[0058] Здесь описывается случай, в котором субблок, не включающий в себя значимый коэффициент, присутствует в области, в которой параметр квантования совместно используется, со ссылкой на фиг. 15. Фиг. 15A, аналогично фиг. 14, показывает разбиение на субблоки, и D0, D1, D2, D3 или D4 указывают глубину каждого субблока. Фиг. 15B является примером, показывающим области совместного использования параметра квантования, определенные в соответствии с глубиной для управления квантованием и глубиной каждого субблока, как и в случае фиг. 14. Фиг. 15B показывает случай, когда глубина для управления квантованием равна 2, в качестве примера. Фиг. 15B иллюстрирует случай, в котором значимые коэффициенты не присутствуют во всех трех субблоках в области, ассоциированной с параметром QpG квантования, в качестве примера. В этом случае, параметр QpG квантования для трех субблоков не кодируется. Тем не менее, для таких процессов, как фильтр удаления блочности, значение, идентичное значению параметра квантования, кодированного непосредственно перед этим, т.е. QpF, используется. В единице кодирования параметров квантования, в которой не присутствуют значимые коэффициенты, параметр квантования, кодированный непосредственно перед этим в последовательности кодирования, используется в процессах с использованием параметра квантования; тем не менее, настоящее изобретение не ограничено этим. Например, может использоваться QpD, который представляет собой параметр квантования верхней смежной единицы кодирования параметров квантования, либо может использоваться QpF, который представляет собой левый смежный параметр квантования. Альтернативно, может использоваться значение, вычисленное из параметров квантования множества единиц кодирования параметров квантования, к примеру, среднее значение. Альтернативно, может использоваться начальное значение параметра квантования для слайса. Слайс означает единицу, в которой разбивается кадр, и состоит, по меньшей мере, из одного или более базисных блоков. Таким образом, глубина каждого целевого субблока может сравниваться с глубиной для управления квантованием, и когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, параметр квантования может совместно использоваться. Поскольку информация разбиения на субблоки кодируется при каждом разбиении, можно реализовывать управление кодированием параметров квантования, высокосовместимое с информацией разбиения на субблоки, соответственно, так что в итоге упрощается структура синтаксиса.
[0059] Фиг. 16 является блок-схемой последовательности операций способа, показывающей процесс кодирования параметров квантования с использованием глубины для управления квантованием.
[0060] На этапе S1601, секция 105 преобразования и квантования сравнивает глубину для управления квантованием с глубиной разбиения каждого субблока.
[0061] На этапе S1602, секция 105 преобразования и квантования определяет область субблоков, имеющих глубину разбиения, большую глубины для управления квантованием в результате сравнения на S1601, в качестве области, в которой один параметр квантования совместно используется.
[0062] На этапе S1603, секция 105 преобразования и квантования выполняет квантование субблоков в определенной области посредством использования идентичного параметра квантования.
[0063] На этапе S1604, секция 110 кодирования кодирует параметр квантования, используемый на этапе S1603, в ассоциации, из субблоков в определенной области, с субблоком, имеющим, по меньшей мере, один значимый коэффициент в качестве остаточного коэффициента в последовательности кодирования. Секция 111 интегрированного кодирования кодирует информацию глубины для управления квантованием.
[0064] Процесс по фиг. 16 выполняется для каждого из базисных блоков в кадре.
[0065] Кроме того, как размер для управления квантованием, так и глубина для управления квантованием могут формироваться и использоваться в комбинации. В этом случае, в дополнение к информации размера для управления квантованием, показанной на фиг. 6, кодируется информация глубины для управления квантованием.
[0066] Когда, например, глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и длина меньшей из горизонтальной стороны и вертикальной стороны каждого целевого субблока превышает или равна размеру для управления квантованием, параметр квантования может кодироваться для каждого субблока. В частности, длина короткой стороны каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, длина короткой стороны которого превышает или равна размеру для управления квантованием, параметр квантования кодируется для каждого из субблоков в области. Когда длина короткой стороны каждого субблока в области не превышает или равна размеру для управления квантованием, один параметр квантования совместно используется субблоками в области, и один параметр квантования кодируется.
[0067] Альтернативно, когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и длина большей из горизонтальной стороны и вертикальной стороны каждого целевого субблока превышает или равна размеру для управления квантованием, параметр квантования может кодироваться для каждого из субблоков. В этом случае, размер каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, длина длинной стороны которого превышает или равна размеру для управления квантованием, параметр квантования кодируется для каждого из субблоков в области. Когда длина длинной стороны каждого субблока в области не превышает или равна размеру для управления квантованием, один параметр квантования совместно используется субблоками в области, и один параметр квантования кодируется.
[0068] Альтернативно, когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и число пикселов каждого целевого субблока превышает или равно числу пикселов размера для управления квантованием, параметр квантования может кодироваться для каждого из субблоков. В этом случае, размер каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, число пикселов которого превышает или равно числу пикселов размера для управления квантованием, параметр квантования кодируется для каждого из субблоков в области. Когда число пикселов каждого субблока в области не превышает или равно размеру для управления квантованием, один параметр квантования совместно используется субблоками в области, и один параметр квантования кодируется.
[0069] Альтернативно, ширина и высота размера для управления квантованием могут указываться и использоваться в комбинации с глубиной для управления квантованием. В этом случае, длина по вертикали и длина по горизонтали каждого субблока, соответственно, сравниваются с шириной и высотой размера для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В этом случае, когда имеется субблок, обе или одна из длины по вертикали и длины по горизонтали которого превышают или равны ширине и высоте размера для управления квантованием, параметр квантования кодируется для каждого из субблоков в целевой области. Когда отсутствуют субблоки, обе или одна из длины по вертикали и длины по горизонтали которых превышают или равны ширине и высоте размера для управления квантованием, параметр квантования совместно используется в области, и один параметр квантования кодируется.
[0070] Таким образом, в случаях, если разбиение на прямоугольные субблоки используется много раз, можно реализовывать управление кодированием параметров квантования даже в чрезвычайно длинных тонких прямоугольных субблоках посредством использования не только глубины для управления квантованием, но также и размера для управления квантованием.
[0071] Фиг. 18 является блок-схемой последовательности операций способа, показывающей процесс кодирования параметров квантования посредством использования как размера для управления квантованием, так и глубины для управления квантованием.
[0072] На этапе S1801, секция 105 преобразования и квантования сравнивает глубину для управления квантованием с глубиной разбиения субблоков и определяет области, имеющие глубину блока, ассоциированную с глубиной для управления квантованием.
[0073] На этапе S1802, для каждой из областей, определенных на этапе S1801, секция 105 преобразования и квантования сравнивает размер каждого из субблоков, включенных в область, с размером для управления квантованием.
[0074] На этапе S1803, в результате сравнения на этапе S1802, секция 105 преобразования и квантования определяет то, совместно используется или нет один параметр квантования субблоками в целевой области. В соответствии с определением, квантование каждого из субблоков в каждой области выполняется посредством использования параметра квантования, ассоциированного с субблоками, и остаточные коэффициенты каждого субблока формируются.
[0075] На этапе S1804, когда один параметр квантования совместно используется субблоками в целевой области, секция 110 кодирования кодирует параметр квантования в ассоциации с первым субблоком, имеющим, по меньшей мере, один значимый коэффициент в последовательности кодирования. С другой стороны, параметр квантования не кодируется в ассоциации с другим субблоком. Когда один параметр квантования не используется совместно субблоками в целевой области, секция 110 кодирования кодирует параметр квантования в ассоциации с каждым из субблоков, отличных от субблоков, не включающих в себя значимый коэффициент. Секция 111 интегрированного кодирования кодирует информацию размера для управления квантованием и информацию глубины для управления квантованием.
[0076] Такой процесс кодирования выполняется для каждого из базисных блоков.
[0077] Когда процесс кодирования параметров квантования выполнится посредством использования как размера для управления квантованием, так и глубины для управления квантованием, параметр квантования с большей вероятностью должен быть ассоциирован с каждым из субблоков, когда длинная сторона каждого субблока сравнивается с размером для управления квантованием. Другими словами, способ проведения сравнения с размером для управления квантованием посредством использования длинной стороны каждого субблока является более подходящим для объекта, имеющего длинную тонкую форму.
[0078] Когда тип разбиения субблоков является иерархически непрерывным, совместное использование параметра квантования может запрещаться независимо от результата сравнения между размером для управления квантованием и размером каждого субблока. При этой конфигурации, можно выполнять квантование субблоков, подходящих для объекта, имеющего длинную тонкую форму.
[0079] Фиг. 2 является блок-схемой, показывающей конфигурацию устройства декодирования изображений. В настоящем варианте осуществления, например, в дальнейшем описывается декодирование кодированных данных, сформированных в устройстве кодирования изображений, показанном на фиг. 1.
[0080] Терминал 201 представляет собой входной терминал, из которого вводится кодированный поток битов.
[0081] Секция 202 разделения и декодирования (модуль разделения и декодирования) разделяет информацию относительно процесса декодирования и кодовые данные по остаточным коэффициентам из потока битов и декодирует кодовые данные в заголовке потока битов. В настоящем варианте осуществления, секция 202 разделения и декодирования декодирует информацию размера для управления квантованием и выводит информацию размера для управления квантованием в последующую стадию. Секция 202 разделения и декодирования выполняет обратную операцию секции 111 интегрированного кодирования, показанной на фиг. 1.
[0082] Секция 203 декодирования (модуль декодирования) получает остаточные коэффициенты и информацию прогнозирования из кодовых данных, выводимых из секции 202 разделения и декодирования.
[0083] Секция 204 обратного квантования и обратного преобразования (модуль обратного квантования и обратного преобразования) выполняет обратное квантование остаточных коэффициентов, вводимых в единицах блоков, дополнительно применяет обратное ортогональное преобразование и получает ошибки прогнозирования.
[0084] Память 206 кадров является памятью, которая сохраняет данные воспроизведенных изображений кинокадра.
[0085] Секция 205 воспроизведения изображений (модуль воспроизведения изображений) формирует данные прогнозированных изображений посредством считывания памяти 206 кадров по мере необходимости с использованием входной информации прогнозирования. Секция 205 воспроизведения изображений формирует данные воспроизведенных изображений из данных прогнозированных изображений и ошибок прогнозирования, воспроизведенных посредством секции 204 обратного квантования и обратного преобразования, и выводит данные воспроизведенных изображений.
[0086] Секция 207 внутриконтурной фильтрации (модуль внутриконтурной фильтрации). Секция 207 внутриконтурной фильтрации, аналогично секции 109 внутриконтурной фильтрации, показанной на фиг. 1, применяет внутриконтурную фильтрацию, такую как фильтр удаления блочности, к воспроизведенному изображению и выводит фильтрованное изображение.
[0087] Терминал 208 представляет собой выходной терминал, из которого данные воспроизведенных изображений выводятся наружу.
[0088] Ниже описывается операция декодирования изображений в устройстве декодирования изображений. В настоящем варианте осуществления, декодируется поток битов, сформированный в настоящем варианте осуществления.
[0089] На фиг. 2, секция 200 управления (модуль управления) представляет собой процессор, который полностью управляет устройством декодирования изображений, и поток битов, вводимый из терминала 201, вводится в секцию 202 разделения и декодирования. Секция 202 разделения и декодирования разделяет информацию относительно процесса декодирования и кодовые данные по коэффициентам из потока битов и декодирует кодовые данные в заголовке потока битов. В частности, секция декодирования 202 декодирует информацию размера для управления квантованием. В настоящем варианте осуществления, первоначально декодируется информация размера для управления квантованием из заголовка кинокадра потока битов, показанного на фиг. 6A. Такая полученная информация размера для управления квантованием выводится в секцию 203 декодирования и секцию 204 обратного квантования и обратного преобразования. Кроме того, кодовые данные в единицах блоков данных кинокадров выводятся в секцию 203 декодирования.
[0090] Секция 203 декодирования декодирует кодовые данные и получает остаточные коэффициенты, информацию прогнозирования и параметры квантования. Остаточные коэффициенты и параметры квантования выводятся в секцию 204 обратного квантования и обратного преобразования, и полученная информация прогнозирования выводится в секцию 205 воспроизведения изображений.
[0091] Здесь описывается процесс выделения параметров квантования субблокам в соответствии с размером для управления квантованием со ссылкой на фиг. 10. Как описано выше, на каждом из фиг. 10A-10F, левая сторона показывает тип разбиения на блоки и параметр (Qp) квантования, используемый во время кодирования в каждом субблоке. Диагонально заштрихованный субблок представляет субблок, ассоциированный с параметром квантования. Прямоугольник в толстой рамке представляет область, в которой совместно используется параметр квантования, определенный в соответствии с размером для управления квантованием и каждым размером целевого субблока. Способ проведения сравнения с размером для управления квантованием является аналогичным способу устройства кодирования изображений. Например, как описано со ссылкой на фиг. 8 и фиг. 9, меньшая из горизонтальной стороны и вертикальной стороны каждого целевого субблока сравнивается с размером для управления квантованием. Средний вид представляет то, имеет или нет каждый субблок значимый коэффициент. Значимый коэффициент означает ненулевой коэффициент из числа остаточных коэффициентов. Другими словами, наличие значимого коэффициента означает то, что, по меньшей мере, один ненулевой остаточный коэффициент присутствует в субблоке. Стрелка, показанная в правой стороне на чертеже, указывает последовательность декодирования. Из числа субблоков в единице кодирования параметров квантования, параметр квантования декодируется в первом субблоке, включающем в себя значимый коэффициент в последовательности декодирования. Например, на фиг. 10B, первый субблок, включающий в себя значимый коэффициент в последовательности декодирования, представляет собой правый верхний субблок, так что параметр квантования декодируется для субблока. В этом случае, левый нижний и правый нижний субблоки находятся в области, в которой параметр квантования совместно используется, и параметр квантования в правом верхнем субблоке уже декодирован. Другими словами, кодированные данные параметров квантования, ассоциированных с левым нижним и правым нижним субблоками, не присутствуют в потоке битов, и параметры квантования, ассоциированные с левым нижним и правым нижним субблоками, не декодируются. В процессе квантования и обратного квантования в левом нижнем и правом нижнем субблоках, используется QpA, который представляет собой параметр квантования, идентичный параметру квантования правого верхнего субблока. Кроме того, значимые коэффициенты не присутствуют в левом верхнем субблоке, так что процесс квантования не выполняется; тем не менее, QpA, который представляет собой параметр квантования, идентичный параметру квантования правого верхнего субблока, используется в процессе с использованием параметра квантования, такого как фильтр удаления блочности. На фиг. 10F, первый субблок, включающий в себя значимый коэффициент в последовательности декодирования, представляет собой нижний субблок, так что параметр квантования, ассоциированный с субблоком, декодируется. Кодированные данные параметров квантования, ассоциированных с верхним и средним субблоками на фиг. 10F, не присутствуют в потоке битов, и параметры квантования, ассоциированные с верхним и средним субблоками, не декодируются. Тем не менее, в верхнем и среднем субблоках на фиг. 10F, а также в левом верхнем субблоке на фиг. 10B, QpA, который представляет собой параметр квантования, идентичный параметру квантования нижнего субблока, используется в процессе с использованием параметра квантования, такого как фильтр удаления блочности. Таким образом, в субблоках в единице кодирования параметров квантования, определенной в соответствии с размером для управления квантованием, параметр квантования декодируется для первого субблока, включающего в себя значимый коэффициент в последовательности декодирования.
[0092] Секция 204 обратного квантования и обратного преобразования формирует коэффициенты ортогонального преобразования посредством выполнения обратного квантования для коэффициентов входного остатка, дополнительно применяет обратное ортогональное преобразование и воспроизводит ошибки прогнозирования. При обратном квантовании каждого субблока, обратное квантование выполняется посредством использования общего параметра квантования для каждой области, в которой параметр квантования совместно используется. Полученная информация прогнозирования выводится в секцию 205 воспроизведения изображений.
[0093] Секция 205 воспроизведения изображений воспроизводит прогнозированное изображение посредством считывания памяти 206 кадров по мере необходимости с использованием информации прогнозирования, вводимой из секции 203 декодирования. Секция 205 воспроизведения изображений воспроизводит данные изображений из прогнозированного изображения и ошибки прогнозирования, вводимые из секции 204 обратного квантования и обратного преобразования, вводит данные изображений в память 206 кадров и сохраняет данные изображений в памяти 206 кадров. Сохраненные данные изображений используются для ссылки во время прогнозирования.
[0094] Секция 207 внутриконтурной фильтрации (модуль внутриконтурной фильтрации), аналогично 109 на фиг. 1, считывает воспроизведенное изображение из памяти 206 кадров и применяет внутриконтурную фильтрацию, такую как фильтр удаления блочности и дискретизированное адаптивное смещение, к воспроизведенному изображению. Фильтрованное изображение вводится в память 206 кадров снова.
[0095] Воспроизведенное изображение, сохраненное в памяти 206 кадров, в итоге выводится наружу из терминала 208.
[0096] Фиг. 4 является блок-схемой последовательности операций способа, показывающей процесс декодирования изображений, выполняемый в устройстве декодирования изображений.
[0097] Первоначально, на этапе S401, секция 202 разделения и декодирования разделяет информацию относительно процесса декодирования и кодовые данные по коэффициентам из потока битов, декодирует кодовые данные в заголовке и получает информацию размера для управления квантованием.
[0098] На этапе S402, секция 203 декодирования декодирует кодовые данные, разделенные на этапе S401, и получает информацию разбиения на блоки остаточные коэффициенты, информацию прогнозирования и параметры квантования.
[0099] На этапе S403, секция 204 обратного квантования и обратного преобразования выполняет обратное квантование для остаточных коэффициентов в единицах субблоков, дополнительно применяет обратное ортогональное преобразование и получает ошибки прогнозирования. В частности, информация размера для управления квантованием (например, длина одной стороны квадратного блока) сравнивается с размером (например, длиной короткой стороны или длинной стороны) каждого субблока, определенным из полученной информации разбиения на блоки. Как результат, определяется область (субблоки), в которой параметр квантования совместно используется. Процесс обратного квантования выполняется посредством использования параметров квантования, соответственно, выделяемых субблокам.
[0100] На этапе S404, секция 205 воспроизведения изображений воспроизводит прогнозированное изображение в соответствии с информацией прогнозирования, полученной на этапе S402. Секция 205 воспроизведения изображений дополнительно воспроизводит данные изображений из воспроизведенного прогнозированного изображения и ошибок прогнозирования, сформированных на этапе S403.
[0101] На этапе S405, секция 200 управления устройства декодирования изображений определяет то, закончено или нет декодирование всех блоков в кадре, и когда декодирование закончено, процесс переходит к этапу S406; иначе, процесс переходит к этапу S402 для следующего блока.
[0102] На этапе S406, секция 207 внутриконтурной фильтрации применяет внутриконтурную фильтрацию к данным изображений, воспроизведенным на этапе S404, формирует фильтрованное изображение и завершает процесс.
[0103] Посредством операции с такой конфигурацией, можно декодировать поток битов с объемом данных, подавляемым посредством процесса декодирования параметров квантования с использованием информации размера для управления квантованием.
[0104] В устройстве декодирования изображений, декодируется поток битов, в котором информация размера для управления квантованием включается в заголовок кинокадра, как показано на фиг. 6A; тем не менее, позиция кодирования информации не ограничена этим. Альтернативно, информация размера квантования может кодироваться в заголовке последовательности изображения, как показано на фиг. 6B, или может кодироваться в другой позиции.
[0105] В настоящем варианте осуществления, определение выполняется посредством использования меньшей из длины по горизонтали и длины по вертикали каждого целевого субблока для сравнения с размером для управления квантованием; тем не менее, настоящее изобретение не ограничено этим. Например, как показано на фиг. 11, длина длинной стороны размера по горизонтали и размера по вертикали каждого целевого субблока может сравниваться с размером для управления квантованием, и может определяться область, в которой параметр квантования совместно используется. На фиг. 11, поскольку длинные стороны всех субблоков превышают размер для управления квантованием (16), параметр квантования кодируется для каждого из субблоков. В этом случае, для прямоугольных субблоков, вместо уменьшения объема кода параметров квантования, можно выполнять процесс квантования, совместимый с вертикально удлиненным или горизонтально удлиненным объектом.
[0106] Кроме того, в качестве другого варианта осуществления, область, в которой параметр квантования совместно используется, может определяться посредством сравнения числа пикселов каждого целевого субблока с числом пикселов размера для управления квантованием. Фиг. 12 показывает случаи, в которых число пикселов размера каждого целевого субблока сравнивается с числом пикселов размера для управления квантованием. На фиг. 12, размер для управления квантованием составляет 16*16 пикселов, так что число пикселов равно 256. В примерах по фиг. 12A-12F, число пикселов превышает или равно 256 пикселам во всех субблоках. Таким образом, в примерах по фиг. 12, параметр квантования не используется совместно всеми субблоками, а используется по одному, и каждый параметр квантования декодируется. При этой конфигурации, независимо от формы каждого субблока, можно реализовывать управление параметрами квантования на основе числа пикселов в каждом субблоке.
[0107] В настоящем варианте осуществления, приводится описание при условии, что размер для управления квантованием представляет собой одну сторону квадратного блока. Альтернативно, размер для управления квантованием может представлять собой одну сторону прямоугольного блока. В этом случае, ширина и высота размера для управления квантованием могут указываться. В этом случае, длина по вертикали и длина по горизонтали каждого целевого субблока, соответственно, могут сравниваться с шириной и высотой размера для управления квантованием, и когда обе или одна из длин превышают или равны размеру для управления квантованием, параметр квантования может декодироваться для каждого субблока. Когда субблок, обе длины или одна из длин которого меньше размера для управления квантованием, присутствует в базисном блоке, который должен обрабатываться, декодируется один параметр квантования, который должен совместно использоваться субблоками, которые удовлетворяют условию. При этой конфигурации, можно реализовывать различные виды управления параметрами квантования для вертикально удлиненных прямоугольных субблоков и горизонтально удлиненных прямоугольных субблоков.
[0108] В настоящем варианте осуществления, ссылка, на основе которой кодируется параметр квантования, задается посредством пространственного размера; тем не менее, конфигурация не ограничена этим. Глубина управления квантованием (в дальнейшем в этом документе называется "глубиной для управления квантованием"), указывающая число раз, когда базисный блок разбивается, декодируется из потока битов, и глубина для управления квантованием сравнивается с глубиной разбиения каждого целевого субблока. Область субблоков, в которых совместно используется параметр квантования, который должен декодироваться, может определяться в соответствии с этой конфигурацией. Здесь описывается глубина каждого целевого субблока со ссылкой на фиг. 13. На фиг. 13, D0 и D1, соответственно, указывают глубину в 0 и глубину в 1. Фиг. 13A показывает то, что базисный блок не разбит однократно, и глубина субблока равна 0 (D0). Фиг. 13B показывает то, что базисный блок разбит на четыре, и глубина каждого субблока равна 1 (D1). Фиг. 13C и фиг. 13D показывают то, что базисный блок разбит на два, и глубина каждого субблока равна 1 (D1). Фиг. 13E и фиг. 13F показывают то, что базисный блок разбит на три, и глубина каждого субблока равна 1 (D1). Таким образом, глубина каждого из субблоков, на которые базисный блок разбит однократно, постепенно увеличивается на единицу при любом из четырехсекционного разбиения, двухсекционного разбиения и трехсекционного разбиения. Далее описывается то, как параметр квантования декодируется в соответствии с глубиной для управления квантованием и глубиной разбиения каждого целевого субблока, со ссылкой на фиг. 14. Фиг. 14A-14E показывают то, что крайний внешний квадрат представляет собой базисный блок. На каждом из фиг. 14A-14E, левая сторона показывает разбитые субблоки, и правая сторона показывает области, в каждой из которых совместно используется параметр квантования. D0, D1, D2, D3 или D4 в каждом блоке на чертежах указывают глубину субблока. Например, D0 указывает глубину в 0, и D4 указывает глубину в 4. Qp обозначает параметр квантования. Фиг. 14A, фиг. 14B, фиг. 14C, фиг. 14D и фиг. 14E, соответственно, показывают случаи, когда глубины для управления квантованием равны 0, 1, 2, 3 и 4. В случае фиг. 14A, т.е. когда глубина для управления квантованием равна 0, общий параметр квантования декодируется во всех субблоках на чертеже. Параметр квантования декодируется в первом субблоке, включающем в себя значимый коэффициент в последовательности декодирования. В этом случае, число параметров квантования, которые должны декодироваться, равно единице. В случае фиг. 14B, т.е. когда глубина для управления квантованием равна 1, общий параметр квантования кодируется в единицах блоков, показанных в правостороннем виде по фиг. 14B. Каждый из этих параметров квантования ассоциирован с первым субблоком, включающим в себя значимый коэффициент в последовательности декодирования, и декодируется. В случае фиг. 14B, число параметров квантования, которые должны декодироваться, равно четырем. В случае фиг. 14C, т.е. когда глубина для управления квантованием равна 2, общий параметр квантования кодируется в единицах блоков, показанных в правостороннем виде по фиг. 14C. Каждый из этих параметров квантования ассоциирован с первым субблоком, включающим в себя значимый коэффициент в последовательности декодирования, и декодируется. В этом случае, число параметров квантования, которые должны декодироваться, равно 11. В случае фиг. 14D, т.е. когда глубина для управления квантованием равна 3, общий параметр квантования кодируется в единицах блоков, показанных в правостороннем виде по фиг. 14D. Также в этом случае, каждый параметр квантования ассоциирован с первым субблоком, включающим в себя значимый коэффициент в последовательности декодирования, и декодируется. В случае фиг. 14D, число параметров квантования, которые должны декодироваться, равно 23. В случае фиг. 14E, т.е. когда глубина для управления квантованием равна 4, общий параметр квантования кодируется в единицах блоков, т.е. для каждого из блоков, показанных в правостороннем виде по фиг. 14D. Параметры квантования субблоков, не включающих в себя значимый коэффициент, не декодируются; тем не менее, когда предполагается, что все субблоки включают в себя значимый коэффициент, 27 параметров квантования декодируются. Здесь описывается случай, в котором субблок, не включающий в себя значимый коэффициент, присутствует в области, в которой параметр квантования совместно используется, со ссылкой на фиг. 15. Фиг. 15A, аналогично фиг. 14, показывает разбиение на субблоки, и D0, D1, D2, D3 или D4 указывают глубину разбиения каждого субблока. Фиг. 15B является примером, показывающим области совместного использования параметра квантования, определенные в соответствии с глубиной для управления квантованием и глубиной каждого субблока, как и в случае фиг. 14. Фиг. 15 показывает случай, когда глубина для управления квантованием равна 2, в качестве примера. Когда значимые коэффициенты не присутствуют во всех трех субблоках в единице QpG кодирования параметров квантования на фиг. 15, параметры квантования не декодируются в трех субблоках. Тем не менее, для процессов с использованием параметра квантования, такого как фильтр удаления блочности, значение, идентичное значению параметра квантования, декодированного непосредственно перед единицей кодирования параметров квантования в последовательности декодирования, т.е. QpF, применяется к трем субблокам в QpG. В единице кодирования параметров квантования, в которой не присутствуют значимые коэффициенты, может использоваться параметр квантования, кодированный непосредственно перед этим в последовательности декодирования в процессах с использованием параметра квантования; тем не менее, настоящее изобретение не ограничено этим. Например, может использоваться QpD, который представляет собой параметр квантования верхней смежной единицы кодирования параметров квантования, либо может использоваться QpF, который представляет собой левый смежный параметр квантования. Альтернативно, может использоваться значение, вычисленное из параметров квантования множества единиц кодирования параметров квантования, к примеру, среднее значение. Альтернативно, может использоваться начальное значение параметра квантования для слайса. Слайс означает единицу, в которой разбивается кадр, и состоит, по меньшей мере, из одного или более базисных блоков. Таким образом, глубина каждого целевого субблока может сравниваться с глубиной для управления квантованием, и когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, параметр квантования, который должен совместно использоваться, может декодироваться. Поскольку информация разбиения на субблоки декодируется при каждом разбиении, можно реализовывать управление кодированием параметров квантования, высокосовместимое с информацией разбиения на субблоки, соответственно, так что в итоге можно декодировать поток битов, структура синтаксиса которого упрощается.
[0109] Фиг. 17 является блок-схемой последовательности операций способа, показывающей процесс декодирования параметров квантования с использованием глубины для управления квантованием.
[0110] На этапе S1701, секция 202 разделения и декодирования декодирует информацию размера для управления квантованием и информацию относительно глубины для управления квантованием из потока битов. Секция 203 декодирования декодирует информацию разбиения и получает информацию относительно формы и глубины каждого субблока. Секция 204 обратного квантования и преобразования сравнивает информацию глубины для управления квантованием, декодированную посредством секции 202 разделения и декодирования, с глубиной разбиения каждого субблока, полученной в соответствии с информацией разбиения, декодированной посредством секции 203 декодирования.
[0111] На этапе S1702, секция 204 обратного квантования и преобразования определяет область субблоков, имеющих глубину разбиения, большую глубины для управления квантованием в результате сравнения на S1701, в качестве области, в которой один параметр квантования совместно используется.
[0112] На этапе S1703, секция 204 обратного квантования и преобразования декодирует параметр квантования, ассоциированный с субблоком, имеющим, по меньшей мере, один значимый коэффициент в качестве остаточного коэффициента в последовательности декодирования, из числа субблоков в определенной области.
[0113] На этапе S1704, секция 204 обратного квантования и преобразования выполняет обратное квантование для субблоков в области, определенной на этапе S1702, посредством использования параметра квантования, декодированного на этапе S1703. Процесс по фиг. 17 выполняется для каждого из базисных блоков в кадре.
[0114] Кроме того, как размер для управления квантованием, так и глубина для управления квантованием могут формироваться и использоваться в комбинации. В этом случае, в дополнение к информации относительно размера для управления квантованием, показанной на фиг. 6, декодируется информация относительно глубины для управления квантованием.
[0115] Например, когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и длина меньшей из горизонтальной стороны и вертикальной стороны каждого целевого субблока превышает или равна размеру для управления квантованием, параметр квантования декодируется для каждого из субблоков. В частности, длина короткой стороны каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, длина короткой стороны которого превышает или равна размеру для управления квантованием, параметр квантования декодируется для каждого из субблоков в области. Когда длина короткой стороны каждого субблока в области не превышает или равна размеру для управления квантованием, один параметр квантования, совместно используемый субблоками в области, декодируется.
[0116] Альтернативно, когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и длина большей из горизонтальной стороны и вертикальной стороны каждого целевого субблока превышает или равна размеру для управления квантованием, параметр квантования может декодироваться для каждого из субблоков. В частности, размер каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, длина длинной стороны которого превышает или равна размеру для управления квантованием, параметр квантования декодируется для каждого из субблоков в области. Когда длина длинной стороны каждого субблока в области не превышает или равна размеру для управления квантованием, один параметр квантования, совместно используемый субблоками в области, декодируется.
[0117] Альтернативно, когда глубина каждого целевого субблока меньше или равна глубине для управления квантованием, и число пикселов каждого целевого субблока превышает или равно числу пикселов размера для управления квантованием, параметр квантования может декодироваться. В этом случае, размер каждого субблока сравнивается с размером для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В каждой области, когда имеется субблок, число пикселов которого превышает или равно числу пикселов размера для управления квантованием, параметр квантования декодируется для каждого из субблоков в области. Когда размер каждого субблока не превышает или равен размеру для управления квантованием в каждой области, один параметр квантования, совместно используемый субблоками в области, декодируется.
[0118] Альтернативно, ширина и высота размера для управления квантованием могут указываться и использоваться в комбинации с глубиной для управления квантованием. В этом случае, длина по вертикали и длина по горизонтали каждого субблока, соответственно, сравниваются с шириной и высотой размера для управления квантованием для каждой области, ассоциированной с глубиной для управления квантованием. В этом случае, когда имеется субблок, длина одной или обеих сторон которого превышает или равна размеру для управления квантованием, параметр квантования декодируется для каждого из субблоков.
[0119] Фиг. 19 является блок-схемой последовательности операций способа, показывающей процесс декодирования параметров квантования посредством использования как размера для управления квантованием, так и глубины для управления квантованием.
[0120] На этапе S1901, секция 202 разделения и декодирования декодирует информацию относительно размера для управления квантованием и информацию относительно глубины для управления квантованием из потока битов. Секция 203 декодирования декодирует информацию разбиения и получает информацию относительно формы и глубины каждого субблока. Секция 204 обратного квантования и обратного преобразования сравнивает глубину для управления квантованием с глубиной разбиения каждого субблока и определяет области, на которые субблоки разбиваются в соответствии с глубиной, соответствующей глубине для управления квантованием.
[0121] На этапе S1902, для каждой из областей, определенных на этапе S1901, секция 204 обратного квантования и обратного преобразования сравнивает размер каждого субблока, включенного в область, с размером для управления квантованием. Размер каждого субблока может получаться из формы каждого субблока, определенной в соответствии с декодированной информацией разбиения.
[0122] На этапе S1903, в результате сравнения на этапе S1902, секция 204 обратного квантования и обратного преобразования определяет то, совместно используется или нет один параметр квантования субблоками в области, которая должна обрабатываться. В соответствии с определением, квантование каждого из субблоков в каждой области выполняется посредством использования параметра квантования, ассоциированного с субблоками, и остаточные коэффициенты каждого субблока формируются.
[0123] На этапе S1904, когда один параметр квантования совместно используется субблоками в целевой области, секция 203 декодирования декодирует параметр квантования, ассоциированный с первым субблоком, имеющим, по меньшей мере, один значимый коэффициент в последовательности декодирования. Отсутствуют кодированные данные параметра квантования, ассоциированного с другим субблоком. Когда один параметр квантования не используется совместно субблоками в целевой области, секция 203 декодирования декодирует параметр квантования, ассоциированный с каждым из субблоков, отличных от субблоков, не включающих в себя значимый коэффициент.
[0124] Такой процесс декодирования выполняется для каждого из базисных блоков.
[0125] Когда процесс декодирования параметров квантования выполнится посредством использования как размера для управления квантованием, так и глубины для управления квантованием, параметр квантования с большей вероятностью должен быть ассоциирован с каждым из субблоков, когда длинная сторона каждого субблока сравнивается с размером для управления квантованием. Другими словами, способ проведения сравнения с размером для управления квантованием посредством использования длинной стороны каждого субблока является более подходящим для объекта, имеющего длинную тонкую прямоугольную форму.
[0126] При этой конфигурации, в случаях, если разбиение на прямоугольные субблоки используется много раз, можно реализовывать управление кодированием параметров квантования даже в чрезвычайно длинных тонких прямоугольных субблоках посредством использования не только глубины для управления квантованием, но также и размера для управления квантованием.
[0127] Когда тип разбиения субблоков является иерархически непрерывным, совместное использование параметра квантования может запрещаться независимо от результата сравнения между размером для управления квантованием и размером каждого субблока. При этой конфигурации, можно выполнять квантование субблоков, подходящих для объекта, имеющего длинную тонкую форму. Секции обработки, показанные на фиг. 1 и фиг. 2, описываются в вышеприведенных вариантах осуществления в качестве компонентов, состоящих из аппаратных средств. Альтернативно, процессы, выполняемые посредством секций обработки, показанных на этих чертежах, могут быть сконфигурированы посредством компьютерной программы.
[0128] Фиг. 5 является блок-схемой, показывающей пример аппаратной конфигурации компьютера, применимой к устройству отображения изображений согласно вышеописанным вариантам осуществления.
[0129] CPU 501 полностью управляет компьютером посредством использования компьютерных программ и данных, сохраненных в RAM 502 или ROM 503, и выполняет вышеописанные процессы, выполняемые посредством устройства обработки изображений согласно вариантам осуществления. Другими словами, CPU 501 функционирует в качестве секций обработки, показанных на фиг. 1 и фиг. 2.
[0130] RAM 502 имеет зону для временного сохранения компьютерных программ и данных, загружаемых из внешнего запоминающего устройства 506, данных, полученных извне через интерфейс 507, и т.п. RAM 502 также имеет рабочую зону, используемую в то время, когда CPU 501 выполняет различные процессы. Другими словами, RAM 502 способно, например, выделять память кадров или предоставлять другие различные зоны по мере необходимости.
[0131] Настроечные данные компьютера, загрузочная программа и т.п. сохраняются в ROM 503. Функциональная секция 504 (функциональный модуль) состоит из клавиатуры, мыши и т.п. Функциональная секция 504 обеспечивает возможность ввода различных инструкций в CPU 501, когда пользователь компьютера управляет функциональной секцией 504. Секция 505 отображения (модуль отображения) отображает результат обработки посредством CPU 501. Секция 505 отображения, например, состоит из жидкокристаллического дисплея.
[0132] Внешнее запоминающее устройство 506 представляет собой устройство хранения информации большой емкости, типично жесткий диск. ОС (операционная система) и компьютерные программы для инструктирования CPU 501 реализовывать функции различных частей, показанных на фиг. 1 и фиг. 2, сохраняются во внешнем запоминающем устройстве 506. Кроме того, данные изображений, которые должны обрабатываться, могут сохраняться во внешнем запоминающем устройстве 506.
[0133] Компьютерные программы и данные, сохраненные во внешнем запоминающем устройстве 506, загружаются в RAM 502 и используются в качестве целей, которые должны обрабатываться посредством CPU 501 по мере необходимости в соответствии с управлением CPU 501. Сети, такие как LAN и Интернет, и другие устройства, такие как проектор и устройство отображения, могут соединяться с интерфейсом 507. Компьютер получает или отправляет различную информацию через интерфейс 507. 508 обозначает шину, которая соединяет вышеописанные секции.
[0134] Операции, состоящие из вышеописанных компонентов и описанные на вышеприведенных блок-схемах последовательности операций способа, управляются главным образом посредством CPU 501.
[0135] Цель настоящего изобретения также достигается, когда система содержит запоминающий носитель, на котором записываются коды компьютерной программы, которая реализует вышеописанные функции, и система считывает и выполняет коды компьютерной программы. В этом случае, непосредственно коды компьютерной программы, считываемые из запоминающего носителя, реализуют функции вышеописанных вариантов осуществления, и запоминающий носитель, на котором сохраняются коды компьютерной программы, составляет настоящее изобретение. Помимо этого, операционная система (ОС) и т.п., работающая на компьютере, может выполнять часть или все фактические процессы в соответствии с инструкциями кодов компьютерной программы, и вышеописанные функции могут реализовываться посредством процессов.
[0136] Кроме того, может реализовываться следующий режим. Компьютерный программный код, считываемый из запоминающего носителя, записывается на плату расширения, вставленную в компьютер, или в запоминающее устройство, включенное в модуль расширения, соединенный с компьютером. CPU и т.п., включенный в плату расширения или модуль расширения, выполняет часть или все фактические процессы в соответствии с инструкциями кодов компьютерной программы, чтобы реализовывать вышеописанные функции.
[0137] Когда настоящее изобретение применяется к запоминающему носителю, коды компьютерной программы, соответствующей блок-схемам последовательности операций способа, описанным выше, сохраняются на запоминающем носителе.
[0138] Настоящее изобретение используется в устройстве кодирования и устройстве декодирования, которые кодируют и декодируют неподвижные изображения и движущиеся изображения. В частности, настоящее изобретение является применимым к системе кодирования и системе декодирования, которые используют процесс квантования.
[0139] С помощью настоящего изобретения, можно надлежащим образом кодировать параметры квантования не только для квадратных субблоков, но также и для прямоугольных субблоков.
[0140] Настоящее изобретение может реализовываться посредством процесса предоставления программы для реализации одной или более функций вышеописанных вариантов осуществления в систему или устройство через сеть или запоминающий носитель и инструктирования одному или более процессоров в компьютере системы или устройства считывать и выполнять программу. Альтернативно, варианты осуществления настоящего изобретения могут реализовываться посредством схемы (например, ASIC), которая реализует одну или более функций.
[0141] Варианты осуществления настоящего изобретения не ограничены вышеописанными вариантами осуществления. Различные изменения или модификации являются применимыми без отступления от сущности и объема настоящего изобретения. Следовательно, нижеприведенная формула изобретения прилагается для того, чтобы показывать объем настоящего изобретения.
[0142] Эта заявка притязает на приоритет заявки на патент (Япония) номер 2018-122421, поданной 27 июня 2018 года, которая настоящим полностью содержится в данном документе по ссылке.
Изобретение относится к средствам для кодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений. Разбивают изображение на множество единиц дерева кодирования. Разбивают единицу дерева кодирования на множество блоков, причем множеству блоков разрешается включать в себя блок, длина по горизонтали и длина по вертикали которого отличаются друг от друга. Сравнивают значение разделения согласно числу разбиений на втором этапе разбиения с пороговым значением для определения группы блоков, которая совместно использует параметр квантования. Причем значение разделения представляет собой значение, которое увеличивается по мере того, как число разбиений на втором этапе разбиения увеличивается. Причем группа блоков включает в себя множество блоков, значение разделения которых превышает или равно пороговому значению. Выполняют фильтрацию для удаления блочности. Когда любой из множества блоков, включенных в группу блоков, включает в себя ненулевой коэффициент, данные, указывающие параметр квантования, совместно используемый в группе блоков, кодируются в ассоциации с блоком, включающим в себя ненулевой коэффициент. 6 н. и 4 з.п. ф-лы, 60 ил.
1. Устройство кодирования изображений, способное кодировать изображения в единицах блоков, причем устройство кодирования изображений содержит:
- первое средство разбиения, выполненное с возможностью разбивать изображение на множество единиц дерева кодирования;
- второе средство разбиения, выполненное с возможностью разбивать единицу дерева кодирования на множество блоков, причем множеству блоков разрешается включать в себя блок, длина по горизонтали и длина по вертикали которого отличаются друг от друга;
- средство сравнения, выполненное с возможностью сравнивать значение разделения согласно числу разбиений посредством второго средства разбиения с пороговым значением для определения группы блоков, которая совместно использует параметр квантования, причем значение разделения представляет собой значение, которое увеличивается по мере того, как число разбиений посредством второго средства разбиения увеличивается, причем группа блоков включает в себя множество блоков, значение разделения которых превышает или равно пороговому значению;
- средство кодирования, выполненное с возможностью кодировать данные, указывающие параметр квантования в соответствии с результатом сравнения, полученным посредством средства сравнения; и
- средство фильтрации, выполненное с возможностью выполнять фильтрацию для удаления блочности, при этом:
- средство кодирования выполнено с возможностью, когда, по меньшей мере, любой из множества блоков, включенных в группу блоков, включает в себя ненулевой коэффициент, кодировать данные, указывающие параметр квантования, совместно используемый в группе блоков, в ассоциации с блоком, включающим в себя ненулевой коэффициент, и
- средство фильтрации выполнено с возможностью, когда множество блоков, включенных в группу блоков, не включают в себя ненулевой коэффициент, выполнять фильтрацию для удаления блочности над множеством блоков, включенных в группу блоков, посредством использования параметра квантования для другого блока, отличного от группы блоков.
2. Устройство кодирования изображений по п. 1, в котором параметр квантования для другого блока представляет собой параметр квантования, кодированный до того, как группа блоков обрабатывается.
3. Устройство декодирования изображений, способное декодировать поток битов, кодированный посредством разбиения изображения на множество единиц дерева кодирования и разбиения единицы дерева кодирования на множество блоков, причем множеству блоков разрешается включать в себя блок, длина по горизонтали и длина по вертикали которого отличаются друг от друга, причем устройство декодирования изображений содержит:
- средство сравнения, выполненное с возможностью сравнивать значение разделения согласно числу разбиений из единицы дерева кодирования на блоки с пороговым значением для определения группы блоков, которая совместно использует параметр квантования, причем значение разделения представляет собой значение, которое увеличивается по мере того, как число раз, когда единица дерева кодирования разбивается, увеличивается, причем группа блоков включает в себя множество блоков, значение разделения которых превышает или равно пороговому значению;
- средство декодирования, выполненное с возможностью декодировать данные, указывающие параметр квантования в соответствии с результатом сравнения, полученным посредством средства сравнения; и
- средство фильтрации, выполненное с возможностью выполнять фильтрацию для удаления блочности, при этом:
- средство декодирования выполнено с возможностью, когда, по меньшей мере, любой из множества блоков, включенных в группу блоков, включает в себя ненулевой коэффициент, декодировать данные, указывающие параметр квантования, совместно используемый в группе блоков, при обработке блока, включающего в себя ненулевой коэффициент, и
- средство фильтрации выполнено с возможностью, когда множество блоков, включенных в группу блоков, не включают в себя ненулевой коэффициент, выполнять фильтрацию для удаления блочности над множеством блоков, включенных в группу блоков, посредством использования параметра квантования для другого блока, отличного от группы блоков.
4. Устройство декодирования изображений по п. 3, в котором параметр квантования для другого блока представляет собой параметр квантования, декодированный до того, как группа блоков обрабатывается.
5. Способ кодирования изображений для кодирования изображения в единицах блоков, при этом способ кодирования изображений содержит:
- первый этап разбиения, на котором разбивают изображение на множество единиц дерева кодирования;
- второй этап разбиения, на котором разбивают единицу дерева кодирования на множество блоков, причем множеству блоков разрешается включать в себя блок, длина по горизонтали и длина по вертикали которого отличаются друг от друга;
- этап сравнения, на котором сравнивают значение разделения согласно числу разбиений на втором этапе разбиения с пороговым значением для определения группы блоков, которая совместно использует параметр квантования, причем значение разделения представляет собой значение, которое увеличивается по мере того, как число разбиений на втором этапе разбиения увеличивается, причем группа блоков включает в себя множество блоков, значение разделения которых превышает или равно пороговому значению;
- этап кодирования, на котором кодируют данные, указывающие параметр квантования в соответствии с результатом сравнения, полученным на этапе сравнения; и
- этап фильтрации, на котором выполняют фильтрацию для удаления блочности,
- при этом на этапе кодирования, когда, по меньшей мере, любой из множества блоков, включенных в группу блоков, включает в себя ненулевой коэффициент, данные, указывающие параметр квантования, совместно используемый в группе блоков, кодируются в ассоциации с блоком, включающим в себя ненулевой коэффициент, и
- на этапе фильтрации, когда множество блоков, включенных в группу блоков, не включают в себя ненулевой коэффициент, выполняется фильтрация для удаления блочности над множеством блоков, включенных в группу блоков, посредством использования параметра квантования для другого блока, отличного от группы блоков.
6. Способ кодирования изображений по п. 5, в котором параметр квантования для другого блока представляет собой параметр квантования, кодированный до того, как группа блоков обрабатывается.
7. Способ декодирования изображений для декодирования потока битов, кодированного посредством разбиения изображения на множество единиц дерева кодирования и разбиения единицы дерева кодирования на множество блоков, причем множеству блоков разрешается включать в себя блок, длина по горизонтали и длина по вертикали которого отличаются друг от друга, при этом способ декодирования изображений содержит:
- этап сравнения, на котором сравнивают значение разделения согласно числу разбиений из единицы дерева кодирования на блоки с пороговым значением для определения группы блоков, которая совместно использует параметр квантования, причем значение разделения представляет собой значение, которое увеличивается по мере того, как число раз, когда единица дерева кодирования разбивается, увеличивается, причем группа блоков включает в себя множество блоков, значение разделения которых превышает или равно пороговому значению;
- этап декодирования, на котором декодируют данные, указывающие параметр квантования в соответствии с результатом сравнения, полученным на этапе сравнения; и
- этап фильтрации, на котором выполняют фильтрацию для удаления блочности,
- при этом на этапе декодирования, когда, по меньшей мере, любой из множества блоков, включенных в группу блоков, включает в себя ненулевой коэффициент, данные, указывающие параметр квантования, совместно используемый в группе блоков, декодируются при обработке блока, включающего в себя ненулевой коэффициент, и
- на этапе фильтрации, когда множество блоков, включенных в группу блоков, не включают в себя ненулевой коэффициент, выполняется фильтрация для удаления блочности над множеством блоков, включенных в группу блоков, посредством использования параметра квантования для другого блока, отличного от группы блоков.
8. Способ декодирования изображений по п. 7, в котором:
- параметр квантования для другого блока представляет собой параметр квантования, декодированный до того, как группа блоков обрабатывается.
9. Запоминающий носитель, хранящий исполняемые компьютером инструкции, которые, при исполнении посредством компьютера, инструктируют компьютеру осуществлять способ кодирования изображений по любому из пп. 5, 6.
10. Запоминающий носитель, хранящий исполняемые компьютером инструкции, которые, при исполнении посредством компьютера, инструктируют компьютеру осуществлять способ декодирования изображений по любому из пп. 7, 8.
| Автомобиль-сани, движущиеся на полозьях посредством устанавливающихся по высоте колес с шинами | 1924 |
|
SU2017A1 |
| Способ получения цианистых соединений | 1924 |
|
SU2018A1 |
| JP 2012161074 A, 23.08.2012 | |||
| JP 2018122421 A, 09.08.2018 | |||
| КОДИРОВАНИЕ ФЛАГОВ КОДИРОВАННЫХ БЛОКОВ | 2013 |
|
RU2627119C2 |
| УПРАВЛЯЮЩИЕ ДАННЫЕ ДЛЯ НАБОРА МОЗАИЧНЫХ ФРАГМЕНТОВ С ОГРАНИЧЕНИЯМИ ДВИЖЕНИЯ | 2013 |
|
RU2648592C2 |
