СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ВИДЕО, А ТАКЖЕ СПОСОБ И УСТРОЙСТВО ДЛЯ ДЕКОДИРОВАНИЯ ВИДЕО, СОПРОВОЖДАЕМОГО ВЗАИМНЫМ ПРОГНОЗИРОВАНИЕМ С ИСПОЛЬЗОВАНИЕМ СОВМЕСТНО РАЗМЕЩЕННОГО ИЗОБРАЖЕНИЯ Российский патент 2017 года по МПК H04N19/159 H04N19/105 H04N19/52 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству для кодирования видео через взаимное прогнозирование и компенсацию движения, а также к способу и устройству для декодирования видео через взаимное прогнозирование и компенсацию движения.

УРОВЕНЬ ТЕХНИКИ

По мере того, как разрабатываются и предоставляются аппаратные средства для воспроизведения и сохранения высококачественного видеоконтента высокого разрешения, растет потребность в видеокодеке для эффективного кодирования или декодирования высококачественного видеоконтента высокого разрешения. Согласно традиционному видеокодеку, видео кодируется согласно ограниченному способу кодирования на основе макроблока, имеющего предварительно определенный размер.

Данные изображений пространственной области преобразуются в коэффициенты частотной области через преобразование частоты. Согласно видеокодеку, изображение разбивается на блоки, имеющие предварительно определенный размер, дискретное косинусное преобразование (DCT) выполняется для каждого соответствующего блока, и частотные коэффициенты кодируются в единицах блоков для быстрого вычисления преобразования частоты. По сравнению с данными изображений пространственной области, коэффициенты частотной области легко сжимаются. В частности, поскольку пиксельное значение изображения пространственной области выражается согласно ошибке прогнозирования через взаимное прогнозирование или внутреннее прогнозирование видеокодека, когда преобразование частоты выполняется для ошибки прогнозирования, большой объем данных может быть преобразован в 0. Согласно видеокодеку, объем данных может быть сокращен посредством замены данных, которые формируются последовательно и многократно, на данные небольшого размера.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Настоящее изобретение предоставляет способ и устройство взаимного прогнозирования для определения опорного изображения посредством использования совместно размещенного изображения, способ кодирования видео и способ декодирования видео через взаимное прогнозирование, а также способ декодирования видео и устройство декодирования видео через взаимное прогнозирование.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

Согласно аспекту настоящего изобретения, предусмотрен способ взаимного прогнозирования, включающий в себя определение совместно размещенного блока относительно текущего блока текущего изображения из числа блоков изображения, которое восстанавливается до текущего изображения; предпочтительную проверку того, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока, и избирательную проверку того, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку; на основе результата проверки, определение одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка; определение опорного блока относительно текущего блока посредством использования информации движения совместно размещенного опорного списка; и выполнение взаимного прогнозирования для текущего блока посредством использования определенного опорного блока.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

Без проверки всех из множества опорных изображений, включенных в опорный список совместно размещенного блока, с тем чтобы определять опорное изображение текущего блока, устройство взаимного прогнозирования предпочтительно может проверять первый опорный список, включающий в себя опорные изображения, размещенные в противоположном направлении по отношению к направлению от текущего блока к совместно размещенному блоку, в совместно размещенном изображении. Устройство взаимного прогнозирования может избирательно проверять оставшиеся опорные списки. Таким образом, необязательный процесс пропускается в процессе определения опорного изображения текущего блока посредством использования совместно размещенного блока, за счет чего повышается эффективность процесса определения опорного изображения для взаимного прогнозирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является блок-схемой устройства взаимного прогнозирования согласно варианту осуществления настоящего изобретения;

Фиг. 2 показывает традиционный способ определения опорного изображения посредством использования совместно размещенного блока;

Фиг. 3 показывает способ определения опорного изображения посредством использования совместно размещенного блока, согласно варианту осуществления настоящего изобретения;

Фиг. 4 является блок-схемой последовательности операций способа внутреннего прогнозирования согласно варианту осуществления настоящего изобретения;

Фиг. 5 является блок-схемой последовательности операций способа кодирования видео через взаимное прогнозирование согласно варианту осуществления настоящего изобретения;

Фиг. 6 является блок-схемой последовательности операций способа декодирования видео через взаимное прогнозирование согласно варианту осуществления настоящего изобретения;

Фиг. 7 является блок-схемой устройства кодирования видео на основе единицы кодирования, имеющей древовидную структуру, согласно варианту осуществления настоящего изобретения;

Фиг. 8 является блок-схемой устройства декодирования видео на основе единицы кодирования, имеющей древовидную структуру, согласно варианту осуществления настоящего изобретения;

Фиг. 9 является схемой для описания принципа единиц кодирования согласно варианту осуществления настоящего изобретения;

Фиг. 10 является блок-схемой кодера изображений на основе единиц кодирования согласно варианту осуществления настоящего изобретения;

Фиг. 11 является блок-схемой декодера изображений на основе единиц кодирования согласно варианту осуществления настоящего изобретения;

Фиг. 12 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам и сегменты согласно варианту осуществления настоящего изобретения;

Фиг. 13 является схемой для описания взаимосвязи между единицей кодирования и единицами преобразования, согласно варианту осуществления настоящего изобретения;

Фиг. 14 является схемой для описания информации кодирования единиц кодирования, соответствующих кодированной глубине, согласно варианту осуществления настоящего изобретения;

Фиг. 15 является схемой более глубоких единиц кодирования согласно глубинам, согласно варианту осуществления настоящего изобретения;

Фиг. 16-18 являются схемами для описания взаимосвязи между единицами кодирования, единицами прогнозирования и единицами преобразования, согласно варианту осуществления настоящего изобретения; и

Фиг. 19 является схемой для описания взаимосвязи между единицей кодирования, единицей прогнозирования или сегментом и единицей преобразования, согласно информации режима кодирования по таблице 1.

ОПТИМАЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Согласно аспекту настоящего изобретения, предусмотрен способ взаимного прогнозирования, включающий в себя определение совместно размещенного блока относительно текущего блока текущего изображения из числа блоков изображения, которое восстанавливается до текущего изображения; предпочтительную проверку того, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока, и избирательную проверку того, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку; на основе результата проверки, определение одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка; определение опорного блока относительно текущего блока посредством использования информации движения совместно размещенного опорного списка; и выполнение взаимного прогнозирования для текущего блока посредством использования определенного опорного блока.

Первый опорный список может включать в себя изображения, которые размещаются в противоположном направлении относительно направления от текущего изображения к совместно размещенному блоку.

Избирательная проверка второго опорного списка может включать в себя, когда к первому опорному списку выполняется обращение для взаимного прогнозирования, пропуск операции для проверки того, выполняется ли обращение ко второму опорному списку.

Определение совместно размещенного опорного списка может включать в себя, когда номер в последовательности изображений (POC) у изображения совместно размещенного блока всегда меньше номера в последовательности изображений текущего изображения, определение опорного списка текущего блока в качестве совместно размещенного опорного списка.

Избирательная проверка второго опорного списка может включать в себя проверку первого опорного списка или второго опорного списка согласно тому, существует ли информация движения первого опорного списка или второго опорного списка.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство взаимного прогнозирования, включающее в себя модуль проверки совместно размещенных опорных списков для определения совместно размещенного блока относительно текущего блока текущего изображения из числа блоков изображения, которое восстанавливается до текущего изображения, и предпочтительной проверки того, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока, и избирательной проверки того, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку; модуль определения опорных блоков для определения, на основе результата проверки, одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка и определения опорного блока относительно текущего блока посредством использования информации движения совместно размещенного опорного списка; и модуль взаимного прогнозирования для выполнения взаимного прогнозирования для текущего блока посредством использования определенного опорного блока.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство декодирования видео, включающее в себя синтаксический анализатор для выполнения энтропийного декодирования для битовой строки, полученной посредством синтаксического анализа принимаемого потока битов, чтобы восстанавливать выборки; обратный преобразователь для выполнения обратного квантования и обратного преобразования для квантованного коэффициента преобразования из числа восстановленных выборок, чтобы восстанавливать выборки; модуль внутреннего прогнозирования для выполнения внутреннего прогнозирования для блоков в режиме внутреннего прогнозирования из числа выборок, восстановленных посредством обратного преобразователя; и модуль компенсации движения для предпочтительной проверки того, является ли первый опорный список из числа опорных списков совместно размещенного блока относительно текущего блока, избирательной проверки того, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку, определения одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка на основе результата проверки и выполнения взаимного прогнозирования для текущего блока посредством использования опорного блока относительно текущего блока на основе информации движения совместно размещенного опорного списка, для выполнения взаимного прогнозирования для текущего блока во взаимном режиме из числа выборок, восстановленных посредством обратного преобразователя; и восстановитель для восстановления изображения посредством использования блоков, которые восстанавливаются через взаимное прогнозирование или внутреннее прогнозирование.

Согласно другому аспекту настоящего изобретения, предусмотрено устройство кодирования видео, включающее в себя модуль внутреннего прогнозирования для выполнения внутреннего прогнозирования для блоков в режиме внутреннего прогнозирования из числа блоков видео; модуль взаимного прогнозирования для предпочтительной проверки того, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока относительно текущего блока, избирательной проверки того, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку, определения одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка на основе результата проверки и выполнения взаимного прогнозирования для текущего блока посредством использования опорного блока относительно текущего блока на основе информации движения совместно размещенного опорного списка, для взаимного прогнозирования текущего блока во взаимном режиме; модуль квантования с преобразованием для выполнения преобразования и квантования для результата внутреннего прогнозирования или взаимного прогнозирования; и модуль вывода для вывода потока битов, сформированного посредством выполнения энтропийного кодирования для выборок, включающих в себя квантованный коэффициент преобразования, сформированный в результате преобразования и квантования.

Согласно другому аспекту настоящего изобретения, предусмотрен компьютерно-читаемый носитель записи, содержащий записанную на нем программу для исполнения способа взаимного прогнозирования.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В дальнейшем в этом документе описываются способ и устройство взаимного прогнозирования с использованием опорного списка совместно размещенного блока со ссылкой на фиг. 1-5. Способ кодирования видео и устройство декодирования видео через взаимное прогнозирование описываются со ссылкой на фиг. 5 и 6. Помимо этого, способ кодирования видео и устройство декодирования видео через взаимное прогнозирование на основе единицы кодирования, имеющей древовидную структуру, описываются со ссылкой на фиг. 7-19. В дальнейшем в этом документе, термин "изображение" может означать неподвижное изображение или движущееся изображение, т.е. само видео.

Во-первых, со ссылкой на фиг. 1-4 описываются способ взаимного прогнозирования и устройство взаимного прогнозирования с использованием опорного списка совместно размещенного блока согласно варианту осуществления настоящего изобретения. Помимо этого, со ссылкой на фиг. 5 и 6 описываются способ кодирования видео и способ декодирования видео через взаимное прогнозирование согласно варианту осуществления настоящего изобретения.

Фиг. 1 является блок-схемой устройства 10 взаимного прогнозирования согласно варианту осуществления настоящего изобретения.

Устройство 10 взаимного прогнозирования включает в себя модуль 12 проверки опорных списков, модуль 14 определения опорных блоков и модуль 16 взаимного прогнозирования.

Устройство 10 взаимного прогнозирования кодирует каждое видеоизображение для каждого соответствующего блока. Блок может иметь квадратную форму, прямоугольную форму или любую геометрическую форму и не ограничивается единицей данных, имеющей предварительно определенный размер. Согласно варианту осуществления настоящего изобретения, блок может быть максимальной единицей кодирования, единицей кодирования, единицей прогнозирования, единицей преобразования и т.п. из числа единиц кодирования согласно древовидной структуре. Ниже описываются способы кодирования и декодирования видео на основе единиц кодирования согласно древовидной структуре, со ссылкой на фиг. 7-19.

Модуль 12 проверки опорных списков может определять совместно размещенный блок относительно текущего блока текущего изображения из числа блоков изображения, которое восстанавливается до текущего изображения. Совместно размещенный блок относительно текущего блока текущего изображения может быть определен из числа блоков изображения, которое восстанавливается до текущего изображения, а затем может определяться совместно размещенный блок, размещенный в местоположении блока в совместно размещенном изображении, соответствующем местоположению блока относительно текущего блока в текущем изображении.

Модуль 12 проверки опорных списков может определять опорный список текущего блока посредством использования опорного списка совместно размещенного блока.

Модуль 12 проверки опорных списков может проверять то, предпочтительно выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока. Первый опорный список согласно настоящему варианту осуществления может включать в себя изображения, которые размещаются в противоположном направлении по отношению к направлению от текущего изображения к совместно размещенному блоку в совместно размещенном блоке.

Модуль 12 проверки опорных списков может избирательно проверять то, выполняется ли обращение ко второму опорному списку, согласно тому, выполняется ли обращение к первому опорному списку. Когда к первому опорному списку выполняется обращение, необязательно проверять то, выполняется ли обращение ко второму опорному списку.

Когда к первому опорному списку выполняется обращение для взаимного прогнозирования совместно размещенного блока, модуль 12 проверки опорных списков может пропускать процесс проверки того, выполняется ли обращение ко второму опорному списку.

Модуль 12 проверки опорных списков может проверять то, выполняется ли обращение к первому опорному списку или второму опорному списку, согласно тому, существует ли информация движения первого опорного списка или второго опорного списка.

Модуль 14 определения опорных блоков может определять опорный блок относительно текущего блока согласно результату проверки того, выполняется ли обращение к первому опорному списку или второму опорному списку.

Модуль 14 определения опорных блоков может определять один совместно размещенный опорный список из первого опорного списка и второго опорного списка. Когда модуль 14 определения опорных блоков проверяет то, что к первому опорному списку можно обращаться, модуль 14 определения опорных блоков определяет то, что первый опорный список является совместно размещенным опорным списком. Когда модуль 14 определения опорных блоков проверяет то, что ко второму опорному списку можно обращаться, модуль 14 определения опорных блоков определяет то, что второй опорный список является совместно размещенным опорным списком.

Модуль 14 определения опорных блоков может определять опорный блок относительно текущего блока посредством использования информации движения совместно размещенного опорного списка. Совместно размещенное опорное изображение может быть определено согласно совместно размещенному опорному списку. Опорное изображение относительно текущего изображения может быть определено согласно направлению и расстоянию от совместно размещенного изображения до совместно размещенного опорного изображения. Помимо этого, информация движения текущего блока может быть определена посредством модификации информации движения совместно размещенного опорного списка пропорционально направлению и расстоянию от совместно размещенного изображения до совместно размещенного опорного изображения, и опорный блок может быть определен в опорном изображении текущего изображения согласно модифицированной информации движения совместно размещенного опорного списка.

Тем не менее, когда номер в последовательности изображений (POC) у изображения совместно размещенного блока всегда меньше номера в последовательности изображений текущего изображения, модуль 14 определения опорных блоков может заменять совместно размещенный опорный список на опорный список текущего блока. Таким образом, опорное изображение текущего блока может быть определено согласно опорному списку текущего блока.

Модуль 14 определения опорных блоков может определять опорное изображение текущего блока согласно опорному списку текущего блока в состоянии с низкой задержкой для недопущения задержки кодирования видео. Например, когда список 0 и список 1 опорного списка текущего блока включают в себя идентичные опорные изображения, т.е. в обобщенном P и B (GPB) режиме, опорное изображение может быть определено согласно опорному списку текущего блока. Когда текущее состояние для того, чтобы декодировать изображение, удовлетворяет состоянию с низкой задержкой, модуль 14 определения опорных блоков может определять опорное изображение текущего блока согласно опорному списку текущего блока.

Модуль 16 взаимного прогнозирования может выполнять взаимное прогнозирование для текущего блока посредством использования опорного блока, определенного посредством модуля 14 определения опорных блоков.

Устройство 10 взаимного прогнозирования может включать в себя центральный процессор (не показан) для общего управления модулем 12 проверки опорных списков, модулем 14 определения опорных блоков и модулем 16 взаимного прогнозирования. Альтернативно, модуль 12 проверки опорных списков, модуль 14 определения опорных блоков и модуль 16 взаимного прогнозирования могут управляться посредством соответствующих процессоров (не показаны), и процессоры могут совместно взаимодействовать друг с другом таким образом, чтобы управлять общей работой устройства 10 взаимного прогнозирования. Альтернативно, модуль 12 проверки опорных списков, модуль 14 определения опорных блоков и модуль 16 взаимного прогнозирования могут управляться согласно управлению внешнего процессора (не показан) устройства 10 взаимного прогнозирования.

Устройство 10 взаимного прогнозирования может включать в себя, по меньшей мере, один модуль хранения данных (не показан) для сохранения данных, которые вводятся и выводятся из модуля 12 проверки опорных списков, модуля 14 определения опорных блоков и модуля 16 взаимного прогнозирования. Устройство 10 взаимного прогнозирования может включать в себя контроллер (не показан) для управления вводом-выводом данных модуля хранения данных (не показан).

Устройство 10 взаимного прогнозирования предпочтительно может проверять первый опорный список, включающий в себя опорные изображения, размещенные в противоположном направлении по отношению к направлению от текущего блока к совместно размещенному блоку, в совместно размещенном изображении. Устройство 10 взаимного прогнозирования может избирательно проверять оставшиеся опорные списки, без проверки всех из множества опорных изображений, включенных в опорный список совместно размещенного блока, с тем чтобы определять опорное изображение текущего блока.

Когда устройство 10 взаимного прогнозирования проверяет то, что первый опорный список совместно размещенного блока используется для взаимного прогнозирования совместно размещенного изображения, поскольку устройство 10 взаимного прогнозирования может определять опорное изображение текущего блока на основе первого опорного списка совместно размещенного блока, может пропускаться процесс для перепроверки того, выполняется ли обращение к оставшимся опорным элементам совместно размещенного блока. Таким образом, необязательный процесс пропускается в процессе определения опорного изображения текущего блока посредством использования совместно размещенного блока, за счет чего повышается эффективность процесса определения опорного изображения для взаимного прогнозирования.

Фиг. 2 показывает традиционный способ определения опорного изображения посредством использования совместно размещенного блока.

Опорное изображение текущего блока 25 текущего изображения 20 может быть определено в отношении опорного списка совместно размещенного блока 27 текущего блока 25.

Индексы опорных списков могут выражаться посредством списка 0 28 и списка 1 29. Согласно POC-порядку изображений 22, 20, 21 и 23, опорный список, включающий в себя опорные изображения перед текущим изображением 20, может выражаться посредством списка 0 L0, и опорные изображения, включающие в себя опорные изображения после текущего изображения 20, могут выражаться посредством списка 1 L1.

Значение colDir совместно размещенного изображения 21 текущего блока 25 указывает направление к совместно размещенному изображению 21. Поскольку совместно размещенное изображение 21 включается в список 1 26 текущего изображения 20, colDir может быть равным 1. В качестве другого примера, значение collocated_from_l0_flag может быть использовано в качестве параметра для выполнения поиска совместно размещенного изображения 21. Значение collocated_from_l0_flag может указывать то, что совместно размещенное изображение 21 является изображением списка 0 текущего изображения 20. Таким образом, значение collocated_from_l0_flag текущего изображения 20 может быть определено равным 0.

Совместно размещенный блок 27 может быть размещен в местоположении блока в совместно размещенном изображении 21, соответствующем местоположению блока относительно текущего блока 25 в текущем изображении 20. В традиционном способе опорное изображение текущего блока 25 может быть определено посредством проверки того, выполняется ли обращение как к списку 0 28, так и к списку 1 29 опорного списка совместно размещенного блока 27.

Типично, опорное изображение текущего блока 25 может быть определено из совместно размещенного блока 27 в опорном направлении через текущее изображение 20. Поскольку опорное направление через текущее изображение 20 от совместно размещенного блока 27 является направлением к списку 0 28, опорное изображение текущего блока 25 с большой вероятностью размещается в направлении к списку 0 28. Таким образом, традиционно, даже если процесс проверки того, выполняется ли обращение к списку 1 29, с большой вероятностью является необязательным, должно проверяться то, выполняется ли обращение как к списку 0 28, так и к списку 1 29 опорного списка совместно размещенного блока 27.

Фиг. 3 показывает способ определения опорного изображения посредством использования совместно размещенного блока, согласно варианту осуществления настоящего изобретения.

В общем, опорное изображение текущего блока 35 может быть определено из совместно размещенного блока 37 в опорном направлении через текущее изображение 30. Иными словами, если совместно размещенное изображение 31 включается в список 1 36 текущего блока 35, то опорное изображение текущего блока 35 с большой вероятностью определяется из совместно размещенного блока 37 в опорном направлении к списку 0 38 через текущее изображение 30.

Если другое совместно размещенное изображение размещается в опорном направлении к списку 0 38, то опорное изображение текущего блока 35 с большой вероятностью определяется из совместно размещенного изображения в опорном направлении к списку 1 36 через текущее изображение 30.

Таким образом, согласно настоящему варианту осуществления, чтобы определять опорное изображение текущего блока 35, устройство 10 взаимного прогнозирования предпочтительно может проверять то, выполняется ли обращение к одному опорному списку из числа опорных списков, т.е. списков 0 и 1 38 и 39 совместно размещенного блока 37. То, выполняется ли обращение к соответствующему опорному списку, может быть определено согласно тому, имеет ли совместно размещенный блок 37 информацию движения относительно соответствующего опорного списка, в результате того, выполняется ли обращение к соответствующему опорному списку ранее в ходе восстановления совместно размещенного блока 37.

Если опорный список, который предпочтительно проверяется, не использован для взаимного прогнозирования совместно размещенного блока 37, устройство 10 взаимного прогнозирования может проверять то, выполняется ли обращение к оставшемуся опорному списку совместно размещенного блока 37.

Как описано выше, опорный список может быть определен из совместно размещенного блока 37 в опорном направлении через текущее изображение 30. Таким образом, если совместно размещенное изображение 31 включается в список 1 36 текущего блока 35, устройство 10 взаимного прогнозирования может проверять то, выполняется ли обращение к списку 0 38 из совместно размещенного блока 37 вдоль направления через текущее изображение 30. Когда определяется то, что к списку 0 38 выполняется обращение, необязательно проверять то, выполняется ли обращение к списку 1 39. Тем не менее, если к изображениям списка 0 38 совместно размещенного блока 36 не выполняется обращение для взаимного прогнозирования, устройство 10 взаимного прогнозирования может просто проверять то, выполняется ли обращение к списку 1 39 совместно размещенного блока 36.

Аналогично, если совместно размещенное изображение текущего блока включается в список 0 текущего блока, устройство 10 взаимного прогнозирования предпочтительно может проверять то, выполняется ли обращение к списку 1 совместно размещенного блока.

Таким образом, устройство 10 взаимного прогнозирования может определять опорный список, который подвергается операции предпочтительной проверки того, выполняется ли обращение к опорному списку, из числа опорных списков совместно размещенного блока на основе опорного направления от текущего блока к совместно размещенному изображению.

Иными словами, устройство 10 взаимного прогнозирования определяет направление к опорному списку, который подвергается операции предпочтительной проверки того, выполняется ли обращение к опорному списку, из числа опорных списков совместно размещенного блока, в качестве противоположного направления по отношению к опорному направлению от текущего блока к совместно размещенному изображению. Таким образом, если совместно размещенное изображение является изображением списка 0 текущего изображения, предпочтительно может проверяться то, выполняется ли обращение к списку 1 совместно размещенного блока. Если совместно размещенное изображение является изображением списка 1 текущего изображения, предпочтительно может проверяться то, выполняется ли обращение к списку 0 совместно размещенного блока.

Например, опорный список, который подвергается операции предпочтительной проверки того, выполняется ли обращение к опорному списку из числа опорных списков совместно размещенного блока, может быть определен в направлении, противоположном по отношению к опорному направлению от текущего блока к совместно размещенному изображению. Таким образом, когда опорное направление от текущего блока к совместно размещенному изображению выражается посредством colDir, устройство 10 взаимного прогнозирования может определять опорный список, который подвергается операции предпочтительной проверки того, выполняется ли обращение к опорному списку вдоль 1-colDir, из числа опорных списков совместно размещенного блока.

В качестве другого примера, когда совместно размещенное изображение является изображением списка 0 текущего изображения, значение collocated_from_l0_flag текущего блока равно 1. Когда совместно размещенное изображение является изображением списка 1 текущего изображения, значение collocated_from_l0_flag равно 0. Таким образом, устройство 10 взаимного прогнозирования может определять направление к опорному списку, который подвергается операции предпочтительной проверки того, выполняется ли обращение к опорному списку из числа опорных списков совместно размещенного блока, согласно значению collocated_from_l0_flag текущего блока.

Таким образом, устройство 10 взаимного прогнозирования может определять опорный блок относительно текущего блока посредством использования информации движения совместно размещенного опорного списка, который выбирается на основе того, выполняется ли обращение к первому опорному списку.

Тем не менее, в состоянии с низкой задержкой, устройство 10 взаимного прогнозирования может определять опорное изображение текущего блока на основе опорного списка текущего блока вместо опорного списка совместно размещенного блока. Например, когда POC-номер изображения совместно размещенного блока всегда меньше POC-номера текущего изображения, или когда удовлетворяется предварительно определенное условие, включающее в себя GPB-режим прогнозирования, в котором списки 0 и 1 опорных списков текущего блока включают в себя идентичные опорные изображения, изображение декодируется в состоянии с низкой задержкой. В состоянии с низкой задержкой устройство 10 взаимного прогнозирования может заменять совместно размещенный опорный список на опорный список текущего блока и затем может определять опорный блок относительно текущего блока посредством использования информации движения совместно размещенного опорного списка.

Фиг. 4 является блок-схемой последовательности операций способа внутреннего прогнозирования согласно варианту осуществления настоящего изобретения.

На этапе 41, совместно размещенный блок относительно текущего блока текущего изображения определяется из числа блоков изображения, которое восстанавливается до текущего изображения.

На этапе 42, проверяется то, предпочтительно выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока, и то, выполняется ли обращение ко второму опорному списку, проверяется согласно тому, выполняется ли обращение к первому опорному списку.

Согласно настоящему варианту осуществления, первый опорный список может включать в себя изображения, которые размещаются противоположно по отношению к направлению от текущего изображения к совместно размещенному блоку. Когда к первому опорному списку выполняется обращение для взаимного прогнозирования совместно размещенного блока, может пропускаться процесс проверки того, выполняется ли обращение ко второму опорному списку.

На этапе 43, на основе результата проверки этапа 42, один совместно размещенный опорный список определяется из первого опорного списка и второго опорного списка. Когда видео декодируется в состоянии с низкой задержкой, опорный список текущего блока определяется в качестве совместно размещенного опорного списка, и опорное изображение может быть определено согласно опорному списку текущего блока.

На этапе 44, опорный блок относительно текущего блока определяется посредством использования информации движения совместно размещенного опорного списка. На этапе 45, взаимное прогнозирование выполняется для текущего блока посредством использования опорного блока, определенного на этапе 44.

Таким образом, в способе определения опорного изображения для взаимного прогнозирования согласно настоящему варианту осуществления, если проверяется то, что первый опорный список совместно размещенного блока используется для взаимного прогнозирования совместно размещенного изображения, может пропускаться необязательный процесс для перепроверки того, выполняется ли обращение к оставшимся опорным спискам совместно размещенного блока, за счет чего повышается эффективность взаимного прогнозирования.

Фиг. 5 является блок-схемой последовательности операций способа кодирования видео через взаимное прогнозирование согласно варианту осуществления настоящего изобретения.

На этапе 51, внутреннее прогнозирование выполняется для блоков в режиме внутреннего прогнозирования из числа блоков видео.

На этапе 52, проверяется то, предпочтительно выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока относительно текущего блока для взаимного прогнозирования текущего блока во взаимном режиме. Первый опорный список может включать в себя изображения, которые размещаются в противоположном направлении относительно направления от текущего изображения к совместно размещенному блоку.

Когда к первому опорному списку можно обращаться, необязательно проверять то, выполняется ли обращение ко второму опорному списку. Когда к первому опорному списку не выполняется обращение, может проверяться то, выполняется ли обращение ко второму опорному списку. На основе результата проверки, один совместно размещенный опорный список может быть определен из первого опорного списка и второго опорного списка, и опорный блок относительно текущего блока может быть определен на основе информации движения совместно размещенного опорного списка. Взаимное прогнозирование может быть выполнено для текущего блока посредством использования опорного блока относительно текущего блока, чтобы формировать остаточное значение.

На этапе 53, преобразование и квантование выполняется для результата внутреннего прогнозирования или взаимного прогнозирования, чтобы формировать квантованный коэффициент преобразования. На этапе 55, выводится поток битов, сформированный посредством выполнения энтропийного кодирования для выборок, включающих в себя квантованный коэффициент преобразования этапа 53. Параметр colDir, указывающий направление к совместно размещенному изображению текущего блока, или параметр collocated_from_l0_flag, указывающий то, является ли текущее изображение совместно размещенного изображения изображением списка 0, может быть передан.

Помимо этого, в ходе взаимного прогнозирования этапа 52, когда изображение восстанавливается в состоянии с низкой задержкой, опорное изображение может быть определено согласно опорному списку текущего блока независимо от совместно размещенного опорного списка.

Устройство кодирования видео, осуществляющее способ кодирования видео по фиг. 5, может включать в себя устройство 10 взаимного прогнозирования согласно варианту осуществления настоящего изобретения. Устройство кодирования видео, включающее в себя устройство 10 взаимного прогнозирования, может выполнять внутреннее прогнозирование, взаимное прогнозирование, преобразование и квантование для каждого блока изображений, чтобы формировать выборки, и может выполнять энтропийное кодирование для выборок, чтобы формировать поток битов. В устройстве кодирования видео, включающем в себя устройство 10 взаимного прогнозирования, устройство 10 взаимного прогнозирования может взаимодействовать с процессором кодирования видео или внешним процессором кодирования видео, который установлен в устройстве кодирования видео, чтобы выполнять операцию кодирования видео, включающую в себя преобразование, чтобы выводить результат кодирования видео. Согласно варианту осуществления настоящего изобретения, во внутреннем процессоре кодирования видео устройства кодирования видео, поскольку устройство кодирования видео, центральное обрабатывающее устройство или графическое обрабатывающее устройство могут включать в себя модуль кодирования видео, а также отдельный процессор, могут выполняться базовые операции кодирования видео.

Фиг. 6 является блок-схемой последовательности операций способа декодирования видео через взаимное прогнозирование согласно варианту осуществления настоящего изобретения.

На этапе 61, энтропийное декодирование выполняется для битовой строки, полученной посредством синтаксического анализа принимаемого потока битов, чтобы восстанавливать выборки. На этапе 62, обратное квантование и обратное преобразование выполняется для квантованного коэффициента преобразования из числа выборок, чтобы восстанавливать выборки. На этапе 63, внутреннее прогнозирование выполняется для выборок во внутреннем режиме. На этапе 64, компенсация движения выполняется для выборок во взаимном режиме. На этапе 65, изображение восстанавливается посредством использования блоков, которые восстанавливаются через внутреннее прогнозирование этапа 63 или компенсацию движения этапа 64.

На этапе 64, совместно размещенный блок относительно текущего блока определяется из числа выборок для взаимного прогнозирования текущего блока во взаимном режиме. Параметр colDir, указывающий направление к совместно размещенному изображению текущего блока, или параметр collocated_from_l0_flag, указывающий то, является ли текущее изображение совместно размещенного изображения изображением списка 0, может быть синтаксически проанализирован из потока битов и восстановлен. Совместно размещенный блок относительно текущего блока может быть определен на основе параметра colDir или параметра collocated_from_l0_flag.

Предпочтительно проверяется то, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока. Первый опорный список может включать в себя изображения, которые размещаются в противоположном направлении относительно направления от текущего изображения к совместно размещенному блоку.

Когда к первому опорному списку можно обращаться, необязательно проверять то, выполняется ли обращение ко второму опорному списку. Когда к первому опорному списку не выполняется обращение, может проверяться то, выполняется ли обращение ко второму опорному списку. На основе результата проверки, один совместно размещенный опорный список может быть определен из первого опорного списка и второго опорного списка, и опорный блок относительно текущего блока может быть определен на основе информации движения совместно размещенного опорного списка. Компенсация движения текущего блока может быть выполнена для текущего блока посредством использования опорного блока относительно текущего блока, чтобы формировать выборочное значение пиксела блока.

Помимо этого, в ходе компенсации движения этапа 63, когда изображение восстанавливается в состоянии с низкой задержкой, опорное изображение может быть определено согласно опорному списку текущего блока, независимо от совместно размещенного опорного списка.

Устройство декодирования видео, осуществляющее способ декодирования видео по фиг. 6, может включать в себя устройство 10 взаимного прогнозирования согласно варианту осуществления настоящего изобретения. Устройство декодирования видео, включающее в себя устройство 10 взаимного прогнозирования, может синтаксически анализировать выборки, полученные посредством кодирования потока битов, и может выполнять обратное квантование, обратное преобразование, внутреннее прогнозирование и компенсацию движения для каждого блока изображений, чтобы восстанавливать выборки. В устройстве декодирования видео, устройство 10 взаимного прогнозирования может взаимодействовать с процессором кодирования видео или внешним процессором кодирования видео, который установлен в устройстве декодирования видео, чтобы выполнять операцию декодирования видео, включающую в себя обратное преобразование или прогнозирование/компенсацию, чтобы выводить результат декодирования видео. Согласно варианту осуществления настоящего изобретения, во внутреннем процессоре декодирования видео или устройстве декодирования видео, поскольку устройство декодирования видео, центральное обрабатывающее устройство или графическое обрабатывающее устройство могут включать в себя модуль кодирования видео, а также отдельный процессор, могут выполняться базовые операции декодирования видео.

В устройстве 10 взаимного прогнозирования блоки, полученные посредством разделения видеоданных, разделяются на единицы кодирования, имеющие древовидную структуру, и единицы прогнозирования используются для взаимного прогнозирования единиц кодирования, как описано выше. В дальнейшем в этом документе, со ссылкой на фиг. 7-19 описываются способ и устройство для кодирования видео, а также способ и устройство для декодирования видео на основе единицы кодирования, имеющей древовидную структуру, и единица кодирования.

Фиг. 7 является блок-схемой устройства 100 кодирования видео на основе единицы кодирования согласно древовидной структуре, согласно варианту осуществления настоящего изобретения.

Устройство 100 кодирования видео посредством прогнозирования видео на основе единицы кодирования согласно древовидной структуре включает в себя модуль 110 разбиения на максимальные единицы кодирования, модуль 120 определения единиц кодирования и модуль 130 вывода. Здесь, для удобства описания, устройство 100 кодирования видео посредством прогнозирования видео на основе единицы кодирования согласно древовидной структуре упоминается как "устройство 100 кодирования видео".

Модуль 110 разбиения на максимальные единицы кодирования может разбивать текущее изображение на основе максимальной единицы кодирования для текущей картины изображения. Если текущее изображение превышает максимальную единицу кодирования, данные изображений для текущего изображения могут разбиваться, по меньшей мере, на одну максимальную единицу кодирования. Максимальная единица кодирования согласно варианту осуществления настоящего изобретения может быть единицей данных, имеющей размер 32x32, 64x64, 128x128, 256x256 и т.д., при этом форма единицы данных является квадратом, имеющим ширину и длину в квадратах по 2. Данные изображений могут выводиться в модуль 120 определения единиц кодирования согласно, по меньшей мере, одной максимальной единице кодирования.

Единица кодирования согласно варианту осуществления настоящего изобретения может отличаться посредством максимального размера и глубины. Глубина обозначает число раз, которое единица кодирования пространственно разбивается от максимальной единицы кодирования, и по мере того, как увеличивается глубина, более глубокие единицы кодирования согласно глубинам могут разбиваться от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования является самой верхней глубиной, а глубина минимальной единицы кодирования является самой нижней глубиной. Поскольку размер единицы кодирования, соответствующей каждой глубине, снижается по мере того, как увеличивается глубина максимальной единицы кодирования, единица кодирования, соответствующая верхней глубине, может включать в себя множество единиц кодирования, соответствующих нижним глубинам.

Как описано выше, данные изображений для текущего изображения разбиваются на максимальные единицы кодирования согласно максимальному размеру единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя более глубокие единицы кодирования, которые разбиваются согласно глубинам. Поскольку максимальная единица кодирования согласно варианту осуществления настоящего изобретения разбивается согласно глубинам, данные изображений пространственной области, включенные в максимальную единицу кодирования, могут быть иерархически классифицированы согласно глубинам.

Может быть предварительно определена максимальная глубина и максимальный размер единицы кодирования, которые ограничивают общее число раз, сколько высота и ширина максимальной единицы кодирования иерархически разбиваются.

Модуль 120 определения единиц кодирования кодирует, по меньшей мере, одну область разбиения, полученную посредством разбиения области максимальной единицы кодирования согласно глубинам, и определяет глубину, чтобы выводить конечные кодированные данные изображений согласно, по меньшей мере, одной области разбиения. Другими словами, модуль 120 определения единиц кодирования определяет кодированную глубину посредством кодирования данных изображений в более глубоких единицах кодирования согласно глубинам, согласно максимальной единице кодирования текущего изображения и выбора глубины, имеющей наименьшую ошибку кодирования. Таким образом, кодированные данные изображений единицы кодирования, соответствующей определенной кодированной глубине, в завершение выводятся. Кроме того, единицы кодирования, соответствующие кодированной глубине, могут рассматриваться в качестве кодированных единиц кодирования. Определенная кодированная глубина и кодированные данные изображений согласно определенной кодированной глубине выводятся в модуль 130 вывода.

Данные изображений в максимальной единице кодирования кодируются на основе более глубоких единиц кодирования, соответствующих, по меньшей мере, одной глубине, равной или ниже максимальной глубины, и результаты кодирования данных изображений сравниваются на основе каждой из более глубоких единиц кодирования. Глубина, имеющая наименьшую ошибку кодирования, может быть выбрана после сравнения ошибок кодирования более глубоких единиц кодирования. По меньшей мере, одна кодированная глубина может быть выбрана для каждой максимальной единицы кодирования.

Размер максимальной единицы кодирования разбивается по мере того, как единица кодирования иерархически разбивается согласно глубинам, и по мере того, как увеличивается число единиц кодирования. Кроме того, даже если единицы кодирования соответствуют идентичной глубине в одной максимальной единице кодирования, определяется то, разбивать ли каждую из единиц кодирования, соответствующих идентичной глубине, до нижней глубины посредством измерения ошибки кодирования данных изображений каждой единицы кодирования, отдельно. Соответственно, даже когда данные изображений включаются в одну максимальную единицу кодирования, данные изображений разбиваются на области согласно глубинам, ошибки кодирования могут отличаться согласно областям в одной максимальной единице кодирования, и, таким образом, кодированные глубины могут отличаться согласно областям в данных изображений. Таким образом, одна или более кодированных глубин могут быть определены в одной максимальной единице кодирования, и данные изображений максимальной единицы кодирования могут быть разделены согласно единицам кодирования, по меньшей мере, одной кодированной глубины.

Соответственно, модуль 120 определения единиц кодирования может определять единицы кодирования, имеющие древовидную структуру, включенные в максимальную единицу кодирования. "Единицы кодирования, имеющие древовидную структуру" согласно варианту осуществления настоящего изобретения включают в себя единицы кодирования, соответствующие глубине, определенной как кодированная глубина, из всех более глубоких единиц кодирования, включенных в максимальную единицу кодирования. Единица кодирования кодированной глубины может быть иерархически определена согласно глубинам в идентичной области максимальной единицы кодирования и может быть независимо определена в различных областях. Аналогично, кодированная глубина в текущей области может быть независимо определена из кодированной глубины в другой области.

Максимальная глубина согласно варианту осуществления настоящего изобретения является индексом, связанным с числом разбиений, выполненных от максимальной единицы кодирования до минимальной единицы кодирования. Первая максимальная глубина согласно варианту осуществления настоящего изобретения может обозначать общее число разбиений, выполненных от максимальной единицы кодирования до минимальной единицы кодирования. Вторая максимальная глубина согласно варианту осуществления настоящего изобретения может обозначать общее число уровней глубины от максимальной единицы кодирования до минимальной единицы кодирования. Например, когда глубина максимальной единицы кодирования равна 0, глубина единицы кодирования, на которую максимальная единица кодирования разбивается один раз, может задаваться равной 1, а глубина единицы кодирования, на которую максимальная единица кодирования разбивается два раза, может задаваться равной 2. Здесь, если минимальная единица кодирования является единицей кодирования, на которую максимальная единица кодирования разбивается четыре раза, имеется 5 уровней глубины с глубинами 0, 1, 2, 3 и 4, и за счет этого первая максимальная глубина может задаваться равной 4, а вторая максимальная глубина может задаваться равной 5.

Прогнозирующее кодирование и преобразование может выполняться согласно максимальной единице кодирования. Прогнозирующее кодирование и преобразование также выполняются на основе более глубоких единиц кодирования согласно глубине, равной, или глубинам, меньшим максимальной глубины, согласно максимальной единице кодирования. Преобразование может выполняться согласно способу ортогонального преобразования или целочисленного преобразования.

Поскольку число более глубоких единиц кодирования увеличивается каждый раз, когда максимальная единица кодирования разбивается согласно глубинам, кодирование, включающее в себя прогнозирующее кодирование и преобразование, выполняется для всех более глубоких единиц кодирования, сформированных по мере того, как увеличивается глубина. Для удобства описания, прогнозирующее кодирование и преобразование далее описываются на основе единицы кодирования текущей глубины в максимальной единице кодирования.

Устройство 100 кодирования видео может по-разному выбирать размер или форму единицы данных для кодирования данных изображений. Чтобы кодировать данные изображений, выполняются такие операции, как прогнозирующее кодирование, преобразование и энтропийное кодирование, и в это время, идентичная единица данных может использоваться для всех операций, или различные единицы данных могут использоваться для каждой операции.

Например, устройство 100 кодирования видео может выбирать не только единицу кодирования для кодирования данных изображений, но также и единицу данных, отличающуюся от единицы кодирования, с тем чтобы выполнять прогнозирующее кодирование для данных изображений в единице кодирования. Чтобы выполнять прогнозирующее кодирование в максимальной единице кодирования, прогнозирующее кодирование может выполняться на основе единицы кодирования, соответствующей кодированной глубине, т.е. на основе единицы кодирования, которая более не разбивается на единицы кодирования, соответствующие нижней глубине. В дальнейшем в этом документе, единица кодирования, которая более не разбивается и становится базисной единицей для прогнозирующего кодирования, далее упоминается как "единица прогнозирования". Сегмент, полученный посредством разбиения единицы прогнозирования, может включать в себя единицу данных, полученную посредством разбиения, по меньшей мере, одной из высоты и ширины единицы прогнозирования. Сегмент представляет собой единицу данных, полученную посредством разделения единицы прогнозирования единицы кодирования, и единица прогнозирования может быть сегментом, имеющим тот же размер, что и единица кодирования.

Например, когда единица кодирования в 2Nx2N (где N является положительным целым числом) более не разбивается и становится единицей прогнозирования в 2Nx2N, размер сегмента может составлять 2Nx2N, 2NxN, Nx2N или NxN. Примеры типа сегмента включают в себя симметричные сегменты, которые получаются посредством симметричного разбиения высоты или ширины единицы прогнозирования, сегменты, полученные посредством асимметричного разбиения высоты или ширины единицы прогнозирования, к примеру, 1:n или n:1, сегменты, которые получаются посредством геометрического разбиения единицы прогнозирования, и сегменты, имеющие произвольные формы.

Режим прогнозирования единицы прогнозирования может быть, по меньшей мере, одним из внутреннего режима, взаимного режима и режима пропуска. Например, внутренний режим или взаимный режим могут выполняться для сегмента в 2Nx2N, 2NxN, Nx2N или NxN. Кроме того, режим пропуска может выполняться только для сегмента в 2Nx2N. Кодирование независимо выполняется для одной единицы прогнозирования в единице кодирования, в силу этого выбирая режим прогнозирования, имеющий наименьшую ошибку кодирования.

Устройство 100 кодирования видео также может выполнять преобразование для данных изображений в единице кодирования на основе не только единицы кодирования для кодирования данных изображений, но также и на основе единицы преобразования, которая отличается от единицы кодирования. Чтобы выполнять преобразование в единице кодирования, преобразование может выполняться на основе единицы данных, имеющей размер, меньший или равный единице кодирования. Например, единица преобразования для преобразования может включать в себя единицу преобразования для внутреннего режима и единицу данных для взаимного режима.

Аналогично единице кодирования согласно древовидной структуре согласно настоящему варианту осуществления, единица преобразования в единице кодирования может рекурсивно разбиваться на области меньших размеров, и остаточные данные в единице кодирования могут быть разделены согласно преобразованию, имеющему древовидную структуру согласно глубинам преобразования.

Согласно варианту осуществления настоящего изобретения, глубина преобразования, указывающая число раз, когда выполняется разбиение, чтобы достигать единицы преобразования посредством разбиения высоты и ширины единицы кодирования, также может задаваться в единице преобразования. Например, когда размер единицы преобразования текущей единицы кодирования составляет 2Nx2N, глубина преобразования может задаваться равной 0. Когда размер единицы преобразования составляет NxN, глубина преобразования может задаваться равной 1. Помимо этого, когда размер единицы преобразования составляет N/2xN/2, глубина преобразования может задаваться равной 2. Иными словами, единица преобразования согласно древовидной структуре также может задаваться согласно глубине преобразования.

Информация кодирования согласно единицам кодирования, соответствующим кодированной глубине, требует не только информацию относительно кодированной глубины, но также и информацию, связанную с прогнозирующим кодированием и преобразованием. Соответственно, модуль 120 определения единиц кодирования не только определяет кодированную глубину, имеющую наименьшую ошибку кодирования, но также и определяет тип сегмента в единице прогнозирования, режим прогнозирования согласно единицам прогнозирования и размер единицы преобразования для преобразования.

Ниже подробно описываются единицы кодирования и единица прогнозирования/сегмент согласно древовидной структуре в максимальной единице кодирования и способ определения единицы преобразования согласно вариантам осуществления настоящего изобретения со ссылкой на фиг. 7-19.

Модуль 120 определения единиц кодирования может измерять ошибку кодирования более глубоких единиц кодирования согласно глубинам посредством использования оптимизации искажения в зависимости от скорости передачи на основе множителей Лагранжа.

Модуль 130 вывода выводит данные изображений максимальной единицы кодирования, которая кодируется на основе, по меньшей мере, одной кодированной глубины, определенной посредством модуля 120 определения единиц кодирования, и информации относительно режима кодирования согласно кодированной глубине в потоках битов.

Кодированные данные изображений могут быть получены посредством кодирования остаточных данных изображения.

Информация относительно режима кодирования согласно кодированной глубине может включать в себя информацию относительно кодированной глубины, относительно типа сегмента в единице прогнозирования, режима прогнозирования и размера единицы преобразования.

Информация относительно кодированной глубины может быть задана посредством использования информации разбиения согласно глубинам, которая указывает то, выполняется ли кодирование для единиц кодирования нижней глубины вместо текущей глубины. Если текущая глубина текущей единицы кодирования является кодированной глубиной, данные изображений в текущей единице кодирования кодируется и выводятся, и тем самым информация разбиения может быть задана так, чтобы не разбивать текущую единицу кодирования до нижней глубины. Альтернативно, если текущая глубина текущей единицы кодирования не является кодированной глубиной, кодирование выполняется для единицы кодирования нижней глубины, и тем самым информация разбиения может быть задана так, чтобы разбивать текущую единицу кодирования, чтобы получать единицы кодирования нижней глубины.

Если текущая глубина не является кодированной глубиной, кодирование выполняется для единицы кодирования, которая разбивается на единицу кодирования нижней глубины. Поскольку, по меньшей мере, одна единица кодирования нижней глубины существует в одной единице кодирования текущей глубины, кодирование многократно выполняется для каждой единицы кодирования нижней глубины, и за счет этого кодирование может быть рекурсивно выполнено для единиц кодирования, имеющих идентичную глубину.

Поскольку единицы кодирования, имеющие древовидную структуру, определяются для одной максимальной единицы кодирования, и информация, по меньшей мере, относительно одного режима кодирования определяется для единицы кодирования кодированной глубины, информация, по меньшей мере, относительно одного режима кодирования может быть определена для одной максимальной единицы кодирования. Кроме того, кодированная глубина данных изображений максимальной единицы кодирования может отличаться согласно местоположениям, поскольку данные изображений иерархически разбиваются согласно глубинам, и тем самым информация относительно кодированной глубины и режима кодирования может задаваться для данных изображений.

Соответственно, модуль 130 вывода может назначать информацию кодирования относительно соответствующей кодированной глубины и режима кодирования, по меньшей мере, одной из единицы кодирования, единицы прогнозирования и минимальной единицы, включенной в максимальную единицу кодирования.

Минимальная единица согласно варианту осуществления настоящего изобретения является прямоугольной единицей данных, полученной посредством разбиения минимальной единицы кодирования, составляющей самую нижнюю глубину, на 4. Альтернативно, минимальная единица может быть максимальной прямоугольной единицей данных, имеющей максимальный размер, которая включается во все из единиц кодирования, единиц прогнозирования, единиц сегментирования и единиц преобразования, включенных в максимальную единицу кодирования.

Например, информация кодирования, выводимая через модуль 130 вывода, может классифицироваться на информацию кодирования согласно единицам кодирования и информацию кодирования согласно единицам прогнозирования. Информация кодирования согласно единицам кодирования может включать в себя информацию относительно режима прогнозирования и относительно размера сегментов. Информация кодирования согласно единицам прогнозирования может включать в себя информацию относительно оцененного направления взаимного режима, относительно индекса опорного изображения взаимного режима, относительно вектора движения, относительно компонента сигнала цветности внутреннего режима и относительно способа интерполяции внутреннего режима.

Кроме того, информация относительно максимального размера единицы кодирования, заданного согласно изображениям, сериям последовательных макроблоков или GOP, и информация относительно максимальной глубины могут вставляться в заголовок потока битов, SPS (набор параметров последовательности) или PPS (набор параметров изображения).

Помимо этого, информация относительно максимального размера единицы преобразования и информация относительно минимального размера преобразования, которые являются допустимыми для текущего видео, также может выводиться через заголовок потока битов, SPS или PPS. Модуль 130 вывода может кодировать и выводить опорную информацию, информацию прогнозирования, информацию однонаправленного прогнозирования и информацию относительно типа серии последовательных макроблоков, включающую в себя четвертый тип серии последовательных макроблоков, которые связаны с прогнозированием, описанным со ссылкой на фиг. 1-6.

В устройстве 100 кодирования видео, более глубокая единица кодирования может быть единицей кодирования, полученной посредством деления высоты или ширины единицы кодирования верхней глубины, которая на один слой выше, на два. Другими словами, когда размер единицы кодирования текущей глубины равен 2Nx2N, размер единицы кодирования нижней глубины равен NxN. Кроме того, единица кодирования текущей глубины, имеющей размер 2Nx2N, может включать в себя максимальное значение в 4 единицы кодирования нижней глубины.

Соответственно, устройство 100 кодирования видео может формировать единицы кодирования, имеющие древовидную структуру, посредством определения единиц кодирования, имеющих оптимальную форму и оптимальный размер для каждой максимальной единицы кодирования, на основе размера максимальной единицы кодирования и максимальной глубины, определенной с учетом характеристик текущего изображения. Кроме того, поскольку кодирование может выполняться для каждой максимальной единицы кодирования посредством использования любого из различных режимов прогнозирования и преобразований, оптимальный режим кодирования может быть определен с учетом характеристик единицы кодирования различных размеров изображения.

Таким образом, если изображение, имеющее высокое разрешение или большой объем данных, кодируется в традиционном макроблоке, число макроблоков в расчете на изображение чрезмерно увеличивается. Соответственно, число фрагментов сжатой информации, сформированной для каждого макроблока, увеличивается, и в силу этого трудно передавать сжатую информацию, и эффективность сжатия данных снижается. Тем не менее, посредством использования устройства 100 кодирования видео, эффективность сжатия изображений может быть повышена, поскольку единица кодирования регулируется с учетом характеристик изображения при увеличении максимального размера единицы кодирования с учетом размера изображения.

Устройство 100 кодирования видео по фиг. 7 может выполнять операции устройства 10 взаимного прогнозирования, как описано со ссылкой на фиг. 1.

Модуль 120 определения единиц кодирования может выполнять операции устройства 10 взаимного прогнозирования. Для каждой максимальной единицы кодирования единица прогнозирования для взаимного прогнозирования может быть определена в единицах кодирования согласно древовидной структуре, и взаимное прогнозирование может быть выполнено в единицах прогнозирования.

В частности, предпочтительно проверяется то, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока текущего блока, для взаимного прогнозирования текущей единицы прогнозирования в режиме прогнозирования. Первый опорный список может включать в себя изображения, которые размещаются в противоположном направлении относительно направления от текущего изображения к совместно размещенному блоку.

Когда к первому опорному списку можно обращаться, необязательно проверять то, выполняется ли обращение ко второму опорному списку. Когда к первому опорному списку не обращаются, может проверяться то, выполняется ли обращение ко второму опорному списку. На основе результата проверки, один совместно размещенный опорный список может быть определен из первого опорного списка и второго опорного списка, и опорный блок текущей единицы прогнозирования может быть определен на основе информации движения совместно размещенного опорного списка. Взаимное прогнозирование может быть выполнено для текущей единицы прогнозирования посредством использования опорного блока текущей единицы прогнозирования для того, чтобы формировать остаточное значение. Параметр collocated_from_l0_flag или параметр colDir, указывающие совместно размещенный блок текущей единицы прогнозирования, могут передаваться.

Фиг. 8 является блок-схемой устройства 200 декодирования видео на основе единицы кодирования согласно древовидной структуре, согласно варианту осуществления настоящего изобретения.

Устройство 200 декодирования видео на основе единицы кодирования согласно древовидной структуре включает в себя приемное устройство 210, модуль 220 извлечения данных изображений и информации кодирования и декодер 230 данных изображений. В дальнейшем в этом документе, для удобства описания, устройство 200 декодирования видео с использованием прогнозирования видео на основе единицы кодирования согласно древовидной структуре упоминается в качестве "устройства 200 декодирования видео".

Определения различных терминов, таких как единица кодирования, глубина, единица прогнозирования, единица преобразования и информация относительно различных режимов кодирования, для операций устройства 200 декодирования видео являются идентичными определениям, описанным со ссылкой на фиг. 7 и на устройство 100 кодирования видео.

Приемное устройство 210 принимает и синтаксически анализирует поток битов кодированного видео. Модуль 220 извлечения данных изображений и информации кодирования извлекает кодированные данные изображений для каждой единицы кодирования из синтаксически проанализированного потока битов, при этом единицы кодирования имеют древовидную структуру согласно каждой максимальной единице кодирования, и выводит извлеченные данные изображений в декодер 230 данных изображений. Модуль 220 извлечения данных изображений и информации кодирования может извлекать информацию относительно максимального размера единицы кодирования текущего изображения из заголовка относительно текущего изображения, SPS или PPS.

Кроме того, модуль 220 извлечения данных изображений и информации кодирования извлекает информацию относительно кодированной глубины и режима кодирования для единиц кодирования, имеющих древовидную структуру, согласно каждой максимальной единице кодирования из синтаксически проанализированного потока битов. Извлеченная информация относительно кодированной глубины и режима кодирования выводится в декодер 230 данных изображений. Другими словами, данные изображений в потоке битов разбиваются на максимальные единицы кодирования так, что декодер 230 данных изображений декодирует данные изображений для каждой максимальной единицы кодирования.

Информация относительно кодированной глубины и режима кодирования согласно максимальной единице кодирования может задаваться для информации относительно, по меньшей мере, одной единицы кодирования, соответствующей кодированной глубине, и информация относительно режима кодирования может включать в себя информацию относительно типа сегмента соответствующей единицы кодирования, соответствующей кодированной глубине, относительно режима прогнозирования и размера единицы преобразования. Кроме того, информация разбиения согласно глубинам может быть извлечена в качестве информации относительно кодированной глубины.

Информация относительно кодированной глубины и режима кодирования согласно каждой максимальной единице кодирования, извлеченной посредством модуля 220 извлечения данных изображений и информации кодирования, является информацией относительно определенной кодированной глубины и режима кодирования, чтобы формировать минимальную ошибку кодирования, когда кодер, такой как устройство 100 кодирования видео, многократно выполняет кодирование для каждой более глубокой единицы кодирования согласно глубинам согласно каждой максимальной единице кодирования. Соответственно, устройство 200 декодирования видео может восстанавливать изображение посредством декодирования данных изображений согласно кодированной глубине и режиму кодирования, который формирует минимальную ошибку кодирования.

Поскольку информация кодирования относительно кодированной глубины и режима кодирования может назначаться предварительно определенной единице данных из соответствующей единицы кодирования, единицы прогнозирования и минимальной единицы, модуль 220 извлечения данных изображений и информации кодирования может извлекать информацию относительно кодированной глубины и режима кодирования согласно предварительно определенным единицам данных. Предварительно определенные единицы данных, которым назначается идентичная информация относительно кодированной глубины и режима кодирования, могут логически выводиться как единицы данных, включенные в идентичную максимальную единицу кодирования.

Декодер 230 данных изображений восстанавливает текущее изображение посредством декодирования данных изображений в каждой максимальной единице кодирования на основе информации относительно кодированной глубины и режима кодирования согласно максимальным единицам кодирования. Другими словами, декодер 230 данных изображений может декодировать кодированные данные изображений на основе извлеченной информации относительно типа сегмента, режима прогнозирования и единицы преобразования для каждой единицы кодирования из единиц кодирования, имеющих в себя древовидную структуру, включенных в каждую максимальную единицу кодирования. Процесс декодирования может включать в себя прогнозирование, включающее в себя внутреннее прогнозирование и компенсацию движения, а также обратное преобразование. Обратное преобразование может выполняться согласно способу обратного ортогонального преобразования или обратного целочисленного преобразования.

Декодер 230 данных изображений может выполнять внутреннее прогнозирование или компенсацию движения согласно сегменту и режиму прогнозирования каждой единицы кодирования на основе информации относительно типа сегмента и режима прогнозирования единицы прогнозирования единицы кодирования согласно кодированным глубинам.

Помимо этого, декодер 230 данных изображений может считывать информацию единицы преобразования согласно древовидной структуре для каждой единицы кодирования с тем, чтобы определять единицы преобразования для каждой единицы кодирования, и выполнять обратное преобразование на основе единиц преобразования для каждой единицы кодирования для обратного преобразования для каждой максимальной единицы кодирования. Через обратное преобразование может быть восстановлено пиксельное значение пространственной области единицы кодирования.

Декодер 230 данных изображений может определять, по меньшей мере, одну кодированную глубину текущей максимальной единицы кодирования посредством использования информации разбиения согласно глубинам. Если информация разбиения указывает то, что данные изображений более не разбиваются при текущей глубине, текущая глубина является кодированной глубиной. Соответственно, декодер 230 данных изображений может декодировать кодированные данные, по меньшей мере, одной единицы кодирования, соответствующей каждой кодированной глубине в текущей максимальной единице кодирования, посредством использования информации относительно типа сегмента единицы прогнозирования, режима прогнозирования и размера единицы преобразования для каждой единицы кодирования, соответствующей кодированной глубине, и выводить данные изображений текущей максимальной единицы кодирования.

Другими словами, единицы данных, содержащие информацию кодирования, включающую в себя идентичную информацию разбиения, могут собираться посредством наблюдения набора информации кодирования, назначаемого для предварительно определенной единицы данных из единицы кодирования, единицы прогнозирования и минимальной единицы, и собранные единицы данных могут рассматриваться как одна единица данных, которая должна быть декодирована посредством декодера 230 данных изображений в одном режиме кодирования. Для каждой единицы кодирования, определенной как описано выше, информация относительно режима кодирования может быть получена для того, чтобы декодировать текущую единицу кодирования.

Декодер 230 данных изображений устройства 200 декодирования видео по фиг. 8 может выполнять операции устройства 10 взаимного прогнозирования, как описано выше со ссылкой на фиг. 1.

Декодер 230 данных изображений может определять единицу прогнозирования для взаимного прогнозирования для каждой единицы кодирования согласно древовидной структуре и может выполнять взаимное прогнозирование для каждой единицы прогнозирования для максимальной единицы кодирования.

В частности, совместно размещенный блок текущего блока определяется из числа восстановленных выборок для взаимного прогнозирования текущего блока во взаимном режиме. Совместно размещенный блок текущей единицы прогнозирования может быть определен на основе параметра collocated_from_l0_flag или параметра colDir, который является текущей единицей прогнозирования, полученной посредством синтаксического анализа потока битов.

Предпочтительно проверяется то, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока. Первый опорный список может включать в себя изображения, которые размещаются в противоположном направлении относительно направления от текущего изображения к совместно размещенному блоку.

Когда к первому опорному списку можно обращаться, необязательно проверять то, выполняется ли обращение ко второму опорному списку. Когда к первому опорному списку не обращаются, может проверяться то, выполняется ли обращение ко второму опорному списку. На основе результата проверки, один совместно размещенный опорный список может быть определен из первого опорного списка и второго опорного списка, и опорный блок текущей единицы прогнозирования может быть определен на основе информации движения совместно размещенного опорного списка. Компенсация движения может быть выполнена для текущей единицы прогнозирования посредством использования опорного блока текущей единицы прогнозирования для того, чтобы формировать выборочное значение пиксела блока.

Помимо этого, когда изображение восстанавливается в состоянии с низкой задержкой, опорное изображение может быть определено согласно опорному списку текущей единицы прогнозирования независимо от совместно размещенного опорного списка.

Устройство 200 декодирования видео может получать информацию относительно, по меньшей мере, одной единицы кодирования, которая формирует минимальную ошибку кодирования, когда кодирование рекурсивно выполняется для каждой максимальной единицы кодирования, и может использовать эту информацию для того, чтобы декодировать текущее изображение. Другими словами, могут быть декодированы единицы кодирования, имеющие древовидную структуру, определенные как оптимальные единицы кодирования в каждой максимальной единице кодирования. Кроме того, максимальный размер единицы кодирования определяется с учетом разрешения и объема данных изображений.

Соответственно, даже если данные изображений имеют высокое разрешение и большой объем данных, данные изображений могут быть эффективно декодированы и восстановлены посредством использования размера единицы кодирования и режима кодирования, которые адаптивно определяются согласно характеристикам данных изображений, посредством использования информации относительно оптимального режима кодирования, принимаемой из кодера.

Фиг. 9 является схемой для описания принципа единиц кодирования согласно варианту осуществления настоящего изобретения.

Размер единицы кодирования может выражаться как "ширина x высота" и может составлять 64x64, 32x32, 16x16 и 8x8. Единица кодирования в 64x64 может разбиваться на сегменты в 64x64, 64x32, 32x64 или 32x32, и единица кодирования в 32x32 может разбиваться на сегменты в 32x32, 32x16, 16x32 или 16x16, единица кодирования в 16x16 может разбиваться на сегменты в 16x16, 16x8, 8x16 или 8x8, и единица кодирования в 8x8 может разбиваться на сегменты в 8x8, 8x4, 4x8 или 4x4.

В видеоданных 310, разрешение составляет 1920x1080, максимальный размер единицы кодирования равен 64, и максимальная глубина равна 2. В видеоданных 320, разрешение составляет 1920x1080, максимальный размер единицы кодирования равен 64, и максимальная глубина равна 3. В видеоданных 330, разрешение составляет 352x288, максимальный размер единицы кодирования равен 16, и максимальная глубина равна 1. Максимальная глубина, показанная на фиг. 9, обозначает общее число разбиений от максимальной единицы кодирования до минимальной единицы декодирования.

Если разрешение является высоким, или объем данных является большим, максимальный размер единицы кодирования может быть большим, с тем чтобы не только повышать эффективность кодирования, но также и точно отражать характеристики изображения. Соответственно, максимальный размер единицы кодирования видеоданных 310 и 320, имеющих более высокое разрешение, чем видеоданные 330, может составлять 64.

Поскольку максимальная глубина видеоданных 310 равна 2, единицы 315 кодирования видеоданных 310 могут включать в себя максимальную единицу кодирования, имеющую размер по продольной оси равный 64, и единицы кодирования, имеющие размеры по продольной оси равные 32 и 16, поскольку глубины увеличиваются на два уровня посредством разбиения максимальной единицы кодирования два раза. Между тем, поскольку максимальная глубина видеоданных 330 равна 1, единицы кодирования 335 видеоданных 330 могут включать в себя максимальную единицу кодирования, имеющую размер продольной оси в 16, и единицы кодирования, имеющие размер продольной оси в 8, поскольку глубины увеличиваются на один уровень посредством разбиения максимальной единицы кодирования один раз.

Поскольку максимальная глубина видеоданных 320 равна 3, единицы 325 кодирования видеоданных 320 могут включать в себя максимальную единицу кодирования, имеющую размер продольной оси в 64, и единицы кодирования, имеющие размеры продольной оси в 32, 16 и 8, поскольку глубины увеличиваются на 3 уровня посредством разбиения максимальной единицы кодирования три раза. По мере того, как увеличивается глубина, подробная информация может точно выражаться.

Фиг. 10 является блок-схемой кодера 400 изображений на основе единиц кодирования согласно варианту осуществления настоящего изобретения.

Кодер 400 изображений выполняет операции модуля 120 определения единиц кодирования устройства 100 кодирования видео, чтобы кодировать данные изображений. Другими словами, модуль 410 внутреннего прогнозирования выполняет внутреннее прогнозирование для единиц кодирования во внутреннем режиме из текущего кадра 405, и модуль 420 оценки движения и модуль 425 компенсации движения выполняют взаимную оценку и компенсацию движения для единиц кодирования во взаимном режиме из текущего кадра 405 посредством использования текущего кадра 405 и опорного кадра 495.

Данные, выводимые из модуля 410 внутреннего прогнозирования, модуля 420 оценки движения и модуля 425 компенсации движения, выводятся в качестве квантованного коэффициента преобразования через преобразователь 430 и квантователь 440. Квантованный коэффициент преобразования восстанавливается в качестве данных в пространственной области через обратный квантователь 460 и обратный преобразователь 470, и восстановленные данные в пространственной области выводятся в качестве опорного кадра 495 после постобработки через модуль 480 удаления блочности и модуль 490 контурной фильтрации. Квантованный коэффициент преобразования может выводиться в качестве потока 455 битов через энтропийный кодер 450.

Для применения кодера 400 изображений в устройстве 100 кодирования видео, все элементы кодера 400 изображений, т.е. модуль 410 внутреннего прогнозирования, модуль 420 оценки движения, модуль 425 компенсации движения, преобразователь 430, квантователь 440, энтропийный кодер 450, обратный квантователь 460, обратный преобразователь 470, модуль 480 удаления блочности и модуль 490 контурной фильтрации выполняют операции на основе каждой единицы кодирования из единиц кодирования, имеющих древовидную структуру, с учетом максимальной глубины каждой максимальной единицы кодирования.

В частности, модуль 410 внутреннего прогнозирования, модуль 420 оценки движения и модуль 425 компенсации движения определяют сегменты и режим прогнозирования каждой единицы кодирования из единиц кодирования, имеющих древовидную структуру, с учетом максимального размера и максимальной глубины текущей максимальной единицы кодирования, и преобразователь 430 определяет размер единицы преобразования в каждой единице кодирования из единиц кодирования, имеющих древовидную структуру.

В частности, для того чтобы определять опорное изображение для взаимного прогнозирования текущей единицы прогнозирования, модуль 425 компенсации движения предпочтительно проверяет то, выполняется ли обращение к первому опорному списку совместно размещенного блока, и не перепроверяет то, выполняется ли обращение к оставшимся опорным спискам совместно размещенного блока, когда информация движения первого опорного списка существует, поскольку предпочтительно обращаются к первому опорному списку совместно размещенного блока. Тем не менее, когда информация движения первого опорного списка не существует, поскольку не обращаются к первому опорному списку совместно размещенного блока, модуль 425 компенсации движения может перепроверять то, выполняется ли обращение к оставшимся опорным спискам совместно размещенного блока. Модуль 425 компенсации движения может определять опорный список текущей единицы прогнозирования посредством использования опорного списка совместно размещенного блока, для которого выполнена операция проверки.

Фиг. 11 является блок-схемой декодера 500 изображений на основе единицы кодирования согласно варианту осуществления настоящего изобретения.

Синтаксический анализатор 510 синтаксически анализирует кодированные данные изображений, которые должны быть декодированы, и информацию относительно кодирования, требуемую для декодирования, из потока 505 битов. Кодированные данные изображений выводятся в качестве обратно квантованных данных через энтропийный декодер 520 и обратный квантователь 530, и обратно квантованные данные восстанавливаются в данные изображений в пространственной области через обратный преобразователь 540.

Модуль 550 внутреннего прогнозирования выполняет внутреннее прогнозирование для единиц кодирования во внутреннем режиме относительно данных изображений в пространственной области, и модуль 560 компенсации движения выполняет компенсацию движения для единиц кодирования во взаимном режиме посредством использования опорного кадра 585.

Данные изображений в пространственной области, которые пропущены через модуль 550 внутреннего прогнозирования и модуль 560 компенсации движения, могут выводиться в качестве восстановленного кадра 595 после постобработки через модуль 570 удаления блочности и модуль 580 контурной фильтрации. Кроме того, данные изображений, которые подвергаются постобработке через модуль 570 удаления блочности и модуль 580 контурной фильтрации, могут выводиться в качестве опорного кадра 585.

Чтобы декодировать данные изображений в декодере 230 данных изображений устройства 200 декодирования видео, декодер 500 изображений может выполнять операции, которые выполняются после того, как синтаксический анализатор 510 выполняет операцию.

Для применения декодера 500 изображений в устройстве 200 декодирования видео, все элементы декодера 500 изображений, т.е. синтаксический анализатор 510, энтропийный декодер 520, обратный квантователь 530, обратный преобразователь 540, модуль 550 внутреннего прогнозирования, модуль 560 компенсации движения, модуль 570 удаления блочности и модуль 580 контурной фильтрации выполняют операции на основе единиц кодирования, имеющих древовидную структуру, для каждой максимальной единицы кодирования.

В частности, модуль 550 внутреннего прогнозирования и модуль 560 компенсации движения выполняют операции на основе сегментов и режима прогнозирования для каждой из единиц кодирования, имеющих древовидную структуру, а обратный преобразователь 540 выполняет операции на основе размера единицы преобразования для каждой единицы кодирования.

В частности, для того чтобы определять опорное изображение для взаимного прогнозирования текущей единицы прогнозирования, модуль 560 компенсации движения предпочтительно проверяет то, выполняется ли обращение к первому опорному списку совместно размещенного блока, и не перепроверяет то, выполняется ли обращение к оставшимся опорным спискам совместно размещенного блока, когда информация движения первого опорного списка существует, поскольку предпочтительно обращаются к первому опорному списку совместно размещенного блока. Тем не менее, когда информация движения первого опорного списка не существует, поскольку не обращаются к первому опорному списку совместно размещенного блока, модуль 560 компенсации движения может перепроверять то, выполняется ли обращение к оставшимся опорным спискам совместно размещенного блока. Модуль 560 компенсации движения может определять опорный список текущей единицы прогнозирования посредством использования опорного списка совместно размещенного блока, для которого выполнена операция проверки.

Фиг. 12 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам и сегменты согласно варианту осуществления настоящего изобретения.

Устройство 100 кодирования видео и устройство 200 декодирования видео используют иерархические единицы кодирования с тем, чтобы учитывать характеристики изображения. Максимальная высота, максимальная ширина и максимальная глубина единиц кодирования могут быть адаптивно определены согласно характеристикам изображения или могут быть по-другому заданы пользователем. Размеры более глубоких единиц кодирования согласно глубинам могут быть определены согласно предварительно определенному максимальному размеру единицы кодирования.

В иерархической структуре 600 единиц кодирования согласно варианту осуществления настоящего изобретения, максимальная высота и максимальная ширина единиц кодирования составляют 64, а максимальная глубина составляет 4. В этом случае, максимальная глубина ссылается на общее число разбиений единицы кодирования от максимальной единицы кодирования до минимальной единицы кодирования. Поскольку глубина увеличивается вдоль вертикальной оси иерархической структуры 600, разбиваются высота и ширина более глубокой единицы кодирования. Кроме того, единица прогнозирования и сегменты, которые являются базисами для прогнозирующего кодирования каждой более глубокой единицы кодирования, показаны вдоль горизонтальной оси иерархической структуры 600.

Другими словами, единица 610 кодирования является максимальной единицей кодирования в иерархической структуре 600, в которой глубина равна 0, а размер, т.е. высота на ширину, равен 64x64. Глубина увеличивается вдоль вертикальной оси, и существуют единица 620 кодирования, имеющая размер 32x32 и глубину 1, единица 630 кодирования, имеющая размер 16x16 и глубину 2, и единица 640 кодирования, имеющая размер 8x8 и глубину 3. Единица 640 кодирования, имеющая размер 8x8 и глубину 3, является минимальной единицей кодирования.

Единица прогнозирования и сегменты единицы кодирования размещаются вдоль горизонтальной оси согласно каждой глубине. Другими словами, если единица 610 кодирования, имеющая размер 64x64 и глубину 0, является единицей прогнозирования, единица прогнозирования может разбиваться на сегменты, включенные в единицу 610 кодирования, т.е. на сегмент 610, имеющий размер 64x64, сегменты 612, имеющие размер 64x32, сегменты 614, имеющие размер 32x64, или сегменты 616, имеющие размер 32x32.

Аналогично, единица прогнозирования единицы 620 кодирования, имеющей размер 32x32 и глубину в 1, может разбиваться на сегменты, включенные в единицу 620 кодирования, т.е. на сегмент 620, имеющий размер 32x32, сегменты 622, имеющие размер 32x16, сегменты 624, имеющие размер 16x32, и сегменты 626, имеющие размер 16x16.

Аналогично, единица прогнозирования единицы 630 кодирования, имеющей размер 16x16 и глубину в 2, может разбиваться на сегменты, включенные в единицу 630 кодирования, т.е. на сегмент, имеющий размер 16x16, включенный в единицу 630 кодирования, сегменты 632, имеющие размер 16x8, сегменты 634, имеющие размер 8x16, и сегменты 636, имеющие размер 8x8.

Аналогично, единица прогнозирования единицы 640 кодирования, имеющей размер 8x8 и глубину 3, может разбиваться на сегменты, включенные в единицу 640 кодирования, т.е. на сегмент, имеющий размер 8x8, включенный в единицу 640 кодирования, сегменты 642, имеющие размер 8x4, сегменты 644, имеющие размер 4x8, и сегменты 646, имеющие размер 4x4.

Чтобы определять, по меньшей мере, одну кодированную глубину единиц кодирования, составляющих максимальную единицу 610 кодирования, модуль 120 определения единиц кодирования устройства 100 кодирования видео выполняет кодирование для единиц кодирования, соответствующих каждой глубине, включенной в максимальную единицу 610 кодирования.

Число более глубоких единиц кодирования согласно глубинам, включающим в себя данные в идентичном диапазоне и идентичного размера, увеличивается по мере того, как увеличивается глубина. Например, четыре единицы кодирования, соответствующие глубине 2, требуются для того, чтобы охватывать данные, которые включаются в одну единицу кодирования, соответствующую глубине 1. Соответственно, чтобы сравнивать результаты кодирования идентичных данных согласно глубинам, кодируются единица кодирования, соответствующая глубине 1, и четыре единицы кодирования, соответствующие глубине 2.

Чтобы выполнять кодирование для текущей глубины из глубин, наименьшая ошибка кодирования может быть выбрана для текущей глубины посредством выполнения кодирования для каждой единицы прогнозирования в единицах кодирования, соответствующих текущей глубине, вдоль горизонтальной оси иерархической структуры 600. Альтернативно, минимальная ошибка кодирования может находиться посредством сравнения наименьших ошибок кодирования согласно глубинам, посредством выполнения кодирования для каждой глубины по мере того, как глубина увеличивается вдоль вертикальной оси иерархической структуры 600. Глубина и сегмент, имеющие минимальную ошибку кодирования в единице 610 кодирования, могут быть выбраны в качестве кодированной глубины и типа сегмента единицы 610 кодирования.

Фиг. 13 является схемой для описания взаимосвязи между единицей 710 кодирования и единицами 720 преобразования, согласно варианту осуществления настоящего изобретения.

Устройство 100 или 200 кодирования видео кодирует или декодирует изображение согласно единицам кодирования, имеющим размеры, меньшие или равные максимальной единице кодирования для каждой максимальной единицы кодирования. Размеры единиц преобразования для преобразования во время кодирования могут быть выбраны на основе единиц данных, которые не больше соответствующей единицы кодирования.

Например, в устройстве 100 или 200 кодирования видео, если размер единицы 710 кодирования составляет 64x64, преобразование может выполняться посредством использования единиц 720 преобразования, имеющих размер 32x32.

Кроме того, данные единицы 710 кодирования, имеющей размер 64x64, могут быть кодированы посредством выполнения преобразования для каждой из единиц преобразования, имеющих размер 32x32, 16x16, 8x8 и 4x4, которые меньше 64x64, а затем может быть выбрана единица преобразования, имеющая наименьшую ошибку кодирования.

Фиг. 14 является схемой для описания информации кодирования единиц кодирования, соответствующих кодированной глубине, согласно варианту осуществления настоящего изобретения.

Модуль 130 вывода устройства 100 кодирования видео может кодировать и передавать информацию 800 относительно типа сегмента, информацию 810 относительно режима прогнозирования и информацию 820 относительно размера единицы преобразования для каждой единицы кодирования, соответствующей кодированной глубине, в качестве информации относительно режима кодирования.

Информация 800 указывает информацию относительно формы сегмента, полученного посредством разбиения единицы прогнозирования текущей единицы кодирования, при этом сегмент является единицей данных для прогнозирующего кодирования текущей единицы кодирования. Например, текущая единица кодирования CU_0, имеющая размер 2Nx2N, может разбиваться на любой из сегмента 802, имеющего размер 2Nx2N, сегмента 804, имеющего размер 2NxN, сегмента 806, имеющего размер Nx2N, и сегмента 808, имеющего размер NxN. Здесь, информация 800 относительно типа сегмента задается так, что она указывает одно из сегмента 804, имеющего размер 2NxN, сегмента 806, имеющего размер Nx2N, и сегмента 808, имеющего размер NxN.

Информация 810 указывает режим прогнозирования каждого сегмента. Например, информация 810 может указывать режим прогнозирующего кодирования, выполняемого для сегмента, указываемого посредством информации 800, т.е. внутренний режим 812, взаимный режим 814 или режим 816 пропуска.

Информация 820 указывает единицу преобразования, на которой следует базироваться, когда преобразование выполняется для текущей единицы кодирования. Например, единица преобразования может быть первой единицей 822 внутреннего преобразования, второй единицей 824 внутреннего преобразования, первой единицей взаимного преобразования 826 или второй единицей 828 взаимного преобразования.

Модуль 220 извлечения данных изображений и информации кодирования устройства 200 декодирования видео может извлекать и использовать информацию 800, 810 и 820 для декодирования согласно каждой более глубокой единице кодирования.

Фиг. 15 является схемой более глубоких единиц кодирования согласно глубинам, согласно варианту осуществления настоящего изобретения.

Информация разбиения может быть использована для того, чтобы указывать изменение глубины. Информация разбиения указывает то, разбивается ли единица кодирования текущей глубины на единицы кодирования нижней глубины.

Единица 910 прогнозирования для прогнозирующего кодирования единицы 900 кодирования, имеющей глубину 0 и размер 2N_0x2N_0, может включать в себя сегменты типа 912 сегмента, имеющего размер 2N_0x2N_0, типа 914 сегмента, имеющего размер 2N_0xN_0, типа 916 сегмента, имеющего размер N_0x2N_0, и типа 918 сегмента, имеющего размер N_0xN_0. Фиг. 15 иллюстрирует только типы 912-918 сегментов, которые получаются посредством симметричного разбиения единицы 910 прогнозирования, но тип сегмента не ограничен этим, и сегменты единицы 910 прогнозирования могут включать в себя асимметричные сегменты, сегменты, имеющие предварительно определенную форму, и сегменты, имеющие геометрическую форму.

Прогнозирующее кодирование многократно выполняется для одного сегмента, имеющего размер 2N_0x2N_0, двух сегментов, имеющих размер 2N_0xN_0, двух сегментов, имеющих размер N_0x2N_0, и четырех сегментов, имеющих размер N_0xN_0, согласно каждому типу сегмента. Прогнозирующее кодирование во внутреннем режиме и взаимном режиме может выполняться для сегментов, имеющих размеры 2N_0x2N_0, N_0x2N_0, 2N_0xN_0 и N_0xN_0. Прогнозирующее кодирование в режиме пропуска выполняется только для сегмента, имеющем размер 2N_0x2N_0.

Ошибки кодирования, включающего в себя прогнозирующее кодирование, в типах 912-918 сегментов сравниваются, и определяется наименьшая ошибка кодирования для типов сегментов. Если ошибка кодирования является наименьшей в одном из типов 912-916 сегментов, единица 910 прогнозирования может не разбиваться на нижнюю глубину.

Если ошибка кодирования является наименьшей в типе 918 сегмента, глубина изменяется с 0 на 1, чтобы разбивать тип 918 сегмента, на этапе 920, и кодирование многократно выполняется для единиц 930 кодирования, имеющих глубину в 2 и размер N_0xN_0, чтобы выполнять поиск минимальной ошибки кодирования.

Единица 940 прогнозирования для прогнозирующего кодирования единицы 930 кодирования, имеющей глубину в 1 и размер 2N_1x2N_1 (=N_0xN_0), может включать в себя сегменты типа 942 сегмента, имеющего размер 2N_1x2N_1, типа 944 сегмента, имеющего размер 2N_1xN_1, типа 946 сегмента, имеющего размер N_1x2N_1, и типа 948 сегмента, имеющего размер N_1xN_1.

Если ошибка кодирования является наименьшей в типе 948 сегмента, глубина изменяется от 1 до 2, чтобы разбивать тип 948 сегмента, на этапе 950, и кодирование многократно выполняется для единиц 960 кодирования, которые имеют глубину в 2 и размер N_2xN_2, чтобы выполнять поиск минимальной ошибки кодирования.

Когда максимальная глубина составляет d, операция разбиения согласно каждой глубине может выполняться до того, когда глубина становится d-1, и информация разбиения может быть кодирована до того, когда глубина составляет одно из 0-d-2. Другими словами, когда кодирование выполняется до того, когда глубина составляет d-1, после того как единица кодирования, соответствующая глубине d-2, разбивается на этапе 970, единица 990 прогнозирования для прогнозирующего кодирования единицы 980 кодирования, имеющей глубину d-1 и размер 2N_(d-1)x2N_(d-1), может включать в себя сегменты типа 992 сегмента, имеющего размер 2N_(d-1)x2N_(d-1), типа 994 сегмента, имеющего размер 2N_(d-1)xN_(d-1), типа 996 сегмента, имеющего размер N_(d-1)x2N_(d-1), и типа 998 сегмента, имеющего размер N_(d-1)xN_(d-1).

Прогнозирующее кодирование может многократно выполняться для одного сегмента, имеющего размер 2N_(d-1)x2N_(d-1), двух сегментов, имеющих размер 2N_(d-1)xN_(d-1), двух сегментов, имеющих размер N_(d-1)x2N_(d-1), четырех сегментов, имеющих размер N_(d-1)xN_(d-1), из типов 992-998 сегментов, чтобы выполнять поиск типа сегмента, имеющего минимальную ошибку кодирования.

Даже когда тип 998 сегмента имеет минимальную ошибку кодирования, поскольку максимальная глубина составляет d, единица кодирования CU_(d-1), имеющая глубину d-1, более не разбивается до нижней глубины, и кодированная глубина для единиц кодирования, составляющих текущую максимальную единицу 900 кодирования, определяется как d-1, и тип сегмента текущей максимальной единицы 900 кодирования может быть определен как N_(d-1)xN_(d-1). Кроме того, поскольку максимальная глубина составляет d, и минимальная единица 980 кодирования, имеющая самую нижнюю глубину d-1, более не разбивается до нижней глубины, информация разбиения для минимальной единицы 980 кодирования не задается.

Единица 999 данных может быть "минимальной единицей" для текущей максимальной единицы кодирования. Минимальная единица согласно варианту осуществления настоящего изобретения может быть прямоугольной единицей данных, полученной посредством разбиения минимальной единицы 980 кодирования на 4. Посредством многократного выполнения кодирования, устройство 100 кодирования видео может выбирать глубину, имеющую наименьшую ошибку кодирования, посредством сравнения ошибок кодирования согласно глубинам единицы 900 кодирования, чтобы определять кодированную глубину и задавать соответствующий тип сегмента и режим прогнозирования в качестве режима кодирования кодированной глубины.

Также, минимальные ошибки кодирования согласно глубинам сравниваются во всех глубинах 1-d, и глубина, имеющая наименьшую ошибку кодирования, может быть определена в качестве кодированной глубины. Кодированная глубина, тип сегмента единицы прогнозирования и режим прогнозирования могут быть кодированы и переданы в качестве информации относительно режима кодирования. Кроме того, поскольку единица кодирования разбивается от глубины в 0 до кодированной глубины, только информация разбиения кодированной глубины задается равной 0, а информация разбиения глубин за исключением кодированной глубины задается равной 1.

Модуль 220 извлечения данных изображений и информации кодирования устройства 200 декодирования видео может извлекать и использовать информацию относительно кодированной глубины и единицы прогнозирования единицы 900 кодирования, чтобы декодировать сегмент 912. Устройство 200 декодирования видео может определять глубину, при которой информация разбиения равна 0, в качестве кодированной глубины посредством использования информации разбиения согласно глубинам и использовать информацию относительно режима кодирования соответствующей глубины для декодирования.

Фиг. 16-18 являются схемами для описания взаимосвязи между единицами 1010 кодирования, единицами 1060 прогнозирования и единицами 1070 преобразования, согласно варианту осуществления настоящего изобретения.

Единицы 1010 кодирования являются единицами кодирования, имеющими древовидную структуру согласно кодированным глубинам, определенным посредством устройства 100 кодирования видео, в максимальной единице кодирования. Единицы 1060 прогнозирования являются сегментами единиц прогнозирования каждой из единиц 1010 кодирования, и единицы 1070 преобразования являются единицами преобразования каждой из единиц 1010 кодирования.

Когда глубина максимальной единицы кодирования равна 0 в единицах 1010 кодирования, глубины единиц 1012 и 1054 кодирования равны 1, глубины единиц 1014, 1016, 1018, 1028, 1050 и 1052 кодирования равны 2, глубины единиц 1020, 1022, 1024, 1026, 1030, 1032 и 1048 кодирования равны 3, а глубины единиц 1040, 1042, 1044 и 1046 кодирования равны 4.

В единицах прогнозирования 1060, некоторые единицы 1014, 1016, 1022, 1032, 1048, 1050, 1052 и 1054 кодирования получаются посредством разбиения единиц кодирования в единицах 1010 кодирования. Другими словами, типы сегментов в единицах 1014, 1022, 1050 и 1054 кодирования имеют размер 2NxN, типы сегментов в единицах 1016, 1048 и 1052 кодирования имеют размер Nx2N, и тип сегмента единицы 1032 кодирования имеет размер NxN. Единицы прогнозирования и сегменты единиц 1010 кодирования меньше или равны каждой единицы кодирования.

Преобразование или обратное преобразование выполняется для данных изображений единицы 1052 кодирования в единицах 1070 преобразования в единице данных, которая меньше единицы 1052 кодирования. Кроме того, единицы 1014, 1016, 1022, 1032, 1048, 1050 и 1052 кодирования в единицах 1070 преобразования отличаются от единиц кодирования в единицах 1060 прогнозирования с точки зрения размеров и форм. Другими словами, устройства 100 и 200 кодирования и декодирования видео могут выполнять внутреннее прогнозирование, оценку движения, компенсацию движения, преобразование и обратное преобразование по отдельности для единицы данных в идентичной единице кодирования.

Соответственно, кодирование рекурсивно выполняется для каждой из единиц кодирования, имеющих иерархическую структуру в каждой области максимальной единицы кодирования, чтобы определять оптимальную единицу кодирования, и за счет этого могут быть получены единицы кодирования, имеющие рекурсивную древовидную структуру. Информация кодирования может включать в себя информацию разбиения относительно единицы кодирования, информацию относительно типа сегмента, информацию относительно режима прогнозирования и информацию относительно размера единицы преобразования. Таблица 1 показывает информацию кодирования, которая может задаваться посредством устройств 100 и 200 кодирования и декодирования видео.

Таблица 1 Информация 0 разбиения
(кодирование для единицы кодирования, имеющей размер 2Nx2N и текущую глубину d) Информация 1 разбиения Режим прогнозирования Тип сегмента Размер единицы преобразования Многократное кодирование единиц кодирования, имеющих нижнюю глубину d+1 Внутренний
Взаимный
Пропуск (только 2Nx2N) Тип симметричного сегмента Тип асимметричного сегмента Информация 0 разбиения единицы преобразования Информация 1 разбиения единицы преобразования 2Nx2N
2NxN
Nx2N
NxN 2NxnU
2NxnD
nLx2N
nRx2N 2Nx2N NxN
(симметричный тип)
N/2xN/2
(асимметричный тип)

Модуль 130 вывода устройства 100 кодирования видео может выводить информацию кодирования относительно единиц кодирования, имеющих древовидную структуру, и модуль 220 извлечения данных изображений и информации кодирования устройства 200 декодирования видео может извлекать информацию кодирования относительно единиц кодирования, имеющих древовидную структуру, из принимаемого потока битов.

Информация разбиения указывает то, разбивается ли текущая единица кодирования на единицы кодирования нижней глубины. Если информация разбиения текущей глубины d равна 0, глубина, при которой текущая единица кодирования более не разбивается в нижнюю глубину, является кодированной глубиной, и тем самым информация относительно типа сегмента, режима прогнозирования и размера единицы преобразования может быть задана для кодированной глубины. Если текущая единица кодирования дополнительно разбивается согласно информации разбиения, кодирование независимо выполняется для четырех единиц кодирования разбиения нижней глубины.

Режим прогнозирования может быть одним из внутреннего режима, взаимного режима и режима пропуска. Внутренний режим и взаимный режим могут быть заданы во всех типах сегментов, а режим пропуска задается только в типе сегмента, имеющем размер 2Nx2N.

Информация относительно типа сегмента может указывать типы симметричных сегментов, имеющие размеры 2Nx2N, 2NxN, Nx2N и NxN, которые получаются посредством симметричного разбиения высоты или ширины единицы прогнозирования, и типы асимметричных сегментов, имеющих размеры 2NxnU, 2NxnD, nLx2N и nRx2N, которые получаются посредством асимметричного разбиения высоты или ширины единицы прогнозирования. Типы асимметричных сегментов, имеющих размеры 2NxnU и 2NxnD, могут быть получены, соответственно, посредством разбиения высоты единицы прогнозирования в 1:3 и 3:1, а типы асимметричных сегментов, имеющих размеры nLx2N, и nRx2N, могут быть получены, соответственно, посредством разбиения ширины единицы прогнозирования в 1:3 и 3:1.

Размер единицы преобразования может задаваться как два типа во внутреннем режиме и два типа во взаимном режиме. Другими словами, если информация разбиения единицы преобразования равна 0, размер единицы преобразования может составлять 2Nx2N, что является размером текущей единицы кодирования. Если информация разбиения единицы преобразования равна 1, единицы преобразования могут быть получены посредством разбиения текущей единицы кодирования. Кроме того, если типом сегмента текущей единицы кодирования, имеющей размер 2Nx2N, является тип симметричного сегмента, размер единицы преобразования может составлять NxN, а если типом сегмента текущей единицы кодирования является тип асимметричного сегмента, размер единицы преобразования может составлять N/2xN/2.

Информация кодирования относительно единиц кодирования, имеющих древовидную структуру, может включать в себя, по меньшей мере, одну из единицы кодирования, соответствующей кодированной глубине, единицы прогнозирования и минимальной единицы. Единица кодирования, соответствующая кодированной глубине, может включать в себя, по меньшей мере, одну из единицы прогнозирования и минимальной единицы, содержащей идентичную информацию кодирования.

Соответственно, определяется то, включаются ли смежные единицы данных в идентичную единицу кодирования, соответствующую кодированной глубине, посредством сравнения информации кодирования смежных единиц данных. Кроме того, соответствующая единица кодирования, соответствующая кодированной глубине, определяется посредством использования информации кодирования единицы данных, и за счет этого может быть определено распределение кодированных глубин в максимальной единице кодирования.

Соответственно, если текущая единица кодирования прогнозируется на основе информации кодирования смежных единиц данных, можно обращаться непосредственно к информации кодирования единиц данных в более глубоких единицах кодирования, смежных с текущей единицей кодирования, и она может использоваться.

Альтернативно, если текущая единица кодирования прогнозируется на основе информации кодирования смежных единиц данных, единицы данных, смежные с текущей единицей кодирования, ищутся с использованием кодированной информации единиц данных, и к искомым смежным единицам кодирования можно обращаться для прогнозирования текущей единицы кодирования.

Фиг. 19 является схемой для описания взаимосвязи между единицей кодирования, единицей прогнозирования или сегментом и единицей преобразования, согласно информации режима кодирования по таблице 1.

Максимальная единица 1300 кодирования включает в себя единицы 1302, 1304, 1306, 1312, 1314, 1316 и 1318 кодирования кодированных глубин. Здесь, поскольку единица 1318 кодирования является единицей кодирования кодированной глубины, информация разбиения может задаваться равной 0. Информация относительно типа сегмента единицы 1318 кодирования, имеющей размер 2Nx2N, может задаваться как одно из типа 1322 сегмента, имеющего размер 2Nx2N, типа 1324 сегмента, имеющего размер 2NxN, типа 1326 сегмента, имеющего размер Nx2N, типа 1328 сегмента, имеющего размер NxN, типа 1332 сегмента, имеющего размер 2NxnU, типа 1334 сегмента, имеющего размер 2NxnD, типа 1336 сегмента, имеющего размер nLx2N, и типа 1338 сегмента, имеющего размер nRx2N.

Информация разбиения (флаг размера единицы преобразования (TU)) единицы преобразования представляет собой тип индекса преобразования. Размер единицы преобразования, соответствующей индексу преобразования, может быть изменен согласно типу единицы прогнозирования или типу сегмента единицы кодирования.

Например, когда тип сегмента задается как симметричный, т.е. тип 1322, 1324, 1326 или 1328 сегмента, единица 1342 преобразования, имеющая размер 2Nx2N, задается, если информация разбиения (флаг TU-размера) единицы преобразования равен 0, и единица преобразования 1344, имеющая размер NxN, задается, если флаг TU-размера равен 1.

Когда тип сегмента задается как асимметричный, т.е. тип 1332, 1334, 1336 или 1338 сегмента, единица 1352 преобразования, имеющая размер 2Nx2N, задается, если флаг TU-размера равен 0, и единица 1354 преобразования, имеющая размер N/2xN/2 задается, если флаг TU-размера равен 1.

Ссылаясь на фиг. 19, флаг TU-размера является флагом, имеющим значение 0 или 1, но флаг TU-размера не ограничивается 1 битом, и единица преобразования может иерархически разбиваться при наличии древовидной структуры, в то время как флаг TU-размера увеличивается от 0. Информация разбиения (флаг TU-размера) единицы преобразования может быть примером индекса преобразования.

В этом случае, размер единицы преобразования, которая фактически использована, может выражаться посредством использования флага TU-размера единицы преобразования, согласно варианту осуществления настоящего изобретения, вместе с максимальным размером и минимальным размером единицы преобразования. Согласно варианту осуществления настоящего изобретения, устройство 100 кодирования видео допускает кодирование информации размера максимальных единиц преобразования, информации размера минимальных единиц преобразования и флага максимального TU-размера. Результат кодирования информации размера максимальных единиц преобразования, информации размера минимальных единиц преобразования и флага максимального TU-размера может быть вставлен в SPS. Согласно варианту осуществления настоящего изобретения, устройство 200 декодирования видео может декодировать видео посредством использования информации размера максимальных единиц преобразования, информации размера минимальных единиц преобразования и флага максимального TU-размера.

Например, (a), если размер текущей единицы кодирования равен 64x64, и размер максимальной единицы преобразования равен 32x32, (a-1), то размер единицы преобразования может составлять 32x32, когда флаг TU-размера равен 0, (a-2), может составлять 16x16, когда флаг TU-размера равен 1, и, (a-3), может составлять 8x8, когда флаг TU-размера равен 2.

В качестве другого примера, (b), если размер текущей единицы кодирования равен 32x32 и размер минимальной единицы преобразования равен 32x32, (b-1), то размер единицы преобразования может составлять 32x32, когда флаг TU-размера равен 0. Здесь, флаг TU-размера не может задаваться равным значению, отличному от 0, поскольку размер единицы преобразования не может составлять меньше 32x32.

В качестве другого примера, (c) если размер текущей единицы кодирования равен 64x64, и флаг максимального TU-размера равен 1, то флаг TU-размера может составлять 0 или 1. Здесь, флаг TU-размера не может задаваться равным значению, отличному от 0 или 1.

Таким образом, если задается то, что флагом максимального TU-размера является MaxTransformSizelndex, размером минимальной единицы преобразования является MinTransformSize, а размером единицы преобразования является RootTuSize, когда флаг TU-размера равен 0, то текущий размер минимальной единицы преобразования CurrMinTuSize, который может быть определен в текущей единице кодирования, может быть задан посредством уравнения (1):

CurrMinTuSize=max(MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) (1)

По сравнению с размером текущей минимальной единицы преобразования CurrMinTuSize, который может быть определен в текущей единице кодирования, размер единицы преобразования RootTuSize, когда флаг TU-размера равен 0, может обозначать размер максимальной единицы преобразования, который может быть выбран в системе. В уравнении (1), RootTuSize/(2^MaxTransformSizeIndex) обозначает размер единицы преобразования, когда размер единицы преобразования RootTuSize, когда флаг TU-размера равен 0, разбивается число раз, соответствующее флагу максимального TU-размера, а MinTransformSize обозначает минимальный размер преобразования. Таким образом, меньшее значение из RootTuSize/(2^MaxTransformSizeIndex) и MinTransformSize может быть размером текущей минимальной единицы преобразования CurrMinTuSize, который может быть определен в текущей единице кодирования.

Согласно варианту осуществления настоящего изобретения, размер максимальной единицы преобразования RootTuSize может варьироваться согласно типу режима прогнозирования.

Например, если текущим режимом прогнозирования является взаимный режим, то RootTuSize может быть определен посредством использования нижеприведенного уравнения (2). В уравнении (2), MaxTransformSize обозначает размер максимальной единицы преобразования, и PUSize обозначает размер текущей единицы прогнозирования.

RootTuSize=min(MaxTransformSize, PUSize) (2)

Иными словами, если текущим режимом прогнозирования является взаимный режим, размер единицы преобразования RootTuSize, когда флаг TU-размера равен 0, может быть меньшим значением из размера максимальной единицы преобразования и размера текущей единицы прогнозирования.

Если режимом прогнозирования текущей единицы сегментирования является внутренний режим, RootTuSize может быть определен посредством использования нижеприведенного уравнения (3). В уравнении (3), PartitionSize обозначает размер текущей единицы сегментирования.

RootTuSize=min(MaxTransformSize, PartitionSize) (3)

Иными словами, если текущим режимом прогнозирования является внутренний режим, размер единицы преобразования RootTuSize, когда флаг TU-размера равен 0, может быть меньшим значением из размера максимальной единицы преобразования и размера текущей единицы сегментирования.

Тем не менее, размер текущей максимальной единицы преобразования RootTuSize, который варьируется согласно типу режима прогнозирования в единице сегментирования, является просто примером, и настоящее изобретение не ограничено этим.

Согласно способу кодирования видео на основе единиц кодирования, имеющих древовидную структуру, как описано со ссылкой на фиг. 7-19, данные изображений пространственной области кодируются для каждой единицы кодирования древовидной структуры. Согласно способу декодирования видео на основе единиц кодирования, имеющих древовидную структуру, декодирование выполняется для каждой максимальной единицы кодирования, чтобы восстанавливать данные изображений пространственной области. Таким образом, могут быть восстановлены изображение и видео, которое является последовательностью изображений. Восстановленное видео может воспроизводиться посредством устройства воспроизведения, сохраняться на носителе хранения данных или передаваться через сеть.

Варианты осуществления настоящего изобретения могут быть записаны в качестве компьютерной программы и могут быть реализованы в цифровых компьютерах общего назначения, которые выполняют программы с использованием компьютерно-читаемого носителя записи. Примеры компьютерно-читаемого носителя записи включают в себя магнитные носители хранения данных (например, ROM, гибкие диски, жесткие диски и т.д.) и оптические носители записи (например, CD-ROM или DVD).

Хотя настоящее изобретение конкретно показано и описано со ссылкой на его примерные варианты осуществления, специалисты в данной области техники должны понимать, что различные изменения по форме и содержанию могут быть сделаны без отступления от сущности и объема настоящего изобретения, задаваемого посредством прилагаемой формулы изобретения.

Изобретение относится к области кодирования и декодирования видео через взаимное прогнозирование и компенсацию движения. Технический результат заключается в обеспечении взаимного прогнозирования для определения опорного изображения посредством совместно размещенного изображения. Технический результат достигается за счет определения совместно размещенного блока относительно текущего блока текущего изображения из числа блоков изображения, которое восстанавливается до текущего изображения, проверки того, выполняется ли обращение к первому опорному списку из числа опорных списков совместно размещенного блока, и избирательной проверки того, выполняется ли обращение ко второму опорному списку, определения одного совместно размещенного опорного списка из первого опорного списка и второго опорного списка, определения опорного блока относительно текущего блока посредством использования информации движения совместно размещенного опорного списка и выполнения взаимного прогнозирования для текущего блока посредством использования определенного опорного блока. 19 ил.

1. Устройство для межкадрового прогнозирования, содержащее:

процессор, который выполнен с возможностью определять, из числа одного или более опорных списков текущего изображения (30), включающего в себя изображения, которые восстанавливаются до текущего изображения (30), опорный список, включающий в себя совместно размещенное изображение (31) текущего изображения (30) согласно параметру (36), указывающему опорное направление от текущего изображения (30) к совместно размещенному изображению (31), определять совместно размещенный блок (37) текущего блока (35) текущего изображения (30) из числа блоков совместно размещенного изображения (31) в опорном списке текущего изображения (30), и выполнять межкадровое прогнозирование для текущего блока посредством использования вектора движения, соответствующего совместно размещенному блоку,

причем:

когда совместно размещенное изображение (31) определено в опорном списке L1 текущего блока (35), процессор определяет опорный список L0 (38) совместно размещенного блока (37) как совместно размещенный опорный список, к которому выполняется обращение для прогнозирования вектора движения текущего блока (35),

когда совместно размещенное изображение (31) определено в опорном списке L0 текущего блока (35), процессор определяет опорный список L1 (38) совместно размещенного блока (37) как совместно размещенный опорный список,

когда номера в последовательности изображений (POC) у совместно размещенного изображения (31) всегда меньше номеров в последовательности изображений текущего изображения (30), процессор определяет опорный список совместно размещенного блока (37), который идентичен опорному списку текущего изображения (30), как совместно размещенный опорный список, и

процессор выполняет межкадровое прогнозирование для текущего блока посредством использования вектора движения, соответствующего совместно размещенному опорному списку,

причем совместно размещенный блок (37) располагается в местоположении блока в совместно размещенном изображении (31), соответствующем местоположению блока относительно текущего блока (35) текущего изображения (30).