СПОСОБЫ И УСТРОЙСТВА ДЛЯ ОБРАБОТКИ ВИДЕО ДАННЫХ С УСЛОВНЫМ НАПРАВЛЕНИЕМ СИГНАЛА ИНФОРМАЦИИ ПАРАМЕТРА КВАНТОВАНИЯ Российский патент 2020 года по МПК H04N19/124 H04N19/119 H04N19/70 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящее изобретение заявляет приоритет согласно предварительной заявке на патент США, серийный № 62/342,884, поданной 28 мая 2016г., с названием «Способы подачи сигнала дельта параметра квантования для структуры квадродерево плюс бинарное дерево», предварительной заявке на патент США, серийный № 62/343,042, поданной 30 мая 2016 г., с названием «Способы подачи сигнала параметра квантования для структуры квадродерево плюс бинарное дерево» и патентной заявке PCT, серийный № PCT/CN2016/087005, поданной 24 июня 2016 г., с названием «Способы подачи сигнала параметра квантования для структуры квадродерево плюс бинарное дерево». Предварительные патентные заявки и патентная заявка PCT включены в настоящее описание путем отсылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относят к способам обработки видео данных и устройством кодирования и декодирования видео данных. В частности, настоящее изобретение относится к способам обработки данных и устройствам кодирования или декодирования видео данных в соответствии с информацией параметров квантования, сигналы которой условно направляются в видеопотоке.

УРОВЕНЬ ТЕХНИКИ

Стандарт высокоэффективного видеокодирования (HEVC) является новейшим стандартом, разработанным объединенной командой по видеокодированию (JCT-VC), состоящей из экспертов по видеокодированию из исследовательской группы МСЭ-Т. Стандарт HEVC основан на блочно ориентированной структуре кодирования, где каждый срез разделен на множество ячеек кодового дерева (CTU). В основном профиле HEVC минимальный и максимальный размер CTU указаны элементами синтаксиса, сигнал которых направляется в наборе последовательностных параметров (НПП). Растровый порядок сканирования используется для обработки CTU в срезе. Каждая CTU затем рекурсивно разделяется на одну или несколько ячеек кодирования (CU) с использованием способа разделения квадродерево. Размер CU должен быть меньше или равным минимально допустимому размеру CU, указанному в НПП. Пример структуры разделения блока квадродерево показан на Фиг. 1, где жирные линии обозначают границы CU в CTU 100.

Прогнозное решение принимается на уровне CU, где каждый CU кодируют с применением промежуточного прогнозирования изображения или внутреннего прогнозирования изображения. После того как будет выполнено разделение иерархического дерева CU, каждая CU будет подвергнута дальнейшему разделению на одну или несколько ячеек прогнозирования (PU) в соответствии с типом разделения PU для прогнозирования. На Фиг. 2 показано восемь типов разделения PU, обозначенных в стандарте HEVC. Каждый CU разделен на один, два или четыре PU в соответствии с одним из восьми типов разделения PU, показанных на Фиг. 2. ЯП работает как базовый репрезентативный блок для распространения прогнозной информации, так как один и тот же процесс прогнозирования применяется ко всем пикселям в PU. Информация прогнозирования передается на декодер на основе PU. После получения остаточного сигнала, сгенерированного в процессе прогнозирования, остаточные данные остаточного сигнала, относящиеся к CU разделяются на одну или несколько преобразовательных ячеек (TU) согласно другой структуре разделения блоков квадродерева для преобразования остаточных данных в коэффициенты преобразования для компактного представления данных. Пунктирные линии на Фиг. 1 обозначают границы TU. TU является базовым репрезентативным блоком для применения преобразования и квантования на остаточном сигнале. Для каждого TU к остаточному сигналу применяется матрица преобразования того же размера, что и TU, для генерирования коэффициентов преобразования, и эти коэффициенты преобразования квантуются и передаются на декодер на основе TU.

Термины блок кодового дерева (CTB), блок кодирования (CB), блок прогнозирования БП (PB) и преобразующий блок (TB) определены для указания двухмерного массива образцов одного компонента цветности, связанного с CTU, CU, PU и TU, соответственно. Например, CTU состоит из одного CTB яркости, двух CTB цветности и связанных элементов синтаксиса. В системе HEVC одна и та же структура разделения блоков квадродерево обычно применяется к составляющим яркости и цветности до тех пор, пока не будет достигнут минимальный размер блока цветности.

Альтернативный способ разделения называется способом разделения блока двоичного дерева, где блок рекурсивно разделяется на два меньших блока. На Фиг. 3 показаны некоторые типы разделения для способа разделения двоичного дерева. Простейший способ разделения двоичного дерева позволяет только симметричное горизонтальное разделение и симметричное вертикальное разделение. Для заданного блока размера MxN первый флаг устанавливают для обозначения того, разделен ли данный блок на два меньших блока, а затем второй флаг обозначает тип разделения, если первый флаг обозначает разделение. Данный блок MxN разделен на два блока размера MxN/2, если разделение имеет симметричный горизонтальный тип, и данный блок MxN разделен на два блока размера M/2xN, если разделение имеет симметричный вертикальный тип. Процесс разделения может повторяться до тех пор, пока размер, ширина или высота блока разделения не достигнет минимально допустимого размера, ширины или высоты. Горизонтальное разделение косвенно не допускается, если высота блока меньше минимальной высоты, и аналогично, вертикальное разделение косвенно не допускается, если ширина блока меньше минимальной ширины.

На Фиг. 4А и 4B показан пример разделения блока согласно способу разделения двоичное дерево и соответствующая структура кодового дерева. На Фиг. 4B один флаг в каждом узле разделения (т. е. неконцевом) двоичного кодового дерева используют для обозначения типа разделения, флаговое значение, равное 0, обозначает горизонтальное разделение, в то время как флаговое значение, равное 1, обозначает вертикальное разделение. Возможно применение способа разделения двоичного дерева на любом уровне разделения блока во время кодирования или декодирования, например, способ разделения двоичного дерева может быть применен для разделения среза на CTU, CTU — на CU, CU — на PU или CU — на TU. Также можно упростить процесс разделения, исключив разделение CU на PU и CU на TU, так как концевые узлы структуры разделения блока двоичного дерева являются базовым репрезентативным блоком для кодирования прогнозирования и преобразования.

Несмотря на то, что способ разделения двоичного дерева поддерживает больше структур разделения и, таким образом, является более гибким, чем способ разделения квадродерево, сложность кодирования увеличивается для выбора лучшей формы разделения среди всех возможных форм. Комбинированный способ разделения, называемый структура квадродерево-двоичное дерево (QTBT), объединяет способ разделения квадродерево со способом разделения двоичное дерево, что балансирует эффективность кодирования и сложность кодирования двух способов разделения. Пример структуры QTBT показан на Фиг. 5А, где большой блок сначала разделяется способом разделения квадродерево, а затем способом разделения двоичное дерево. На Фиг. 5А показан пример структуры разделения блока согласно способу разделения QTBT, а на Фиг. 5B показана схема дерева кодирования для структуры разделения блока QTBT, показанной на Фиг. 5А. Жирные линии на Фиг. 5А и 5B обозначают разделение квадродерево, в то время как пунктирные линии обозначают разделение двоичное дерево. Аналогично Фиг. 4B в каждом узле разделения (т. е. неконцевом) структуры двоичного дерева один флаг обозначает, какой тип разделения (симметричное горизонтальное разделение или симметричное вертикальное разделение) применяется, 0 обозначает горизонтальное разделение, а 1 обозначает вертикальное разделение. Структура QTBT на Фиг. 5А разделяет большой блок на множество меньших блоков, и данные меньшие блоки могут быть обработаны посредством кодирования прогнозирования и преобразования без дальнейшего разделения. В примере большой блок на Фиг. 5А является ячейкой кодового дерева (CTU) с размером 128х128, минимально допустимый размер конечного узла квадродерева 16х16, максимально допустимый размер корневого узла двоичного дерева 64х64, минимально допустимая ширина или высота конечного узла двоичного дерева составляет 4, и минимально допустимая глубина двоичного дерева составляет 4. В этом примере листовой блок квадродерева может иметь размер от 16х16 до 128х128, и если листовой блок квадродерева имеет размер 128х128, он не может быть далее разделен по структуре двоичного дерева, так как размер превышает максимально допустимый размер концевого узла двоичного дерева 64х64. Листовой блок квадродерева используется как корневой блок двоичного дерева, имеющий глубину двоичного дерева, равную 0. Когда глубина двоичного дерева достигает 4, неразделение выражено неявно; когда узел двоичного дерева имеет ширину, равную 4, невертикальное разделение выражено неявно; и когда узел двоичного дерева имеет высоту, равную 4, негоризонтальное разделение выражено неявно. Для CTU, закодированных в срезе I, структура разделения блока QTBT для блока кодового дерева (CTB) цветности может отличаться от структуры разделения блока QTBT для соответствующего CTB яркости. Для CTU, закодированных в срезе P или B, та же структура разделения блока QTBT может быть применена к CTB цветности и CTB яркости.

Другой способ разделения, называемый способ разделения троичное дерево, вводится для захвата объектов, располагающихся в центре блока, в то время как в способе разделения квадродерево и способе разделения двоичное дерево разделение всегда идет вдоль центра блока. На Фиг. 6 показано два примера разделения по типу троичное дерево при способе разделения троичное дерево, включая горизонтальное разделение 60 в центре по способу троичное дерево и вертикальное разделение 62 в центре по способу троичное дерево. Способ разделения троичное дерево может обеспечивать возможность быстрее находить мелкие объекты вдоль границ блока, допуская разделение на одну четверть по вертикали или горизонтали. Так как ширина или высота блоков 602, 604, 606, 622, 624 и 626, разделенных по способу троичного дерева, всегда равна степени числа два, дополнительные преобразования для преобразования данных блоков, разделенных по способу троичного дерева, не требуются.

Таким образом, техническим результатом, обеспечиваемым данным изобретением, является обеспечение обработки данных и устройствам кодирования или декодирования видео данных в соответствии с информацией параметров квантования, сигналы которой условно направляются в видеопотоке.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Раскрыты способы и средства обработки видеоданных в системе кодирования видео с условным направлением сигнала информации параметра квантования (QP). Варианты осуществления системы кодирования видео получают входные данные, связанные с текущим блоком кодирования (CB) в текущем срезе. Видео данные компонента цвета в текущем срезе разделены согласно способу разделения. Способ разделения может быть одним или несколькими из способов разделения квадродерево, двоичное дерево, QTBT и троичное дерево. В некоторых вариантах осуществления минимальный размер блока параметра квантования определяется и сравнивается с площадью текущего CB. Площадь текущего CB рассчитывается согласно ширине и высоте текущего CB. Направление сигнала информации QP для текущего CB в текущем срезе обусловлено результатом сравнения площадей. Информация QP для текущего CB определяется и внедряется в видеопоток или информация QP для текущего CB синтаксически выделяется из видеопотока, если площадь текущего CB больше или равна минимальной площади блока QP. Система кодирования видео квантует остаточный сигнал текущего CB или восстанавливает квантованный остаточный сигнал текущего CB согласно информации QP текущего CB.

В одном варианте осуществления информацию QP для текущего CB получают из распространяемой информации QP, которую распространяет группа CB, если площадь текущего CB меньше чем минимальная площадь блока QP. Группа CB, распространяющая распространяемую информацию QP, также называют группой квантования в данном раскрытии. Для отдельного QP не направляется сигнал в видеопотоке для каждого CB в группе квантования. Распространяемая информация QP может быть внедрена в видеопоток или синтаксически выделена из видеопотока при обработке первого закодированного CB группы CB, распространяющей распространяемую информацию QP. Первый закодированный CB сначала обрабатывается в группе согласно порядку кодирования или декодирования, имеющему как минимум ненулевой остаточный коэффициент преобразования. Общая площадь группы CB, распространяющей распространяемую информацию QP, больше или равна минимальной площади блока QP.

В еще одном варианте осуществления видео данные компонента цвета в каждом срезе разделены на блоки кодирования (CB) согласно объединенному способу разделения, где объединенный способ разделения разделяет видео данные согласно первому способу разделения, затем — второму способу разделения. Примером объединенного способа разделения является способ разделения QTBT. Варианты осуществления системы кодирования видео получают входные данные, связанные с текущим CB, и определяют флаг глубины. Объединенная глубина для текущего CB рассчитывается в соответствии с первой глубиной разделения, соответствующей первому способу разделения, и второй глубиной разделения, соответствующей второму способу разделения. Объединенную глубину для текущего CB сравнивают с флагом глубины и направление сигнала информации QP для текущего CB обусловлено результатом сравнения глубин. Информация QP для текущего CB определяется и внедряется в видеопоток или синтаксически выделяется из видеопотока, если объединенная глубина текущего CB меньше или равна флагу глубины. Система кодирования видео квантует остаточный сигнал текущего CB в соответствии с информацией QP для текущего CB или восстанавливает квантованный остаточный сигнал текущего CB согласно информации QP текущего CB.

В одном варианте осуществления объединенная глубина рассчитывается согласно взвешенной сумме первой глубины разделения и второй глубины разделения. Например, объединенный способ разделения — это способ разделения квадродерево-плюс-двоичное-дерево (QTBT), где первая глубина разделения — это глубина квадродерева текущего CB, вторая глубина разделения — это глубина двоичного дерева текущего CB. Объединенная глубина рассчитывается посредством добавления глубины квадродерева к половине глубины двоичного дерева текущего CB. Флаг глубины указывает разницу в значениях глубины между размером блока кодового дерева (CTB) и минимальным размером блока для направления сигнала информации QP.

В некоторых вариантах осуществления информацию QP для текущего CB получают из распространяемой информации QP, которую распространяет группа CB, если объединенная глубина текущего CB больше чем флаг глубины. Для информации отдельного QP не направляется сигнал в видеопотоке для каждого CB в группе. Распространяемая информация QP может быть внедрена в видеопоток или синтаксически выделена из видеопотока при обработке первого закодированного CB группы CB, распространяющей распространяемую информацию QP. Первый закодированный CB сначала кодируется в группе, имеющей как минимум один ненулевой остаточный коэффициент преобразования.

Варианты осуществления информации QP для текущего CB, сигнал которой направляется в видеопотоке, связаны с дельта QP, смещением QP или конечным QP, например, элементы синтаксиса, относящиеся к дельта QP, входящие в видеопоток или синтаксически выделенные из видеопотока, содержат дельта абсолютное значение QP и дельта флаг знака QP, элементы синтаксиса, относящиеся к смещению QP, содержат абсолютное значение смещения QP и знак флага смещения QP.

В одном варианте осуществления компонент цвета, переносимый в текущем CB, является компонентом яркости, и сигнал информации QP для компонента цветности направляется отдельно с учетом направления сигнала информации QP для компонента яркости, если структуры разделения блока для компонента яркости и компонента цветности определяют отдельно.

В другом варианте осуществления компонент цвета, переносимый в текущем CB, является компонентом цветности, и сигнал информации QP для текущего CB определяется посредством повторного использования информации QP для совмещенного блока яркости текущего CB, если структуры разделения блока для компонента яркости и компонента цветности определяют отдельно. Сигнал флага повторного использования направляется на уровне последовательности, уровне изображения или уровне среза, чтобы адаптивно разрешить или запретить повторное использование информации QP для совмещенного блока яркости.

В другом варианте осуществления изобретения отдельно кодируют элементы синтаксиса для определения минимальной площади блока QP для компонентов яркости и цветности на уровне последовательности, уровне изображения или уровне среза. В другом варианте минимальная площадь блока QP для компонента цветности определяется из минимальной площади блока QP для компонента яркости. Сигнал флага может быть направлен для обозначения того, определена ли минимальная площадь блока QP для компонента цветности в соответствии с тем же соотношением, что и отношение коммутации цвета для коммутации компонентов яркости и цветности.

Аспекты раскрытия дополнительно предлагают устройство для системы кодирования видео с адаптивным квантованием в соответствии с условным направлением сигнала информации QP в видеопотоке. Варианты осуществления устройства определяют минимальную площадь блока QP и сравнивают минимальную площадь блока QP с площадью каждого CB, разделенного способом разделения. Сигнал информации QP для текущего CB направляется в видеопотоке, если площадь текущего CB больше или равна минимальной площади блока QP. В других вариантах осуществления устройства определяется флаг глубины, и флаг глубины сравнивается с объединенной глубиной каждого CB, разделенного посредством объединенного способа разделения. Сигнал информации QP для текущего CB направляется в видеопотоке, если объединенная глубина текущего CB меньше или равна флагу глубины.

Аспекты раскрытия дополнительно предлагают энергонезависимые машиночитаемые носители, на которых хранятся программные инструкции для выполнения схемой обработки данных устройства процесса видеокодирования с адаптивным квантованием в соответствии с условным направлением сигнала информации QP в видеопотоке. Вариант осуществления обработки видеокодирования определяет минимальную площадь блока QP или флаг блока, и сигнал информации QP для каждого блока, разделенная способом разделения, условно направляется в соответствии с результатом сравнения. Другие аспекты и отличительные признаки данного изобретения станут очевидными специалистам в данной области техники при рассмотрении следующего раскрытия определенных вариантов осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Различные варианты осуществления настоящего раскрытия, предложенные как примеры, будут подробно раскрыты со ссылкой на следующие фигуры, где одни и те же номера обозначают одни и те же элементы, и где:

На Фиг. 1 показан пример дерева кодирования для разделения ячейки кодового дерева CTU на кодирующие ячейки (CU) и разделения каждой CU на одну или несколько преобразовательных ячеек (TU) в стандарте HEVC.

На Фиг. 2 показано восемь различных типов разделения PU, разделяющих CU на одну или несколько PU согласно стандарту HEVC.

На Фиг. 3 показаны примеры типов разделения для способа разделения двоичного дерева.

На Фиг. 4А показан пример структуры разделения блока согласно способу разделения двоичного дерева.

На Фиг. 4B показана структура кодового дерева, соответствующая структуре разделения блока, показанной на Фиг. 4А.

На Фиг. 5А показан пример структуры разделения блока согласно способу разделения квадродерево-двоичное дерево (QTBT).

На Фиг. 5B показана структура кодового дерева, соответствующая структуре разделения блока на Фиг. 5А.

На Фиг. 6 показано два примера типов разделения троичного дерева в способе разделения троичного дерева.

На Фиг. 7А показан пример структуры разделения блока для разделения блока кодового дерева 64х64 на множество кодовых блоков согласно способу разделения QTBT.

На Фиг. 7B показаны группы квантования, соответствующие блоку кодового дерева 64х64 на Фиг. 7А, когда минимальная площадь блока QP составляет 256 пикселей согласно варианту осуществления настоящего изобретения.

На Фиг. 8А показан пример структуры разделения блока согласно способу разделения QTBT.

На Фиг. 8B показаны соответствующие листовые блоки квадродерева с Фиг. 8А, где сигнал информации QP для каждого листового блока квадродерева направляется согласно варианту осуществления настоящего изобретения.

На Фиг. 9 показана блок-схема примера способа обработки видео данных согласно варианту осуществления настоящего изобретения.

На Фиг. 10 показана блок-схема примера способа обработки видео данных согласно другому варианту осуществления настоящего изобретения.

На Фиг. 11 показана блок-схема примера системы для системы видеокодирования, содержащей способ обработки видео данных согласно вариантам осуществления настоящего изобретения.

На Фиг. 12 показана блок-схема примера системы для системы видеодекодирования, содержащей способ обработки видео данных согласно вариантам осуществления настоящего изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Очевидно, что компоненты данного изобретения, раскрытые и проиллюстрированные в общей форме на фигурах в данном документе, могут быть скомпонованы и спроектированы в широком разнообразии различных конфигураций. Таким образом, следующее более подробное раскрытие вариантов осуществления систем и способов согласно данному изобретению, как представлено на фигурах, не предназначено для ограничения объема изобретения, как представлено в формуле изобретения, но представляет только выборочные варианты осуществления данного изобретения.

Ссылки в данном документе на «вариант осуществления», «некоторые варианты осуществления» или аналогичные термины означают, что определенный отличительный признак, конструкция или характеристика, раскрытая в связи с вариантами осуществления, может быть включена как минимум в один вариант осуществления данного изобретения. Таким образом, фразы «в варианте осуществления» или «в некоторых вариантах осуществления» в различных местах в данном документе необязательно все ссылаются на один и тот же вариант осуществления, данные варианты осуществления могут быть реализованы отдельно или совместно с одним или несколькими другими вариантами осуществления. Кроме того, раскрытые отличительные признаки, конструкции или характеристики могут быть объединены любым подходящим способом в одном или нескольких вариантах осуществления. Специалистам в данной области техники, тем не менее, будет понятно, что изобретение может быть воплощено без одной или нескольких определенных деталей или при помощи других способов, компонентов и т. д. В других случаях хорошо известные конструкции или операции не показаны или не описаны подробно во избежание затруднения понимания аспектов изобретения.

В стандарте HEVC каждый блок кодирования (CB), больший или равный минимальному размеру блока для направления сигнала дельта QP, имеет собственный параметр квантования (QP), и информация QP передается на сторону декодера так, что декодер будет использовать тот же QP для надлежащего процесса декодирования. Дельта QP, полученная из разницы между текущим кодовым QP и контрольным QP, передается для снижения битовой скорости, требуемой для информации QP. Контроль за направлением сигнала дельта QP для компонента яркости осуществляется двумя флагами, cu_qp_delta_enabled_flag и diff_cu_qp_delta_depth. Флаг разрешения, cu_qp_delta_enabled_flag, используется для обозначения разрешения или запрета направления сигнала дельта QP, и флаг глубины, diff_cu_qp_delta_depth, используется для установки минимального размера блока для направления сигнала дельта QP. Флаг глубины diff_cu_qp_delta_depth представлен в множестве параметров изображения (PPS), и элемент синтаксиса cu_qp_delta_abs может присутствовать в синтаксисе преобразовательной ячейки (TU), если флаг разрешения cu_qp_delta_enabled_flag отображает, что направление сигнала дельта QP разрешено. Флаг знака cu_qp_delta_sign_flag может присутствовать в синтаксисе TU для обозначения знака дельта QP, если присутствует cu_qp_delta_abs и не равно нулю. Флаг глубины diff_cu_qp_delta_depth указывает разницу в глубине между размером CTB яркости и минимальным размером CB яркости для передачи информации дельта QP, содержащей cu_qu_delta_abs и cu_qp_delta_sign_flag. Декодер определяет минимальный размер блока для направления сигнала дельта QP из размера CTB яркости в соответствии с флагом глубины. Значение данного флага глубины diff_cu_qp_delta_depth устанавливается в диапазоне от нуля до Log2_diff_max_min_luma_coding_block_size. Значение флага глубины diff_cu_qp_delta_depth предполагается равным 0, если данный флаг глубины отсутствует, и когда флаг глубины равен 0, минимальный размер блока для направления сигнала дельта QP равен размеру CTB яркости. Log2_diff_max_min_luma_coding_block_size указывает разницу в глубине между максимальным и минимальным размером CB яркости, и когда флаг глубины равен Log2_diff_max_min_luma_coding_block_size, минимальный размер блока для направления сигнала дельта QP равен минимальному размеру CB яркости. Кодировщик содержит информацию дельта QP для текущего CB в видеопотоке, если размер текущего CB больше или равен минимальному размеру блока для направления сигнала дельта QP. Декодер определяет минимальный размер блока для направления сигнала дельта QP на основе значения флага глубины diff_cu_qp_delta_depth, и для декодирования каждого CB декодер синтаксически выделяет информацию дельта QP из видеопотока, если размер CB больше или равен минимальному размеру блока для направления сигнала дельта QP.

Элементы синтаксиса cu_qp_delta_abs и cu_qp_delta_sign_flag входят в видеопоток на уровне TU, если флаг разрешения cu_qp_delta_enabled_flag отображает разрешение, а флаг проверки IsCuQpDeltaCoded отображает ноль. Флаг проверки IsCuQpDeltaCoded установлен на ноль при кодировке CU, если флаг разрешения cu_qp_delta_enabled_flag отображает разрешение, и запись 2 текущего размера CB больше или равна переменной Log2MinCuQpDeltaSize. Переменную Log2MinCuQpDeltaSize получают из разницы между CtbLog2SizeY и флагом глубины diff_cu_qp_delta_depth, где CtbLog2SizeY является записью 2 размера CTB яркости, например, если размер CTB яркости составляет 64, CtbLog2SizeY=6.

Конечный QP для текущего CB получают на основе направления сигнала дельта QP для текущего CB и контрольного QP, где контрольное получение QP основано на QP соседних кодированных групп квантования текущего CB. Группа квантования является базовой ячейкой для распространения информации QP. Соседние кодированные группы квантования содержат верхнюю соседнюю кодированную группу квантования, имеющую значение QP qP_A, и левую соседнюю кодированную группу квантования, имеющую значение QP qP_L. Контрольный параметр QP равен (qP_L + qP_A +1)>>1. Если qP_A или qP_L недоступны, то используют значение qP_prev, где qP_prev — это значение QP предыдущей группы квантования в порядке декодирования. Если qP_prev также недоступно, то используют значение QP среза.

В расширении диапазона стандарта HEVC направление сигнала смещения QP цветности контролируется двумя флагами — флагом разрешения цветности cu_chroma_qp_offset_enabled_flag и флагом размера смещения цветности Log2MinCuChromaQpOffsetSize, где флаг разрешения цветности отображает, разрешено или запрещено направление сигнала смещения QP цветности, и флаг размера смещения цветности используется для установки минимального размера для направления сигнала смещения QP цветности. Переменную размера смещения цветности Log2MinCuChromaQpOffsetSize получают из разницы между CtbLog2SizeY и флага глубины цветности diff_cu_chroma_qp_offset_depth, где флаг глубины цветности указывает разницу между размером CTB яркости и минимальным размером CB яркости ячеек кодирования, передающих смещение QP цветности. Элементы синтаксиса cu_chroma_qp_offset_flag и cu_chroma_qp_offset_idx, связанные со смещением QP цветности, входят в видеопоток на уровне TU, если флаг разрешения цветности cu_chroma_qp_offset_enabled_flag и флаг кодированного блока cbfChroma отображают единицу, а флаг обхода cu_transquant_bypass и флаг проверки IsCuChromaQpOffsetCoded отображают ноль. Флаг проверки IsCuChromaQpOffsetCoded установлен на ноль при кодировке CU, если флаг разрешения цветности cu_chroma_qp_offset_enabled_flag отображает разрешение, и запись 2 текущего размера CB больше или равна переменной смещения размера цветности Log2MinCuChromaQpOffsetSize.

Форма блока кодирования (CB) в HEVC всегда квадрат после разделения квадродерево, так как ширина CB равна высоте CB, минимальный размер блока для передачи дельта QP или смещения QP цветности определяется одномерным измерением, например, значением глубины или значением ширины. В примере, когда размер CTB яркости 64х64, значение глубины, равное 0, означает, что минимальный размер блока для направления сигнала информации QP составляет 64х64, значение глубины, равное 1, означает минимальный размер блока для направления сигнала информации QP 32х32, и значение глубины, равное 2, означает минимальный размер блока для направления сигнала информации QP 16х16. Однако разделенные блоки других способов разделения, таких как способы разделения двоичное дерево, QTBT и троичное дерево, не являются квадратными. В настоящей заявке раскрыты различные способы обработки видео данных с условным направлением сигнала информации QP для квадратных и неквадратных блоков кодирования. Способ разделения для разделения блоков кодирования может быть квадродерево, двоичное дерево, троичное дерево, ограниченный способ разделения, содержащий определенные типы разделения в способе разделения, или объединенный способ разделения, объединяющий различные способы разделения, такие как QTBT.

Направление сигнала информации QP, обусловленное площадью блока. В некоторых вариантах осуществления настоящего изобретения вместо использования одномерного измерения, такого как значение глубины разделения или ширина блока, для определения минимального размера блока для направления сигнала информации QP используют двухмерное измерение, такое как площадь блока. Информация QP, такая как дельта QP или смещение QP цветности, передается только для блоков кодирования больших или равных минимальной площади блока QP. Согласно варианту осуществления переменная MinCuQpDeltaArea или Log2MinCuQpDeltaArea определена как представляющая минимальную площадь блока для передачи информации дельта QP. Переменная MinCuQpDeltaArea или Log2MinCuQpDeltaArea может быть передана при синтаксисе высокого уровня в видеопотоке или может быть получена из одного или нескольких других элементов синтаксиса. Флаг проверки IsCuQpDeltaCoded установлен на ноль при кодировке текущей CU, если флаг разрешения cu_qp_delta_enabled_flag отображает, что разрешено направление сигнала информации QP и площадь блока текущего CB яркости больше или равна переменной MinCuQpDeltaArea, представляющей минимальную площадь блока QP. Площадь блока рассчитывается посредством умножения ширины блока CbWidth на высоту блока CbHeight текущего CB яркости. Следующие псевдокоды иллюстрируют условия, требуемые для установки флага проверки:

если ( cu_qp_delta_enabled_flag && CbWidth * CbHeight >= MinCuQpDeltaArea ) {

IsCuQpDeltaCoded = 0

CuQpDeltaVal = 0

}.

Переменная CuQpDeltaVal указывает разницу между параметром квантования яркости для блока кодирования, содержащего cu_qp_delta_abs, и его прогнозирование. Если представлена cu_qu_delta_abs, CuQpDeltaVal = cu_qp_delta_abs * ( 1 − 2 * cu_qp_delta_sign_flag ).

Для элементов синтаксиса, связанных с информацией QP, такой как элементы синтаксиса, представляющие абсолютное значение дельта QP cu_qu_delta_abs и флаг знака дельта QP cu_qp_delta_sign_flag, направляется сигнал для текущего блока кодирования, если флаг проверки IsCuQpDeltaCoded равен нулю. В одном варианте осуществления сигнал элементов синтаксиса, связанных с информацией QP, для текущего блока кодирования направляется, если флаг проверки для текущего блока кодирования равен нулю и разрешенный флаг для текущего блока кодирования отображает, что направление сигнала дельта QP разрешено. Флаг проверки устанавливают на единицу, после того как направляется сигнал элементов синтаксиса, связанных с информацией QP.

Общее правило для направления сигнала информации QP раскрыто ниже. Для блока кодирования, имеющего площадь, большую или равную минимальной площади блока QP, сигнал информации QP, такая как дельта QP или смещение QP, направляется для блока кодирования. Для группы блоков кодирования, каждый из которых имеет собственную площадь, меньшую чем минимальная площадь блока QP, но общая площадь блоков кодирования в группе больше или равна минимальной площади блока QP, распространяемая информация QP передается или извлекается для множества блоков кодирования, чтобы распространить распространяемую информацию QP. Группа блоков кодирования, распространяющая распространяемую информацию QP, также называют группой квантования в данном раскрытии.

В некоторых вариантах осуществления распространяемая информация QP, которую распространяет группа CB, используется для текущего CB, если площадь текущего CB меньше чем минимальная площадь блока QP. Вместо направления сигнала отдельной информации QP для каждого CB в группе все CB в группе повторно используют распространяемую информацию QP. Общая площадь группы, распространяющей распространяемую информацию QP, больше или равна минимальной площади блока QP. В одном варианте осуществления распространяемая информация QP внедрена в видеопоток или синтаксически выделена из видеопотока при обработке первого закодированного CB в группе квантования, имеющей как минимум один ненулевой остаточный коэффициент преобразования. Первый кодированный CB является первым обработанным CB в группе квантования, распространяющим распространяемую информацию QP согласно порядку кодирования или порядку декодирования. Последующие CB в группе квантования, закодированные после первого CB, повторно используют распространяемую информацию QP, определенную из первого закодированного CB. Не требуется направлять сигнал информации QP, когда все остаточные коэффициент преобразования в группе квантования равны нулю. Например, информация QP для группы квантования не внедряется в видеопоток и не выделяется синтаксически из видеопотока, если флаг кодированного блока cbf равен нулю. В случае, когда все CB в группе квантования не имеют ненулевой остаточный коэффициент преобразования, сигнал информации QP, такой как дельта QP, не направляется в видеопотоке. Можно предположить, что дельта QP равна нулю, когда направление сигнала дельта QP для группы квантования пропущено. QP для группы квантования установлен равным контрольному QP, и несмотря на то, что данный QP не используется для квантования остаточного сигнала текущей группы квантования, на него может ссылаться последующая группа квантования. В некоторых других вариантах осуществления распространяемую информацию QP получают из контрольного QP, QP по умолчанию или предыдущего QP.

В качестве альтернативы, когда используется переменная запись 2 Log2MinCuQpDeltaArea для сравнения с площадью блока текущего CB яркости, площадь блока рассчитывается посредством сложения значения записи 2 ширины блока и значения записи 2 высоты блока текущего CB яркости. Следующие псевдокоды иллюстрируют условия, требуемые для установки флага проверки:

если ( cu_qp_delta_enabled_flag &&Log2CbWidth + Log2CbHeight) >= Log2MinCuQpDeltaArea) {

IsCuQpDeltaCoded = 0

CuQpDeltaVal = 0

}.

Аналогично переменная MinCuChromaQpOffsetArea или Log2MinCuChromaQpOffsetArea определяется для представления минимальной площади блока для передачи информации QP цветности. Флаг проверки IsCuChromaQpOffsetCoded установлен на ноль при кодировке текущей CU, если флаг разрешения cu_chroma_qp_offset_enabled_flag отображает разрешение направления сигнала информации QP цветности, и площадь блока текущего CB цветности больше или равна переменной MinCuChromaQpOffsetArea. Площадь блока текущего CB цветности рассчитывается посредством умножения ширины блока на высоту блока текущего CB цветности. Флаг проверки цветности может быть установлен согласно следующему условию:

если (cu_chroma_qp_offset_enabled_flag && CbWidth * CbHeight >= MinCuChromaQpOffsetArea) {

IsCuChromaQpOffsetCoded = 0

}.

Для элементов синтаксиса, связанных с информацией QP цветности, такой как элементы синтаксиса, представляющие смещение QP цветности или дельта QP цветности, направляется сигнал для текущего блока кодирования, если флаг проверки IsCuChromaQpOffsetCoded равен нулю. В одном варианте осуществления сигнал элементов синтаксиса, связанных с информацией QP цветности, для текущего блока кодирования направляется, если флаг проверки для текущего блока кодирования равен нулю и разрешенный флаг для текущего блока кодирования отображает, что направление сигнала информации QP цветности разрешено. Флаг проверки устанавливают на единицу, после того как направляется сигнал элементов синтаксиса.

В качестве альтернативы, когда используется переменная запись 2 Log2MinCuChromaQpOffsetArea для сравнения с площадью блока текущего CB цветности, площадь блока рассчитывается посредством сложения значения записи 2 ширины блока и значения записи 2 высоты блока текущего CB цветности. Флаг проверки цветности может быть установлен согласно следующему условию:

если (cu_chroma_qp_offset_enabled_flag && Log2CbWidth + Log2CbHeight >= Log2MinCuChromaQpOffsetArea) {

IsCuChromaQpOffsetCoded = 0

}.

Следующие равенства показывают пример извлечения переменных, представляющих минимальную площадь блока QP для компонентов яркости и цветности. Переменная Log2MinCuQpDeltaArea содержит расчет разницы между CtbLog2SizeY и флагом глубины diff_cu_qp_delta_depth, умноженной на два. Пример извлечения переменной Log2MinCuChromaQpOffsetArea содержит расчет разницы между CtbLog2SizeY и флагом глубины цветности diff_cu_chroma_qp_offset_depth, умноженной на два.

Log2MinCuQpDeltaArea = 2*( CtbLog2SizeY − diff_cu_qp_delta_depth )

Log2MinCuChromaQpOffsetArea = 2*( CtbLog2SizeY − diff_cu_chroma_qp_offset_depth)

На Фиг. 7А показан пример структуры разделения блока для разделения блока кодового дерева 64х64 на множество кодовых блоков согласно способу разделения QTBT. Жирные линии на Фиг. 7А обозначают границы блока после разделения квадродерево, а пунктирные линии на Фиг. 7А обозначают границы блока после разделения двоичное дерево. На Фиг. 7B показаны группы квантования, соответствующие блоку кодового дерева 64х64 на Фиг. 7А, когда минимальная площадь блока QP для направления сигнала информации QP составляет 256 пикселей (т. е. 16х16) согласно варианту осуществления настоящего изобретения, где одна и та же информация QP распространяется одним или несколькими блоками кодирования в каждой группе квантования. На Фиг. 7B некоторые группы квантования содержат более одного блока кодирования, если площадь каждого блока кодирования в данных группах квантования меньше 256 пикселей. Блоки кодирования в группе квантования распространяют одну и ту же информацию QP, переданную в видеопотоке, и отдельная информация QP не передается для каждого блока кодирования в группе квантования.

Если площадь текущего CB больше или равна минимальной площади блока QP, информация QP для текущего CB внедряется в видеопоток на стороне кодера, или информация QP для текущего CB синтаксически выделяется из видеопотока на стороне декодера. Если площадь текущего CB меньше минимальной площади блока QP, информация QP для текущего CB извлекается из распространяемой информации QP. Например, распространяемая информация QP внедрена в видеопоток или синтаксически выделена из видеопотока при обработке первого закодированного CB или последнего закодированного CB группы CB, распространяющей распространяемую информацию QP. Первый кодированный CB кодируется до остальных CB в группе в соответствии с порядком кодирования или декодирования, в то время как последний кодированный CB кодируется после всех остальных CB в группе в соответствии с порядком кодирования или декодирования. Сигнал распространяемой информации QP в некоторых вариантах осуществления направляется в CB, имеющий как минимум один ненулевой остаточный коэффициент преобразования, например, сигнал распространяемой информации QP направляется в первый CB, содержащий как минимум один ненулевой остаточный коэффициент преобразования. Общая площадь группы CB, распространяющей распространяемую информацию QP, больше или равна минимальной площади блока QP. Отдельная информация QP, сигнал которой направляется в битовом потоке для CB, имеющего площадь, меньшую чем минимальная площадь блока QP, отсутствует. В одном варианте осуществления текущий CB повторно использует распространяемую информацию QP, сигнал которой направляется для ранее закодированного CB, находящегося выше текущего CB или слева от текущего CB, и общая площадь данных двух CB равна минимальной площади блока QP.

Направление сигнала информации QP, обусловленное объединенной глубиной блока. В некоторых вариантах осуществления способов обработки видео данных с условным направлением сигнала информации QP минимальный размер блока для передачи информации QP определяется на основе объединенной глубины, когда структура разделения объединяет два или более способа разделения, такие как способ разделения QTBT. В варианте осуществления для блоков, разделенных посредством способа разделения QTBT, направлен ли сигнал информации QP для CB, определяется объединенной глубиной, полученной из глубины квадродерева и глубины двоичного дерева CB. Пример объединенной глубины рассчитывается посредством добавления глубины квадродерева к половине глубины двоичного дерева. Сигнал информации QP для блока кодирования направляется, когда рассчитанная объединенная глубина меньше или равна флагу глубины diff_cu_qp_delta_depth. В данном варианте осуществления установлен флаг проверки IsCuQpDeltaCoded, если флаг разрешения cu_qp_delta_enabled_flag отображает разрешение направления сигнала информации QP и объединенная глубина меньше или равна флагу глубины diff_cu_qp_delta_depth, как показано ниже:

если ( cu_qp_delta_enabled_flag && quadTreeDepth + (binaryTreeDepth>>1) <= diff_cu_qp_delta_depth) {

IsCuQpDeltaCoded = 0

CuQpDeltaVal = 0

}, где quadTreeDepth — это глубина квадродерева CB, а binaryTreeDepth — это глубина двоичного дерева CB.

Флаг глубины diff_cu_qp_delta_depth указывает разницу в значениях глубины между наибольшим размером блока кодирования, например, размером CTB, и минимальным размером блока для передачи информации QP. Декодер определяет минимальный размер блока для направления сигнала информации QP из размера CTB в соответствии с флагом глубины. Значение флага глубины diff_cu_qp_delta_depth может предполагаться равным 0, если данный флаг глубины отсутствует, и когда флаг глубины равен 0, минимальный размер блока для направления сигнала информации QP равен размеру CTB. Минимальный размер блока для направления сигнала информации QP равен минимальному размеру CB, когда значение флага глубины diff_cu_qp_delta_depth является максимальным значением в действительном диапазоне.

Флаг проверки цветности IsCuChromaQpOffsetCoded устанавливается, если флаг разрешения цветности cu_chroma_qp_offset_enabled_flag отображает, что направление сигнала информации QP цветности разрешено, и объединенная глубина меньше или равна флагу глубины цветности diff_cu_chroma_qp_offset_depth, как показано ниже:

если (cu_chroma_qp_offset_enabled_flag && quadTreeDepth + (binaryTreeDepth>>1) <= diff_cu_chroma_qp_offset_depth) {

IsCuChromaQpOffsetCoded = 0

}.

В другом примере объединенная глубина рассчитывается посредством следующего равенства:

quadTreeDepth + ((binaryTreeDepth+1)>>1)

В варианте осуществления, раскрытом выше, объединенная глубина рассчитывается посредством сложения двойной глубины квадродерева и глубины двоичного дерева, и данная объединенная глубина сравнивается с двойным флагом глубины. Следующие псевдокоды демонстрируют данный пример:

если ( cu_qp_delta_enabled_flag && 2*quadTreeDepth + binaryTreeDepth <= 2*diff_cu_qp_delta_depth) {

IsCuQpDeltaCoded = 0

CuQpDeltaVal = 0

};

если (cu_chroma_qp_offset_enabled_flag && 2*quadTreeDepth + binaryTreeDepth <= 2*diff_cu_chroma_qp_offset_depth) {

IsCuChromaQpOffsetCoded = 0

}.

Вышеуказанные варианты осуществления направления сигнала информации QP, обусловленного объединенной глубиной, только раскрывают случай для блоков, разделенных согласно способу разделения QTBT, однако, способ направления сигнала информации QP не ограничен способом разделения QTBT. Способ направления сигнала информации QP, обусловленный объединенной глубиной, может быть применен к блокам, разделенным любым объединенным способом разделения, объединяющим два или более способа разделения. В другом варианте осуществления объединенная глубина рассчитывается на основе первой глубины разделения первого способа разделения и второй глубины разделения второго способа разделения. Разное взвешивание может быть применено к различным глубинам различных способов разделения при расчете объединенной глубины. Для объединенного разделения способ разделяет блоки, используя способ разделения квадродерево, а затем способ разделения троичное дерево, объединенная глубина рассчитывается на основе глубины квадродерева и глубины троичного дерева. Взвешивание для расчета объединенной глубины может составлять 1 для глубины квадродерева и 3/4 для глубины троичного дерева.

Направление сигнала информации QP на листовом блоке квадродерева. В некоторых вариантах осуществления способов обработки видео данных с условным направлением сигнала информации QP установлено такое ограничение, что единицей сигнала информации QP является листовой блок квадродерева в структуре разделения блока QTBT. Способ разделения QTBT сначала разделяет блок рекурсивно согласно разделению квадродерево, затем разделение двоичного дерева начинается от листовых блоков квадродерева. На Фиг. 8А показан пример структуры разделения блока согласно способу разделения QTBT, где жирные линии — это границы разделения квадродерева, а пунктирные линии — это границы разделения двоичного дерева. На Фиг. 8B показаны соответствующие листовые блоки квадродерева на Фиг. 8А, где направляется сигнал информации QP, такой как дельта QP для блока яркости или блока цветности или смещение QP для блока яркости или блока цветности, для каждого листового блока квадродерева, и один или несколько блоков кодирования двоичного дерева в каждом листовом блоке квадродерева распространяют одну и ту же информацию QP. Данный способ направления сигнала информации QP также может быть применен к другим способам разделения, разделяющим блоки в соответствии с двумя или более способами разделения один за другим. Например, способ разделения сначала разделяет блок рекурсивно согласно первому способу разделения, а затем второй способ разделения начинает с листовых блоков первого способа разделения. Способ направления сигнала информации QP устанавливает листовой блок первого способа разделения как единицу сигнала информации QP, и все меньшие блоки, разделенные вторым способом разделения в листовом блоке первого способа разделения, распространяют одну и ту де информацию QP.

Отдельные структуры разделения блока для компонентов яркости и цветности. В HEVC структура разделения блока одинакова для компонентов яркости и цветности до тех пор, пока структура разделения блока не приходит к одному или нескольким блокам цветности, меньшим чем минимальный размер блока кодирования цветности. Сигналы дельта QP направляются только для компонента яркости, в то время как QP для блока цветности получают в соответствии с дельта QP, сигнал которой направляется для совмещенного блока яркости и смещения QP цветности. Некоторые варианты осуществления настоящего изобретения позволяют отдельным структурам разделения блока для компонентов яркости и цветности обеспечивать больше гибкости для кодирования компонентов цветности. В одном варианте осуществления направляются сигналы двух отдельных флагов глубины, а в другом варианте осуществления тот же флаг глубины распределяется между компонентами яркости и цветности. В еще одном варианте осуществления флаг глубины diff_cu_qp_delta_depth_c для компонента цветности устанавливается как значение, зависящее от флага глубины diff_cu_qp_delta_depth для компонента яркости. Например, значение флага глубины для компонента цветности получают посредством флага глубины для компонента яркости минус n, где n — это целое число больше нуля. Может быть направлен сигнал флага глубины diff_cu_qp_delta_depth_c для компонента цветности для указания разницы между размером блока кодового дерева (CTB) цветности и минимальным размером блока кодирования (CB) цветности для передачи информации QP, содержащей абсолютное значение дельта QP cu_qp_delta_abs и знак дельта QP cu_qp_delta_sign_flag для компонентов цветности. Значение данного флага глубины diff_cu_qp_delta_depth устанавливается в диапазоне от нуля до значения записи 2 разницы между максимальным и минимальным размером блока кодирования, включая Log2_diff_max_min_luma_coding_block_size. Значение флага глубины по умолчанию diff_cu_qp_delta_depth_c может предполагаться равным 0, если данный флаг глубины отсутствует.

Могут быть направлены сигналы двух дельта QP для компонентов яркости и цветности, соответственно, когда структуры разделения блока для компонентов яркости и цветности определены раздельно. Элемент синтаксиса для определения минимальных размеров блока для направления сигнала дельта QP, например, MinCuQpDeltaArea, Log2MinCuQpDeltaArea или Log2 MinCuQpDeltaSize, может также быть закодирован отдельно для компонентов яркости и цветности в уровне последовательности, уровне изображения или уровне среза. Дельта QP цветности в некоторых вариантах осуществления может быть спрогнозирована из дельта QP или конечного QP совмещенного блока яркости.

Минимальная площадь блока QP для компонента цветности в некоторых вариантах осуществления определяется из минимальной площади блока QP для компонента яркости. В одном варианте осуществления направляется сигнал флага для отображения того, определен ли элемент синтаксиса, например, MinCuQpDeltaAreaC или Log2MinCuQpDeltaAreaC, для определения минимального размера блока цветности для направления сигнала дельта QP, в соответствии с тем же соотношением, что и отношение коммутации цвета для коммутации компонентов яркости и цветности. Например, для формата коммутации 4:2:0 флаг используется для отражения того, составляет ли значение элемента синтаксиса для компонента цветности MinCuQpDeltaAreaC одну четверть значения, отображенного в элементе синтаксиса MinCuQpDeltaArea для компонента яркости. Если элементы синтаксиса представлены в значении записи 2, флаг используется для отражения того, является ли значение элемента синтаксиса для компонента цветности Log2MinCuQpDeltaAreaC равным значению элемента синтаксиса для компонента яркости минус два (т. е. Log2MinCuQpDeltaArea-2).

В одном варианте осуществления отдельно направляются сигналы трех дельта QP для трех компонентов цвета, когда закодировано более одного компонента цвета, например, когда элемент синтаксиса ChromaArrayType больше нуля, сигнал дельта QP направляется для каждого компонента яркости Y, компонентов цветности Cb и Cr, соответственно. В данном варианте осуществления сигналы информации дельта QP для компонентов яркости и цветности направляются отдельно, а сигналы смещения QP цветности для компонентов цветности опускаются.

В другом варианте осуществления повторно используется дельта QP яркости для компонентов цветности, когда структуры разделения разделяющего блока используются для компонентов яркости и цветности. В данном варианте осуществления направляется сигнал только одной дельта QP для компонента яркости, так как дельта QP цветности блока цветности получают из дельта QP совмещенного блока цветности и смещения QP цветности, также направляется сигнал смещения QP цветности. Элементы синтаксиса, представляющие смещение QP цветности, сигнал которого направляется в видеопотоке, может содержать смещение QP цветности cu_chroma_qp_offset_flag и индекс смещения QP цветности cu_chroma_qp_offset_idx. Сигнал флага повторного использования, отображающего, используются ли дельта QP повторно компонентами цветности, может быть направлен на уровне последовательности, уровне изображения или уровне среза, чтобы адаптивно разрешить или запретить повторное использование дельта QP. Сигналы двух или более дельта QP направляются для компонентов яркости и цветности, если флаг повторного использования отображает, что повторное использование дельта QP запрещено.

На Фиг. 9 показана блок-схема, иллюстрирующая вариант осуществления способа обработки видео данных с обусловленным направлением сигнала информации QP согласно результату сравнения площадей. Способ обработки видео данных, раскрытый на Фиг. 9, может быть применен к одному или нескольким компонентам яркости и компонентам цветности. Минимальная площадь блока QP определяется на шаге S902, например, извлечением из одного или более элементов синтаксиса, сигнал которых направляется в видеопотоке. Входные данные текущего CB в текущем срезе получают на шаге S904, и площадь текущего CB рассчитывается согласно ширине и высоте текущего CB на шаге S906. На шаге 908 площадь текущего CB сравнивают с минимальной площадью блока QP, и если площадь текущего CB больше или равна минимальной площади блока, способ обработки видео данных переходит на шаг S910, в ином случае способ обработки видео данных переходит на шаг S912. Информация QP для текущего CB определяется и внедряется в видеопоток или выделяется из видеопотока на шаге S910, где информация QP для текущего CB извлекается из распространяемой информации QP на шаге S912. Группа CB, содержащая текущий CB, распространяет распространяемую информацию QP, так как сигнал индивидуальной информации QP не направляется для текущего CB на шаге S912. Информация QP для текущего CB затем используется для квантования остаточного сигнала или восстановления квантованного остаточного сигнала на шаге S914. На шаге S916 проверяется, является ли текущий CB последним CB в текущем срезе, и если текущий CB не является последним CB, способ обработки видео данных повторяет шаги с S904 по S916; в ином случае обработка видео данных заканчивает квантование или обратное квантование текущего среза на шаге S918. Согласно некоторым вариантам осуществления сравнительный шаг S908 может также определять, присутствует ли ненулевой остаточный коэффициент преобразования в текущем CB, и кодер или декодер только переходит на шаг S910 или шаг S912, когда как минимум один ненулевой остаточный коэффициент преобразования присутствует в текущем CB. Если ненулевой остаточный коэффициент преобразования отсутствует в текущем CB, что означает, что все коэффициенты равны нулю, отсутствует необходимость в направлении сигнала информации QP для текущего CB, так как квантование или обратное квантование текущего CB можно пропустить.

На Фиг. 10 показана блок-схема примера способа обработки видео данных согласно другому варианту осуществления настоящего изобретения. Вместо сравнения площадей в варианте осуществления, показанном на Фиг. 10, сравнивается объединенная глубина с флагом глубины. Способ обработки видео данных, показанный на Фиг. 10, может также быть применен к одному или нескольким компонентам яркости и компонентам цветности. На блок-схеме флаг глубины определен на шаге S1002, например, флаг глубины извлекают из одного или нескольких элементов синтаксиса, сигнал которых направлен в видеопотоке. Входные данные текущего CB в текущем срезе получают на шаге S1004. Объединенная глубина текущего CB рассчитывается на шаге S1006, где объединенная глубина рассчитывается согласно первой глубине разделения и второй глубине разделения. CB в текущем срезе разделяются согласно объединенному способу разделения, где разделение сначала происходит согласно первому способу разделения, а затем — согласно второму способу разделения. На шаге S1008 проверяется, является ли объединенная глубина текущего CB меньшей или равной флагу глубины, и если да, обработка видео данных переходит на шаг 1010, в ином случае — на шаг 1012. Информация QP для текущего CB определяется и внедряется в видеопоток или выделяется из видеопотока на шаге S1010, где информация QP для текущего CB определяется из распространяемой информации QP на шаге S1012. Информация QP определяется из шага S1010 или S1012 используется для квантования остаточного сигнала или восстановления квантованного остаточного сигнала на шаге S1014. На шаге S1016 проверяется, является ли текущий CB последним CB в текущем срезе, и способ обработки видео данных повторяет шаги с S1004 по S1016; если текущий CB не является последним CB в текущем срезе, то процесс квантования или обратного квантования для текущего среза заканчивается на шаге S1018. Аналогично Фиг. 9 сравнительный шаг S1008 может также определять, присутствует ли ненулевой остаточный коэффициент преобразования в текущем CB, и определение или направление сигнала информации QP на шаге S1010 или шаге S1012 осуществляется только тогда, когда присутствует как минимум один ненулевой остаточный коэффициент преобразования в текущем CB. Когда все остаточные коэффициенты преобразования в текущем CB равны нулю, отсутствует необходимость в направлении сигнала информации QP, так как квантование или обратное квантование текущего CB пропускается.

На Фиг. 11 показана блок-схема примера системы для видеокодера 1100, выполненного с возможностью внедрения вариантов осуществления данного изобретения. Внутреннее прогнозирование 1110 предлагает внутренние предсказатели на основе восстановленных видео данных текущего изображения. Промежуточное прогнозирование 1112 осуществляет оценку движения (ME) и компенсацию движения (MC) для обеспечения предсказателей на основе видеоданных с другого изображения или других изображений. Внутреннее прогнозирование 1110 и промежуточное прогнозирование 1112 подает выбранный предсказатель на сумматор 1116 для формирования ошибок прогнозирования, также называемых остаточными сигналами. Остаточные сигналы текущего блока далее обрабатываются посредством трансформации (Т) 1118, а затем — квантования (Q) 1120. Трансформированный и квантованный остаточный сигнал затем кодируется энтропическим кодером 1134 для формирования видеопотока. В К 1120 информация QP для текущего CB определяется и для нее обусловлено направление сигнала в видеопотоке согласно результату сравнения площадей или глубин. Отдельная информация QP для текущего CB определяется и для нее направляется сигнал в видеопотоке, если площадь текущего CB больше или равна минимальной площади блока QP согласно варианту осуществления. Отдельная информация QP для текущего CB определяется и для нее направляется сигнал в видеопотоке, если объединенная глубина текущего CB меньше или равна флагу глубины согласно другому варианту осуществления. Видеопоток затем заполняется дополнительной информацией, содержащей информацию QP. Трансформированный и квантованный остаточный сигнал текущего блока обрабатывается обратным квантованием (IQ) 1122 и обратной трансформацией (IT) 1124 для восстановления остаточных сигналов прогнозирования. Согласно вариантам осуществления настоящего изобретения информацию QP для текущего CB также используют для восстановления квантованного остаточного сигнала в IQ 1122. Как показано на Фиг. 11, остаточные сигналы восстанавливают посредством добавления обратно к выбранному предсказателю при восстановлении (REC) 1126 для получения восстановленных видеоданных. Восстановленные видеоданные могут храниться в буфере 1132 эталонного изображения (буф. эт. изоб.) и использоваться для прогнозирования других изображений. Восстановленные видеоданные из REC 1126 могут ухудшаться различными способами в связи с обработкой кодированием, следовательно, фильтр обработки в контуре 1128 применяют к восстановленным видеоданным перед сохранением в буфер 1132 эталонного изображения для дальнейшего улучшения качества изображения. Элементы синтаксиса, связанные с информацией QP, предоставляются в энтропический кодер 1134 для внедрения в закодированный видеопоток.

Соответствующий видеодекодер 1200 для видеокодера 110 на Фиг. 11 показан на Фиг. 12. Видеопоток, закодированный видеокодером, является вводом для видеодекодера 1200 и декодирован энтропическим декодером 1210 для синтаксического выделения и восстановления трансформированного и квантованного остаточного сигнала и другой системной информации. Энтропический декодер 1210 синтаксически выделяет информацию QP для текущего CB, если площадь текущего CB больше или равна минимальной площади блока QP согласно одному варианту осуществления. Согласно другому варианту осуществления энтропический декодер 1210 синтаксически выделяет информацию QP для текущего CB, если объединенная глубина текущего CB меньше или равна флагу глубины. Процесс декодирования декодера 1200 аналогичен кольцу восстановления на кодере 1100 за исключением только того, что декодер 1200 требует прогнозирования компенсации движения в промежуточном прогнозировании 1214. Каждый блок декодируется посредством внутреннего прогнозирования 1212 или промежуточного прогнозирования 1214. Переключатель 1216 выбирает внутренний предсказатель из внутреннего прогнозирования 1212 или промежуточный предсказатель из промежуточного прогнозирования 1214 в соответствии с информацией режима декодирования. Трансформированный и квантованный остаточный сигнал, связанный с каждым блоком, восстанавливается обратным квантованием (IQ) 1220 и обратной трансформацией (IT) 1222. IQ 1220 восстанавливает квантованный остаточный сигнал согласно информации QP, синтаксически выделенной энтропическим декодером 1210. Восстановленный остаточный сигнал восстанавливают посредством добавления обратно предсказателя в REC 1218 для получения восстановленного видео. Восстановленное видео далее обрабатывается фильтром обработки в контуре (фильтром) 1224 для генерирования конечного декодированного видео. Если изображение, декодируемое в настоящий момент, является эталонным изображением, восстановленное видео изображения, декодируемого в настоящий момент, также сохраняется в буф. 1228. эт. изоб. 1228 для дальнейших изображений в порядке декодирования.

Различные компоненты видеокодера 1100 и видеодекодера 1200 на Фиг. 11 и Фиг. 12 могут быть осуществлены компонентами аппаратного обеспечения, один или несколько процессоров выполнены с возможностью осуществления программных инструкций, сохраненных в памяти, или комбинацией аппаратного обеспечения и процессора. Например, процессор выполняет программные инструкции для управления получением входных данных, связанных с текущим изображением. Процессор оснащен одним или несколькими обрабатывающими ядрами. В некоторых примерах процессор осуществляет программные инструкции для выполнения функций в некоторых компонентах в кодере 1100 и декодере 1200, и память, имеющая электрическое соединение с процессором, используется для хранения программных инструкций, информации, соответствующей восстановленным изображениям блоков и/или промежуточным данным во время процесса кодирования или декодирования. Память в некоторых вариантах осуществления содержит энергонезависимый машиночитаемый носитель, например, полупроводниковую или твердотельную память, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск, оптический диск или другие подходящие носители данных. Память также может представлять собой комбинацию двух или более энергонезависимых машиночитаемых носителей, указанных выше. Как показано на Фиг. 11 и 12, кодер 1100 и декодер 1200 могут быть внедрены в одно и то же электронное устройство так, что различные функциональные компоненты кодера 1100 и декодера 1200 могут быть использованы совместно или повторно использованы, если они внедрены в одно и то же электронное устройство. Например, одно или более из следующего: восстановление 1126, обратная трансформация 1124, обратное квантование 1122, фильтр обработки в контуре 1128 и буфер 1132 эталонного изображения на Фиг. 11 могут также быть использованы для функционирования как восстановление 1218, обратная трансформация 1222, обратное квантование 1220, фильтр обработки в контуре 1224 и буфер 1228 эталонного изображения на Фиг. 12, соответственно.

Варианты осуществления способа обработки видео данных с обусловленным направлением сигнала информации QP для системы кодирования видео могут быть внедрены в цепь, интегрированную в микросхему сжатия видео, или программный код, интегрированный в программное обеспечение сжатия видео, для выполнения обработки, раскрытой выше. Например, определение текущего режима, установленного для текущего блока, может быть реализовано в программном коде, который будет выполнен компьютерным процессором, процессором цифровой обработки сигналов (DSP), микропроцессором или программируемой пользователем матрицей логических элементов (FPGA). Эти процессоры могут быть реализованы с возможностью выполнения конкретных задач в соответствии с изобретением путем выполнения машиночитаемого программного кода или микропрограммного кода, который определяет конкретные способы, воплощенные в изобретении.

Изобретение может быть осуществлено в других специальных формах без отступления от сущности или существенных характеристик. Раскрытые примеры следует рассматривать во всех отношениях только как иллюстративные и не имеющие ограничительного характера. Объем изобретения, таким образом, лучше всего отражается прилагаемой формулой изобретения, а не следующим раскрытием. Все изменения, относящиеся к значению и диапазону эквивалентности формулы изобретения, должны входить в их объем.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении обработки видео данных в соответствии с информацией параметров квантования (QP). Способ обработки видео данных срезов в системе кодирования видео, где видео данные компонента цвета в каждом срезе разделены на блоки кодирования (СВ) согласно первому и второму способам разделения, содержащий: получение входных данных, связанных с текущим СВ в текущем срезе; определение флага глубины, где направление сигнала информации QP для каждого СВ в текущем срезе обусловлено результатом сравнения глубин; расчет объединенной глубины текущего СВ согласно первой и второй глубинам разделения текущего СВ, которые соответствуют первому и второму способам разделения; сравнение объединенной глубины текущего СВ с флагом глубины; определение и внедрение информации QP для текущего СВ в видеопотоке или синтаксическое выделение информации QP для текущего СВ синтаксически выделяется из видеопотока, если объединенная глубина текущего СВ меньше или равна флагу глубины; и квантование остаточного сигнала текущего СВ или восстановление квантованного остаточного сигнала текущего СВ согласно информации QP текущего СВ. 3 н. и 10 з.п. ф-лы, 16 ил.

1. Способ обработки видео данных срезов в системе кодирования видео, где видео данные компонента цвета в каждом срезе разделены на блоки кодирования (СВ) согласно объединенному способу разделения и объединенный способ разделения разделяет видео данные согласно первому способу разделения, затем - второму способу разделения, содержащий:

получение входных данных, связанных с текущим СВ в текущем срезе;

определение флага глубины, где направление сигнала информации QP для каждого СВ в текущем срезе обусловлено результатом сравнения глубин;

расчет объединенной глубины текущего СВ согласно первой глубине разделения и второй глубине разделения текущего СВ, в котором первая глубина разделения соответствует первому способу разделения, а вторая глубина разделения соответствует второму способу разделения;

сравнение объединенной глубины текущего СВ с флагом глубины;

определение и внедрение информации QP для текущего СВ в видеопотоке или синтаксическое выделение информации QP для текущего СВ синтаксически выделяется из видеопотока, если объединенная глубина текущего СВ меньше или равна флагу глубины; и

квантование остаточного сигнала текущего СВ или восстановление квантованного остаточного сигнала текущего СВ согласно информации QP текущего СВ.

2. Способ по п. 1, в котором объединенная глубина рассчитывается согласно взвешенной сумме первой глубины разделения и второй глубины разделения.

3. Способ по п. 2, в котором объединенный способ разделения - это способ разделения квадродерево-плюс-двоичное-дерево (QTBT), первая глубина разделения - это глубина квадродерева текущего СВ, вторая глубина разделения - это глубина двоичного дерева текущего СВ, и объединенная глубина рассчитывается посредством сложения глубины квадродерева с половиной глубины двоичного дерева текущего СВ.

4. Способ по п. 1, в котором флаг глубины указывает разницу в значениях глубины между размером блока кодового дерева (СТВ) и минимальным размером блока для направления сигнала информации QP.

5. Способ по п. 1, в котором если объединенная глубина текущего СВ больше флага глубины, информацию QP для текущего СВ извлекают из распространяемой информации QP, которая распространяется группой СВ, и сигнал отдельной информации QP не направляется в видеопотоке для каждого СВ в группе.

6. Способ по п. 5, в котором распространяемая информация QP внедрена в видеопоток или синтаксически выделена из видеопотока при обработке первого закодированного СВ группы СВ, распространяющего распространяемую информацию QP, и первый закодированный СВ сначала кодируется в группе согласно порядку кодирования или декодирования, имеющему как минимум один ненулевой остаточный коэффициент преобразования.

7. Способ по п. 1, в котором информация QP для текущего СВ связана с дельта QP, смещением QP или конечным QP.

8. Способ по п. 1, в котором компонент цвета, переносимый в текущем СВ, является компонентом яркости, и способ дополнительно содержит:

направление сигнала информации QP для компонента цветности отдельно с учетом направления сигнала информации QP для компонента яркости, если структуры разделения блока для компонента яркости и компонента цветности определены отдельно.

9. Способ по п. 8, в котором информация QP для компонента яркости связана с дельта QP и информация QP для компонента цветности связана с дельта QP цветности.

10. Способ по п. 1, в котором компонент цвета, переносимый в текущем СВ, является компонентом цветности и сигнал информации QP для текущего СВ определяется посредством повторного использования информации QP для совмещенного блока яркости текущего СВ, если структуры разделения блока для компонента яркости и компонента цветности определяют отдельно.

11. Способ по п. 10, в котором сигнал флага повторного использования направляется на уровне последовательности, уровне изображения или уровне среза, чтобы адаптивно разрешить или запретить повторное использование информации QP для совмещенного блока яркости.

12. Устройство для обработки видео данных срезов в системе кодирования видео, где видео данные компонента цвета в каждом срезе разделены на блоки кодирования (СВ) согласно объединенному способу разделения и объединенный способ разделения разделяет видео данные согласно первому способу разделения, затем - второму способу разделения, устройство содержит одну или несколько электронных цепей, сконфигурированных для:

получение входных данных, связанных с текущим СВ в текущем срезе; определение флага глубины, где направление сигнала информации QP для каждого СВ в текущем срезе обусловлено результатом сравнения глубин;

расчет объединенной глубины текущего СВ согласно первой глубине разделения и второй глубине разделения текущего СВ, в котором первая глубина разделения соответствует первому способу разделения, а вторая глубина разделения соответствует второму способу разделения;

сравнение объединенной глубины текущего СВ с флагом глубины;

определение и внедрение информации QP для текущего СВ в видеопотоке или синтаксическое выделение информации QP для текущего СВ синтаксически выделяется из видеопотока, если объединенная глубина текущего СВ меньше или равна флагу глубины; и

квантование остаточного сигнала текущего СВ или восстановление квантованного остаточного сигнала текущего СВ согласно информации QP текущего СВ.

13. Энергонезависимый машиночитаемый носитель, на котором хранятся программные инструкции по выполнению схемой обработки данных устройства для осуществления способа обработки видео, и способ содержит:

получение входных данных, связанных с текущим СВ в текущем срезе, в котором видео данные компонента цвета в текущем срезе разделены на блоки кодирования (СВ) согласно объединенному способу разделения и объединенный способ разделения разделяет видео данные согласно первому способу разделения, а затем - согласно второму способу разделения;

определение флага глубины, где направление сигнала информации QP для каждого СВ в текущем срезе обусловлено результатом сравнения глубин;

расчет объединенной глубины текущего СВ согласно первой глубине разделения и второй глубине разделения текущего СВ, в котором первая глубина разделения соответствует первому способу разделения, а вторая глубина разделения соответствует второму способу разделения;

сравнение объединенной глубины текущего СВ с флагом глубины;

определение и внедрение информации QP для текущего СВ в видеопотоке или синтаксическое выделение информации QP для текущего СВ синтаксически выделяется из видеопотока, если объединенная глубина текущего СВ меньше или равна флагу глубины; и

квантование остаточного сигнала текущего СВ или восстановление квантованного остаточного сигнала текущего СВ согласно информации QP текущего СВ.