СПОСОБ КОДИРОВАНИЯ ТЕКУЩЕГО БЛОКА ПЕРВОГО КОМПОНЕНТА ИЗОБРАЖЕНИЯ ОТНОСИТЕЛЬНО КОНТРОЛЬНОГО БЛОКА ПО МЕНЬШЕЙ МЕРЕ ОДНОГО ВТОРОГО КОМПОНЕНТА ИЗОБРАЖЕНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ И СООТВЕТСТВУЮЩАЯ КОМПЬЮТЕРНАЯ ПРОГРАММА Российский патент 2021 года по МПК H04N19/597 H04N19/176 H04N19/119 

Область техники

Настоящее изобретение относится в целом к области обработки изображений, а точнее к кодированию цифровых изображений и последовательностей цифровых изображений.

Таким образом, изобретение может применяться, в частности, для кодирования видеосигнала, реализуемого в существующих видеокодерах в будущем (ITU-T/ISO MPEG HEVC) и их программные расширениях.

Предпосылки к созданию изобретения

Стандарт HEVC, разработанный и описанный в документе «B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, and T. Wiegand, "High efficiency video coding (HEVC) text specification draft 6," document JCTVC-H1003 of JCT-VC, San Jose CA, USA, February 2012», похож на предшествующий стандарт H.264 тем, что в нем используется блок разбиения видеопоследовательности. Однако стандарт HEVC отличается от стандарта H.264 тем, что разбиение реализуется в соответствии с древовидной структурой, которая называется «дерево квадрантов». С этой целью, как показано на фиг. 1A, текущее изображение I_N разбивается первый раз на множество квадратных блоков CTB₁, CTB₂, …, CTB_i,…, CTB_L размером 64x64 пикселя (1≤i≤L). Для данного блока CTB_i, этот блок считается корнем дерева кодирования, в котором:

- первый уровень листьев под корнем соответствует первому уровню глубины разбиения для блока CTB_i, для которого блок CTB_i разбивали первый раз на множество блоков кодирования,

- второй уровень листьев под первым уровнем листьев соответствует второму уровню глубины разбиения для блока CTB_i, для которого разбитый первый раз блок CTB_i разбивали второй раз на множество блоков кодирования,…

- … k-ый уровень листьев под k-1-ым уровнем листьев соответствует k-му уровню глубины разбиения для блока CTB_i, для которого блок CTB_i, разбитый k-1 раз, последний раз разбивали на множество блоков кодирования.

В HEVC-совместимом кодирующем устройстве цикл разбиения блока CTB_i выполняется, пока не будет достигнут заданный уровень глубины разбиения.

По завершении вышеупомянутых последовательных разбиений блока CTB_i, как показано на фиг. 1A, последний, в конечном итоге, разбивают на множество блоков кодирования, обозначенных CB₁, CB₂,…, CB_j,…, CB_M, где 1≤j≤M.

Размер указанных блоков кодирования может выбираться адаптивно при помощи разбиения блоков согласно дереву, относящемуся к типу «дерева квадрантов», в котором листья указанного дерева соответственно представляют блоки кодирования CB₁, CB₂,…, CB_j,…, CB_M, полученные на различных уровнях глубины разбиения.

Согласно фиг. 1A, для данного блока CB_j считается, что этот блок составляет корень предсказания и дерево разложения для указанного блока, относящееся, например, к типу дискретного косинусного преобразования (DCT). Дерево предсказания для данного блока CB_j соответствует пути, которым блок CB_j разбивают на множество блоков PB₁, PB₂,…, PB_t,…, PB_P, (1≤t≤P), которые называются блоками предсказания. Для рассматриваемого блока PB_t предсказания параметры предсказания, такие, например, как режим кодирования, векторы движения и т.д., указываются в узле предсказания.

Для рассматриваемого блока CB_j кодирования существуют различные режимы разбиения. Например, на фиг. 1A показаны различные режимы разбиения рассматриваемого блока CB_j кодирования в случае INTER-предсказания для последнего. Существуют четыре указанных режима разбиения:

- режим PART_2Nx2N соответствует отсутствию разбиения рассматриваемого блока CB_j кодирования, который, таким образом, соответствует единичному блоку PB₁ предсказания,

- режим PART_2NxN соответствует горизонтальному разбиению рассматриваемого блока CB_j кодирования на два прямоугольных блока PB₁ и PB₂ предсказания,

- режим PART_Nx2N соответствует вертикальному разбиению рассматриваемого блока CB_j кодирования на два прямоугольных блока PB₁ и PB₂ предсказания,

- режим PART_NxN соответствует разбиению рассматриваемого блока CB_j кодирования на четыре квадратных блока PB₁, PB₂, PB₃, PB₄ предсказания одинакового размера.

После кодирования с предсказанием рассматриваемого блока CB_j кодирования последний может быть снова разбит на множество меньших блоков TB₁, TB₂,…, TB_v,…, TB_Q (1≤v≤Q), которые называются блоками преобразований. Такое разбиение выполняют согласно дереву, которое принадлежит к типу «дерева квадрантов» и называется «разностным деревом квадрантов», причем листья указанного дерева соответственно представляют блоки TB₁, TB₂,…, TB_v,…, TB_Q кодирования, полученные на различных уровнях глубины разбиения.

Фиг. 1A показывает иллюстративное разбиение блока CB_j кодирования, который был предсказан при помощи разбиения PART_NxN. В показанном примере каждый из блоков PB₂ и PB₃ блока CB_j кодирования, например, разбивается на четыре меньших квадратных блока одинакового размера, TB₁, TB₂, TB₃, TB₄ и TB₅, TB₆, TB₇, TB₈, соответственно. Такое разбиение представлено на фиг. 1A пунктирными линиями.

Фиг. 1B показывает иллюстративное разбиение рассматриваемого блока CTB_i, который был получен после кодирования с предсказанием и кодирования с преобразованием указанного блока, а также соответствующее дерево разбиения. В показанном примере:

- блок CTB_i, который считается корнем дерева кодирования, представлен сплошной жирной линией,

- блоки кодирования CB₁ - CB₁₆, которые составляют, с одной стороны, листья дерева кодирования, а с другой стороны, корни дерева, принадлежащего к типу «разностного дерева квадрантов», представлены сплошными тонкими линиями,

- блоки преобразований TB₁ - TB₁₆, которые составляют листья дерева, принадлежащего к типу «разностного дерева квадрантов», представлены пунктирными линиями.

Составленная таким образом древовидная структура имеет:

- первый уровень глубины NP1 разбиения, который содержит только блоки кодирования, такие как блоки CB₁ - CB₄,

- второй уровень глубины NP2 разбиения, который содержит:

- блоки кодирования, такие как блоки CB₅ - CB₈, полученные по завершении разбиения блока CB₁, а также блоки CB₉ - CB₁₂, полученные по завершении разбиения блока CB₄,

- блоки преобразований, такие как блоки TB₁ - TB₄, полученные по завершении разбиения блока CB₂,

- третий уровень глубины NP3 разбиения, который содержит:

- блоки кодирования, такие как блоки CB₁₃ - CB₁₆, полученные по завершении разбиения блока CB₁₀,

- блоки преобразований, такие как блоки TB₅ - TB₈, полученные по завершении разбиения блока CB₇, блоки TB₉ - TB₁₂, полученные по завершении разбиения блока TB₂, блоки TB₁₂ - TB₁₆, полученные по завершении разбиения блока CB₁₂.

В HEVC-совместимом кодирующем устройстве для рассматриваемого блока CTB_i несколько разных разбиений указанного блока конкурируют в кодирующем устройстве, иначе говоря, разные соответствующие комбинации циклов разбиения конкурируют с целью выбора лучшего разбиения, то есть разбиения, которое оптимизирует кодирование рассматриваемого блока CTB_i согласно заданному показателю эффективности кодирования, например, соотношению скорость/потери искажения или эффективность/сложность, которые являются показателями, хорошо известными специалистам в области техники.

После выполнения оптимального разбиения рассматриваемого блока CTB_i цифровая информационная последовательность, такая, например, как строка битов, представляющая это оптимальное разбиение, передается потоком, предназначенным для считывания видеодекодером.

Такой поток также содержит:

- разностные данные, которые представляют собой коэффициенты разбитого на подгруппы разностного блока, и необязательно, при кодировании в режиме «Inter», разностные данные векторов движения,

- параметры кодирования, которые соответствуют используемому режиму кодирования, в частности:

- режим предсказания (интра-предсказание, интер-предсказание, предсказание по умолчанию, осуществляющее предсказание, для которого на декодер не передается никакая информация, т.е. «пропускание»);

- информация, определяющая тип предсказания (ориентация, компонент эталонного изображения, и т.д.);

- тип преобразования, например 4x4 DCT, 8x8 DCT и т.д.;

- информация о перемещениях, если необходимо;

- и т.д.

В частности, согласно технологии 3D HEVC предлагается кодировать первый компонент изображения относительно по меньшей мере одного второго уже закодированного изображения, а затем декодированного компонента изображения, причем указанный первый и второй компоненты изображения представляют один и тот же кадр.

Вышеупомянутыми первым и вторым компонентами изображения являются, например, растровый компонент и связанный с ним компонент с глубиной, соответственно, как в новом формате кодирования видеосигнала, называемом MVD (от англ. «Multiview Video + Depth»), который является предметом текущих разработок.

Альтернативно вышеупомянутыми первым и вторым компонентами изображения могут быть компонент с глубиной и связанный с ним растровый компонент соответственно.

В соответствии с технологией 3D HEVC, первый и второй компоненты разбиваются на множество блоков, которые после этого разбиваются, как объяснялось выше. Такие операции разбиения оказываются очень затратными в смысле вычислений в кодирующем устройстве, поскольку они должны полностью выполняться сначала на втором компоненте, а затем на первом.

Предмет и сущность изобретения

Одна из целей изобретения состоит в том, чтобы устранить недостатки вышеупомянутого предшествующего уровня техники.

С этой целью предмет данного изобретения относится к способу кодирования по меньшей мере одного текущего блока первого компонента изображения относительно контрольного блока по меньшей мере одного второго компонента изображения, причем первый и второй компоненты изображения представляют один и тот же кадр, причем контрольный блок предварительно подвергали кодированию путем разбиения, а затем декодированию, причем разбиение контрольного блока выполняют множество раз, пока не будет достигнут заданный уровень глубины разбиения.

Такой способ кодирования отличается тем, что включает этапы, которые в зависимости от типа первого и второго компонентов изображения предусматривают:

- либо разбиение текущего блока множество раз, пока не будет достигнут уровень глубины разбиения, зависящий от уровня разбиения контрольного блока,

- либо разбиение текущего блока на основании уровня глубины разбиения, предварительно инициализированного уровнем глубины разбиения, который зависит от уровня глубины разбиения для контрольного блока.

Таким образом, такая мера позволяет, в соответствии с характером первого и второго компонентов изображения:

- либо остановить последовательные операции разбиения текущего блока на уровне глубины разбиения, который считается достаточным, поскольку оно выполняется согласно заданному показателю эффективности кодирования, такому, например, как соотношение скорость/потери искажения,

- либо непосредственно разбить текущий блок на основании уже установленного уровня глубины разбиения, который близок к уровню глубины разбиения для контрольного блока.

В результате это дает существенное понижение сложности вычислений в кодирующем устройстве, благодаря чему становится возможным, чтобы первый и второй компоненты изображения представляли один и тот же кадр.

Следует отметить, что первый и второй компоненты изображения не являются частями изображения, но представляют два разных ракурса цельного изображения, представляющего один и тот же кадр.

Согласно одному конкретному варианту осуществления этап разбиения текущего блока реализуют множество раз, когда первым компонентом изображения является изображение с глубиной, а вторым компонентом изображения является растровое изображение, связанное с изображением с глубиной, причем текущий блок и контрольный блок занимают идентичные положения в первом компоненте изображения и во втором компоненте изображения соответственно.

Такая мера позволяет снизить сложность в смысле вычислений в кодирующем устройстве, когда изображение с глубиной закодировано относительно растрового изображения.

Согласно другому конкретному варианту осуществления этап разбиения текущего блока на основании предварительно инициализированного уровня глубины разбиения реализуется, когда первым компонентом изображения является растровое изображение, а вторым компонентом изображения является изображение с глубиной, связанное с растровым изображением, причем текущий блок и контрольный блок занимают идентичные положения в первом компоненте изображения и во втором компоненте изображения соответственно.

Такая мера позволяет снизить сложность в смысле вычислений в кодирующем устройстве, когда растровое изображение закодировано относительно изображения с глубиной.

Разумеется, могут предусматриваться другие типы первого и второго компонентов изображения.

Таким образом, первым и вторым компонентами изображения, соответственно, могут быть:

- два ракурса одного и того же многоракурсного изображения, причем указанные два ракурса представляют один и тот же кадр либо в тот же момент, либо в другой момент, или же

- компонент яркости и компонент цвета, или же

- два разных слоя при масштабированном кодировании видеосигнала,

причем текущий блок и контрольный блок занимают идентичные положения в первом компоненте изображения и во втором компоненте изображения соответственно.

Также можно предусмотреть кодирование первого компонента изображения относительно второго компонента изображения и третьего компонента изображения. В этом случае, например:

- первым компонентом изображения может быть Y-компонент,

- вторым компонентом изображения может быть U-компонент,

- третьим компонентом изображения может быть V-компонент.

Изобретение также относится к устройству кодирования по меньшей мере одного текущего блока первого компонента изображения относительно контрольного блока по меньшей мере одного второго компонента изображения, причем первый и второй компоненты изображения представляют один и тот же кадр, причем контрольный блок предварительно подвергали кодированию путем разбиения, а затем декодированию, причем разбиение контрольного блока выполняют множество раз, пока не будет достигнут заданный уровень глубины разбиения.

Такое устройство кодирования примечательно тем, что содержит:

- первые средства разбиения текущего блока, выполненные с возможностью разбиения последнего множество раз, пока не будет достигнут уровень глубины разбиения, зависящий от уровня разбиения контрольного блока,

- вторые средства разбиения текущего блока, выполненные с возможностью разбиения последнего на основании уровня глубины разбиения для текущего блока, предварительно инициализированного уровнем глубины разбиения, зависящим от уровня глубины разбиения для контрольного блока,

причем первые и вторые средства разбиения запускают выборочно в зависимости от типа первого и второго компонентов изображения.

Согласно одному конкретному варианту осуществления первые средства разбиения запускают, когда первым компонентом изображения является изображение с глубиной, а вторым компонентом изображения является растровое изображение, связанное с изображением с глубиной, причем текущий блок и контрольный блок занимают идентичные положения в первом компоненте изображения и во втором компоненте изображения соответственно.

Согласно другому конкретному варианту осуществления вторые средства разбиения запускают, когда первым компонентом изображения является растровое изображение, а вторым компонентом изображения является изображение с глубиной, связанное с растровым изображением, причем текущий блок и контрольный блок занимают идентичные положения в первом компоненте изображения и во втором компоненте изображения соответственно.

Изобретение также относится к компьютерной программе, содержащей команды для реализации способа кодирования согласно изобретению, когда его выполняет компьютер.

Эта программа может использовать любой язык программирования и иметь вид исходного кода, объектного кода или кода, который является промежуточным между исходным кодом и объектным кодом, например частично скомпилированный вид или любой другой требуемый вид.

Целью изобретения также является считываемый компьютером носитель информации, на который записана компьютерная программа, причем эта программа содержит команды, подходящие для реализации способа кодирования согласно изобретению, как описано выше.

Носителем информации может быть любой объект или устройство, выполненное с возможностью хранения программы. Например, носитель может содержать средство хранения, такое как ROM, например CD-ROM или ROM на интегральной микросхеме, или средство магнитной записи, например флэш-накопитель USB или жесткий диск.

Более того, носителем информации может быть передаваемый носитель, такой как электрический или оптический сигнал, который можно передавать посредством электрического или оптического кабеля, по радио или другими средствами. Программу согласно изобретению можно, в частности, загружать в сеть, например Интернет.

Альтернативно носителем информации может быть интегральная схема, в которую встроена программа, причем схема выполнена с возможностью исполнения или использования для исполнения рассматриваемого способа.

Вышеупомянутое устройство кодирования и соответствующая компьютерная программа демонстрируют, по меньшей мере, такие же преимущества, как те, которые предоставляются способом кодирования согласно настоящему изобретению.

Краткое описание графических материалов

Другие характеристики и преимущества станут понятны после ознакомления с предпочтительными вариантами осуществления, описанными со ссылками на фигуры, на которых:

- на фиг. 1A показаны последовательные операции разбиения блока в соответствии с HEVC-технологией,

- на фиг. 1B показано иллюстративное разбиение блока кодирования, которое было достигнуто после предсказывания и разложения указанного блока, а также соответствующее дерево предсказания и разложения,

- на фиг. 2A и 2B показаны этапы способа кодирования согласно изобретению,

- на фиг. 3 показан вариант осуществления устройства кодирования согласно изобретению,

- на фиг. 4A показано иллюстративное разбиение контрольного блока уже закодированного, а затем декодированного компонента изображения, а также дерево, представляющее выполненное разбиение,

- на фиг. 4B показано иллюстративное разбиение текущего блока компонента изображения, который подлежит кодированию, относительно разбиения контрольного блока, показанного на фиг. 4A, а также дерево, представляющее выполненное разбиение,

- на фиг. 4C показано другое иллюстративное разбиение текущего блока компонента изображения, который подлежит кодированию, относительно разбиения контрольного блока, показанного на фиг. 4A, а также дерево, представляющее выполненное разбиение.

Подробное описание способа кодирования согласно изобретению

Теперь будет описан вариант осуществления изобретения, в котором способ кодирования согласно изобретению предназначен для кодирования последовательности изображений согласно бинарному потоку, близкому к тому, который получают кодированием согласно проектируемому стандарту 3D HEVC. В этом варианте осуществления способ кодирования согласно изобретению реализуют, например, с использованием программного или аппаратного обеспечения при помощи изменений в кодирующем устройстве, изначально совместимом со стандартом 3D HEVC. Способ кодирования согласно изобретению представлен в виде алгоритма, включающего этапы C1 - C4a) или C1 - C4b), показанные на фиг. 2A и 2B.

Согласно варианту осуществления изобретения способ кодирования согласно изобретению реализуют в устройстве CO кодирования, показанном на фиг. 3.

Как объяснялось выше в описании со ссылками на фиг. 2 и 3, способ кодирования согласно изобретению, в частности, заключается в кодировании первого компонента CI₁₁ изображения, который является текущим компонентом подлежащей кодированию последовательности S изображений (CI₁₁, CI₂₁),…., (CI_1W, CI_2W), относительно по меньшей мере одного второго компонента CI₂₁ изображения, который является контрольным компонентом изображения подлежащей кодированию последовательности изображений, то есть компонентом, который предварительно кодировали, а затем декодировали. Первый компонент CI₁₁ изображения запрашивается совместно со вторым компонентом CI₂₁ изображения, причем первый и второй компоненты изображения представляют один и тот же кадр.

В случае, когда компонентом CI₂₁ изображения, который только что закодировали, является растровое изображение, а подлежащим кодированию компонентом CI₁₁ изображения, который связан с компонентом CI₂₁ изображения, является изображение с глубиной, компоненты CI₂₁,…, CI_2W последовательности S сначала известным per se способом кодируют, а затем декодируют. Далее компоненты CI₁₁,…, CI_1W последовательности S кодируют один за другим по очереди.

В случае компонентов других типов, таких как различные SVC-слои или YUV-компоненты, действие включает кодирование/декодирование известным per se способом компонента CI₂₁, а затем кодирование компонента CI₁₁ относительно компонента CI₂₁ и т.д., пока не будет выполнено кодирование/декодирование компонента CI_2W, а затем кодирование компонента CI_1W относительно компонента CI_2W.

В ходе выполнения этапа C1, показанного на фиг. 2A, действие известным per se способом включает кодирование путем разбиения компонента CI₂₁ изображения.

В ходе выполнения подэтапа C11, показанного на фиг. 2A, компонент CI₂₁ изображения разбивают на множество блоков CTBr₁, CTBr₂, …, CTBr_i,…, CTBr_L размером 64х64 пикселя (1≤i≤L). Такое разбиение выполняет посредством модуля MPCI разбиения программного обеспечения, показанного на фиг. 3.

Следует отметить, что в контексте изобретения термин «блок» означает узел кодирования. Указанная терминология, в частности, используется в стандарте HEVC, например, в документе "B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, and T. Wiegand, "High efficiency video coding (HEVC) text specification draft 6," document JCTVC-H1003 of JCT-VC, San Jose CA, USA, February 2012", JCTVC-H1003 of JCT-VC, San Jose CA, USA, February 2012".

В частности, такой узел кодирования группирует наборы пикселей прямоугольной или квадратной формы, также называемые блоками, макроблоками, или наборы пикселей другой геометрической формы.

В ходе выполнения подэтапа C12, показанного на фиг. 2A, выбирают блок CTBr_i компонента CI₂₁ изображения.

В ходе выполнения подэтапа C13, показанного на фиг. 2A, выбранный блок CTBr_i разбивают на множество блоков кодирования Br₁, Br₂,…, Br_j,…, Br_M, где 1≤j≤M.

Вышеупомянутое разбиение допускает многократное выполнение, пока не будет достигнут заданный уровень k (k≥0), глубины разбиения, для которого финальное разбиение, полученное для выбранного блока CTBr_i, оптимизирует показатель эффективности кодирования, например, в частности, соотношение скорость/потери искажения.

Указанное разбиение реализуется модулем MP1 разбиения программного обеспечения, показанным на фиг. 3.

В ходе выполнения подэтапа C14, показанного на фиг. 2A, уровень глубины разбиения для выбранного блока CTBr_i инициализируют значением k.

Этапы C12-C14 повторяют для набора блоков CTBr₁, CTBr₂, …, CTBr_L.

Иллюстративное разбиение блока CTBr_i показано на фиг. 4A.

В показанном примере выполненное разбиение соответствует дереву, которое принадлежит к типу «дерева квадрантов», такому как описывалось выше в описании, и в котором уровень глубины k разбиения инициализирован значением 3.

Разумеется, могут рассматриваться и другие типы деревьев.

Согласно фиг. 4A для данного блока CTBr_i считается, что этот блок составляет корень дерева ACr кодирования, в котором:

- первый уровень листьев под корнем соответствует первому уровню глубины разбиения для блока CTBr_i, для которого блок CTBr_i разбивали первый раз на множество блоков кодирования, например на 4 блока Br₁, Br₂, Br₃, Br₄ кодирования,

- второй уровень листьев под первым уровнем листьев соответствует второму уровню глубины разбиения для блока CTBr_i, для которого разбитый первый раз блок CTBr_i разбили второй раз на множество блоков кодирования, например на 4 блока Br₅, Br₆, Br₇, Br₈ кодирования, являющихся результатом разбиения блока Br₁,

- третий уровень листьев под вторым уровнем листьев соответствует третьему уровню глубины разбиения для блока CTBr_i, для которого разбитый второй раз блок CTBr_i разбивают третий раз на множество блоков кодирования, например на 4 блока Br₉, Br₁₀, Br₁₁, Br₁₂ кодирования, являющихся результатом разбиение блока Br₇.

В ходе выполнения этапа C2, показанного на фиг. 2A, действие включает создание L последовательностей битов Sr₁, Sr₂,…, Sr_i,…, Sr_L, которые представляют разбиения, выполненные на блоках CTBr₁, CTBr₂, …, CTBr_i,…, CTBr_L соответственно. Действие также включает порождение декодированных версий блоков CTBr₁, CTBr₂, …, CTBr_i,…, CTBr_L, которые обозначены CTBDr₁, CTBDr₂, …, CTBDr_i,…, CTBDr_L на фиг. 2 и 3. Такие декодированные блоки предназначены для повторного использования кодирующим устройством CO, чтобы кодировать последующий компонент изображения, такой как, в частности, компонент CI₁₁.

Такой этап создания бинарных последовательностей реализуется статистическим кодирующим устройством CE, показанным на фиг. 3.

Вышеупомянутый этап декодирования, в свою очередь, реализуется модулем MD декодирования, который также показан на фиг. 3.

Согласно фиг. 2B в соответствии с изобретением, в зависимости от типа первого и второго компонентов изображения CI₁₁ и CI₂₁ для кодирования путем разбиения предусмотрено две альтернативы C3a) и C3b).

В случае, например, когда компонентом CI₂₁ изображения, который только что закодировали, является растровое изображение, а подлежащим кодированию компонентом CI₁₁ изображения, который связан с компонентом CI₂₁ изображения, является изображение с глубиной, выбирают описанную ниже альтернативу C3a) кодирования.

В ходе выполнения подэтапа C31a), показанного на фиг. 2B, компонент CI₁₁ изображения разбивают на множество блоков CTB₁, CTB₂, …, CTB_u,…, CTB_S размером 64x64 пикселя (1≤u≤S). Такой этап разбиения реализуется модулем MPCI разбиения, показанным на фиг. 3.

В ходе выполнения подэтапа C32a), показанного на фиг. 2B, блок CTB_u компонента CI₁₁ изображения выбирают в качестве текущего блока, подлежащего кодированию, относительно по меньшей мере одного закодированного, а затем декодированного контрольного блока, выбранного из блоков CTBr₁, CTBr₂, …, CTBr_i,…, CTBr_L предварительно закодированного, а затем декодированного компонента CI₂₁ изображения. В приводимом далее описании выбранным контрольным блоком, например, считается блок CTBr_i, причем текущий блок CTB_u и контрольный блок CTBr_i занимают идентичные положения в первом компоненте CI₁₁ изображения и во втором компоненте CI₂₁ изображения соответственно.

В ходе выполнения подэтапа C33a), показанного на фиг. 2B, выбранный блок CTB_u разбивают на множество блоков B₁, B₂,…, B_f,…, B_G кодирования, где 1≤f≤G.

В соответствии с изобретением разбиение блока CTB_u выполняют множество раз, пока не будет достигнут уровень k' (k'≥0), который зависит от уровня глубины k разбиения для контрольного блока CTBr_i.

Такое отношение зависимости выражается уравнением k'=a*k+b, где a и b – относительные целочисленные переменные, заданные в кодирующем устройстве.

Таким образом, такое отношение зависимости позволяет избегать при кодировании лишних переразбиений блока CTB_u, что является очень сложным, и при этом получать для блока CTB_u такое разбиение, которое остается в соответствии с показателем эффективности кодирования, таким как, например, соотношение скорость/потери искажения.

Указанное разбиение реализуется указанным первым модулем MP1 разбиения программного обеспечения, показанным на фиг. 3.

Этапы C32a) - C33a) повторяют для всего набора блоков CTB₁, CTB₂,…, CTB_S.

Иллюстративное разбиение блока CTB_u показано на фиг. 4B.

В показанном примере разбиение текущего блока CTB_u выполняют на уровне глубины k'=2, который ниже уровня глубины k разбиения для контрольного блока CTBr_i. С этой целью в уравнении k'=a*k+b, a и b заранее фиксируют в кодирующем устройстве следующим образом: a=1 и b= -1.

Разумеется, согласно контексту рассматриваемого кодирования, такому, например, как содержание компонентов CI₁₁ и CI₂₁ изображения, уровень глубины k' разбиения может быть ниже или выше уровня глубины k разбиения более чем на один уровень глубины разбиения. В этом плане отношение зависимости k'=a*k+b является особенно выгодным, поскольку позволяет проявлять определенную гибкость адаптации для уровня глубины k' разбиения в зависимости от ситуаций, которые складываются во время кодирования.

Согласно фиг. 4B для данного текущего блока CTB_u считается, что этот блок составляет корень дерева AC кодирования, в котором:

- первый уровень листьев под корнем соответствует первому уровню глубины разбиения для блока CTB_u, для которого блок CTB_u разбивали первый раз на множество блоков кодирования, например на 4 блока B₁, B₂, B₃, B₄ кодирования,

- второй уровень листьев под первым уровнем листьев соответствует второму уровню глубины разбиения для блока CTB_u, для которого разбитый первый раз блок CTB_u разбивали второй раз на множество блоков кодирования, например на 4 блока B₅, B₆, B₇, B₈ кодирования, являющихся результатом разбиения блока B₁.

Поэтому в показанном примере блок B₇ не разбивали еще раз на 4 блока, как блок Br₇ контрольного блока CTBr_i.

В ходе выполнения этапа C4a), показанного на фиг. 2B, действие включает создание S-последовательностей битов S₁, S₂,…, S_u,…, S_S, которые представляют разбиения, выполненные на блоках CTB₁, CTB₂, …, CTB_u,…, CTB_S, соответственно. Действие также включает создание декодированных версий блоков CTB₁, CTB₂, …, CTB_u,…, CTB_S, которые на фиг. 2B обозначены CTBD₁, CTBD₂, …, CTBD_u,…, CTBD_S. Такие декодированные блоки предназначены для повторного использования кодирующим устройством CO, чтобы кодировать последующий компонент изображения.

Такой этап создания бинарных последовательностей реализуется статистическим кодирующим устройством CE, показанным на фиг. 3.

Вышеупомянутый этап декодирования, в свою очередь, реализуется модулем MD декодирования, также показанным на фиг. 3.

Теперь согласно фиг. 2B будет описана вторая альтернатива C3b) кодирования путем разбиения, которая рассматривается согласно изобретению.

Такую альтернативу рассматривают, например, в случае, когда компонентом CI₂₁ изображения, который только что закодировали, является изображение с глубиной, а подлежащим кодированию компонентом CI₁₁ изображения, который связан с компонентом CI₂₁ изображения, является растровое изображение.

В ходе выполнения подэтапа C31b), показанного на фиг. 2B, компонент CI₁₁ изображения разбивают на множество блоков CTB'₁, CTB'₂, …, CTB'_u,…, CTB'_S размером 64x64 пикселя (1≤u≤S). Такой этап разбиения реализуется модулем MPCI разбиения, показанным на фиг. 3.

В ходе выполнения подэтапа C32b), показанного на фиг. 2B, блок CTB'_u компонента CI₁₁ изображения выбирают в качестве текущего блока, подлежащего кодированию, относительно по меньшей мере одного закодированного, а затем декодированного контрольного блока, выбранного из блоков CTBr₁, CTBr₂, …, CTBr_i,…, CTBr_L предварительно закодированного компонента CI₂₁ изображения. В приводимом далее описании выбранным контрольным блоком, например, считается блок CTBr_i, причем текущий блок CTB'_u и контрольный блок CTBr_i занимают идентичные положения в первом компоненте CI₁₁ изображения и во втором компоненте CI₂₁ изображения соответственно.

В ходе выполнения подэтапа C33b), показанного на фиг. 2B, действие включает инициализацию уровня глубины разбиения для блока CTB'_u, на основании уровня глубины разбиения k'=a*k+b.

С этой целью в ходе выполнения этапа C34b), показанного на фиг. 2B, блок CTB'_u непосредственно разбивают на множество блоков B'₁, B'₂,…, B'_g,…, B'_H кодирования, где 1≤g≤H, на основании предварительно инициализированного уровня глубины k' разбиения. Таким образом, промежуточные этапы разбиения блока CTB'_u опускаются, благодаря чему заметно понижается сложность вычислений в процессе кодирования.

После этапа C34b) разбиения блока CTB'_u последний могут снова многократно разбивать, пока в кодирующем устройстве не будет достигнут заранее заданный уровень глубины разбиения.

Указанное разбиение реализуется вторым модулем MP2 разбиения программного обеспечения, показанным на фиг. 3.

Этапы C32b) - C34b) повторяют для всего набора блоков CTB'₁, CTB'₂,…, CTB'_S.

Иллюстративное разбиение блока CTB'_u показано на фиг. 4C.

В этом примере контрольным блоком CTBr_i, используемым для кодирования текущего блока CTB'_u, считается тот, который разбили, как показано на фиг. 4A.

В примере, показанном на фиг. 4C, разбиение текущего блока CTB'_u выполняют на основании уровня глубины k'=4, который выше уровня глубины k разбиения для контрольного блока CTBr_i. С этой целью в уравнении k'=a*k+b a и b заранее фиксируют в кодирующем устройстве следующим образом: a=1 и b=1. Как объяснялось в приводимом выше описании, в зависимости от контекста видеосигнала возможен другой выбор уровня глубины k' разбиения. В частности, уровень глубины k' разбиения может быть ниже или выше уровня глубины k разбиения более чем на один уровень глубины разбиения.

Согласно фиг. 4C для данного текущего блока CTB'_u считается, что этот блок составляет корень дерева AC' кодирования, в котором:

- первый уровень листьев под корнем соответствует первому уровню глубины разбиения для блока CTB'_u, для которого блок CTB'_u разбивали первый раз на множество блоков кодирования, например на 4 блока B'₁, B'₂, B'₃, B'₄ кодирования,

- второй уровень листьев под первым уровнем листьев соответствует второму уровню глубины разбиения для блока CTB'_u, для которого разбитый первый раз блок CTB'_u разбивают второй раз на множество блоков кодирования, например на 4 блока B'₅, B'₆, B'₇, B'₈ кодирования, являющихся результатом разбиения блока B'₁,

- третий уровень листьев под вторым уровнем листьев соответствует третьему уровню глубины разбиения для блока CTB'_u, для которого разбитый второй раз блок CTB'_u разбивают третий раз на множество блоков кодирования, например на 4 блока B'₉, B'₁₀, B'₁₁, B'₁₂ кодирования, являющихся результатом разбиения блока B'₇,

- четвертый уровень листьев под третьим уровнем листьев соответствует четвертому уровню глубины разбиения для блока CTB'_u, для которого разбитый третий раз блок CTB'_u разбивают четвертый раз на множество блоков кодирования, например на 4 блока B'₁₃, B'₁₄, B'₁₅, B'₁₆ кодирования, являющихся результатом разбиения блока B'₁₁.

Поэтому в показанном примере блок B'₁₁ разбивали на 4 блока, в отличие от блока Br₁₁ контрольного блока CTBr_i.

В ходе выполнения этапа C4b), показанного на фиг. 2B, действие включает создание S-последовательностей битов S'₁, S'₂,…, S'_u,…, S'_S, которые представляют разбиения, выполненные на блоках CTB'₁, CTB'₂, …, CTB'_u,…, CTB'_S соответственно. Действие также включает порождение декодированных версий блоков CTB'₁, CTB'₂, …, CTB'_u,…, CTB'_S, которые на фиг. 2B обозначены CTBD'₁, CTBD'₂, …, CTBD'_u,…, CTBD'_S. Такие декодированные блоки предназначены для повторного использования кодирующим устройством CO, чтобы кодировать последующий компонент изображения.

Такой этап создания бинарных последовательностей реализует статистическое кодирующее устройство CE, показанное на фиг. 3.

Вышеупомянутый этап декодирования, в свою очередь, реализуется модулем MD декодирования, также показанным на фиг. 3.

Понятно, что описанные выше варианты осуществления приводились исключительно с целью неограничивающего пояснения, и что специалист в области техники может без труда произвести многочисленные модификации, не выходя при этом за пределы объема изобретения.

Изобретение относится к средствам для кодирования цифровых видеоизображений. Технический результат заключается в повышении эффективности кодирования компонентов изображения. Кодируют по меньшей мере один текущий блок первого компонента изображения относительно контрольного блока по меньшей мере одного второго компонента изображения. Причем указанный первый и второй компоненты изображения представляют одну и ту же сцену. Указанный контрольный блок предварительно подвергли кодированию путем разбиения, а затем декодированию. Указанное разбиение контрольного блока выполняют множество раз, пока не будет достигнут заданный уровень глубины разбиения. Либо разбивают текущий блок, подлежащий кодированию, множество раз, пока не будет достигнут уровень глубины разбиения, зависящий от уровня разбиения контрольного блока с использованием заданного отношения зависимости, либо разбивают текущий блок на основании уровня глубины разбиения, предварительно инициализированного уровнем глубины разбиения, зависящим от уровня глубины разбиения для контрольного блока с использованием заданного отношения зависимости. 3 н. и 4 з.п. ф-лы, 8 ил.

1. Способ создания бинарной последовательности, содержащий этап, на котором кодируют по меньшей мере один текущий блок (CTB_u; CTB'_u) первого компонента (CI₁₁) изображения относительно контрольного блока (CTBr_i) по меньшей мере одного второго компонента (CI₂₁) изображения, причем указанный первый и второй компоненты изображения представляют одну и ту же сцену, причем указанный контрольный блок предварительно подвергли кодированию путем разбиения, а затем декодированию, причем указанное разбиение контрольного блока выполняют множество раз, пока не будет достигнут заданный уровень (k) (k≥0) глубины разбиения,

причем указанный способ отличается тем, что перед упомянутым кодированием содержит этапы, на которых в зависимости от типа первого и второго компонентов изображения:

либо разбивают (C33a)) текущий блок, подлежащий кодированию, множество раз, пока не будет достигнут уровень глубины (k') разбиения, зависящий от уровня разбиения (k) контрольного блока с использованием заданного отношения зависимости,

либо разбивают (C34b)) текущий блок, подлежащий кодированию, на основании уровня глубины разбиения, предварительно инициализированного (C33b)) уровнем глубины (k‘) разбиения, зависящим от уровня глубины разбиения (k) для контрольного блока с использованием заданного отношения зависимости;

при этом указанная созданная бинарная последовательность представляет разбиение текущего блока.

2. Способ создания бинарной последовательности по п. 1, в котором указанный этап разбиения текущего блока выполняют множество раз, когда первым компонентом изображения является изображение глубины, а вторым компонентом изображения является текстурное изображение, связанное с указанным изображением глубины, причем текущий блок и контрольный блок занимают идентичные положения соответственно в первом компоненте изображения и во втором компоненте изображения.

3. Способ создания бинарной последовательности по п. 1, в котором выполняют указанный этап разбиения текущего блока на основании предварительно инициализированного уровня глубины разбиения, когда первым компонентом изображения является текстурное изображение, а вторым компонентом изображения является изображение глубины, связанное с указанным текстурным изображением, причем текущий блок и контрольный блок занимают идентичные положения соответственно в первом компоненте изображения и во втором компоненте изображения.

4. Устройство для создания бинарной последовательности, содержащее средство кодирования по меньшей мере одного текущего блока (CTB_u; CTB'_u) первого компонента (CI₁₁) изображения относительно контрольного блока (CTBr_i) по меньшей мере одного второго компонента (CI₂₁) изображения, причем указанные первый и второй компоненты изображения представляют одну и ту же сцену, причем указанный контрольный блок предварительно подвергнут кодированию путем разбиения, а затем декодированию, причем указанное разбиение контрольного блока выполнено множество раз до достижения заданного уровня (k) (k≥0) глубины разбиения,

причем указанное устройство отличается тем, что содержит:

первое средство (MP1) разбиения для разбиения текущего блока, подлежащего кодированию, выполненное с возможностью разбиения текущего блока множество раз, пока не будет достигнут уровень глубины (k') разбиения, зависящий от уровня разбиения (k) контрольного блока с использованием заданного отношения зависимости,

второе средство (MP2) разбиения для разбиения текущего блока, подлежащего кодированию, выполненное с возможностью разбиения текущего блока на основании уровня глубины разбиения текущего блока, предварительно инициализированного уровнем глубины (k‘) разбиения, зависящим от уровня глубины (k) разбиения контрольного блока с использованием заданного отношения зависимости,

причем указанные первое и второе средства разбиения выполнены с возможностью, перед кодированием упомянутого по меньшей мере одного текущего блока, выборочной активации в зависимости от типа первого и второго компонентов изображения,

при этом указанная созданная бинарная последовательность представляет разбиение текущего блока.

5. Устройство для создания бинарной последовательности по п. 4, в котором указанное первое средство разбиения выполнено с возможностью активации, когда первым компонентом изображения является изображение глубины, а вторым компонентом изображения является текстурное изображение, связанное с указанным изображением глубины, причем текущий блок и контрольный блок занимают идентичные положения соответственно в первом компоненте изображения и во втором компоненте изображения.

6. Устройство для создания бинарной последовательности по п. 4, в котором указанное второе средство разбиения выполнено с возможностью активации, когда первым компонентом изображения является текстурное изображение, а вторым компонентом изображения является изображение глубины, связанное с указанным текстурным изображением, причем текущий блок и контрольный блок занимают идентичные положения соответственно в первом компоненте изображения и во втором компоненте изображения.

7. Считываемый компьютером носитель информации, на котором записана компьютерная программа, содержащая команды для выполнения этапов способа создания бинарной последовательности по любому из пп. 1-3 при выполнении программы процессором.