Область техники, к которой относится изобретение

Настоящее устройство относится к области кодирования и декодирования видеопрограмм и конкретнее, к способу и устройству прогнозирования изображения.

Уровень техники

По мере развития технологий оптоэлектроники и при растущих потребностях в получении цифровых видеопрограмм высокой четкости, объем видеоданных становится все больше и больше. Ограниченность полосы пропускания гетерогенных каналов передачи информации и диверсифицированность разнообразных видео приложений предъявляют еще более высокие требования к эффективности видео кодирования. В этих условия появление таких требований привело к началу разработки стандарта Высокоэффективного видео кодирования (High Efficiency Video Coding (HEVC)).

Базовый принцип сжатия данных посредством видео кодирования состоит в использовании корреляции между пространственной областью, временной областью и кодовым словом для устранения избыточности, насколько это возможно. В настоящее время общеупотребительной является концепция гибридного видео кодирования на блочной основе для осуществления сжатия данных посредством видео кодирования с использованием последовательности этапов, таких как прогнозирование (включая внутрикадровое прогнозирование и межкадровое прогнозирование), преобразование, квантование и энтропийное кодирование. Эта концепция кодирования является достаточно мощной, так что указанная концепция гибридного видео кодирования на блочной основе также используется для стандарта кодирования HEVC.

В самых разнообразных схемах видео кодирования/декодирования технология оценки движения/компенсации движения является ключевой технологией, влияющей на производительность и другие характеристики процессов кодирования/декодирования. Во многих существующих схемах видео кодирования/декодирования предполагается, в общем случае, что движение объекта отвечает требованиям модели поступательного движения и что различные части всего этого объекта совершают одинаковое движение. Существующий алгоритм оценки движения/компенсации движения по существу представляет собой алгоритм компенсации движения на блочной основе, опирающийся на модель поступательного движения. Существующие способы межкадрового прогнозирования представляют собой алгоритмы прогнозирования с компенсацией движения на блочной основе, опирающиеся на модель поступательного движения. Кроме того, сейчас постепенно появляются некоторые модели непоступательного движения (например, модель аффинного движения), предназначенные для представления непоступательного движения.

В механизме прогнозирования на основе модели аффинного движения, векторы движения с низкой точностью для двух контрольных точек в текущем блоке изображения и модель аффинного движения могут быть использованы для прогнозирования величин пикселей в известных технических решениях с целью получения прогнозируемой величины пикселя с низкой погрешностью в составе текущего блока изображения. В процессе прогнозирования величин пикселей необходимо использовать интерполяционный фильтр для осуществления операции интерполяционной фильтрации. Точность полученной прогнозируемой величины пикселя для текущего блока изображения является такой же, как точность векторов движения для двух контрольных точек. Если нужно получить прогнозируемую величину пикселя с более высокой точностью для того же текущего блока изображения, дополнительно требуется применить билинейный интерполяционный фильтр для осуществления вторичной интерполяционной фильтрации применительно к полученной прогнозируемой величине пикселя с низкой точностью для текущего блока изображения.

В известных технических решениях, если векторы движения с низкой точностью для двух контрольных точек и модель аффинного движения используются для получения прогнозируемой величины пикселя с более высокой точностью для текущего блока изображения, необходимо выполнить по меньшей мере две операции интерполяционной фильтрации (при этом для каждой операции интерполяционной фильтрации требуется осуществить относительно большое число промежуточных операций обмена с кэш-памятью и запоминающим устройством). В результате в течение всего процесса прогнозирования полного изображения может потребоваться произвести относительно большое число промежуточных операций обмена с кэш-памятью и запоминающим устройством, а общая вычислительная сложность становится сравнительно высокой.

Раскрытие сущности изобретения

Варианты настоящего изобретения обеспечивают способ и устройство прогнозирования движения для уменьшения количества промежуточных операций обмена с кэш-памятью и запоминающим устройством, которые нужно осуществить в процессе прогнозирования изображения, и снижения вычислительной сложности процесса прогнозирования изображения.

Первый аспект вариантов настоящего изобретения предлагает способ прогнозирования изображения, содержащий этапы, на которых:

определяют векторы движения для W контрольных точек в текущем блоке изображения;

получают, посредством вычислений, векторы движения для P пиксельных единиц в текущем блоке изображения путем использования модели движения и векторов движения для W контрольных точек, где погрешность найденных векторов движения для W контрольных точек составляет 1/n погрешности пикселей, погрешность вектора движения, полученного посредством вычислений и соответствующего каждой из P пиксельных единиц, составляет 1/N погрешности пикселя, указанные P пиксельных единиц являются некоторыми или всеми пиксельными единицами из состава текущего блока изображения, вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц, W, n и N представляют собой целые числа больше 1, N больше n и P представляет собой положительное целое число; и

выполняют интерполяционную фильтрацию пикселя из соответствующей опорной пиксельной единицы, в составе опорного изображения, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q с целью получения прогнозируемой величины пикселя в каждой из P пиксельных единиц, где Q представляет собой целое число больше n.

С учетом первого аспекта, в первом возможном варианте реализации этого первого аспекта, величина N равна предварительно заданному фиксированному числу, а величина Q не больше величины N.

С учетом первого аспекта или первого возможного варианта реализации первого аспекта, во втором возможном варианте реализации этого первого аспекта, горизонтальная составляющая или вертикальная составляющая одного из векторов движения для W контрольных точек усилена в N раз в модели движения с использованием числа N, либо разница составляющих между векторами движения для любых двух из W контрольных точек усилена в N раз в модели движения с использованием числа N.

С учетом первого аспекта, первого возможного варианта реализации первого аспекта или второго возможного варианта реализации первого аспекта, в третьем возможном варианте реализации этого первого аспекта, процедура интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q содержит:

получение, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц; определение на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанным соответствующим пиксельным единицам, где коэффициент фильтрации, используемый интерполяционным фильтром, соответствует фазе; и осуществление интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице.

С учетом третьего возможного варианта реализации первого аспекта, в четвертом возможном варианте реализации этого первого аспекта, процедура получения, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц содержит: получение, посредством вычислений, фазы каждой из P пиксельных единиц по следующей формуле с использованием вектора движения для каждой из этих P пиксельных единиц:

где

M равно log₂N, когда N равно целой степени 2, X' представляет горизонтальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, Y' представляет вертикальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет горизонтальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

С учетом третьего возможного варианта реализации первого аспекта или четвертого возможного варианта реализации первого аспекта, в пятом возможном варианте реализации этого первого аспекта, фаза содержит горизонтальную фазу и вертикальную фазу; а процедура определения, на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанной пиксельной единице, содержит: определение, на основе горизонтальной фазы для каждой пиксельной единицы, горизонтального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице; и определение, на основе вертикальной фазы для каждой пиксельной единицы, вертикального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице, где коэффициент фильтрации, используемый горизонтальным интерполяционным фильтром, соответствует горизонтальной фазе, а коэффициент фильтрации, используемый вертикальным интерполяционным фильтром, соответствует вертикальной фазе.

С учетом пятого возможного варианта реализации первого аспекта, в шестом возможном варианте реализации этого первого аспекта, процедура осуществления интерполяционной фильтрациии пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной пиксельной единице, содержит этапы, на которых:

выполняют горизонтальнуюй интерполяционную фильтрацию пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения результата горизонтальной интерполяционной фильтрации; и выполняют вертикальную интерполяционную фильтрацию результата горизонтальной интерполяционной фильтрации с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения прогнозируемой величины пикселя из состава пиксельной единицы i, где эта пиксельная единица i представляет собой одну из P пиксельных единиц; или

выполняют вертикальную интерполяционную фильтрацию пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы j с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения результата вертикальной интерполяционной фильтрации; и выполняют горизонтальную интерполяционную фильтрацию результата вертикальной интерполяционной фильтрации с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения прогнозируемой величины пикселя из состава пиксельной единицы j, где эта пиксельная единица j представляет собой одну из P пиксельных единиц.

С учетом любого из признаков - первого аспекта или возможных вариантов реализации первого аспекта с первого по шестой, в седьмом возможном варианте реализации этого первого аспекта, модель движения представляет собой модель поступательного движения, модель аффинного движения, модель вращательного движения, модель параболического движения, модель сдвигового движения, модель зуммирующего движения, перспективную модель движения или билинейную модель движения.

С учетом любого из признаков - первого аспекта или возможных вариантов реализации первого аспекта с первого по седьмой, в восьмом возможном варианте реализации этого первого аспекта, модель движения представлена в следующем виде, когда W равно 2:

;

или

,

где

L представляет ширину или высоту текущего блока изображения, и представляют векторы движения, погрешность которых составляет 1/n от погрешности пикселя, для двух контрольных точек, представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

С учетом любого из признаков - первого аспекта, или возможных вариантов реализации первого аспекта с первого по седьмой, в девятом возможном варианте реализации этого первого аспекта, модель движения представлена в следующем виде, когда W равно 3:

; или

,

где

представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, , и представляют векторы движения, погрешности которых составляют 1/n от погрешности пикселя, для трех контрольных точек, w представляет ширину текущего блока изображения, и h представляет высоту текущего блока изображения.

С учетом какого-либо одного из признаков - первого аспекта или возможных вариантов реализации первого аспекта с первого по девятый, в десятом возможном варианте реализации этого первого аспекта, векторы движения для W контрольных точек прогнозируют на основе вектора движения, погрешность которого составляет 1/n от погрешности пикселя, в кодированном блоке изображения или в декодированном блоке изображения, окружающем текущий блок изображения.

С учетом какого-либо одного из признаков - первого аспекта или возможных вариантов реализации первого аспекта с первого по десятый, в одиннадцатом возможном варианте реализации этого первого аспекта, способ прогнозирования изображения применяют к процессу видео кодирования или к процессу видео декодирования.

Второй аспект настоящего изобретения обеспечивает устройство для прогнозирования изображения, содержащее:

первый модуль определения для определения векторов движения для W контрольных точек в текущем блоке изображения;

вычислительный модуль для получения, посредством вычислений, векторов движения для P пиксельных единиц в составе текущего блока изображения с использованием модели движения и векторов движения для этих W контрольных точек, где погрешность найденных векторов движения для W контрольных точек составляет 1/n от погрешности пикселя, погрешность вектора движения, который получают посредством вычислений и который соответствует каждой из P пиксельных единиц составляет 1/N от погрешности пикселя, эти P пиксельных единиц представляют собой некоторые или все пиксельные единицы из состава текущего блока изображения, вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц, W, n и N представляют собой целые числа больше 1, N больше n, и P представляет собой положительное целое число, и

модуль интерполяционной фильтрации для выполнения интерполяционной фильтрации пикселя из соответствующей опорной пиксельной единицы, в составе опорного изображения, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q с целью получения прогнозируемой величины пикселя в каждой из P пиксельных единиц, где Q представляет собой целое число больше n.

С учетом второго аспекта, в первом возможном варианте реализации этого второго аспекта, величина N равна заданному фиксированному числу, а величина Q не больше величины N.

С учетом второго аспекта или первого возможного варианта реализации второго аспекта, во втором возможном варианте реализации этого второго аспекта, горизонтальная составляющая или вертикальная составляющая одного из векторов движения для W контрольных точек усилена в N раз в модели движения с использованием числа N, либо разница составляющих между векторами движения для каких-либо двух из W контрольных точек усилена в N раз в модели движения с использованием числа N.

С учетом второго аспекта, первого возможного варианта реализации второго аспекта или второго возможного варианта реализации второго аспекта, в третьем возможном варианте реализации этого второго аспекта, модуль интерполяционной фильтрации специально конфигурирован для: получения, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц; определения на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанным соответствующим пиксельным единицам, где коэффициент фильтрации, используемый интерполяционным фильтром, соответствует фазе; и осуществления интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице.

С учетом третьего возможного варианта реализации второго аспекта, в четвертом возможном варианте реализации этого второго аспекта, с целью получения, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц модуль интерполяционной фильтрации специально конфигурирован для: получения, посредством вычислений, фазы каждой из P пиксельных единиц по следующей формуле с использованием вектора движения для каждой из этих P пиксельных единиц:

где

M равно log₂N, когда N равно целой степени 2, X' представляет горизонтальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, Y' представляет вертикальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет горизонтальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

С учетом третьего возможного варианта реализации второго аспекта или четвертого возможного варианта реализации второго аспекта, в пятом возможном варианте реализации этого второго аспекта, фаза содержит горизонтальную фазу и вертикальную фазу; а с целью определения, на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице, модуль интерполяционной фильтрации специально конфигурирован для: определения, на основе горизонтальной фазы для каждой пиксельной единицы, горизонтального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице; и определения, на основе вертикальной фазы для каждой пиксельной единицы, вертикального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице, где коэффициент фильтрации, используемый горизонтальным интерполяционным фильтром, соответствует горизонтальной фазе, а коэффициент фильтрации, используемый вертикальным интерполяционным фильтром, соответствует вертикальной фазе.

С учетом пятого возможного варианта реализации второго аспекта, в шестом возможном варианте реализации этого второго аспекта, с целью осуществления интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице, модуль интерполяционной фильтрации специально конфигурирован для: выполнения горизонтальной интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения результата горизонтальной интерполяционной фильтрации; и осуществления вертикальной интерполяционной фильтрации результата горизонтальной интерполяционной фильтрации с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения прогнозируемой величины пикселя из состава пиксельной единицы i, где пиксельная единица i представляет собой какую-либо одну из P пиксельных единиц; или модуль интерполяционной фильтрации специально конфигурирован для: осуществления вертикальной интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы j с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения результата вертикальной интерполяционной фильтрации; и выполнения горизонтальной интерполяционной фильтрации результата вертикальной интерполяционной фильтрации с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения прогнозируемой величины пикселя из состава пиксельной единицы j, где эта пиксельная единица j представляет собой одну из P пиксельных единиц.

С учетом какого-либо одного из признаков - второго аспекта или возможных вариантов реализации второго аспекта с первого по шестой, в седьмом возможном варианте реализации этого второго аспекта, модель движения представляет собой модель поступательного движения, модель аффинного движения, модель вращательного движения, модель зуммирующего движения, модель параболического движения, модель сдвигового движения, перспективную модель движения или билинейную модель движения.

С учетом какого-либо одного из признаков - второго аспекта или возможных вариантов реализации второго аспекта с первого по седьмой, в восьмом возможном варианте реализации этого второго аспекта, модель движения представлена в следующем виде, когда W равно 2:

;

или

,

где

L представляет ширину или высоту текущего блока изображения, и представляют векторы движения, погрешность которых составляет 1/n от погрешности пикселя, для двух контрольных точек, представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

С учетом какого-либо одного из признаков - второго аспекта или возможных вариантов реализации второго аспекта с первого по седьмой, в девятом возможном варианте реализации этого второго аспекта, модель движения представлена в следующем виде, когда W равно 3:

;

или

,

где

представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, , и представляют векторы движения, погрешности которых составляют 1/n от погрешности пикселя, для трех контрольных точек, w представляет ширину текущего блока изображения, и h представляет высоту текущего блока изображения.

С учетом какого-либо одного из признаков - второго аспекта или возможных вариантов реализации второго аспекта с первого по девятый, в десятом возможном варианте реализации этого второго аспекта, векторы движения для W контрольных точек прогнозируют на основе вектора движения, погрешность которого составляет 1/n от погрешности пикселя, в кодированном блоке изображения или в декодированном блоке изображения, окружающем текущий блок изображения.

С учетом какого-либо одного из признаков - второго аспекта или возможных вариантов реализации второго аспекта с первого по десятый, в одиннадцатом возможном варианте реализации этого второго аспекта, указанное устройство прогнозирования изображения применимо к устройству для видео кодирования или указанное устройство прогнозирования изображения применимо к устройству видео декодирования.

Один из вариантов настоящего изобретения дополнительно обеспечивает устройство прогнозирования изображения, содержащее процессор и запоминающее устройство. Указанное устройство прогнозирования изображения может дополнительно содержать, например, сетевой интерфейс. Запоминающее устройство конфигурировано для сохранения команд, процессор конфигурирован для выполнения этих команд, а сетевой интерфейс конфигурирован для связи, под управлением процессора, с другими устройствами.

Например, процессор конфигурирован для: определения векторов движения для W контрольных точек в составе текущего блока изображения; получения, посредством вычислений, векторов движения для P пиксельных единиц в составе текущего блока изображения с использованием модели движения и векторов движения для указанных W контрольных точек, где погрешность найденных векторов движения для W контрольных точек составляет 1/n от погрешности пикселя, погрешность вектора движения, который получают посредством вычислений и который соответствует каждой из P пиксельных единиц, составляет 1/N от погрешности пикселя, эти P пиксельных единиц представляют собой некоторые или все пиксельные единицы из состава текущего блока изображения, вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц, W, n и N являются целыми числами больше 1, N больше n, и P представляет собой положительное целое число; и для интерполяционной фильтрации пикселя из соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q, для получения прогнозируемой величины пикселя из каждой из P пиксельных единиц, где Q представляет собой целое число больше n.

Кроме того, один из вариантов настоящего изобретения далее предлагает читаемый компьютером носитель данных (или просто компьютерный носитель данных). Это компьютерный носитель данных сохраняет записанный на нем программный код для прогнозирования изображений. Этот программный код содержит команды для осуществления способа прогнозирования изображения.

Из описания способа прогнозирования изображения, предлагаемого различными вариантами настоящего изобретения, можно понять, что вектор движения, погрешность которого составляет 1/N от погрешности пикселя, для каждой пиксельной единицы в составе текущего блока изображения получают посредством вычислений с использованием модели движения и векторов движения, погрешность которого составляет 1/n от погрешности пикселя, для указанных W контрольных точек, где N больше n. Другими словами, точность вектора движения, который получают посредством вычислений и который соответствует каждой из пиксельных единиц в составе текущего блока изображения, выше точности найденных векторов движения для W контрольных точек. Вектор движения с более высокой точностью получают в первую очередь. Потом обладающий более высокой точностью вектор движения для каждой пиксельной единицы в составе текущего блока изображения используют для определения соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы в составе текущего блока изображения, и осуществляют интерполяционную фильтрацию пикселя из соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы в составе текущего блока изображения с использованием интерполяционного фильтра с фазой Q (Q больше n), с целью получения прогнозируемой величины пикселя для каждой пиксельной единицы в составе текущего блока изображения. Можно также понять, что изложенный выше способ помогает уменьшить число раз, когда нужно будет применять интерполяционную фильтрацию для получения, посредством прогнозирования, прогнозируемой величины пикселя с более высокой точностью в составе текущего блока изображения (например, может не потребоваться осуществлять интерполяционную фильтрацию с меньшей точностью для получения прогнозируемой величины пикселя, обладающей меньшей точностью), что позволяет уменьшить число промежуточных операций с кэш-памятью и запоминающим устройством, необходимых для осуществления интерполяционной фильтрации в процессе прогнозирования изображения, и снизить вычислительную сложность процесса прогнозирования изображений.

Краткое описание чертежей

Для более ясного описания технических решений, предлагаемых вариантами настоящего изобретения, далее кратко охарактеризованы прилагаемые чертежи, необходимые для понимания вариантов изобретения. Очевидно, что прилагаемые чертежи в последующем описании показывают всего лишь некоторые варианты настоящего изобретения, однако даже рядовые специалисты в рассматриваемой области все равно могут на основе прилагаемых чертежей разработать другие чертежи без особых творческих усилий.

Фиг. 1-a и Фиг. 1-b представляют схематичные диаграммы нескольких типов разбиения блока изображения согласно одному из вариантов настоящего изобретения;

Фиг. 2-a представляет упрощенную логическую схему способа прогнозирования изображения согласно одному из вариантов настоящего изобретения;

Фиг. 2-b представляет логическую схему процедуры прогнозирования векторов движения для контрольных точек согласно одному из вариантов настоящего изобретения;

Фиг. 3-a представляет упрощенную логическую схему другого способа прогнозирования изображения согласно одному из вариантов настоящего изобретения;

Фиг. 3-b представляет схематичную диаграмму процедуры определения местонахождения целого пикселя и процедуры обнаружения частичного пикселя (субпикселя) согласно одному из вариантов настоящего изобретения;

Фиг. 4 представляет упрощенную логическую схему другого способа прогнозирования изображения согласно одному из вариантов настоящего изобретения;

Фиг. 5 представляет упрощенную схему устройства прогнозирования изображения согласно одному из вариантов настоящего изобретения; и

Фиг. 6 представляет упрощенную схему другого устройства прогнозирования изображения согласно одному из вариантов настоящего изобретения.

Осуществление изобретения

Варианты настоящего изобретения предлагают способ и устройство для прогнозирования изображения, позволяющие уменьшить число промежуточных операций с кэш-памятью и с запоминающим устройством, необходимых для интерполяционной фильтрации в процессе прогнозирования изображения, и снизить вычислительную сложность процесса прогнозирования изображения.

В настоящем описании, Формуле изобретения и на прилагаемых чертежах термины «первый», «второй», «третий» и т.д. предназначены только для различения разных объектов, но не для указания какого-то конкретного порядка этих объектов. Кроме того, термины «включающий (в себя)», «содержащий» и любые другие варианты этих терминов предназначены для обозначения неисключительного включения. Например, процесс, способ, система, продукт или устройство, содержащие ряд этапов или модулей, не ограничиваются приведенным списком этапов или модулей, но, в качестве опций, могут дополнительно содержать другие, не указанные в списке этапы или модули, либо, в качестве опции, могут также содержать другие, естественные этапы или модули такого процесса, способа, системы, продукта или устройства.

Далее, будут сначала коротко описаны некоторые концепции, которые могут относиться к вариантам настоящего изобретения.

Согласно большинству концепций кодирования видео последовательность содержит ряд изображений (кадров), каждое такое изображение разбивают на срезы, а срез, в свою очередь, разбивают на блоки. Процедура ввидео кодирования осуществляется на основе единиц блоков, а само кодирование может быть начато с верхнего левого угла изображения и затем продолжено строка за строкой слева направо и сверху вниз. В некоторых новых стандартах видео кодирования концепция блоков еще более расширена. В стандарте H.264 описаны макроблоки (macroblock (MB)), причем такой макроблок MB может быть далее разделен на множество ячеек прогнозирования, которые могут быть использованы для прогнозирующего кодирования. В стандарте HEVC используются базовые концепции единиц кодирования (coding unit (CU)), единиц прогнозирования (prediction unit (PU)), единиц преобразования (transform unit (TU)) и другие подобные концепции. Единицы нескольких типов получают путем разбиения функций, их описывают с использованием вновь предлагаемой структуры на основе дерева. Например, единица CU может быть разделена на единицы CU меньше размера в соответствии со структурой дерева квадрантов, а единицы CU меньшего размера можно разбивать далее, так что в результате образуется структура дерева квадрантов. Структуры деревьев для единиц PU и единиц TU аналогичны дереву для единиц CU. Такие единицы CU, единицы PU и единицы TU все, по существу, принадлежат концепции блоков. Аналогично макроблоку MB или кодируемому блоку единица CU является базовой единицей для разбиения и кодирования изображения. Единица PU является базовой единицей для прогнозирующего кодирования и может соответствовать ячейке прогнозирования. В соответствии со способом разбиения единицу CU далее разбивают на несколько единиц PU. Единица TU является базовой единицей для преобразования прогнозируемого остатка и может соответствовать блоку преобразования. Согласно стандарту высокоэффективного видео кодирования (HEVC) единица CU, единица PU и единица TU могут коллективно называться блоком дерева кодирования (coding tree block (CTB)) и так далее.

В стандарте HEVC единицы кодирования могут иметь четыре уровня по размерам: 64 x 64, 32 x 32, 16 x 16 и 8 x 8. Единица кодирования каждого уровня может быть разбита на единицы прогнозирования разного размера в соответствии со способами внутрикадрового прогнозирования и межкадрового прогнозирования. Например, как показано на Фиг. 1-a и Фиг. 1-b, на Фиг. 1-a представлен способ разбиения единиц прогнозирования, соответствующий внутрикадровому прогнозированию, а на Фиг. 1-b представлены несколько способов разбиений единиц прогнозирования, соответствующих межкадровому прогнозированию.

В процессе разработки и развития технологии видео кодирования экспертами в области видео кодирования были предложены и очерчены различные методы использования пространственно-временной корреляции между соседними кодированными/декодированными блоками для повышения эффективности кодирования. Согласно предложенному в стандарте H.264 способу Усовершенствованного видео кодирования (advanced video coding (AVC)) мощными средствами повышения эффективности кодирования являются режим пропуска и прямой режим. В случае низкой скорости передачи данных количество блоков, использующих эти два режима кодирования, составляет более половины общего количества блоков в полной последовательности кодирования. Когда используется режим пропуска, вектор движения для текущего блока изображения может быть получен посредством вывода с использованием вектора движения окружения в предположении, что тег режима пропуска передают в потоке битов данных, а величину опорного блока непосредственно используют в качестве реконструированной величины текущего блока изображения согласно вектору движения. В качестве альтернативы, когда используется прямой режим, устройство кодирования может получить, посредством вывода, вектор движения для текущего блока изображения с использованием вектора движения окружения, непосредственно используя величину опорного блока в качестве прогнозируемой величины текущего блока изображения согласно вектору движения, и осуществляя прогнозирующее кодирование текущего блока изображения на стороне кодирующего устройства с использованием прогнозируемой величины. В настоящее время в самой последней версии стандарта высокоэффективного видео кодирования (HEVC) используются некоторые новые средства кодирования для дальнейшего улучшения характеристик видео кодирования. Двумя важными средствами межкадрового прогнозирования являются режим объединенного кодирования и режим усовершенствованного прогнозирования вектора движения (advanced motion vector prediction (AMVP)). В режиме объединенного кодирования информацию движения (включая вектор движения (motion vector (MV)), направление прогнозирования, индекс опорного кадра и т.п.) для кодированного блока, окружающего текущий кодируемый блок, используют для формирования набора-кандидата информации движения. Набор-кандидат информации движения, которому соответствует наивысшая эффективность кодирования, может быть выбран путем сравнения в качестве информации движения для текущего кодируемого блока. Прогнозирующее кодирование осуществляется для текущего кодируемого блока с использованием прогнозируемой величины, найденной в опорном кадре, для текущего кодирующего блока. Кроме того, величина индекса, указывающего конкретный окружающий кодированный блок, информацию движения для которого выбирают, может быть записана в потоке битов данных. Когда применяется режим усовершенствованного прогнозирования вектора движения, тогда вектор движения окружающего кодированного блока используется в качестве прогнозируемой величины вектора движения для текущего кодируемого блока, вектор движения с наивысшей эффективностью кодирования может быть выбран для прогнозирования вектора движения для текущего кодируемого блока, и величина индекса, указывающего выбор конкретного окружающего вектора движения, может быть записана в потоке битов видеоданных.

Дальнейшее продолжает описание технических решений вариантов настоящего изобретения.

Далее, сначала описан способ прогнозирования изображения, предлагаемый вариантами настоящего изобретения. Способ прогнозирования изображения, предлагаемый вариантами настоящего изобретения, осуществляется устройством для видео кодирования или устройством для видео декодирования. Такое устройство видео кодирования или такое устройство видео декодирования может представлять собой какое-либо устройство, которое должно передавать на выход или сохранять видео программы, например, компьютер ноутбук, планшетный компьютер, персональный компьютер, мобильный телефон, видео сервер или другое устройство.

В одном из вариантов способа прогнозирования изображения, предлагаемого в настоящем изобретении, этот способ прогнозирования изображения может содержать определение векторов движения для W контрольных точек в текущем блоке изображения; получение, посредством вычислений, векторов движения для P пиксельных единиц в текущем блоке изображения путем использования модели движения и векторов движения для W контрольных точек, где погрешность найденных векторов движения для W контрольных точек составляет 1/n погрешности пикселей, погрешность вектора движения, полученного посредством вычислений и соответствующего каждой из P пиксельных единиц, составляет 1/N погрешности пикселя, указанные P пиксельных единиц являются некоторыми или всеми пиксельными единицами из состава текущего блока изображения, вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц, W, n и N представляют собой целые числа больше 1, N больше n и P является положительным целым числом; и выполнение интерполяционной фильтрации пикселя из соответствующей опорной пиксельной единицы, в составе опорного изображения, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q с целью получения прогнозируемой величины пикселя в каждой из P пиксельных единиц, где Q представляет собой целое число больше n.

Фиг. 2-a представляет упрощенную логическую схему способа прогнозирования изображения согласно одному из вариантов настоящего изобретения. Как показано в примере, представленном на Фиг. 2-a, способ прогнозирования изображения, предлагаемый в этом варианте настоящего изобретения, может содержать следующие этапы.

201. Определение векторов движения для W контрольных точек в составе текущего блока изображения.

202. Получение, посредством вычислений, векторов движения для P пиксельных единиц в составе текущего блока изображения с использованием модели движения и векторов движения для указанных W контрольных точек.

Эти P пиксельных единиц представляют собой некоторые или все пиксельные единицы из состава текущего блока изображения.

Вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц. Поэтому вектор движения для каждой из указанных P пиксельных единиц может быть использован для определения соответствующей опорной пиксельной единицы, в опорном изображении, для соответствующей пиксельной единицы.

Погрешность найденных векторов движения для W контрольных точек составляет 1/n от погрешности пикселя.

Погрешность вектора движения, который получают посредством вычислений и который соответствует каждой из P пиксельных единиц составляет 1/N от погрешности пикселя.

Здесь W, n и N представляют собой целые числа больше 1.

Число N больше n. P представляет собой положительное целое число.

Поскольку N больше n, точность вектора движения, который получен посредством вычислений для каждой из указанных P пиксельных единиц, выше точности найденных векторов движения для W контрольных точек. Иными словами, в результате получают обладающие более высокой точностью векторы движения для P пиксельных единиц из состава текущего блока изображения.

В некоторых возможных вариантах реализации настоящего изобретения, векторы движения для W контрольных точек прогнозируют на основе вектора движения, погрешность которого составляет 1/n от погрешности пикселя, в кодированном блоке изображения или в декодированном блоке изображения, окружающем текущий блок изображения.

В примере, показанном на Фиг. 2-b, совокупность указанных W контрольных точек содержит контрольную точку LT, контрольную точку RT и контрольную точку LB. Вектор движения для контрольной точки LT можно прогнозировать на основе векторов движения, погрешность которых составляет 1/n от погрешности пикселя, для блоков A, B, и C изображения. Вектор движения для контрольной точки RT можно прогнозировать на основе векторов движения, погрешность которых составляет 1/n от погрешности пикселя, для блоков D и E изображения. Вектор движения для контрольной точки LB можно прогнозировать на основе векторов движения, погрешность которых составляет 1/n от погрешности пикселя, для блоков F и G изображения.

В некоторых возможных вариантах реализации настоящего изобретения, когда векторы движения для W контрольных точек основаны на прогнозируемых величинах, где погрешность этих прогнозируемых величин также составляет 1/n от погрешности пикселя, а разности между векторами движения, погрешность которых составляет 1/n от погрешности пикселя, для контрольных точек и соответствующие прогнозируемые величины могут быть записаны в потоке битов данных.

В некоторых возможных вариантах реализации настоящего изобретения указанная модель движения может представлять собой, например, модель поступательного движения, модель аффинного движения, модель вращательного движения, модель параболического движения, модель сдвигового движения, модель зуммирующего движения, перспективную модель движения или билинейную модель движения.

203. Выполнение интерполяционной фильтрации применительно к пикселю из состава опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q для получения прогнозируемой величины пикселя для каждой из P пиксельных единиц.

Здесь Q представляет собой целое число больше n.

В некоторых возможных вариантах реализации настоящего изобретения, величина N может представлять собой предварительно заданную фиксированную величину, а Q может быть меньше N. Когда величина N может представлять собой предварительно заданную фиксированную величину, это указывает, что точность векторов движения, полученных посредством вычислений с использованием модели движения и векторов движения для указанных W контрольных точек, для P пиксельных единиц в составе текущего блока изображения не обязательно связана с размером текущего блока изображения. Другими словами, например, на основе решения для этого варианта, прогнозируемая величина пикселя с предварительно заданной фиксированной точностью может быть найдена без промежуточной процедуры для получения прогнозируемой величины пикселя с меньшей погрешностью путем осуществления интерполяционной фильтрации с меньшей погрешностью.

Например, число W может быть равно 2, 3, 4, 5, 6, 8 или другой величине.

Например, число P может быть равно 1, 2, 3, 4, 5, 6, 8, 10, 15, 16, 21, 32, 64 или другой величине.

Например, число Q может быть равно 128, 9, 18, 24, 256, 8, 10, 15, 16, 21, 32, 64 или другой величине.

Например, число N может быть равно 128, 9, 18, 24, 256, 8, 10, 15, 16, 21, 32, 64 или другой величине.

Например, число n может быть равно 8, 2, 4 или другой величине.

В некоторых возможных вариантах реализации настоящего изобретения, число N может быть равно целой степени 2, или конечно же, число N может быть равно другому положительному целому числу.

Пиксельная единица в различных вариантах настоящего изобретения может содержать один или несколько пикселей. Например, пиксельная единица может представлять собой блок пикселей размером 2 x 2, блок пикселей размером 2 x 1, блок пикселей размером 2 x 1, блок пикселей размером 4 x 4 или блок пикселей размером 4 x 2.

Контрольная точка в различных вариантах настоящего изобретения может содержать один или более пикселей. Например, контрольная точка может представлять собой блок пикселей размером 2 x 2, блок пикселей размером 2 x 1, блок пикселей размером 2 x 1, блок пикселей размером 4 x 4 или блок пикселей размером 4 x 2.

Из предшествующего можно понять, что согласно способу прогнозирования изображения, предлагаемому в этом варианте, вектор движения, погрешность которого составляет 1/N от погрешности пикселя, для каждой пиксельной единицы в составе текущего блока изображения, получают посредством вычислений с использованием модели движения и векторов движения, погрешность которых составляет 1/n от погрешности пикселя, для W контрольных точек, где N больше n. Другими словами, точность вектора движения, который получают посредством вычислений для каждой пиксельной единицы в составе текущего блока изображения выше точности найденных векторов движения для указанных W контрольных точек. Сначала получают вектор движения с более высокой точностью. Потом полученный вектор движения, обладающий более высокой точностью, для каждой пиксельной единицы из состава текущего блока изображения используют для определения соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы в составе текущего блока изображения, и осуществляют интерполяционную фильтрацию пикселя из соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы из состава текущего блока изображения с использованием интерполяционного фильтра с фазой Q (Q больше n), для получения прогнозируемой величины пикселя для каждой пиксельной единицы из состава текущего блока изображения. Можно понимать, что рассмотренный выше способ помогает уменьшить число операций интерполяционной фильтрации, требуемое для получения, посредством прогнозирования, прогнозируемой величины пикселя с более высокой точностью из состава текущего блока изображения (например, промежуточные операции для получения прогнозируемой величины пикселя с меньшей точностью путем осуществления интерполяционной фильтрации с более низкой точностью могут не потребоваться), с целью уменьшения количества промежуточных операций обмена с кэш-памятью и запоминающим устройством, которые нужны для интерполяционной фильтрации в процессе прогнозирования изображений, и уменьшить вычислительную сложность процесса прогнозирования изображения.

В некоторых возможных вариантах реализации настоящего изобретения, горизонтальная составляющая или вертикальная составляющая одного из векторов движения для W контрольных точек усилена в N раз в модели движения с использованием числа N, либо разница составляющих между векторами движения для каких-либо двух из W контрольных точек усилена в N раз в модели движения с использованием числа N.

Например, в некоторых возможных вариантах реализации настоящего изобретения, модель движения может быть представлена следующим образом, когда W равно 2:

;

или

,

где

L представляет ширину или высоту текущего блока изображения, и представляют векторы движения, погрешность которых составляет 1/n от погрешности пикселя, для двух контрольных точек, представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

В другом примере, в некоторых возможных вариантах реализации настоящего изобретения, модель движения представлена в следующем виде, когда W равно 3:

;

или

,

где

представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, , и представляют векторы движения, погрешности которых составляют 1/n от погрешности пикселя, для трех контрольных точек, w представляет ширину текущего блока изображения, и h представляет высоту текущего блока изображения.

Приведенные выше примеры рассмотрены с использованием модели аффинного движения. Когда используется модель поступательного движения, модель вращательного движения, модель сдвигового движения, модель зуммирующего движения, перспективная модель движения, модель параболического движения, билинейная модель движения или другая подобная модель, ссылки могут быть сделаны на приведенные выше примеры. Подробности здесь повторно описаны не будут.

Например, общая форма представления модели движения может иметь следующий вид:

, где

погрешность вектора движения для контрольной точки составляет 1/n от погрешности пикселя, и для уравновешивания эффектов и битовых издержек величина n может быть задана равной 4; число N может представлять предварительно заданную фазу фильтра, а представляет величины координат какой-либо пиксельной единицы в составе блока изображения; и

представляет горизонтальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе текущего блока изображения, и представляет вертикальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе блока изображения.

В качестве опции, в некоторых возможных вариантах реализации настоящего изобретения, процедура определения соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц может содержать: получение, посредством вычислений, местонахождения целых пикселей для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц; и поиск, с использованием вектора движения для каждой из P пиксельных единиц, в опорном изображении для обнаружения опорной пиксельной единицы, соответствующей местонахождению целых пикселей в каждой из P пиксельных единиц, где опорная пиксельная единица, которая соответствует местонахождению целого пикселя в каждой из P пиксельных единиц и которая найдена в опорном изображении, является опорной пиксельной единицей, в опорном изображении, для каждой из P пиксельных единиц.

В частности, например, местонахождение целого пикселя в составе пиксельной единицы i может быть получено посредством вычислений с использованием вектора движения для пиксельной единицы i из совокупности P пиксельных единиц, и можно произвести поиск в опорном изображении с использованием вектора движения для пиксельной единицы i, с целью обнаружения опорной пиксельной единицы, соответствующей местонахождению целого пикселя в пиксельной единице i, где опорная пиксельная единица, которая соответствует местонахождению целого пикселя в пиксельной единице i и которая найдена в опорном изображении, является опорной пиксельной единицей, в опорном изображении, для пиксельной единицы i. Эта пиксельная единица i может быть одной из указанных P пиксельных единиц. Например, соответствующая опорная пиксельная единица, в опорном изображении, для каждой из P пиксельных единиц может быть определена способом, аналогичным способу определения опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i.

В некоторых возможных вариантах реализации настоящего изобретения, процедура получения, посредством вычислений, местонахождения целого пикселя для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц содержит:

получение, посредством вычислений, местонахождения целого пикселя для каждой из P пиксельных единиц согласно следующей формуле с использованием вектора движения для каждой из P пиксельных единиц:

где

M равно log₂N, когда N равно целой степени 2, (xInt, yInt) представляет координаты местонахождения целого пикселя в составе пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет горизонтальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе текущего блока изображения, и представляет вертикальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе текущего блока изображения.

В некоторых возможных вариантах реализации настоящего изобретения, процедура выполнения интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q содержит:

получение, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц; определение на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанным соответствующим пиксельным единицам, где коэффициент фильтрации, используемый интерполяционным фильтром, соответствует фазе; и осуществление интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице.

В частности, например, фаза пиксельной единицы i может быть получена посредством вычислений с использованием вектора движения для пиксельной единицы i из состава P пиксельных единиц; интерполяционный фильтр с фазой Q, которая соответствует пиксельной единице i, может быть определен на основе фазы пиксельной единицы i, где коэффициент фильтрации, используемый интерполяционным фильтром, соответствует фазе; и интерполяционная фильтрация может быть осуществлена для пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i с использованием найденного интерполяционного фильтра с фазой Q, соответствующей этой пиксельной единице i. Рассматриваемая пиксельная единица i может быть какой-либо одной из P пиксельных единиц. Например, интерполяционная фильтрация может быть осуществлена для каждой из P пиксельных единиц с применением способа, аналогичного выполнению интерполяционной фильтрации для пиксельной единице i.

В некоторых возможных вариантах реализации настоящего изобретения процедура получения, посредством вычислений, фазы каждой из P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц содержит: получение, посредством вычислений, фазы каждой из P пиксельных единиц по следующей формуле с использованием вектора движения для каждой из этих P пиксельных единиц:

где

M равно log₂N, когда N равно целой степени 2, X' представляет горизонтальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, Y' представляет вертикальную фазу пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет горизонтальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, имеющего погрешность 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

В качестве опции, в некоторых возможных вариантах реализации настоящего изобретения, фаза содержит горизонтальную фазу и вертикальную фазу; а процедура определения, на основе фазы каждой пиксельной единицы, интерполяционного фильтра с фазой Q, которая соответствует указанной пиксельной единице, содержит: определение, на основе горизонтальной фазы для каждой пиксельной единицы, горизонтального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице; и определение, на основе вертикальной фазы для каждой пиксельной единицы, вертикального интерполяционного фильтра с фазой Q, которая соответствует указанной соответствующей пиксельной единице, где коэффициент фильтрации, используемый горизонтальным интерполяционным фильтром, соответствует горизонтальной фазе, а коэффициент фильтрации, используемый вертикальным интерполяционным фильтром, соответствует вертикальной фазе.

В частности, например, горизонтальный интерполяционный фильтр с фазой Q, которая соответствует пиксельной единице i, может быть определен на основе горизонтальной фазы этой пиксельной единицы i, и вертикальный интерполяционный фильтр с фазой Q, которая соответствует пиксельной единице i, может быть определен на основе вертикальной фазы этой пиксельной единицы i, где коэффициент фильтрации, используемый горизонтальным интерполяционным фильтром, соответствует горизонтальной фазе пиксельной единицы i, а коэффициент фильтрации, используемый вертикальным интерполяционным фильтром, соответствует вертикальной фазе этой пиксельной единицы i. Рассматриваемая пиксельная единица i может представлять собой какую-либо одну из указанных P пиксельных единиц. Например, интерполяционный фильтр с фазой Q, соответствующий каждой из этих P пиксельных единиц, может быть определен способом, аналогичным тому, который был использован для определения интерполяционного фильтра с фазой Q, соответствующего пиксельной единице i.

В качестве опции, в некоторых возможных вариантах реализации настоящего изобретения, процедура интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой пиксельной единицы с использованием найденного интерполяционного фильтра с фазой Q, которая соответствует указанной пиксельной единице, содержит:

выполнение горизонтальной интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения результата горизонтальной интерполяционной фильтрации; и выполнение вертикальной интерполяционной фильтрации результата горизонтальной интерполяционной фильтрации с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице i, для получения прогнозируемой величины пикселя из состава пиксельной единицы i, где пиксельная единица i представляет собой какую-либо одну из P пиксельных единиц; или

выполнение вертикальной интерполяционной фильтрации пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для пиксельной единицы j с использованием найденного вертикального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения результата вертикальной интерполяционной фильтрации; и выполнения горизонтальной интерполяционной фильтрации результата вертикальной интерполяционной фильтрации с использованием найденного горизонтального интерполяционного фильтра с фазой Q, которая соответствует пиксельной единице j, для получения прогнозируемой величины пикселя из состава пиксельной единицы j, где эта пиксельная единица j представляет собой одну из P пиксельных единиц.

Кроме того, если пиксельная единица имеет только одну фазу (иными словами, имеет только горизонтальную фазу или вертикальную фазу), необходимо выполнить интерполяционную фильтрацию пикселя опорной пиксельной единицы для рассматриваемой пиксельной единицы только один раз для получения прогнозируемой величины пикселя для этой пиксельной единицы.

В качестве опции, в некоторых возможных вариантах реализации настоящего изобретения, процедура определения векторов движения для W контрольных точек в составе текущего блока изображения содержит:

определение указанных W контрольных точек в составе текущего блока изображения и определение набора-кандидата единиц информации движения, соответствующего каждой из этих W контрольных точек, где набор-кандидат единиц информации движения, соответствующий каждой контрольной точке, содержит по меньшей мере одну единицу-кандидата информации движения;

определение набора e комбинированных единиц информации движения, содержащего W единиц информации движения, где каждую единицу информации движения в составе набора e комбинированных единиц информации движения выбирают по меньшей мере из некоторых единиц информации движения, входящих в набор-кандидат единиц информации движения, соответствующий каждой из W контрольных точек, и каждая комбинированная единица информации движения в составе набора e комбинированных единиц информации движения содержит вектор движения; и

выполнение прогнозирования или оценки движения для W векторов движения из состава набора e комбинированных единиц информации движения для получения векторов движения для указанных W контрольных точек или использование W векторов движения, входящих в состав набора e комбинированных единиц информации движения в качестве векторов движения для указанных W контрольных точек.

В некоторых возможных вариантах реализации настоящего изобретения, погрешность каждого вектора движения из состава набора-кандидата единиц информации движения может составлять 1/n от погрешности пикселя.

Рассматриваемый способ прогнозирования изображения может быть применен к процессу видео кодирования, или этот способ прогнозирования изображения может быть применен к процессу видео декодирования.

Для лучшего понимания технических решений согласно вариантам настоящего изобретения далее предложены описания с точки зрения стороны кодирования и стороны декодирования с использованием примеров.

В дальнейшем сначала будет описано техническое решение с точки зрения стороны кодирования.

На Фиг. 3-a предложена упрощенная логическая схема другого способа прогнозирования изображения согласно другим вариантам настоящего изобретения. В примере, показанном на Фиг. 3-a, представлен другой способ прогнозирования изображения, предлагаемый другим вариантом настоящего изобретения, где этот способ может содержать следующие этапы.

301. Устройство видео кодирования определяет W контрольных точек в составе текущего блока изображения.

302. Устройство видео кодирования определяет векторы движения для найденных W контрольных точек.

Процедура определения, посредством устройства видео кодирования, векторов движения для W контрольных точек может содержать: определение указанных W контрольных точек в составе текущего блока изображения и определение набора-кандидата единиц информации движения, соответствующего каждой из этих W контрольных точек, где набор-кандидат единиц информации движения, соответствующий каждой контрольной точке, содержит по меньшей мере одну единицу-кандидата информации движения; определение набора e комбинированных единиц информации движения, содержащего W единиц информации движения, где каждую единицу информации движения в составе набора e комбинированных единиц информации движения выбирают по меньшей мере из некоторых единиц информации движения, входящих в набор-кандидат единиц информации движения, соответствующий каждой из W контрольных точек, и каждая комбинированная единица информации движения в составе набора e комбинированных единиц информации движения содержит вектор движения; и выполнение прогнозирования или оценки движения для W векторов движения из состава набора e комбинированных единиц информации движения для получения векторов движения для указанных W контрольных точек или использование W векторов движения, входящих в состав набора e комбинированных единиц информации движения в качестве векторов движения для указанных W контрольных точек.

В некоторых возможных вариантах реализации настоящего изобретения, погрешность каждого вектора движения из состава набора-кандидата единиц информации движения может составлять 1/n от погрешности пикселя.

303. Устройство видео кодирования получает, посредством вычислений, векторы движения для P пиксельных единиц из состава текущего блока изображения с использованием модели движения и векторов движения для W контрольных точек.

Здесь P представляет собой положительное целое число, и W и N являются целыми числами больше 1.

Эти P пиксельных единиц представляют собой некоторые или все пиксельные единицы из состава текущего блока изображения.

Вектор движения для каждой из этих P пиксельных единиц используется для определения соответствующей опорной пиксельной единицы в опорном изображении из соответствующих пиксельных единиц. Поэтому вектор движения для каждой из P пиксельных единиц может быть использован для определения соответствующей опорной пиксельной единицы, в опорном изображении, для соответствующей пиксельной единицы.

Погрешность найденных векторов движения для W контрольных точек составляет 1/n от погрешности пикселя.

Погрешность вектора движения, который получают посредством вычислений и который соответствует каждой из P пиксельных единиц, составляет 1/N от погрешности пикселя.

Здесь W, n и N представляют собой целые числа больше 1.

Здесь N больше n. P представляет собой положительное целое число.

Поскольку N больше n, точность вектора движения, который получают посредством вычислений и который соответствует каждой из P пиксельных единиц, выше точности найденных векторов движения для рассматриваемых W контрольных точек. Иными словами, получают обладающие более высокой точностью векторы движения для P пиксельных единиц из состава текущего блока изображения.

В некоторых возможных вариантах реализации настоящего изобретения, векторы движения для W контрольных точек прогнозируют на основе вектора движения, погрешность которого составляет 1/n от погрешности пикселя, в кодированном блоке изображения или в декодированном блоке изображения, окружающем текущий блок изображения.

В некоторых возможных вариантах реализации настоящего изобретения, когда векторы движения для W контрольных точек основаны на прогнозируемых величинах, где погрешность этих прогнозируемых величин также составляет 1/n от погрешности пикселя, а разности между векторами движения, погрешность которых составляет 1/n от погрешности пикселя, для контрольных точек и соответствующие прогнозируемые величины могут быть записаны в потоке битов данных. Соответственно, векторы движения, погрешность которых составляет 1/n от погрешности пикселя, для W контрольных точек могут быть получены, посредством прогнозирования, на декодирующей стороне с использованием прогнозируемых разностей между W векторами движения и прогнозируемым вектором движения и с использованием вектора движения, погрешность которого составляет 1/n от погрешности пикселя, для декодированного блока изображения, окружающего текущий блок изображения, где прогнозируемые разности получают из потока битов данных.

В некоторых возможных вариантах реализации настоящего изобретения такая модель движения может представлять собой, например, модель поступательного движения, модель аффинного движения, модель вращательного движения, модель параболического движения, модель сдвигового движения, модель зуммирующего движения, перспективную модель движения или билинейную модель движения.

Например, в некоторых возможных вариантах реализации настоящего изобретения, модель движения может быть представлена следующим образом, когда W равно 2:

; или

, где

L представляет ширину или высоту текущего блока изображения, и представляют векторы движения, погрешность которых составляет 1/n от погрешности пикселя, для двух контрольных точек, представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, и представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения.

В другом примере, в некоторых возможных вариантах реализации настоящего изобретения, модель движения представлена в следующем виде, когда W равно 3:

; или

, где

представляет горизонтальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет вертикальную составляющую вектора движения, погрешность которой составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в текущем блоке изображения, , и представляют векторы движения, погрешности которых составляют 1/n от погрешности пикселя, для трех контрольных точек, w представляет ширину текущего блока изображения, и h представляет высоту текущего блока изображения.

Приведенные выше примеры рассмотрены с использованием модели аффинного движения. Когда используется модель поступательного движения, модель вращательного движения, модель сдвигового движения, модель зуммирующего движения, перспективная модель движения, модель параболического движения, билинейная модель движения или другая подобная модель, ссылки могут быть сделаны на приведенные выше примеры. Подробности здесь повторно описаны не будут.

304. Устройство видео кодирования определяет соответствующую опорную пиксельную единицу, в опорном изображении, для каждой из указанных P пиксельных единиц с использованием вектора движения для каждой из этих P пиксельных единиц.

В качестве опции, в некоторых возможных вариантах реализации настоящего изобретения, процедура определения соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц может содержать: получение, посредством вычислений, местонахождения целых пикселей для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц; и поиск, с использованием вектора движения для каждой из P пиксельных единиц, в опорном изображении для обнаружения опорной пиксельной единицы, соответствующей местонахождению целых пикселей в каждой из P пиксельных единиц, где опорная пиксельная единица, которая соответствует местонахождению целого пикселя в каждой из P пиксельных единиц и которая найдена в опорном изображении, является опорной пиксельной единицей, в опорном изображении, для каждой из P пиксельных единиц.

В частности, например, местонахождение целого пикселя в составе пиксельной единицы i может быть получено посредством вычислений с использованием вектора движения для пиксельной единицы i из совокупности P пиксельных единиц, и можно произвести поиск в опорном изображении с использованием вектора движения для пиксельной единицы i, с целью обнаружения опорной пиксельной единицы, соответствующей местонахождению целого пикселя в пиксельной единице i, где опорная пиксельная единица, которая соответствует местонахождению целого пикселя в пиксельной единице i и которая найдена в опорном изображении, является опорной пиксельной единицей, в опорном изображении, для пиксельной единицы i. Эта пиксельная единица i может быть одной из указанных P пиксельных единиц. Например, соответствующая опорная пиксельная единица, в опорном изображении, для каждой из P пиксельных единиц может быть определена способом, аналогичным способу определения опорной пиксельной единицы, в опорном изображении, для пиксельной единицы i.

В некоторых возможных вариантах реализации настоящего изобретения, процедура получения, посредством вычислений, местонахождения целого пикселя для каждой из P пиксельных единиц с использованием вектора движения для каждой из P пиксельных единиц содержит:

получение, посредством вычислений, местонахождения целого пикселя для каждой из P пиксельных единиц согласно следующей формуле с использованием вектора движения для каждой из P пиксельных единиц:

где

M равно log₂N, когда N равно целой степени 2, (xInt, yInt) представляет координаты местонахождения целого пикселя в составе пиксельной единицы с координатами (x, y) в текущем блоке изображения, представляет горизонтальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе текущего блока изображения, и представляет вертикальную составляющую вектора движения, погрешность которого составляет 1/N от погрешности пикселя, для пиксельной единицы с координатами (x, y) в составе текущего блока изображения.

Например, квадратики на Фиг. 3-b представляют пиксели в местах нахождения целых пикселей рядом с текущим местонахождением, а треугольники представляют частичные пиксели.

305. Устройство видео кодирования осуществляет интерполяционную фильтрацию пикселя из состава соответствующей опорной пиксельной единицы, в опорном изображении, для каждой из P пиксельных единиц с использованием интерполяционного фильтра с фазой Q, с целью получения прогнозируемой величины пикселя для каждой из P пиксельных единиц.

Q представляет собой целое число больше n.

В некоторых возможных вариантах реализации настоящего изобретения, величина N может представлять собой предварительно заданную фиксированную величину, а Q может быть не меньше N. Когда величина N может представлять собой предварительно заданную фиксированную величину, это указывает, что точность векторов движения, полученных посредством вычислений с использованием модели движения и векторов движения для указанных W контрольных точек, для P пиксельных единиц в составе текущего блока изображения не обязательно связана с размером текущего блока изображения. Другими словами, например, на основе решения для этого варианта, прогнозируемая величина пикселя с предварительно заданной фиксированной точностью может быть найдена без промежуточной процедуры для получения прогнозируемой величины пикселя с меньшей точностью путем осуществления интерполяционной фильтрации с меньшей точностью.