АДАПТИВНОЕ ПО ФОРМЕ ДИСКРЕТНОЕ КОСИНУСНОЕ ПРЕОБРАЗОВАНИЕ ДЛЯ ГЕОМЕТРИЧЕСКОГО РАЗБИЕНИЯ С АДАПТИВНЫМ КОЛИЧЕСТВОМ ОБЛАСТЕЙ Российский патент 2024 года по МПК H04N19/119 H04N19/12 H04N19/159 H04N19/513 H04N19/61 H04N19/625 

Область техники, к которой относится изобретение

Настоящее изобретение относится, в общем, к области сжатия видео. В частности, настоящее изобретение направлено на адаптивное по форме дискретное косинусное преобразование для геометрического разбиения с адаптивным количеством областей.

Уровень техники

Видеокодек может включать в себя электронную схему или программное обеспечение, которое сжимает или распаковывает цифровое видео. Он может конвертировать несжатое видео в сжатый формат и наоборот. В контексте сжатия видео устройство, которое сжимает видео (и/или выполняет некоторые его функции), как правило, может называться кодером, и устройство, которое распаковывает видео (и/или выполняет некоторые его функции), может называться декодером.

Формат сжатых данных может соответствовать стандартной спецификации сжатия видео. Сжатие может быть с потерями, так как в сжатом видео отсутствует некоторая информация, присутствующая в исходном видео. Следствием этого может быть то, что распакованное видео может иметь более низкое качество, чем исходное несжатое видео, так как для недостаточно информации точного восстановления исходного видео.

Cложные взаимосвязи могут существовать между качеством видео, объемом данных, используемых для представления видео (например, который определяется скоростью передачи данных), сложностью алгоритмов кодирования и декодирования, чувствительностью к потерям и ошибкам данных, простотой редактирования, произвольным доступом, сквозной задержкой (например, запаздыванием) и т.п.

Раскрытие сущности изобретения

В одном аспекте декодер включает в себя схему, выполненную с возможностью приема битового потока, определения первой области, второй области и третьей области текущего блока в соответствии с режимом геометрического разбиения и декодирования текущего блока с использованием обратного дискретного косинусного преобразования для каждой из первой, второй и третьей областей.

В другом аспекте декодер включает в себя схему, выполненную с возможностью приема битового потока, определения первой области, второй области и третьей области текущего блока и определения в соответствии с режимом геометрического разбиения из сигнала, содержащегося в битовом потоке, типа преобразования кодирования для декодирования каждой из первой области, второй области и/или третьей области, типа преобразования кодирования, характеризующего по меньшей мере обратное блочное дискретное косинусное преобразование и адаптивное к форме обратное дискретное косинусное преобразование, и декодирования текущего блока, причем декодирование текущего блока включает в себя использование определенного типа преобразования для обратного преобразования для каждой из первой области, второй области и/или третьей области.

В другом аспекте способ включает в себя прием, декодером, битового потока, определение первой области, второй области и третьей области текущего блока в соответствии с режимом геометрического разбиения, определение, из сигнала, содержащегося в битовом потоке тип преобразования кодирования для декодирования первой области, второй области и/или третьей области, тип преобразования кодирования, характеризующий по меньшей мере обратное блочное дискретное косинусное преобразование или адаптивное к форме обратное дискретное косинусное преобразование, и декодирование текущего блока, причем декодирование текущего блока включает в себя использование определенного типа преобразования для обратного преобразования для каждой из первой области, второй области и/или третьей области.

Подробности одного или более вариантов предмета изобретения, описанного в данном документе, изложены ниже на сопроводительных чертежах и в описании. Другие признаки и преимущества объекта изобретения, описанного в данном документе, будут очевидны из описания и чертежей и из формулы изобретения.

Краткое описание чертежей

В целях иллюстрации изобретения на чертежах показаны аспекты одного или более вариантов осуществления изобретения. Однако следует понимать, что настоящее изобретение не ограничивается точными компоновками и инструментами, показанными на чертежах, на которых:

фиг.1 – иллюстрация, показывающая пример остаточного блока (например, текущего блока) с экспоненциальным разбиением, где имеется три сегмента с разными ошибками предсказания;

фиг.2 – блок-схема системы, иллюстрирующая примерный видеокодер, способный выполнять адаптивное дискретное косинусное преобразование (SA-DCT) для геометрического разбиения с адаптивным количеством областей, которое позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео;

фиг.3 – блок-схема последовательности операций процесса, иллюстрирующая примерный процесс кодирования видео с SA-DCT для геометрического разбиения с адаптивным количеством областей;

фиг.4 – блок-схема системы, иллюстрирующая примерный декодер, выполненный с возможностью декодирования битового потока с использованием SA-DCT для геометрического разбиения с адаптивным количеством областей;

фиг.5 – блок-схема последовательности операций процесса, иллюстрирующая примерный процесс декодирования битового потока с использованием SA-DCT для геометрического разбиения с адаптивным количеством областей; и

фиг.6 – блок-схема вычислительной системы, которая может использоваться для реализации любой одной или более методологий, раскрытых в данном документе и любой одной или более их частей.

Чертежи не обязательно выполнены в масштабе, и возможны иллюстрации с использованием пунктирных линий, схематичных представлений и фрагментарных видов. В некоторых случаях могут быть опущены детали, которые не являются необходимыми для понимания вариантов осуществления или которые затрудняют восприятие других деталей. Одинаковые ссылочные позиции на различных чертежах обозначают одинаковые элементы.

Осуществление изобретения

Варианты осуществления, представленные в настоящем раскрытии, относятся к блокам кодирования и декодирования при геометрическом разбиении, где необязательно все блоки являются прямоугольными. Варианты осуществления могут включать в себя и/или могут быть выполнены с возможностью выполнения кодирования и/или декодирования с использованием дискретных косинусных преобразований (DCT) и/или обратных DCT. В некоторых вариантах осуществления, представленных в данном документе, выбор DCT выполняется в зависимости от информационного содержания геометрически разбитых блоков. В некоторых существующих подходах к кодированию и декодированию видео все блоки имеют прямоугольную форму, и остаток кодируется с использованием обычного блочного DCT (B-DCT) для всего прямоугольного блока. Однако при геометрическом разбиении, где блок может быть разбит на несколько непрямоугольных областей, использование обычного B-DCT может неэффективно представлять базовую информацию о пикселях для некоторых блоков и может потребовать излишних вычислительных ресурсов для выполнения. В некоторых реализациях настоящего предмета изобретения при использовании режима геометрического разбиения кодер может использовать адаптированное к форме DCT (SA-DCT) в качестве альтернативы или в дополнение к B-DCT. В некоторых вариантах осуществления кодер может выбирать между B-DCT и SA-DCT для каждой области блока, такого как геометрически разбитый блок, на основе уровня ошибки предсказания этой области; выбор может быть просигнализирован в битовом потоке для использования при декодировании. За счет кодирования и/или декодирования непрямоугольной области с использованием B-DCT или SA-DCT и сигнализации такого выбора можно уменьшить скорость передачи в битовом потоке, так как остаток может быть представлен более эффективно, и в результате могут быть уменьшены вычислительные ресурсы, необходимые для выполнения обработки. Настоящий предмет изобретения применим к относительно большим блокам, таким как, например, блоки размером 128x128 или 64x64. В некоторых реализациях геометрическое разбиение может включать в себя разбиение текущего блока на адаптивное количество областей, например, три или более областей для данного текущего блока; тип преобразования DCT (например, B-DCT или SA-DCT) может сигнализироваться для каждой области.

В варианте осуществления B-DCT может быть DCT, выполняемым с использованием инвертируемой матрицы NxN на блоке NxN числовых значений, таких как, без ограничения, значения цветности и/или яркости соответствующего массива пикселей NxN. Например и в качестве неограничивающего примера, где должна быть преобразована матрица X размером NxN, преобразование "DCT-I" позволяет вычислить каждый элемент преобразованной матрицы в виде:

Для k = 0,…, N-1. В качестве дополнительного неограничивающего примера, преобразование "DCT-II" позволяет вычислить преобразованные значения матрицы в виде:

Для k = 0,…, N-1. В качестве иллюстративного примера, где блоки представляют собой блоки пикселей 4x4, матрица обобщенного дискретного косинусного преобразования может включать в себя матрицу обобщенного дискретного косинусного преобразования II, имеющую форму:

T =

где a равно ½, b равно , и c равно .

В некоторых реализациях может использоваться целочисленная аппроксимация матрицы преобразования, которая может использоваться для эффективных аппаратных и программных реализаций. Например, если блоки представляют собой блоки 4x4 пикселей, матрица обобщенного дискретного косинусного преобразования может включать в себя матрицу обобщенного дискретного косинусного преобразования II, имеющую форму:

T_INT = .

Обратное B-DCT можно вычислить путем умножения второй матрицы с использованием одной и той же матрицы преобразования NxN; итоговый результат может быть нормализован для восстановления исходных значений. Например, для нормализации обратное DCT-I можно умножить на 2/(N-1).

SA-DCT может выполняться на непрямоугольном массиве пикселей. В варианте осуществления SA-DCT можно вычислить путем выполнения одномерной версии DCT, такой как DCT-I, DCT-II и т.п., напротив векторов, представляющих вертикальные столбцы значений пикселей в интересующей форме, с последующим группированием результирующих значений в горизонтальные векторы и выполнением одномерного DCT второй раз, при этом второе DCT может привести к завершению преобразования значений пикселей. Вариации SA-DCT могут дополнительно масштабироваться и/или нормализоваться с помощью коэффициентов для коррекции дефектов усредненного взвешивания и/или неортонормированных дефектов, внесенных вышеупомянутым преобразованием, квантованием выходных сигналов вышеупомянутого преобразования и/или инверсией выходных сигналов преобразования и/или квантованных выходных сигналов преобразования. Дальнейшие корректировки могут выполняться, без ограничения, с упреждением вышеупомянутого процесса SA-DCT путем вычитания индивидуального среднего значения области изображения объекта из каждого значения пикселя или его масштабированной версии, возможно, в сочетании с тем или иным из процессов масштабирования, применяемых до и/или после преобразования, квантования и/или обратного преобразования. Специалисты в данной области техники по прочтении всего настоящего раскрытия будут осведомлены о различных альтернативных или дополнительных вариациях процесса SA-DCT, которые могут применяться в соответствии с приведенным выше описанием.

Компенсация движения может включать в себя подход к предсказанию видеокадра или его части с учетом предыдущих и/или будущих кадров путем учета движения камеры и/или объектов в видео, содержащем и/или представленном текущими, предыдущими и/или будущими кадрами. Компенсация движения может использоваться при кодировании и декодировании видеоданных для сжатия видео, например, при кодировании и декодировании с использованием стандарта экспертной группы по вопросам движущегося изображения (MPEG)-2 (также называемого усовершенствованным кодированием видео (AVC)). Компенсация движения позволяет описать картинку в терминах преобразования опорного изображения в текущее изображение. Контрольная картинка может быть предыдущей или будущей во времени картинкой по сравнению с текущей картинкой. Когда изображения могут быть точно синтезированы из ранее переданных и/или сохраненных изображений, эффективность сжатия может быть повышена.

Блочное разбиение, используемое в настоящем раскрытии, может относиться к способу кодирования видео для поиска областей схожего движения. Некоторую форму разбиения блоков можно найти в стандартах видеокодеков, включая MPEG-2, H.264 (также называемый AVC или MPEG-4 часть 10) и H.265 (также называемый высокоэффективным кодированием видео (HEVC)). В примерных подходах к разбиению блоков неперекрывающиеся блоки видеокадра могут быть разбиты на прямоугольные подблоки для поиска разбиений блоков, которые содержат пиксели с аналогичным движением. Этот подход может хорошо работать тогда, когда все пиксели разбиения блока имеют схожее движение. Движение пикселей в блоке может определяться относительно ранее кодированных кадров.

Адаптивное к форме DCT и/или B-DCT может эффективно использоваться при геометрическом разбиении с адаптивным количеством областей. На фиг.1 представлена иллюстрация, показывающая неограничивающий пример остаточного блока (например, текущего блока) 100 размером 64x64 или 128x128 с геометрическим разбиением, где имеется три сегмента, S0, S1 и S2 с разными ошибками предсказания; хотя на фиг.1 для иллюстративных целей альтернативно или дополнительно может использоваться большее или меньшее количество сегментов. Текущий блок может быть геометрически разбит в соответствии с двумя линейными сегментами (P1P2 и P3P4), которые могут разбивать текущий блок на три области S0, S1 и S2. В этом примере S0 может иметь относительно высокую ошибку предсказания, в то время как S1 и S2 могут иметь относительно более низкую ошибку предсказания. Для сегмента S0 (также называемого областью) кодер может выбрать и использовать B-DCT для кодирования остатка. Для сегментов S1 и S2 с низкой ошибкой предсказания кодер может выбрать и использовать SA-DCT. Выбор преобразования кодирования остатка может быть основан на ошибке предсказания (например, размере остатка). Так как алгоритм SA-DCT относительно проще с точки зрения сложности и не требует такого количества вычислений, как B-DCT, использование SA-DCT для кодирования с меньшей ошибкой предсказания позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео.

Соответственно, по-прежнему со ссылкой на фиг.1, SA-DCT может сигнализироваться как дополнительный выбор преобразования для DCT полного блока для сегментов с низкими ошибками предсказания. То, что считается низкой или высокой ошибкой, может быть параметром, который может быть установлен на кодере и может варьироваться в зависимости от приложения. Выбор типа преобразования может сигнализироваться в битовом потоке. В декодере битовый поток может быть проанализирован, и для данного текущего блока остаток может быть декодирован с использованием типа преобразования, который сигнализируется в битовом потоке. В некоторых реализациях ряд коэффициентов, ассоциированных с преобразованием, может альтернативно или дополнительно сигнализироваться в битовом потоке.

Более подробно, по-прежнему со ссылкой на фиг.1, геометрическое разбиение с адаптивным количеством областей может включать в себя технологии кодирования и декодирования видео, в которых прямоугольный блок дополнительно разбивается на две или более областей, которые могут быть непрямоугольными. Например, фиг.1 иллюстрирует неограничивающий пример геометрического разбиения на уровне пикселей с адаптивным количеством областей. Примерный прямоугольный блок 100 (который может иметь ширину M пикселей и высоту N пикселей, обозначаемый как MxN пикселей) может быть разбит вдоль линейного сегмента P1P2 и P3P4 на три области (S0, S1 и S2). Когда пиксели в S0 имеют схожее движение, вектор движения может описывать движение всех пикселей в этой области, при этом вектор движения можно использовать для сжатия области S0. Аналогичным образом, когда пиксели в области S1 имеют схожее движение, ассоциированный вектор движения может описывать движение пикселей в области S1. Аналогичным образом, когда пиксели в области S2 имеют схожее движение, ассоциированный вектор движения может описывать движение пикселей в области S2. Такое геометрическое разбиение может быть просигнализировано в приемник (например, в декодер) путем кодирования позиций P1, P2, P3, P4 и/или представлений этих позиций, например, без ограничения, с использованием координат, таких как полярные координаты, декартовы координаты и т.п., индексов в заданных шаблонах или других характеристик разбиений), в битовом потоке видео.

По-прежнему со ссылкой на фиг.1, при кодировании видеоданных с использованием геометрического разбиения на уровне пикселей можно определить линейный сегмент P1P2 (или, более конкретно, точки P1 и P2). Чтобы определить линейный сегмент P1P2 (или, более конкретно, точки P1 и P2), который наилучшим образом разбивает блок при использовании геометрического разбиения на уровне пикселей, возможные комбинации точек P1 и P2 зависят от значений M и N, которые представляют собой ширину блока и высоту. Для блока размером MxN существует (M-1)x(N-1)x3 возможных разбиений. Таким образом, определение правильного разбиения может стать вычислительно затратной задачей оценки движения для всех возможных разбиений, что может увеличить количество времени и/или повысить вычислительную мощность, необходимую для кодирования видео, по сравнению с кодированием, использующем прямоугольное разбиение (например, без геометрического разбиения) на уровне пикселей). То, что составляет лучшее или правильное разбиение, может быть определено в соответствии с метрикой и может изменяться от реализации к реализации.

В некоторых реализациях, по-прежнему со ссылкой на фиг.1, разбиение происходит итерационно, в том смысле, что может быть определено первое разбиение (например, определена линия P1P2 и ассоциированные области), образующие две области, и затем дополнительно разбивается одна из этих областей. Например, разбиение, описанное со ссылкой на фиг.1 можно выполнить для разбиения блока на две области. Одна из этих областей может быть дополнительно разбита (например, для формирования новой области S1 и области S2). Процесс может продолжать выполнять геометрическое разбиение на уровне блоков до тех пор, пока не будет достигнут критерий остановки.

На фиг.2 показана блок-схема системы, иллюстрирующая примерный видеокодер 200, выполненный с возможностью SA-DCT и/или B-DCT для геометрического разбиения с адаптивным количеством областей, которое позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео. Примерный видеокодер 200 принимает входное видео 205, которое может быть первоначально сегментировано или разбито в соответствии со схемой обработки, такой как схема разбиения макроблоков со структурой дерева (например, квадродерево плюс двоичное дерево). Пример схемы разбиения макроблоков со структурой дерева может включать в себя разбиение кадра картинки на большие элементы блока, называемые единицами дерева кодирования (CTU). В некоторых реализациях каждый CTU может быть дополнительно разбит один или более раз на ряд подблоков, называемых единицами кодирования (CU). Конечный результат этого разбиения может включать в себя группу подблоков, которые можно назвать единицами предсказания (PU). Кроме того, можно также использовать единицы преобразования (TU). Такая схема разбиения может включать в себя выполнение геометрического разбиения с адаптивным количеством областей в соответствии с некоторыми аспектами настоящего предмета изобретения.

Продолжая ссылаться на фиг.2, примерный видеокодер 200 включает в себя процессор 215 внутриблочного предсказания, процессор 220 оценки/компенсации движения (также называемый процессором интер-предсказания), выполненный с возможностью поддержания геометрического разбиения с адаптивным количеством областей, процессор 225 преобразования/квантования, процессор 230 обратного квантования/обратного преобразования, контурный фильтр 235, буфер 240 декодированных картинок и процессор 245 энтропийного кодирования. В некоторых реализациях процессор 220 оценки/компенсации движения может выполнять геометрическое разбиение. Параметры битового потока, которые сигнализируют о режимах геометрического разбиения, могут вводиться в процессор 245 энтропийного кодирования для включения в выходной битовый поток 250.

В процессе работы, по-прежнему со ссылкой на фиг. 2, для каждого блока кадра входного видео 205 может быть определено то, обрабатывать ли блок посредством внутриблочного предсказания картинки или с использованием оценки/компенсации движения. Блок может быть предоставлен в процессор 210 внутриблочного предсказания или процессор 220 оценки/компенсации движения. Если блок должен обрабатываться посредством внутриблочного предсказания, процессор 210 внутриблочного предсказания может выполнять обработку для вывода предиктора. Если блок должен обрабатываться посредством оценки/компенсации движения, процессор 220 оценки/компенсации движения может выполнять обработку, включая использование геометрического разбиения для вывода предиктора.

По-прежнему со ссылкой на фиг.2, остаток может быть сформирован путем вычитания предиктора из входного видео. Остаток может быть принят процессором 225 преобразования/квантования, который может определить то, считается ли ошибка предсказания (например, размер остатка) "высокой" или "низкой" ошибкой (например, путем сравнения размера или метрики ошибки остатка с пороговым значением). На основе определения процессор 225 преобразования/квантования может выбрать тип преобразования, который может включать в себя B-DCT и SA-DCT. В некоторых реализациях процессор 225 преобразования/квантования выбирает тип преобразования B-DCT, где остаток считается имеющим высокую ошибку, и выбирает тип преобразования SA-DCT, где остаток считается имеющим низкую ошибку. На основе выбранного типа преобразования процессор 225 преобразования/квантования может выполнять обработку преобразования (например, SA-DCT или B-DCT) для создания коэффициентов, которые можно квантовать. Квантованные коэффициенты и любая ассоциированная информация сигнализации (которая может включать в себя выбранный тип преобразования и/или количество используемых коэффициентов) могут быть предоставлены в процессор 245 энтропийного кодирования для энтропийного кодирования и включения их в выходной битовый поток 250. Процессор 245 энтропийного кодирования может поддерживать кодирование информации сигнализации, относящейся к SA-DCT, для геометрического разбиения с адаптивным количеством областей. В дополнение к этому, квантованные коэффициенты могут быть предоставлены в процессор 230 обратного квантования/обратного преобразования, который может воспроизводить пиксели, которые могут быть объединены с предиктором и обработаны контурным фильтром 235, выходной сигнал которого сохраняются в буфере 240 декодированных картинок для использования процессором 220 оценки/компенсации движения, который способен поддерживать геометрическое разбиение с адаптивным количеством областей.

Обратимся теперь к фиг.3, на которой показана блок-схема последовательности операций процесса, иллюстрирующая примерный процесс 300 кодирования видео с SA-DCT для геометрического разбиения с адаптивным количеством областей, которое позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео. На этапе 310 видеокадр может подвергаться начальной блочной сегментации, например, с использованием схемы разбиения макроблоков со структурой дерева, которая может включать в себя разбиение кадра картинки на CTU и CU. На этапе 320 блок может быть выбран для геометрического разбиения. В соответствии с правилом, касающимся метрики, выбор может включать в себя идентификацию того, что блок должен быть обработан согласно геометрическому режиму разбиения. На этапе 330 выбранный блок может быть разбит на три или более непрямоугольных области в соответствии с режимом геометрического разбиения.

На этапе 340, по-прежнему со ссылкой на фиг.3, может быть определен тип преобразования (который также упоминается как тип преобразования) для каждой геометрически разбитой области. Этот этап может включать в себя определение того, считается ли ошибка предсказания (например, размер остатка) "высокой" или "низкой" ошибкой (например, путем сравнения размера или метрики ошибки остатка с пороговым значением). На основе определения может быть выбран тип преобразования, например, используя процесс принятия решений "квадродерево плюс двоичное дерево", как описано ниже, причем этот тип преобразования может включать в себя, без ограничения, B-DCT или SA-DCT. В некоторых реализациях выбирается тип преобразования B-DCT, когда считается, что остаток имеет высокую ошибку, и выбирается тип преобразования SA-DCT, где остаток считается имеющим низкую ошибку. На основе выбранного типа преобразования может выполняться обработка преобразования (например, SA-DCT или B-DCT) для создания коэффициентов, которые можно квантовать.

На этапе 350, по-прежнему со ссылкой на фиг.3, определенный тип преобразования может сигнализироваться в битовом потоке. Преобразованный и квантованный остаток может быть включен в битовый поток. В некоторых реализациях количество коэффициентов преобразования может сигнализироваться в битовом потоке.

На фиг.4 показана блок-схема системы, иллюстрирующая неограничивающий пример декодера 400, выполненный с возможностью декодирования битового потока 470 с использованием DCT, включая, но без ограничения, SA-DCT и/или B-DCT, с целью геометрического разбиения с адаптивным количеством областей, что позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео. Декодер 400 включает в себя процессор 410 энтропийного декодера, процессор 420 обратного квантования и обратного преобразования, фильтр 430 удаления блочности, буфер 440 кадров, процессор 450 компенсации движения и процессор 460 внутриблочного предсказания. В некоторых реализациях битовый поток 470 включает в себя параметры, которые сигнализируют геометрический режим разбиения и тип преобразования. В некоторых реализациях битовый поток 470 включает в себя параметры, которые сигнализируют количество коэффициентов преобразования. Процессор 450 компенсации движения может восстанавливать информацию о пикселях, используя геометрическое разбиение, как описано в данном документе.

В процессе работы и по-прежнему со ссылкой на фиг.4, битовый поток 470 может быть принят декодером 400 и введен в процессор 410 энтропийного декодера, который может энтропийно декодировать битовый поток в квантованные коэффициенты. Квантованные коэффициенты могут быть предоставлены к процессору 420 обратного квантования и обратного преобразования, который может определять тип преобразования кодирования (например, B-DCT или SA-DCT) и выполнять обратное квантование и обратное преобразование в соответствии с определенным типом преобразования кодирования для создания сигнала остатка. В некоторых реализациях процессор 420 обратного квантования и обратного преобразования может определять количество коэффициентов преобразования и выполнять обратное преобразование в соответствии с определенным количеством коэффициентов преобразования.

По-прежнему со ссылкой на фиг.4, сигнал остатка может быть добавлен в выходной сигнал процессора 450 компенсации движения или процессора 460 внутриблочного предсказания в соответствии с режимом обработки. Выход процессора 450 компенсации движения и процессора 460 внутриблочного предсказания может включать в себя предсказание блока на основе ранее декодированного блока. Сумма предсказания и остатка может быть обработана фильтром 430 удаления блочности и сохранена в буфере кадра 440. Для данного блока (например, CU или PU), когда битовый поток 470 сигнализирует, что режим разбиения представляет собой геометрическое разбиение на уровне блоков, процессор 450 компенсации движения может построить предсказание на основе подхода геометрического разбиения, описанного в данном документе.

На фиг.5 показана блок-схема последовательности операций процесса, иллюстрирующая примерный процесс 500 декодирования битового потока с использованием SA-DCT для геометрического разбиения с адаптивным количеством областей, которое позволяет уменьшить сложность и производительность обработки при кодировании и декодировании видео. На этапе 510 принимается битовый поток, который может включать в себя текущий блок (например, CTU, CU, PU). Прием может включать в себя извлечение и/или анализ текущего блока и ассоциированной с ним информации сигнализации из битового потока. Декодер может извлекать или определять один или более параметров, характеризующих геометрическое разбиение. Эти параметры могут включать в себя, например, индексы начала и конца линейного сегмента (например, P1, P2, P3, P4); извлечение или определение может включать в себя идентификацию и извлечение параметров из битового потока (например, анализ битового потока).

На этапе 520, по-прежнему со ссылкой на фиг.5, первая область, вторая область и третья область текущего блока могут быть определены в соответствии с режимом геометрического разбиения. Определение может включать в себя определение того, включен ли режим геометрического разбиения (например, "истина") для текущего блока. Если режим геометрического разбиения не включен (например, "ложь"), декодер может обработать текущий блок, используя альтернативный режим разбиения. Если режим геометрического разбиения включен (например, "истина"), могут быть определены и/или обработаны три или более областей.

На необязательном этапе 530, по-прежнему со ссылкой на фиг.5, может быть определен тип преобразования кодирования. Тип преобразования кодирования может сигнализироваться в битовом потоке. Например, битовый поток может быть проанализирован с целью определения типа преобразования кодирования, который может указывать B-DCT или SA-DCT. Определенный тип преобразования кодирования может быть предназначен для декодирования первой области, второй области и/или третьей области.

На этапе 540, по-прежнему со ссылкой на фиг.5, может быть декодирован текущий блок. Декодирование текущего блока может включать в себя использование определенного типа преобразования для обратного преобразования для каждой из первой области, второй области и/или третьей области. Декодирование может включать в себя определение ассоциированной информации о движении для каждой области и в соответствии с режимом геометрического разбиения.

Хотя выше были подробно описано несколько вариантов, возможны и другие модификации или дополнения. Например, геометрическое разбиение можно сигнализировать в битовом потоке на основе решений относительно скорости-искажения в кодере. Кодирование может быть основано на комбинации регулярных заданных разделов (например, шаблонов), пространственно-временном предсказании разбиения и дополнительных смещениях. Каждая геометрически разбитая область может использовать предсказание с компенсацией движения или внутриблочного предсказание. Граница предсказанных областей может быть сглажена перед добавлением остатка.

В некоторых реализациях может быть реализовано квадродерево плюс двоичное дерево решений (QTBT). В QTBT на уровне единицы дерева кодирования параметры разбиения QTBT динамически выводятся для адаптации к локальным характеристикам без передачи каких-либо служебных данных. Затем, на уровне единицы кодирования, структура дерева решений совместного классификатора может исключить ненужные итерации и контролировать риск ложного предсказания. В некоторых реализациях геометрическое разбиение с адаптивным количеством областей может быть доступно в качестве дополнительной опции разбиения, доступной на каждом листовом узле QTBT.

В некоторых реализациях декодер может включать в себя процессор разбиения, который вырабатывает геометрическое разбиение для текущего блока и предоставляет всю информацию, относящуюся к разбиению, для зависимых процессов. Процессор разбиения может напрямую влиять на компенсацию движения, так как она может выполняться посегментно в том случае, если блок разбит геометрически. Кроме того, процессор разбиения может предоставлять информацию о форме в процессор внутриблочного предсказания и процессор кодирования с преобразованием.

В некоторых реализациях дополнительные элементы синтаксиса могут сигнализироваться на разных иерархических уровнях битового потока. Флаг разрешения может быть закодирован в наборе параметров последовательности (SPS) для разрешения геометрического разбиения с адаптивным количеством областей для всей последовательности. Кроме того, флаг CTU может быть закодирован на уровне единицы дерева кодирования (CTU), чтобы указывать то, используют ли какие-либо единицы кодирования (CU) геометрическое разбиение с адаптивным количеством областей. Флаг CU может быть закодирован для того, чтобы указать, использует ли текущий блок кодирования геометрическое разбиение с адаптивным количеством областей. Параметры, которые точно определяют линейный сегмент в блоке, могут быть закодированы. Для каждой области может быть декодирован флаг, который может указывать то, интер- или внутриблочного предсказана ли текущая область.

В некоторых реализациях может быть точно определен минимальный размер области.

Предмет изобретения, описанный в данном документе, обеспечивает многочисленные технические преимущества. Например, некоторые реализации настоящего предмета изобретения могут предусматривать разбиение блоков, которое снижает сложность при одновременном повышении эффективности сжатия. В некоторых реализациях можно уменьшить блокирующие артефакты на границах объекта.

Следует отметить, что любой один или более аспектов и вариантов осуществления, описанных в данном документе, могут быть беспрепятственно реализованы с использованием цифровых электронных схем, интегральных схем, специализированных интегральных схем (ASIC), разработанных специально для конкретных приложений, компьютерных аппаратных средств с программируемыми вентильными матрицами (FPGA), аппаратно-программного обеспечения, программного обеспечения и/или их комбинаций, как реализованные и/или осуществленные в одной или более машинах (например, в одном или более вычислительных устройствах, которые используются в качестве пользовательского вычислительного устройства для электронного документа, одном или более серверных устройствах, таких как сервер документов и т.д.), запрограммированных в соответствии с идеями изобретения, представленными в настоящем описания, как будет очевидно специалистам в области компьютерной техники. Эти различные аспекты или особенности могут включать реализацию в одной или более компьютерных программах и/или программном обеспечении, которые являются исполняемыми и/или интерпретируемыми в программируемой системе, включающей в себя по меньшей мере один программируемый процессор, который может быть специального или общего назначения и может быть подключен, для приема данных и инструкций из системы хранения и для передачи данных и инструкций в систему хранения, по меньшей мере к одному устройству ввода и по меньшей мере к одному устройству вывода. Соответствующее кодирование программного обеспечения может быть легко подготовлено квалифицированными программистами на основе идей настоящего раскрытия, как будет очевидно специалистам в области программного обеспечения. Рассмотренные выше аспекты и реализации, использующие программное обеспечение и/или программные модули, могут также включать в себя соответствующие аппаратные средства для содействия в реализации машиноисполняемых инструкций программного обеспечения и/или программного модуля.

Такое программное обеспечение может быть компьютерным программным продуктом, который использует машиночитаемый носитель информации. Машиночитаемый носитель информации может быть любым носителем информации, который способен хранить и/или кодировать последовательность инструкций для исполнения машиной (например, вычислительным устройством) и которые предписывают машине выполнять любую из методологий и/или вариантов осуществления, описанных в данном документе. Примеры машиночитаемого носителя информации включают в себя, но без ограничения, магнитный диск, оптический диск (например, CD, CD-R, DVD, DVD-R и т.д.), магнитооптический диск, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), магнитную карту, оптическую карту, твердотельное запоминающее устройство, EPROM, EEPROM, программируемые логические устройства (PLD) и/или любые их комбинации. Машиночитаемый носитель информации, используемый в данном документе термин, предназначен для того, чтобы включать в себя один носитель информации, а также набор физически отдельных носителей информации, таких, например, как набор компакт-дисков или один или более жестких дисков в сочетании с компьютерной памятью. Используемый в данном документе термин машиночитаемый носитель информации не включает в себя временные формы передачи сигнала.

Такое программное обеспечение может также включать в себя информацию (например, данные), переносимую в виде сигнала передачи данных на переносчике информации, например, на несущей. Например, машиноисполняемая информация может быть включена в качестве сигнала, переносящего данные и воплощенного в виде переносчика информации, где сигнал кодирует последовательность инструкций или их часть для исполнения машиной (например, вычислительным устройством) и любую связанную с ними информацию (например, структуры данных и данные), которые предписывают машине выполнять любую из методологий и/или вариантов осуществления, описанных в данном документе.

Примеры вычислительного устройства включают в себя, но не ограничиваются ими, устройство для чтения электронных книг, компьютерную рабочую станцию, терминальный компьютер, серверный компьютер, портативное устройство (например, планшетный компьютер, смартфон и т.д.), веб-устройство, сетевой маршрутизатор, сетевой коммутатор, сетевой мост, любой компьютер, способный выполнять последовательность инструкций, определяющих действие, которое должно быть выполнено на этом компьютере, и любые их комбинации. В одном примере вычислительное устройство может включать и/или быть включено в киоск.

На фиг.6 показано схематичное представление одного варианта осуществления вычислительного устройства в примерном виде компьютерной системы 600, в которой может исполняться набор инструкций для предписания системе управления выполнять любой один или более аспектов и/или методологий настоящего раскрытия. Кроме того, также предполагается, что несколько вычислительных устройств могут использоваться для реализации специально сконфигурированного набора инструкций, которые предписывают одному или нескольким устройствам выполнять любой один или более аспектов и/или методологий настоящего раскрытия. Компьютерная система 600 включает в себя процессор 604 и память 608, которые обмениваются данными друг с другом и с другими компонентами через шину 612. Шина 612 может включать в себя любой из нескольких типов шинных структур, в том числе, но без ограничения, шину памяти, контроллер памяти, периферийную шину, локальную шину и любые их комбинации, которые используют любую из множества шинных архитектур.

Память 608 может включать в себя различные компоненты (например, машиночитаемые носители информации), в том числе, но без ограничения, компонент памяти с произвольным доступом, компонент только для считывания и любые их комбинации. В одном примере основная система 616 ввода/вывода (BIOS), в том числе основные процедуры, которые помогают передавать информацию между элементами в компьютерной системе 600, например, во время запуска, может храниться в памяти 608. Память 608 может также включать в себя (например, сохраненные на одном или более машиночитаемых носителях информации) инструкции (например, программное обеспечение) 620, воплощающие любой один или более аспектов и/или методологий настоящего раскрытия. В другом примере память 608 может дополнительно включать в себя любое количество программных модулей, в том числе, но без ограничения, операционную систему, одну или более прикладных программ, другие программные модули, данные программы и любые их комбинации.

Вычислительная система 600 может также включать в себя запоминающее устройство 624. Примеры запоминающего устройства (например, запоминающего устройства 624), включают в себя, но не ограничиваются ими, накопитель на жестком диске, накопитель на магнитных дисках, накопитель на оптических дисках в сочетании с оптическим носителем информации, устройство твердотельной памяти и любые их комбинации. Запоминающее устройство 624 может быть подключено к шине 612 посредством соответствующего интерфейса (не показан). Примеры интерфейсов включают в себя, но не ограничиваются ими, SCSI, усовершенствованную технологию подключения (ATA), последовательную ATA, универсальную последовательную шину (USB), IEEE 1394 (Firewire) и любые их комбинации. В одном примере, запоминающее устройство 624 (или один или более их компонентов) может подключаться с помощью интерфейса к компьютерной системе 600 (например, через разъем внешний порта (не показан)). В частности, запоминающее устройство 624 и ассоциированный с ним машиночитаемый носитель 628 информации может обеспечивать энергонезависимое и/или энергонезависимое хранение машиночитаемых инструкций, структур данных, программных модулей и/или других данных для компьютерной системы 600. В одном примере, программное обеспечение 620 может находиться, полностью или частично, на машиночитаемом носителе 628 информации. В другом примере, программное обеспечение 620 может находиться, полностью или частично, в процессоре 604.

Вычислительная система 600 также может включать в себя устройство 632 ввода. В одном примере, пользователь компьютерной системы 600 может вводить команды и/или другую информацию в компьютерную систему 600 через устройство 632 ввода. Примеры устройства 632 ввода включают в себя, но не ограничиваются ими, устройство буквенно-цифрового ввода (например, клавиатуру), указательное устройство, джойстик, игровой пульт, устройство ввода аудио (например, микрофон, система голосового ответа и т.д.), устройство управления курсором (например, мышь), сенсорную панель, оптический сканер, устройство видеозахвата (например, фотоаппарат, видеокамеру), сенсорный экран и любые их комбинации. Устройство 632 ввода может быть подключено с помощью интерфейса к шине 612 через любой из множества интерфейсов (не показаны), в том числе, помимо прочего, последовательный интерфейс, параллельный интерфейс, игровой порт, интерфейс USB, интерфейс FIREWIRE, прямой интерфейс к шине 612 и любые их комбинации. Устройство 632 ввода может включать в себя интерфейс сенсорного экрана, который может быть частью 636 отображения или находиться отдельно от него, что дополнительно обсуждено ниже. Устройство 632 ввода может использоваться как устройство выбора пользователя для выбора одного или более графических представлений в графическом интерфейсе, как описано выше.

Пользователь может также вводить команды и/или другую информацию в компьютерную систему 600 через запоминающее устройство 624 (например, съемный диск, флэш-диск и т.д.) и/или устройство 640 сетевого интерфейса. Устройство сетевого интерфейса, такое как устройство 640 сетевого интерфейса, может использоваться для подключения компьютерной системы 600 к одной или нескольким из множества сетей, таких как сеть 644, и к одному или нескольким удаленным устройствам 648, подключенных к ней. Примеры устройства сетевого интерфейса включают в себя, но не ограничиваются ими, карту сетевого интерфейса (например, карту интерфейса мобильной сети, карту LAN), модем и любые их комбинации. Примеры сети включают в себя, но не ограничиваются ими, сеть (например, Интернет, сеть предприятия), локальную сеть (например, сеть, ассоциированную с офисом, зданием, комплексом зданий или другим относительно небольшим географическим пространством), телефонную сеть, сеть передачи данных, ассоциированную с провайдером телефонной/голосовой связи (например, с данными провайдера мобильной связи и/или телефонной сетью), прямое соединение между двумя вычислительными устройствами и любые их комбинации. Сеть, такая как сеть 644, может использовать проводной и/или беспроводной режим связи. В общем, можно использовать любую топологию сети. Информация (например, данные, программное обеспечение 620 и т.д.) может передаваться в и/или из компьютерной системы 600 с помощью сетевого интерфейса устройства 640.

Вычислительная система 600 может дополнительно включать в себя адаптер 652 отображения видео для передачи отображаемого изображения в устройство отображения, такое как устройство 636 отображения. Примеры устройства отображения включают в себя, но не ограничивается ими, жидкокристаллический дисплей (LCD), электронно-лучевую трубку (CRT), плазменный дисплей, светоизлучающий диод (LED), и любые их комбинации. Адаптер 652 дисплея и устройство 636 отображения можно использовать в сочетании с процессором 604, чтобы обеспечить графическое представление аспектов настоящего раскрытия. В дополнение к устройству отображения компьютерная система 600 может включать в себя одно или более других периферийных устройств вывода, в том числе, помимо прочего, звуковой динамик, принтер и любые их комбинации. Такие периферийные устройства вывода могут быть подключены к шине 612 через периферийный интерфейс 656. Примеры периферийного интерфейса включают в себя, но не ограничиваются ими, последовательный порт, USB соединение, соединение Firewire, параллельное соединение, и любые их комбинации.

Выше было приведено подробное описание иллюстративных вариантов осуществления настоящего изобретения. Различные модификации и дополнения могут быть сделаны без отступления от сущности и объема настоящего изобретения. Признаки каждого из различных вариантов осуществления, описанных выше, могут быть объединены с признаками других описанных вариантов осуществления в соответствующих случаях с тем, чтобы обеспечить множество комбинаций признаков в ассоциированных новых вариантах осуществления. Кроме того, несмотря на то, что выше был описан ряд отдельных вариантов осуществления, то, что было описано в данном документе, является лишь иллюстрацией применения принципов настоящего изобретения. Кроме того, хотя конкретные способы в данном документе могут быть проиллюстрированы и/или описаны как выполняемые в определенном порядке, порядок выполнения сильно варьируется в пределах средней квалификации для достижения вариантов осуществления, раскрытых в данном документе. Соответственно, это описание предназначено для использования только в качестве примера и не ограничивает иным образом объем данного изобретения.

В приведенных выше описаниях и формуле изобретения фразы, такие как "по меньшей мере один из" или "один или более" могут возникать с последующим конъюнктивным списком элементов или признаков. Термин "и/или" может также иметь место в списке из двух или более элементов или признаков. Если иное неявно или явно противоречит контексту, в котором это используется, такая фраза означает любой из перечисленных элементов или признаки по отдельности, или любой из указанных элементов или признаков в сочетании с любым из других указанных элементов или признаков. Например, каждая из фраз "по меньшей мере один из А и В", "один или более из А и В" и "А и/или В" означает "А, взятый отдельно", "В, взятый отдельно" или "А и В вместе". Аналогичная интерпретация также предназначена для списков, включающих в себя три или более пунктов. Например, каждая из фраз "по меньшей мере один из А, В и С", "один или более из А, В и С" и "А, В, и/или С" означает "А, взятый отдельно", "В, взятый отдельно", "С, взятый отдельно", "А и В вместе", "А и С вместе", "В и С вместе" или "А и В, и С вместе". В дополнение к этому, использование термина "на основе" в описании выше и в формуле изобретения означает "на основе по меньшей мере частично", поэтому неуказанный признак или элемент также является допустимым.

Предмет изобретения, описанный в данном документе, может быть воплощен в системах, устройствах, способах и/или изделиях в зависимости от желаемой конфигурации. Реализации, изложенные в предыдущем описании, не представляют все реализации, согласующиеся с предметом изобретения, описанным в данном документе. Вместо этого они представляют собой лишь некоторые примеры, согласующиеся с аспектами, относящимися к описанному предмету изобретения. Хотя некоторые варианты были подробно описаны выше, возможны и другие модификации или дополнения. В частности, дополнительные признаки и/или варианты могут быть предоставлены в дополнение к тем, которые изложены в данном описании. Например, реализации, описанные выше, могут быть направлены на различные комбинации и подкомбинации раскрытых признаков и/или комбинации и подкомбинации нескольких дополнительных признаков, раскрытых выше. В дополнение к этому, логические потоки, изображенные на сопроводительных чертежах и/или описанные в данном документе, необязательно требуют конкретного показанного порядка или последовательного порядка для достижения желаемых результатов. Другие реализации могут находиться в пределах объема последующей формулы изобретения.

Изобретение относится к средствам декодирования. Технический результат - уменьшение блокирующих артефактов на границах объекта. Принимают, с помощью декодера, битовый поток, содержащий кодированное текущее изображение, включающее в себя единицу дерева кодирования и информацию сигнализации, причем информация сигнализации включает в себя набор параметров последовательности, содержащий флаг, указывающий, что для битового потока применено геометрическое разбиение, первую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для первой прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на границе единицы дерева кодирования, вторую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для второй прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на первой прямой линии границы разбиения. Декодируют текущую единицу дерева кодирования с использованием первой информации индекса геометрического разбиения и второй информации индекса геометрического разбиения для реконструкции единицы дерева кодирования, причем реконструированная единица дерева кодирования разбита на три непрямоугольные области первой и второй прямыми линиями границы разбиения. 2 н. и 1 з.п. ф-лы, 6 ил.

1. Декодер, содержащий схему, выполненную с возможностью:

приема битового потока, содержащего кодированное текущее изображение, включающее в себя единицу дерева кодирования и информацию сигнализации, причем информация сигнализации включает в себя набор параметров последовательности, содержащий флаг, указывающий, что для битового потока применено геометрическое разбиение, первую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для первой прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на границе единицы дерева кодирования, вторую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для второй прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на первой прямой линии границы разбиения; и

декодирования единицы дерева кодирования с использованием первой информации индекса геометрического разбиения и второй информации индекса геометрического разбиения для реконструкции единицы дерева кодирования, причем реконструированная единица дерева кодирования разбита на три непрямоугольные области первой и второй прямыми линиями границы разбиения.

2. Декодер по п.1, дополнительно содержащий:

процессор энтропийного декодера, выполненный с возможностью приема битового потока и декодирования битового потока в квантованные коэффициенты;

процессор обратного квантования и обратного преобразования, выполненный с возможностью обработки квантованных коэффициентов, в том числе выполнения обратного дискретного косинусного преобразования в соответствии с определенным типом преобразования кодирования;

фильтр удаления блочности;

буфер кадра; и

процессор внутриблочного предсказания.

3. Способ декодирования, содержащий этапы, на которых:

принимают, с помощью декодера, битовый поток, содержащий кодированное текущее изображение, включающее в себя единицу дерева кодирования и информацию сигнализации, причем информация сигнализации включает в себя набор параметров последовательности, содержащий флаг, указывающий, что для битового потока применено геометрическое разбиение, первую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для первой прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на границе единицы дерева кодирования, вторую информацию индекса геометрического разбиения, обеспечивающую определение, декодером, для второй прямой линии границы разбиения в единице дерева кодирования, первой конечной точки на границе единицы дерева кодирования и второй конечной точки на первой прямой линии границы разбиения; и

декодируют текущую единицу дерева кодирования с использованием первой информации индекса геометрического разбиения и второй информации индекса геометрического разбиения для реконструкции единицы дерева кодирования, причем реконструированная единица дерева кодирования разбита на три непрямоугольные области первой и второй прямыми линиями границы разбиения.