Способ остаточной дифференциальной импульсно-кодовой модуляции в целях расширения диапазона высокоэффективного кодирования видеоизображений (HEVC) Российский патент 2017 года по МПК H04N19/00 

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящее изобретение испрашивает приоритет согласно предварительной заявке на патент США, №61/890,365, поданной 14 октября 2013 г. под названием «Объединение и согласование остаточной ДИКМ с пропуском преобразования и остаточным циклическим сдвигом в целях расширения диапазона HEVC» и приоритет предварительной заявки на патент США, серийный №61/890,361, оформленной 14 октября 2013 г. под названием «Изменения в текстовой части описания расширения диапазона HEVC». Предварительные заявки на патент США полностью включены в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение имеет отношение к кодированию путем остаточной ДИКМ (дифференциальной импульсно-кодовой модуляции) в целях расширения диапазона HEVC. В частности, настоящее изобретение имеет отношение к внутреннему кодированию с помощью остаточной ДИКМ, режимам кодирования по копии внутрикадрового блока и промежуточного кодирования путем остаточной ДИКМ для расширения диапазона HEVC или подобных случаев применения.

ПРЕДПОСЫЛКИ И ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В текущей разработке расширения диапазона (RExt) стандарта высокоэффективного кодирования видеосигналов было принято несколько способов, позволяющих улучшить эффективность кодирования содержимого экрана. В частности, для сжатия видеоизображения используются способы кодирования путем остаточной ДИКМ и остаточного цикла сдвига. Эти способы могут применяться в случаях преобразующего квантования обходных блоков без потерь или блоков с пропуском преобразования (TS) и потерями. Режим кодирования «пропуск преобразования» представляет собой режим, при котором процесс преобразования пропускается, а остаток квантуется напрямую и кодируется по статистике. Когда происходит пропуск преобразования в одном блоке, другая обработка блока с кодом преобразования все равно применима к нему. Соответственно, масштабирование также применимо к блоку TS. Остаток двухмерного блока необходимо конвертировать в одномерный сигнал. Таким образом, сканирование (например, вертикальное или горизонтальное) применимо и к остатку блока. Сканирование можно также производить до или после масштабирования, или квантования. Со стороны декодера обратный TS (inv-TS) будет применен к кодированному блоку. Процесс inv-TS включает обратное масштабирование. Замечено, что кодирующая ячейка (CU) является основной единицей, к которой применим процесс кодирования. Для каждой CU формируется остаток, который затем разделяется на блоки преобразования (TU), преобразуемыми в процессе обычного кодирования (т.е. без пропуска преобразования). Кроме того, возможно пропустить оба процесса: как преобразования, так и квантования, что делает возможным кодирование CU без потерь. В случае кодирования без потерь, также отключается контурное фильтрование.

Для внутренних блоков, внутреннее предсказание выполняется на основе восстановленных пикселей из соседних блоков. С помощью внутреннего предсказания можно выбрать любой внутренний режим из набора внутренних режимов, куда входят вертикальный и горизонтальный режим, а также различные режимы углового предсказания. Для внутренних блоков, отличных от блоков с кодированием по копии внутрикадрового блока, направление обработки с помощью остаточной ДИКМ зависит от внутреннего режима базового блока. Остаточная ДИКМ применяется только к блокам с внутренним кодированием, где используются горизонтальные и вертикальные режимы по соответствующим горизонтальным и вертикальным направлениям. Что касается внутренних блоков и блоков с внутриблоковой копией, то решение кодера об использовании остаточной ДИКМ демонстрируется путем флаговой сигнализации. Кодер также принимает решение о направлении остаточной ДИКМ путем выброса другого флага. Хотя остаточная ДИКМ, применяемая как для внутреннего остатка (отличного от копии внутрикадрового блока), так и для промежуточного остатка, использует горизонтальную или вертикальную ДИКМ, существует несколько отличий между внутренней обработкой путем остаточной ДИКМ и промежуточной обработкой путем остаточной ДИКМ. Выбор направления предсказания (т.е. горизонтального или вертикального) для внутренней обработки путем остаточной ДИКМ косвенно определяется на основе внутреннего режима блока. С другой стороны, решение об использовании остаточной ДИКМ и направления предсказания принимается кодером, о чем дается явный сигнал. В настоящем раскрытии изобретения обработка остаточной ДИКМ относится к процедуре ДИКМ (дифференциальной импульсно-кодовой модуляции), применимой к остаточному сигналу или обработанному остаточному сигналу (например, остаточному сигналу, обработанному TS). Кодирование остаточной ДИКМ относится к способу кодирования, в который входит обработка остаточной ДИКМ.

На Фиг. 1 представлен пример вертикальной обработки остаточной ДИКМ без потерь, где вычитаются остаточные образцы блока с внутренним кодированием вместе с вертикальным соседним образцом в целях дальнейшего снижения избыточности, за исключением образцов в верхней строчке. Пусть для блока со N столбцами и М строчками образцов r_{i, j}, 0≤I≤М-1, 0≤j≤N-1 будет остатком предсказания после внутреннего предсказания. Предположим, что преобразование и квантование пропускаются. Вертикальная обработка остаточной ДИКМ без потерь применяется следующим образом:

Для кодирования путем остаточной ДИКМ остаток, обработанный ДИКМ (т.е. ), далее кодируется сам вместо сигнала остатка (т.е. ). Для горизонтальной обработки путем остаточной ДИКМ без потерь, вычитания производятся между текущим образцом и левым соседним образцом, за исключением образцов в первом столбце. В случае обработки с потерями, разницы в остатках подлежат квантованию. Уравнение (2) иллюстрирует пример вертикальной обработки с помощью остаточной ДИКМ с потерями, применимой к остаточным образцам:

где Q(r_{(i-1), j}) обозначает квантованный вариант остаточного образца, r_{(i-1), j}. В целях обработки с помощью промежуточной остаточной ДИКМ, остаточная ДИКМ применима к промежуточным закодированным блокам. Уравнение (1) также применимо к обработке с помощью промежуточной остаточной ДИКМ, где сигнал остатка соответствует предсказанному промежуточному остатку вместо внутреннего предсказанного остатка в случае внутреннего остаточного ДИКМ. При горизонтальной обработке без потерь путем остаточной ДИКМ, вычитание выполняется между текущим образцом и левым соседним образцом, за исключением образцов в первом столбце. Что касается случая с обработкой с потерями, разницы в остатках подлежат квантованию.

Что касается остаточного циклического сдвига (RR), остаточный блок вращается на 180 градусов, поэтому у него, вероятно, будет больший предсказанный остаток ДИКМ в нижнем правом углу, который сдвигается в направлении верхнего левого угла. Предсказанный остаток ДИКМ при циклическом сдвиге более подходит для энтропического кодера, который изначально рассчитан на коэффициенты преобразования. На Фиг.2 представлен пример обработки циклического сдвига (RR), где у предсказанного остатка ДИКМ есть несколько образцов, отличных от нуля (NZ), в нижнем правом углу. При обработке остаточным циклическим сдвигом образцы NZ перемещаются по направлению к левому верхнему углу.

В соответствии с существующей практикой RExt (расширения диапазона), процессы кодирования и декодирования остатка разнятся в зависимости от выбранной обработки: внутренней или промежуточной, с потерями или без них, когда активированы оба вида обработки - остаточной ДИКМ и RR. Следующим идет выделение соответствующих кодирующих и декодирующих процессов для сигнала остатка. Сокращение inv-TS обозначает обратный пропуск преобразования, a inv-RDPCM - обратную остаточную ДИКМ.

Обратите внимание на то, что остаточная ДИКМ применяется исключительно при обходе преобразования и квантования или при пропуске преобразования. Также учтите, что у остаточного вращения (RR) есть свой отдельный сигнальный флаг, который можно активировать независимо от остаточной ДИКМ. Другими словами, при применении остаточной ДИКМ, RR можно включить или выключить, а при применении RR, остаточную ДИКМ можно включить или выключить.

Процесс кодирования

Внутреннее кодирование (за исключением копии внутрикадрового блока):

- Если CU кодируется при обходе преобразования и квантования (transquant bypass): Остаточная ДИКМ → RR

- Если TU кодируется при пропуске преобразования: Остаточная ДИКМ → TS → RR → квантование

Промежуточное кодирование и кодирование копии внутрикадрового блока:

- Если CU кодируется при обходе преобразования и квантования: Остаточная ДИКМ → RR

- Если TU кодируется при пропуске преобразования: TS → RR → остаточная ДИКМ → квантование

Процесс декодирования

Внутреннее декодирование (за исключением копии внутрикадрового блока):

- Если CU кодируется при обходе преобразования и квантования: RR → inv-остаточная ДИКМ

- Если TU кодируется при пропуске преобразования: Деквантование → inv-остаточная ДИКМ → RR → inv-TS

В вышеуказанных процессах кодирования и декодирования термин «обход преобразования и квантования» относится к конкретному режиму кодирования без потерь, где кодирование без потерь означает применение обхода как при дискретном косинусном преобразовании (ДКП), так и при обходном квантовании. Два процесса выделены жирным шрифтом, такие как: TS→RR и RR→inv-TS, это указывает на их взаимосвязь. Для реализации на основе программного обеспечения, процесс RR может выполняться в функциях TS и inv-TS. Непоследовательность процесса декодирования повышает сложность его реализации. Таким образом, при комбинировании остаточной ДИКМ и процесса RR желательно объединить и согласовать процесс декодирования.

В существующем расширении диапазона (RExt) HEVC, промежуточная остаточная ДИКМ применима лишь к промежуточным блокам. Остаток копии внутрикадрового блока (IntraBC) формируется между текущим блоком, и блок ссылки в том же самом изображении считается внутренним блоком. Таким образом, промежуточная остаточная ДИКМ не применима к блокам, обработанным с помощью режима предсказания IntraBC. С другой стороны, в блоках, кодированных в режиме предсказания IntraBC, не используется горизонтальный или вертикальный внутренний режим, поэтому эти блоки не обрабатываются и внутренней остаточной ДИКМ. Целесообразно разработать схему кодирования в целях улучшения характеристик блоков, обработанных с помощью режима предсказания IntraBC.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением раскрывается способ кодирования с помощью остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ), в который включено объединенное внутреннее и промежуточное кодирование остаточной ДИКМ. Определен режим предсказания для текущего блока, где режим предсказания выбирается из первой группы, куда входит режим внутреннего предсказания и, по крайней мере, один из режимов промежуточного предсказания, а также режим IntraBC (режим копии внутрикадрового блока). Также определен режим кодирования для текущего блока, где режим кодирования выбирается из второй группы, куда входит режим обхода преобразования и квантования и режим кодирования TS (пропуск преобразования). Один из примеров осуществления настоящего изобретения объединяет процесс кодирования остаточной ДИКМ с промежуточным режимом и режимом предсказания IntraBC. Таким образом, когда текущий блок кодируется с помощью режима внутреннего предсказания, к текущему блоку применяется первое кодирование или декодирование путем остаточной ДИКМ. Когда текущий блок кодируется с помощью режима промежуточного предсказания или режима предсказания IntraBC, к текущему блоку применяется второе кодирование или декодирование путем остаточной ДИКМ. В первом и втором кодировании с помощью ДИКМ используются одни и те же этапы кодирования, применимые в то же самом порядке обработки кодирования. Точно так же в первом и втором декодировании остаточной ДИКМ используются одни и те же этапы декодирования, применимые в то же самом порядке обработки декодирования.

Для режима обхода преобразования и квантования, одни и те же этапы кодирования могут включать обработку RR (циклическим сдвигом) и обработку остаточной ДИКМ, и одни и те же этапы декодирования могут включать обработку с помощью RR и обратную обработку путем остаточной ДИКМ. Порядок обработки кодирования может соответствовать обработке с помощью RR, после которой идет обработка с помощью остаточной ДИКМ, а порядок обработки декодирования может соответствовать обратной обработке путем остаточной ДИКМ, после которой идет RR обработка.

В режиме кодирования TS одни и те же этапы кодирования могут включать TS обработку, обработку циклическим сдвигом (RR), обработку путем остаточной ДИКМ и обработку квантования, а одни и те же этапы декодирования могут включать обработку деквантования, обратную обработку остаточной ДИКМ, обработку RR и обратную TS обработку. Порядок обработки кодирования может соответствовать обработке с помощью остаточной ДИКМ, за которой по порядку идет TS обработка и RR обработка, а порядок обработки декодирования соответствует RR обработке, за которой по порядку идет обратная TS обработка и обратная обработка с помощью остаточной ДИКМ. В другом примере осуществления изобретения порядок обработки кодирования может соответствовать TS обработке, за которой по порядку идет обработка путем остаточной ДИКМ и RR обработка, а порядок обработки декодирования может соответствовать RR обработке, за которой по порядку идет обратная обработка остаточной ДИКМ и обратная TS обработка.

В другом примере осуществления изобретения промежуточное кодирование остаточной ДИКМ распространяется на блоки, закодированные в режиме предсказания IntraBC. Другими словами, остаток IntraBC обрабатывается так, как будто он является остатком промежуточного предсказания, а обработка с помощью промежуточной остаточной ДИКМ с вертикальным или горизонтальным направлением предсказания применима к остатку IntraBC или обработанному остатку IntraBC.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 представлен пример обработки с помощью остаточной ДИКМ (остаточной дифференциальной импульсно-кодовой модуляции) в вертикальном направлении.

На Фиг. 2 представлен пример обработки циклическим сдвигом, при которой, видимо, большой остаток в нижнем правом углу перемещается при вращении в верхний левый угол.

На Фиг. 3 представлена блок-схема примерной системы, где реализовано настоящее изобретение с целью объединения кодирования остаточной ДИКМ с режимами внутреннего предсказания, промежуточного предсказания и копии внутрикадрового блока.

На Фиг. 4А-4С представлено объединенное декодирование остаточной ДИКМ, соответствующее трем примерам осуществления настоящего изобретения.

На Фиг. 5 представлена блок-схема примерной системы кодирования, где осуществлено настоящее изобретение в целях распространения промежуточного кодирования путем остаточной ДИКМ на блоки, закодированные с помощью режима копии внутрикадрового блока.

На Фиг. 6 представлена блок-схема примерной системы декодирования, где осуществлено настоящее изобретение в целях распространения промежуточного кодирования остаточной ДИКМ на блоки, закодированные с помощью режима копии внутрикадрового блока.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В целях снижения сложности, обусловленной зависимостью обработки от промежуточных/внутренних режимов и режимов с потерями и без потерь при кодировании путем остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ), в примерах осуществления настоящего изобретения используется объединенный процесс кодирования с помощью ДИКМ для промежуточных/внутренних режимов и режимов с потерями и без потерь.

Первый пример осуществления изобретения - модификация промежуточного/IntraBC процесса с потерями для согласования с другими фактическими случаями

На основании ранее описанного процесса декодирования, отмечалось, что промежуточный/IntraBC процесс с потерями (т.е. режим пропуска преобразования) является частным случаем, где обратная остаточная ДИКМ выполняется до RR процесса и обратного TS. Таким образом, при первом осуществлении настоящего изобретения необходимо модифицировать только этот фактический случай для объединения его с другими следующим образом:

Объединенное кодирование остаточной ДИКМ, Способ 1:

- Кодирование: Если TU кодируется при пропуске преобразования:

Остаточная ДИКМ TS → RR → квантование

- Декодирование: Если TU кодируется при пропуске преобразования: Деквантование → RR → inv-TS → inv-остаточная ДИКМ

Обратите внимание, что у остаточного циклического сдвига (RR) есть свой отдельный сигнальный флаг, который не объединен с остаточной ДИКМ.

Таким образом, inv-остаточная ДИКМ всегда будет последним этапом процесса декодирования остаточного сигнала, независимо от промежуточного/IntraBC процесса с потерями/без потерь. Это упрощает процесс декодирования. Что касается кодирования, остаточная ДИКМ всегда будет выполняться первой, за ней следует TS (если присутствуют потери), где происходит сдвиг влево (т.е. масштабирование) к остатку, а затем - квантование и вращение.

Второй пример осуществления изобретения - приведение всех фактических случаев к промежуточному/IntraBC процессу с потерями

Дополнительным вариантом осуществления изобретения является согласование всех фактических случаев с промежуточным/IntraBC процессом с потерями. Другими словами, в процессе декодирования остатка, RR и inv-TS перемещаются на позицию после inv-остаточной ДИКМ. На стороне кодера, TS и RR перемещаются на позицию до остаточной ДИКМ. Соответствующие процессы представлены в следующем виде:

Объединенное кодирование остаточной ДИКМ, Способ 2:

- Процесс кодирования

- Если CU кодируется при обходе преобразования и квантования: RR - Остаточная ДИКМ

- Если TU кодируется при пропуске преобразования: TS → RR → остаточная ДИКМ → квантование

- Процесс декодирования

- Если CU кодируется при обходе преобразования и квантования: inv-остаточная ДИКМ → RR

Если TU кодируется при пропуске преобразования: Деквантование → inv-остаточная ДИКМ → RR → inv-TS

Следует отметить, что у остаточного циклического сдвига (RR) есть свой отдельный сигнальный флаг, который не объединен с остаточной ДИКМ.

Во втором примере использования объединенной обработки в связи с тем, что операция TS (перемещение влево) выполняется на остаточном блоке вначале со стороны кодера, последующая остаточная ДИКМ и квантование по строкам и столбцам будут проходить в области более высокой точности. Таким образом, второй пример осуществления изобретения может привести к повышению эффективности кодирования по скорости передачи в бодах, которая является общепринятым критерием качества кодирования видеосигналов.

Третий пример осуществления изобретения - процесс декодирования с RR → inv-остаточная ДИКМ → inv-TS (кодер: TS → остаточная ДИКМ → RR)

При постановке процесса TS перед остаточной ДИКМ на стороне кодера может повыситься эффективность кодирования, в третьем примере осуществления изобретения рассматривается дальнейшее воздействие процесса RR вкупе с остаточной ДИКМ, в частности, на внутренние блоки. Эффективность внутренней остаточной ДИКМ обусловлена использованием избыточности остатка в направлении внутреннего предсказания. Например, в вертикальном режиме внутренней остаточной ДИКМ используется избыточность по вертикали, когда остатки вычитаются построчно. Нижняя строка, вероятно, будет обладать самой большой избыточностью. Если на стороне кодера процесс RR происходит до остаточной ДИКМ, вероятно, что самый большой остаток в нижней строке будет вращением перемещаться к верхней строке. Остаточная ДИКМ не может быть причиной этого. Таким образом, в третьем примере, разрывается последовательная связь TS→RR и RR→inv-TS, что приводит к тому, что процесс кодирования/декодирования с остаточной ДИКМ/ inv- остаточной ДИКМ вставляется между TS→RR и RR→inv-TS, соответственно. Соответствующие процессы представлены следующим образом:

Объединенное кодирование остаточной ДИКМ, Способ 3:

- Процесс кодирования

- Если ячейка CU кодируется при обходе преобразования и квантования (transquant bypass): Остаточная ДИКМ→RR

- Если TU кодируется при пропуске преобразования: TS → Остаточная ДИКМ → RR → квантование

- Процесс декодирования

- Если ячейка CU кодируется при обходе преобразования и квантования: RR → inv-остаточная ДИКМ

- Если TU кодируется при пропуске преобразования: Деквантование → RR → inv-остаточная ДИКМ → inv-TS

Следует отметить, что у остаточного циклического сдвига (RR) есть свой отдельный сигнальный флаг, который не объединен с остаточной ДИКМ.

В целях улучшения характеристик блоков, закодированных с помощью режима предсказания IntraBC, другой аспект настоящего изобретения распространяет действие промежуточной остаточной ДИКМ на блоки, закодированные с помощью режима предсказания IntraBC.

Четвертый пример осуществления изобретения - распространение действия промежуточной остаточной ДИКМ на блоки IntraBC

Для расширения диапазона HEVC, в целях распространения процесса кодирования промежуточной остаточной ДИКМ на блоки, предсказанные IntraBC, для блоков IntraBC необходимо включить анализ синтаксиса флагов On/Off остаточной ДИКМ и флагов направления остаточной ДИКМ. Далее, необходимо учесть требования, связанные с обработкой с помощью остаточной ДИКМ. Пример изменений синтаксиса в целях обеспечения реализации четвертого способа показан в Таблице 1.

Как указано в Примечании (1) Таблицы 1, дополнительные тексты (выделенные жирным курсивом) были добавлены к синтаксису в целях распространения действия промежуточного кодирования остаточной ДИКМ на блоки, закодированные с помощью режима IntraBC. В частности, новый текст «(CuPredMode[x0][y0]==MODE_INTRA && intra_bc_flag [x0][y0] && residual_dpcm_intra_enabled_flag)» относится к распространению промежуточного кодирования остаточной ДИКМ на режим, предсказанный IntraBC, где MODE_INTRA, равная 1, указывает, что блок закодирован во внутреннем режиме предсказания, intra_bc_flag [x0][y0], равная 1, указывает, что блок закодирован с помощью IntraBC, a residual_dpcm_intra_enabled_flag, равная 1, указывает, что остаточная ДИКМ активирована для режима внутреннего предсказания. Как указано в Примечании (2) Таблицы 1, дополнительные тексты (выделенные жирным курсивом) были добавлены к синтаксису в целях распространения действия промежуточной кодирования путем остаточной ДИКМ на блоки, закодированные с помощью режима IntraBC. В частности, новый текст «(CuPredMode [xC][yC]==MODE_INTRA && Intra_bc_flag [x0][y0] && inter_rdpcm_flag [x0][y0][cldx])» относится к распространению промежуточного кодирования остаточной ДИКМ на режим предсказания IntraBC, где inter_rdpcm_flag [x0][y0][cldx], равная 1 указывает, что остаточная ДИКМ активирована для внутреннего режима предсказания. В соответствии с настоящим изобретением способ распространения внутреннего кодирования путем остаточной ДИКМ на блоки IntraBC можно применять как к остаточным яркостным блокам, так и к остаточным цветовым блокам.

Пятый пример осуществления изобретения - упрощение подачи сигналов обхода преобразования и квантования на уровне CU с помощью флага PPS (набор параметров изображения).

В текущей спецификации диапазона HEVC, параметр кодирования из меню настройки используется для условий кодирования без потерь. Когда заданы условия кодирования без потерь, все ячейки CU в соответствующем изображении/секции будут закодированы с помощью режима обхода преобразования и квантования. Со стороны декодера а flag, cu_transquant_bypass_flag анализируется для каждой ячейки CU, несмотря на то, что условия кодирования уже заставляют производить кодирование каждой CU с помощью режима обхода преобразования и квантования.

При использовании настоящего изобретения эта проблема решается путем исключения избыточного аналитического процесса с помощью применения флага на уровне изображения. Когда заданы такие условия кодирования без потерь, при реализации настоящего изобретения в синтаксис на уровне CU, cu_transquant_bypass_flag вносятся следующие изменения, указанные в Таблице 2. Кроме того, флаг PPS (набор параметров изображения) (т.е., force_cu_transquant_bypass_flag) используется для указания того, что все ячейки CU в соответствующем изображении закодированы с помощью режима обхода преобразования и квантования, как показано в Таблице 3.

Как показано в Таблице 2, синтаксис флага cu_transquant_bypass_flag применяется только тогда, когда одновременно с активацией режима обхода преобразования и квантования (т.е. transquant_bypass_enabled_flag==1) ячейка CU не принуждена использовать режим обхода преобразования и квантования (т.е. force_cu_transquant_bypass_flag=0). Соответственно, можно избежать использования избыточного элемента синтаксиса для cu_transquant_bypass_flag.

Как показано в Таблице 3, флаг (т.е. force_cu_transquant_bypass_flag) находится в наборе PPS, чтобы показать, все ли ячейки CU в соответствующем изображении закодированы с помощью режима обхода преобразования и квантования. Флаг отражается, когда активирован режим обхода преобразования и квантования, на что указывает transquant_bypass_enabled_flag. Когда force_cu_transquant_bypass_flag равен 1, cu_transquant_bypass_flag отсутствует, и предполагается, что cu_transquant_bypass_flag равен 1. Когда force_cu_transquant_bypass_flag равен 0, появляется cu_transquant_bypass_flag. Если force_cu_transquant_bypass_flag отсутствует, предполагается, что он равен 0.

Производится сравнение показателей работы системы, где реализован четвертый способ настоящего изобретения, с показателями обычной системы. В Таблице 4 представлены результаты сравнения, проведенного в условиях испытания, описанного в документе JCTVC-N1123 (Ankur Saxena, et.al., "HEVC Range Extensions Core Experiment 3 (RCE3): Intra Prediction techniques", Объединенная группа по кодированию видеосигналов (JCT-VC) of ITU-T SG 16 WP 3 и ISO/IEC JTC 1/SC29/WG 11, 14^-e совещание: Вена, Австрия, 25 июля - 2 августа 2013 г, документ: JCTVC-N1123). При сравнении показателей работы использовалось базовое ПО НМ -12.0 (HEVC Test Model, version 12.0 - модель для испытаний HEVC, версия 12.0). В качестве ссылки используется промежуточная остаточная ДИКМ распространенная на блоки IntraBC. Сравнение производилось с использованием различных тестовых материалов, указанных в столбце 1. Улучшение в плане скорости передачи данных, благодаря реализации настоящего изобретения, по сравнению с обычным способом, показано для различных компоновок системы, включая All Intra НЕ (High Efficiency - высокая эффективность) Main-tier, All Intra HE High-tier и All Intra HE Super High-tier. Как показано в Таблице 4, когда промежуточная остаточная ДИКМ не имеет доступа на блоки IntraBC, то повышение скорости передачи данных гораздо более заметно в отношении тестовых материалов содержимого экрана (т.е. SC (444) GBR и SC (444) YUV), где повышение составляет до 5,2%. Время кодирования и декодирования примерно одно и то же.

Производится сравнение показателей работы систем, в которых реализовано два способа настоящего изобретения для объединенного внутреннего и промежуточного кодирования. Первая система соответствует первому примеру осуществления изобретения, а вторая система - третьему примеру. В Таблицах 5-7 представлено сравнение показателей работы, проведенное в условиях испытания, описанного в документе JCTVC-N1123. Первый пример используется при сравнении показателей в качестве опорной системы, отрицательное значение в таблице указывает на то, что вторая система функционирует лучше первой. В Таблице 5 показаны результаты для различных компоновок системы, включая All Intra НЕ (High Efficiency - высокая эффективность) Main-tier, All Intra HE High-tier и All Intra HE Super High-tier. Третий пример демонстрирует небольшое улучшение в плане скорости передачи данных по сравнению с первым примером. В Таблице 6 показаны результаты для Random Access НЕ Main-tier и Random Access НЕ High-tier (Random Access - произвольная выборка). Третий пример демонстрирует небольшое улучшение в плане скорости передачи данных по сравнению с первым примером. В Таблице 7 показаны результаты для Low-delay В НЕ Main-tier и Low-delay В НЕ High-tier. Low-delay - малая задержка. Третий пример демонстрирует небольшое улучшение в плане скорости передачи данных по сравнению с первым примером. Время кодирования и декодирования во всех случаях примерно одно и то же.

Производится сравнение показателей работы систем, в которых реализовано два способа настоящего изобретения для объединенного внутреннего и промежуточного кодирования. Первая система соответствует первому примеру осуществления изобретения без остаточного цикла сдвига, а вторая система - третьему примеру без остаточного цикла сдвига. В Таблицах 8-10 представлено сравнение показателей работы, проведенное в условиях испытания, описанного в документе JCTVC-N1123. Первый пример без цикла сдвига используется при сравнении показателей в качестве опорной системы. В Таблице 8 показаны результаты для различных компоновок системы, включая All Intra НЕ (High Efficiency - высокая эффективность) Main-tier, All Intra HE High-tier и All Intra HE Super High-tier. Третий пример без остаточного цикла сдвига демонстрирует небольшое улучшение в плане скорости передачи данных по сравнению с первым примером без остаточного цикла сдвига. В Таблице 9 показаны результаты для Random Access НЕ Main-tier и Random Access HE High-tier (Random Access - произвольная выборка). Третий пример без остаточного цикла сдвига демонстрирует небольшое улучшение в плане скорости передачи данных по сравнению с первым примером без остаточного цикла сдвига. В Таблице 10 показаны результаты для Low-delay В НЕ Main-tier и Low-delay В НЕ High-tier. Low-delay - малая задержка. Время кодирования и декодирования во всех случаях примерно одно и то же.

На Фиг. 3 представлена блок-схема примерной системы, где реализовано настоящее изобретение с целью объединения кодирования остаточной ДИКМ с режимами внутреннего предсказания, промежуточного предсказания и копии внутрикадрового блока. Система получает входные данные, относящиеся к текущему блоку, как показано на этапе 310. В целях кодирования входные данные соотносятся с данными элемента изображения, подлежащими кодированию. В целях декодирования входные данные соотносятся с данными кодированного элемента изображения, подлежащими декодированию. Входные данные можно извлекать из памяти (например, памяти компьютера, буфера (ОЗУ или динамического ОЗУ) или других носителей информации) или из процессора. Режим предсказания для текущего блока определяется, как показано на этапе 320, при этом режим предсказания выбирается из первой группы, куда входит внутренний режим предсказания и, по крайней мере, один из промежуточного режима предсказания и режима предсказания IntraBC (режим копии внутрикадрового блока). Режим кодирования для текущего блока определяется так, как показано на этапе 330, где режим кодирования выбирается из второй группы, в которую входит режим обхода преобразования и квантования и режим кодирования TS (режим кодирования с пропуском преобразования). На этапе 340, первое кодирование путем остаточной ДИКМ применимо к текущему блоку, когда текущий блок кодируется с помощью внутреннего режима предсказания; а второе кодирование с помощью остаточной ДИКМ применимо к текущему блоку, когда текущий блок закодирован с помощью промежуточного режима предсказания или режима предсказания IntraBC. При первом и втором кодировании с помощью остаточной ДИКМ используются одни и те же этапы кодирования в одном и том же порядке кодирующей обработки.

На Фиг. 4А-4С показан объединенный процесс декодирования с первого по третий пример осуществления изобретения, соответственно. Фиг. 4А соответствует объединенному процессу декодирования в первом примере осуществления изобретения. Как показано на Фиг. 4А, вначале применяется обработка деквантизацией (410), затем по порядку идет факультативно выбираемый остаточный циклический сдвиг (420), обратный пропуск преобразования (430) и обратная остаточная ДИКМ (440). Фиг. 4В соответствует объединенному процессу декодирования во втором примере. Как показано на Фиг. 4В, вначале применяется обработка деквантизацией (410), затем по порядку идет обратная остаточная ДИКМ (440), факультативно выбираемый остаточный циклический сдвиг (420) и обратный пропуск преобразования (430). Фиг. 4С соответствует объединенному процессу декодирования в третьем примере. Как показано на Фиг. 4С, вначале применяется обработка деквантизацией (410), затем по порядку идет факультативно выбираемый остаточный циклический сдвиг (420), обратная остаточная ДИКМ (440) и обратный пропуск преобразования (430).

На Фиг. 5 представлена блок-схема примерной системы кодирования, где осуществлено настоящее изобретение, в целях распространения промежуточного кодирования путем остаточной ДИКМ на блоки, закодированные с помощью режима копии внутрикадрового блока. Получение входных данных, относящихся к текущему блоку в текущем изображении, происходит на этапе 510. Остаток IntraBC (остаток копии внутрикадрового блока) для текущего блока выделяется на основе текущего блока и блока ссылки в текущем изображении на этапе 520. Флаг on/off («вкл/выкл») остаточной ДИКМ и флаг направления предсказания остаточной ДИКМ для остатка IntraBC определяются на этапе 530. В соответствии с выбранным флагом «вкл/выкл» остаточной ДИКМ, на этапе 540 к остатку IntraBC или обработанному остатку IntraBC применяется кодирование с потерями или без потерь, с или без остаточной ДИКМ. Когда выбранный флаг «вкл/выкл» остаточной ДИКМ находится в положении «вкл», кодирование путем остаточной ДИКМ, как с потерями, так и без потерь, включает обработку путем остаточной ДИКМ в соответствии с флагом направления предсказания остаточной ДИКМ.

На Фиг. 6 представлена блок-схема примерной системы декодирования, где осуществлено настоящее изобретение, в целях распространения промежуточного кодирования путем остаточной ДИКМ на блоки, закодированные с помощью режима копии внутрикадрового блока. Получение кодированного двоичного потока с текущим блоком в текущем изображении происходит на этапе 610. Флаг on/off («вкл/выкл») остаточной ДИКМ и флаг направления предсказания остаточной ДИКМ для текущего блока определяются по двоичному потоку на этапе 620. Проведение анализа остаточных данных с промежуточным кодированием из закодированного двоичного потока осуществляется на этапе 630. В зависимости от выбранного флага «вкл/выкл» остаточной ДИКМ, декодирование с потерями или без потерь, с или без остаточной ДИКМ применяется к закодированным остаточным данным на этапе 64 0 для получения восстановленного остатка IntraBC или восстановленного и обработанного остатка IntraBC. Когда выбранный флаг «вкл/выкл» остаточной ДИКМ находится в положении «вкл», декодирование путем остаточной ДИКМ, как с потерями, так и без потерь, включает обратную обработку путем остаточной ДИКМ в соответствии с флагом направления предсказания выбранной остаточной ДИКМ. На этапе 650 восстановленный текущий блок выводится на основе блока ссылки в текущем изображении и либо восстановленного остатка IntraBC, либо восстановленного и обработанного остатка IntraBC.

Вышеуказанные блок-схемы наглядно представляют примеры объединенной промежуточной/внутренней остаточной ДИКМ, где, в соответствии с настоящим изобретением, действие промежуточной остаточной ДИКМ распространяется на блоки, закодированные в режиме предсказания IntraBC. Специалист в данной технической области может вносить изменения в каждый этап, переставлять этапы, разбивать этап или комбинировать этапы в целях реализации настоящего изобретения в пределах его объема.

Вышеприведенное описание представлено для того, чтобы средний специалист смог использовать настоящее изобретение в свете конкретного применения и его требования. Различные модификации описанных примеров осуществления изобретения будут понятны и очевидны опытным специалистам в данной области, а общие принципы, представленные в настоящем документе, могут быть применены и к другим примерам осуществления изобретения. Таким образом, настоящее изобретение не ограничено конкретными примерами его реализации, описание которых дано, а может использоваться в более широком масштабе в соответствии с принципами и элементами новизны, раскрытыми в настоящем документе. В вышеприведенном описании дано пояснение по различным конкретным деталям, позволяющее глубоко понять настоящее изобретение. Тем не менее, изобретение будет понято опытными специалистами, которые работают в технической области, к которой настоящее изобретение относится.

Настоящее изобретение, описание которого дано выше, можно реализовать на различном аппаратном оборудовании, в программном обеспечении или одновременно там и там. Например, осуществление настоящего изобретения может быть в виде схемы, интегрированной в чип сжатия видеосигнала, или в виде программного кода, интегрированного в ПО сжатия видеосигнала для выполнения обработки, описание которой дано в настоящем документе. Настоящее изобретение также может быть реализовано в качестве программного кода, который используется в процессоре обработки цифровых сигналов (ПОЦС), что позволит выполнить обработку, описанную в настоящем документе. Изобретение может также включать ряд функций, выполняемых процессором компьютера, процессором обработки цифровых сигналов, микропроцессором или программируемой пользователем матрицей логических элементов типа FPGA. Компоновку этих процессоров можно составить с целью выполнения конкретных задач в соответствии с настоящим изобретением путем реализации машиночитаемого программного кода или кода прошивки, который определяет конкретные способы, осуществляемые с помощью настоящего изобретения. Программный код или код прошивки можно разработать на разных языках программирования, в различных форматах или стилях. Программный код можно сформировать для различных целевых платформ. При этом различные форматы и стили кодов, а также языки программных кодов и другие средства настройки кодов в целях выполнения задач в соответствии с настоящим изобретением должны оставаться в пределах его объема.

Изобретение может быть реализовано в других формах в пределах своего объема или основных характеристик. Представленные примеры рассматриваются по всем параметрам только в качестве демонстрации и не являются ограничительными. Объем изобретения, таким образом, более раскрывается в прилагаемых формулах изобретения, чем в предшествующем описании. Все изменения, которые осуществляются в пределах значения и эквивалентов признаков формулы изобретения, должны не выходить за объем правовой охраны изобретения.

Изобретение относится к кодированию с помощью остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ). Технический результат – расширение диапазона высокоэффективного кодирования видеоизображений (HEVC). Для этого те же самые этапы кодирования и декодирования путем остаточной ДИКМ, в том же самом порядке обработки, применяются к блокам, закодированным в режиме внутреннего предсказания и режиме промежуточного предсказания / режиме предсказания IntraBC (режиме копии внутрикадрового блока). Способ распространения промежуточного кодирования путем остаточной ДИКМ на блоки, закодированные в режиме предсказания IntraBC. К остатку IntraBC применяется обработка с помощью остаточной ДИКМ в вертикальном или горизонтальном направлении. 3 н. и 9 з.п. ф-лы, 8 ил., 10 табл.

1. Способ кодирования и декодирования путем остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ) для блока изображений, включающий в себя:

получение входных данных, относящихся к текущему блоку;

определение режима предсказания для текущего блока, при этом режим предсказания выбирается из первой группы, куда входит внутренний режим предсказания и, по крайней мере, один из промежуточного режима предсказания и режима предсказания IntraBC (режим копии внутрикадрового блока);

определение режима кодирования текущего блока, при этом режим кодирования выбирается из второй группы, в которую входит режим обхода преобразования и квантования и режим кодирования TS (режим кодирования с пропуском преобразования), которые предназначены для применения остаточной ДИКМ и применения первой остаточной ДИКМ при кодировании или декодировании текущего блока, когда текущий блок закодирован с помощью внутреннего режима предсказания, и применения второй остаточной ДИКМ при кодировании или декодировании текущего блока, когда текущий блок закодирован с помощью промежуточного режима предсказания или режима предсказания IntraBC, при этом в ходе первого и второго кодирования с помощью остаточной ДИКМ используются одни и те же этапы кодирования в одном и том же порядке кодирующей обработки, причем в ходе первого и второго декодирования с помощью остаточной ДИКМ используются одни и те же этапы декодирования в одном и том же порядке декодирующей обработки.

2. Способ по п. 1, в котором одни и те же этапы кодирования включают обработку TS, обработку путем остаточной ДИКМ и обработку квантованием, и одни и те же этапы декодирования включают обработку деквантизацией, обработку обратной остаточной ДИКМ, обратную обработку TS, когда текущий блок закодирован с помощью режима TS.

3. Способ по п. 2, в котором вышеуказанный тот же самый порядок обработки кодирования соответствует обработке путем остаточной ДИКМ, за которой по порядку следует обработка TS и факультативная обработка циклическим сдвигом RR, и вышеуказанный тот же самый порядок обработки декодирования соответствует факультативной обработке RR, за которой по порядку следует обратная обработка TS и обратная обработка остаточной ДИКМ.

4. Способ по п. 2, в котором вышеуказанный тот же самый порядок обработки кодирования соответствует обработке TS, за которой по порядку следует обработка остаточной ДИКМ и факультативная обработка RR, и вышеуказанный тот же самый порядок обработки декодирования соответствует факультативной обработке RR, за которой по порядку следует обратная обработка остаточной ДИКМ и обратная обработка TS.

5. Способ по п. 1, в котором в первую группу входит режим внутреннего предсказания и режим предсказания IntraBC, одни и те же этапы кодирования или декодирования применяются к текущему блоку, когда текущий блок закодирован с помощью внутреннего режима предсказания, промежуточного режима предсказания и режима предсказания IntraBC.

6. Способ по п. 1, в котором одни и те же этапы кодирования включают обработку путем остаточной ДИКМ, а одни и те же этапы декодирования включают обратную обработку путем остаточной ДИКМ, где направление предсказания, соответствующее вертикальному или горизонтальному направлению, связано с обработкой путем остаточного ДИКМ, направление предсказания косвенно определяется для текущего блока, закодированного в режиме внутреннего предсказания; а направление предсказания косвенно определяется со стороны кодера для текущего блока, закодированного в промежуточном режиме предсказания и режиме предсказания IntraBC.

7. Способ по п. 6, в котором направление предсказания косвенно определяет внутренний режим текущего блока, когда текущий блок закодирован в режиме внутреннего предсказания.

8. Способ по п. 6, сигнал о направлении предсказания подается в кодированном двоичном потоке для текущего блока, закодированного в режиме промежуточного предсказания и режиме предсказания IntraBC.

9. Способ кодирования путем остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ) для блока IntraBC, включающий в себя:

получение входных данных, относящихся к текущему блоку;

выделение остатка IntraBC (остаток копии внутрикадрового блока) для текущего блока на основе текущего блока и блока ссылки в текущем изображении;

определение флага «вкл/выкл» остаточной ДИКМ и флага направления предсказания для остатка IntraBC на основе информации не внутреннего режима; и

применение кодирования с потерями или без потерь, с использованием или без использования остаточной ДИКМ для остатка IntraBC или обработанного остатка IntraBC, в зависимости от выбранного флага «вкл/выкл» остаточной ДИКМ, при этом, когда выбранный флаг «вкл/выкл» остаточной ДИКМ находится в положении «вкл», указанное кодирование путем остаточной ДИКМ с потерями или без потерь включает обработку с помощью остаточной ДИКМ в соответствии с флагом предсказания направления.

10. Способ по п. 9, где указанное кодирование с потерями путем остаточной ДИКМ в дальнейшем включает обработку TS (пропуск преобразования) и обработку квантованием.

11. Способ декодирования путем остаточной дифференциальной импульсно-кодовой модуляции (ДИКМ) для блока IntraBC (копии внутрикадрового блока), включающий в себя:

получение кодированного двоичного потока, относящегося к текущему блоку в текущем изображении;

определение флага «вкл/выкл» остаточной ДИКМ и флага направления предсказания для текущего блока в текущем изображении;

анализ кодированных остаточных данных из кодированного двоичного потока;

в зависимости от выбранного флага «вкл/выкл» остаточной ДИКМ применение декодирования с потерями или без потерь, с использованием или без использования остаточной ДИКМ к кодированным остаточным данным для выделения восстановленного остатка IntraBC или восстановленного и обработанного остатка IntraBC, при этом, когда выбранный флаг «вкл/выкл» остаточной ДИКМ находится в положении «вкл», указанное декодирование путем остаточной ДИКМ с потерями или без потерь включает обратную обработку с помощью остаточной ДИКМ в соответствии с флагом предсказания направления; и

выделение восстановленного текущего блока на основе блока ссылки в текущем изображении и либо восстановленного остатка IntraBC, либо восстановленного и обработанного остатка IntraBC.

12. Способ по п. 11, где указанное декодирование с потерями путем остаточной ДИКМ далее включает обратную обработку TS (пропуск преобразования) и обратную обработку квантованием.