СПОСОБ И ОБОРУДОВАНИЕ ДЛЯ КОДИРОВАНИЯ/ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, ДЛЯ ВЫПОЛНЕНИЯ ФИЛЬТРАЦИИ ДЛЯ УДАЛЕНИЯ БЛОЧНОСТИ ПОСРЕДСТВОМ ОПРЕДЕЛЕНИЯ ГРАНИЧНОЙ ИНТЕНСИВНОСТИ И СПОСОБ ДЛЯ ПЕРЕДАЧИ ПОТОКА БИТОВ Российский патент 2024 года по МПК H04N19/86 

Область техники, к которой относится изобретение

[1] Настоящее изобретение относится к способу и оборудованию кодирования/декодирования изображений, а более конкретно, к способу и оборудованию кодирования/декодирования изображений для выполнения фильтрации для удаления блочности посредством определения граничной интенсивности и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего изобретения.

Уровень техники

[2] В последнее время, спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.

[3] Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.

Сущность изобретения

Техническая задача

[4] Цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[5] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений для выполнения фильтрации для удаления блочности.

[6] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений для определения граничной интенсивности фильтрации для удаления блочности, чтобы выполнять фильтрацию для удаления блочности.

[7] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему изобретению.

[8] Другая цель настоящего изобретения заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему изобретению.

[9] Другая цель настоящего изобретения заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему изобретению.

[10] Технические проблемы, разрешаемые посредством настоящего изобретения, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.

Техническое решение

[11] Способ декодирования изображений согласно аспекту настоящего изобретения осуществляется посредством оборудования декодирования изображений. Способ декодирования изображений содержит получение восстановленного кадра; определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.

[12] В способе декодирования изображений согласно настоящему изобретению, то, может или нет объединенное остаточное CbCr-кодирование выполняться для блока, смежного с целевой границей, определяется на основе первого флага, передаваемого в служебных сигналах для смежного блока.

[13] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться дополнительно на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.

[14] В способе декодирования изображений согласно настоящему изобретению, то, включает или нет блок, смежный с целевой границей, в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, может определяться на основе второго флага, передаваемого в служебных сигналах для смежного блока.

[15] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе суммы двух первых флагов и двух вторых флагов для двух блоков, смежных с целевой границей.

[16] В способе декодирования изображений согласно настоящему изобретению, граничная интенсивность может определяться равной 1, на основе суммы, большей 0.

[17] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов яркости восстановленного кадра, граничная интенсивность может определяться на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.

[18] Оборудование декодирования изображений согласно другому варианту осуществления настоящего изобретения может содержать запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может включать в себя получение восстановленного кадра, определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.

[19] Способ кодирования изображений согласно другому аспекту настоящего изобретения может содержать формирование восстановленного кадра, определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.

[20] В способе кодирования изображений согласно настоящему изобретению, то, может или нет объединенное остаточное CbCr-кодирование выполняться для блока, смежного с целевой границей, определяется на основе первого флага, передаваемого в служебных сигналах для смежного блока.

[21] В способе кодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться дополнительно на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.

[22] В способе кодирования изображений согласно настоящему изобретению, то, включает или нет блок, смежный с целевой границей, в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, может определяться на основе второго флага, передаваемого в служебных сигналах для смежного блока.

[23] В способе кодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе суммы двух первых флагов и двух вторых флагов для двух блоков, смежных с целевой границей.

[24] В способе кодирования изображений согласно настоящему изобретению, граничная интенсивность может определяться равной 1, на основе суммы, большей 0.

[25] Способ передачи согласно другому аспекту настоящего изобретения может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего изобретения.

[26] Машиночитаемый носитель записи согласно другому аспекту настоящего изобретения может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего изобретения.

[27] Признаки, кратко обобщенные выше относительно настоящего изобретения, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего изобретения и не ограничивают объем настоящего изобретения.

Преимущества изобретения

[28] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[29] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений для выполнения фильтрации для удаления блочности.

[30] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений для определения граничной интенсивности фильтрации для удаления блочности, чтобы выполнять фильтрацию для удаления блочности.

[31] Кроме того, согласно настоящему изобретению, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему изобретению.

[32] Кроме того, согласно настоящему изобретению, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему изобретению.

[33] Кроме того, согласно настоящему изобретению, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему изобретению.

[34] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее изобретение, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего изобретения должны более ясно пониматься из подробного описания.

Краткое описание чертежей

[35] Фиг. 1 является видом, схематично показывающим систему кодирования видео согласно варианту осуществления настоящего изобретения.

[36] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений согласно варианту осуществления настоящего изобретения.

[37] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений согласно варианту осуществления настоящего изобретения.

[38] Фиг. 4 является блок-схемой последовательности операций способа для процедуры декодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.

[39] Фиг. 5 является блок-схемой последовательности операций способа для процедуры кодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.

[40] Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей фильтрацию для удаления блочности согласно настоящему изобретению.

[41] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно варианту осуществления настоящего изобретения.

[42] Фиг. 8 является видом, иллюстрирующим передачу в служебных сигналах синтаксического элемента в блоке преобразования, связанном с вариантом осуществления настоящего изобретения.

[43] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[44] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[45] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[46] Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс кодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.

[47] Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс декодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.

[48] Фиг. 14 является видом, иллюстрирующим два блока и выборки, смежные с целевой границей фильтрации для удаления блочности согласно варианту осуществления настоящего изобретения.

[49] Фиг. 15 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего изобретения.

Оптимальный режим осуществления изобретения

[50] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, так что они могут легко реализовываться специалистами в данной области техники. Тем не менее, настоящее изобретение может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.

[51] При описании настоящего изобретения, в случае если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего изобретения, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего изобретения, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.

[52] В настоящем изобретении, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.

[53] В настоящем изобретении, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего изобретения, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.

[54] В настоящем изобретении, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего изобретения.

[55] В настоящем изобретении, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего изобретения. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего изобретения.

[56] Настоящее изобретение относится к кодированию и декодированию изображения, и термины, используемые в настоящем изобретении, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее изобретение, если не задаются впервые в настоящем изобретении.

[57] В настоящем изобретении, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка/субкадр представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток/ субкадров. Помимо этого, срез/плитка/субкадр может включать в себя одну или более единиц дерева кодирования (CTU).

[58] В настоящем изобретении, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигналов яркости либо только пиксел/пиксельное значение компонента сигналов цветности.

[59] В настоящем изобретении, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.

[60] В настоящем изобретении, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".

[61] Помимо этого, в настоящем изобретении, "текущий блок" может означать "блок сигналов яркости текущего блока", если не указан в явной форме в качестве блока сигналов цветности. "Блок сигналов цветности текущего блока" может выражаться посредством включения явного описания блока сигналов цветности, такого как "блок сигналов цветности" или "текущий блок сигналов цветности".

[62] В настоящем изобретении, термин "/" и "," должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".

[63] В настоящем изобретении, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем изобретении, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".

[64] Общее представление системы кодирования видео

[65] Фиг. 1 является видом, показывающим систему кодирования видео согласно настоящему изобретению.

[66] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.

[67] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.

[68] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.

[69] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.

[70] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.

[71] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.

[72] Модуль 23 рендеринга может выполнять рендеринг декодированного видео/изображения. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.

[73] Общее представление оборудования кодирования изображений

[74] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего изобретения.

[75] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 взаимного прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.

[76] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.

[77] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему изобретению может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.

[78] Модуль прогнозирования (модуль 180 взаимного прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.

[79] Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.

[80] Модуль 180 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.

[81] Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или взаимное прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и взаимное прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и взаимного прогнозирования для прогнозирования текущего блока может называться "комбинированным взаимным и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. В IBC, прогнозирование, по существу, выполняется в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем изобретении.

[82] Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.

[83] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.

[84] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.

[85] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем изобретении, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.

[86] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.

[87] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.

[88] Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 взаимного прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). В случае, если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, если режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.

[89] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.

[90] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. Когда взаимное прогнозирование применяется через оборудование 100 кодирования изображений, рассогласование прогнозирования между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.

[91] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.

[92] Общее представление оборудования декодирования изображений

[93] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего изобретения.

[94] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.

[95] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.

[96] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.

[97] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем изобретении, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством прогнозирования вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с прогнозированием из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.

[98] Между тем, оборудование декодирования изображений согласно настоящему изобретению может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 260 взаимного прогнозирования или модуля 265 внутреннего прогнозирования.

[99] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.

[100] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).

[101] Модуль прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного прогнозирования.

[102] Идентично тому, что описано в модуле прогнозирования оборудования 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.

[103] Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.

[104] Модуль 260 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим взаимного прогнозирования для текущего блока.

[105] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 взаимного прогнозирования и/или модуль 265 внутреннего прогнозирования). Описание сумматора 155 является в равной степени применимым к сумматору 235. В случае если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.

[106] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п.

[107] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.

[108] В настоящем изобретении, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного прогнозирования и модуле 185 внутреннего прогнозирования оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного прогнозирования и модулю 265 внутреннего прогнозирования оборудования 200 декодирования изображений.

[109] Общее представление процедуры декодирования/кодирования изображений

[110] При кодировании изображений/видео, кадр, конфигурирующий изображение/видео, может кодироваться/декодироваться согласно последовательности в порядке декодирования. Порядок кадров, соответствующий порядку вывода декодированного кадра, может задаваться по-другому по сравнению с вышеуказанным порядком декодирования, и на основе этого, не только прямое прогнозирование, но также и обратное прогнозирование может выполняться во время взаимного прогнозирования.

[111] Фиг. 4 является блок-схемой последовательности операций способа для процедуры декодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.

[112] Каждая процедура, показанная на фиг. 4, может выполняться посредством оборудования декодирования изображений по фиг. 3. Например, этап S410 может выполняться посредством энтропийного декодера 210 оборудования декодирования изображений, этап S420 может выполняться посредством модулей 260 и 265 прогнозирования, этап S430 может выполняться посредством остаточных процессоров 220 и 230, этап S440 может выполняться посредством сумматора 235, и этап S450 может выполняться посредством фильтра 240. Этап S410 может включать в себя процедуру декодирования (синтаксического анализа) информации, описанную в настоящем изобретении, этап S420 может включать в себя процедуру взаимного/внутреннего прогнозирования, описанную в настоящем изобретении, этап S430 может включать в себя процедуру остаточной обработки, описанную в настоящем изобретении, этап S440 может включать в себя процедуру восстановления блоков/кадров, описанную в настоящем изобретении, и этап S450 может включать в себя процедуру внутриконтурной фильтрации, описанную в настоящем изобретении.

[113] Ссылаясь на фиг. 4, процедура декодирования кадров может схематично включать в себя процедуру (S410) для получения информации видео/изображений (посредством декодирования) из потока битов, процедуру (S420-S440) восстановления изображений (кадров) и процедуру (S450) внутриконтурной фильтрации для восстановленного изображения (кадра). Процедура восстановления изображений может выполняться на основе прогнозных выборок, полученных через взаимное/внутреннее прогнозирование (S420), и остаточных выборок, полученных через остаточную обработку (S430) (деквантование и обратное преобразование для квантованного коэффициента преобразования). Модифицированный восстановленный кадр может формироваться через процедуру (S450) внутриконтурной фильтрации для восстановленного кадра, сформированного через процедуру восстановления изображений, модифицированный восстановленный кадр может выводиться в качестве декодированного кадра, сохраненного в буфере 250 декодированных кадров (DPB) или в запоминающем устройстве оборудования декодирования изображений, и использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при декодировании последующего кадра. В некоторых случаях, процедура внутриконтурной фильтрации может опускаться. В этом случае, восстановленный кадр может выводиться в качестве декодированного кадра, сохраненного в DPB 250 или в запоминающем устройстве оборудования декодирования изображений, и использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при декодировании последующего кадра. Процедура (S450) внутриконтурной фильтрации может включать в себя процедуру фильтрации для удаления блочности, процедуру фильтрации на основе дискретизированного адаптивного смещения (SAO), процедуру адаптивной контурной фильтрации (ALF) и/или процедуру билатеральной фильтрации, как описано выше, некоторые или все из которых могут опускаться. Помимо этого, одна или некоторые из процедуры фильтрации для удаления блочности, процедуры фильтрации на основе дискретизированного адаптивного смещения (SAO), процедуры адаптивной контурной фильтрации (ALF) и/или процедуры билатеральной фильтрации могут последовательно применяться, либо все они могут последовательно применяться. Например, после того, как процедура фильтрации для удаления блочности применяется к восстановленному кадру, может выполняться SAO-процедура. Альтернативно, после того, как процедура фильтрации для удаления блочности применяется к восстановленному кадру, ALF-процедура может выполняться. Это может аналогично выполняться даже в оборудовании кодирования изображений.

[114] Фиг. 5 является блок-схемой последовательности операций способа для процедуры кодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.

[115] Каждая процедура, показанная на фиг. 5, может выполняться посредством оборудования кодирования изображений по фиг. 2. Например, этап S510 может выполняться посредством модулей 180 и 185 прогнозирования оборудования кодирования изображений, этап S520 может выполняться посредством остаточных процессоров 115, 120 и 130, и этап S530 может выполняться в энтропийном кодере 190. Этап S510 может включать в себя процедуру взаимного/внутреннего прогнозирования, описанную в настоящем изобретении, этап S520 может включать в себя процедуру остаточной обработки, описанную в настоящем изобретении, и этап S530 может включать в себя процедуру кодирования информации, описанную в настоящем изобретении.

[116] Ссылаясь на фиг. 5, процедура кодирования изображений может схематично включать в себя не только процедуру для кодирования и вывода информации для восстановления кадров (например, информации прогнозирования, остаточной информации, информации сегментации и т.д.) в форме потока битов, но также и процедуру для формирования восстановленного кадра для текущего кадра и процедуру (необязательно) для применения внутриконтурной фильтрации к восстановленному кадру. Оборудование кодирования изображений может извлекать (модифицированные) остаточные выборки из квантованного коэффициента преобразования через деквантователь 140 и обратный преобразователь 150 и формировать восстановленный кадр на основе прогнозных выборок, которые представляют собой вывод этапа S510, и (модифицированных) остаточных выборок. Восстановленный кадр, сформированный таким образом, может быть равным восстановленному кадру, сформированному в оборудовании декодирования изображений. Модифицированный восстановленный кадр может формироваться через процедуру внутриконтурной фильтрации для восстановленного кадра и может сохраняться в буфере 170 декодированных кадров (DPB) или в запоминающем устройстве и может использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при кодировании последующего кадра, аналогично оборудованию декодирования изображений. Как описано выше, в некоторых случаях, часть или вся процедура внутриконтурной фильтрации может опускаться. Когда процедура внутриконтурной фильтрации выполняется, связанная с (внутриконтурной) фильтрацией информация (параметр) может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов, и оборудование декодирования может выполнять процедуру внутриконтурной фильтрации с использованием идентичного способа со способом в оборудовании кодирования изображений на основе связанной с фильтрацией информации.

[117] Через такую процедуру внутриконтурной фильтрации, шум, возникающий во время кодирования видео/изображений, к примеру, артефакт блочности и артефакт кольцевания, может уменьшаться, и субъективное/объективное визуальное качество может повышаться. Помимо этого, посредством выполнения процедуры внутриконтурной фильтрации как в оборудовании кодирования изображений, так и в оборудовании декодирования изображений, оборудование кодирования изображений и оборудование декодирования изображений могут извлекать идентичный результат прогнозирования, надежность кодирования кадров может повышаться, и объем данных, которые должны передаваться для кодирования кадров, может уменьшаться.

[118] Как описано выше, процедура восстановления изображений (кадров) может выполняться не только в оборудовании декодирования изображений, но также и в оборудовании кодирования изображений. Восстановленный блок может формироваться на основе внутреннего прогнозирования/взаимного прогнозирования в единицах блоков, и может формироваться восстановленный кадр, включающий в себя восстановленные блоки. Когда текущий кадр/срез/группа плиток представляет собой I-кадр/срез/группу плиток, блоки, включенные в текущий кадр/срез/группу плиток, могут восстанавливаться только на основе внутреннего прогнозирования. С другой стороны, когда текущий кадр/срез/группа плиток представляет собой P- или B-кадр/срез/группу плиток, блоки, включенные в текущий кадр/срез/группу плиток, могут восстанавливаться на основе внутреннего прогнозирования или взаимного прогнозирования. В этом случае, внутреннее прогнозирование может применяться для некоторых блоков в текущем кадре/срезе/группе плиток, и взаимное прогнозирование может применяться для некоторых оставшихся блоков. Цветовой компонент кадра может включать в себя компонент сигналов яркости и компонент сигналов цветности, и способы и варианты осуществления настоящего изобретения являются применимыми к компоненту сигналов яркости и компоненту сигналов цветности, если явно не ограничено в настоящем изобретении.

[119] Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей фильтрацию для удаления блочности согласно настоящему изобретению. Фильтрация для удаления блочности, показанная на фиг. 6, может соответствовать фильтрации для удаления блочности из внутриконтурной фильтрации, описанной выше. Фильтрация для удаления блочности, показанная на фиг. 6, может выполняться, например, посредством фильтра 160 по фиг. 2 или фильтра 240 по фиг. 3.

[120] Фильтрация для удаления блочности может соответствовать технологии фильтрации для удаления искажения, возникающего на границе между блоками в восстановленном кадре. Целевая граница может извлекаться из восстановленного кадра через процедуру фильтрации для удаления блочности (S610). Помимо этого, граничная интенсивность (bS) для извлеченной целевой границы может определяться. Фильтрация для удаления блочности для целевой границы может выполняться на основе определенной граничной интенсивности (S630). Граничная интенсивность может определяться на основе режима прогнозирования двух блоков, смежных с целевой границей, разности векторов движения, того, являются или нет опорные кадры идентичными, и/или присутствия/отсутствия ненулевого допустимого коэффициента.

[121] Фильтрация для удаления блочности может применяться к восстановленному кадру. Фильтрация для удаления блочности может выполняться в идентичном порядке с процессом декодирования для каждой CU восстановленного кадра. Во-первых, вертикальный край может фильтроваться (горизонтальная фильтрация). После этого, горизонтальный край может фильтроваться (вертикальная фильтрация). Фильтрация для удаления блочности может применяться ко всем краям блоков (или субблоков) кодирования и краям блоков преобразования.

[122] Как описано выше, внутриконтурная фильтрация может включать в себя SAO. SAO может соответствовать способу компенсации разности смещения между восстановленным кадром и исходным кадром в единицах выборок. Например, SAO может применяться на основе типа, к примеру, как полосовое смещение или краевое смещение. Согласно SAO, выборки могут классифицироваться на различные категории согласно каждому SAO-типу. Значение смещения может добавляться в каждую выборку на основе классифицированных категорий. Информация фильтрации для SAO может включать в себя информацию относительно того, применяется или нет SAO, информацию SAO-типа и/или информацию значений SAO-смещения. SAO может применяться для восстановленного кадра после применения фильтрации для удаления блочности.

[123] Помимо этого, внутриконтурная фильтрация может включать в себя ALF. ALF может соответствовать технологии для выполнения фильтрации для восстановленного кадра в единицах выборок на основе коэффициентов фильтрации согласно форме фильтра. Оборудование кодирования может определять то, следует применять ALF, ALF-форму и/или коэффициент ALF-фильтрации, через сравнение между восстановленным кадром и исходным кадром. Помимо этого, это может передаваться в служебных сигналах в оборудование декодирования. Информация фильтрации для ALF может включать в себя информацию касательно того, следует применять ALF, информацию формы ALF-фильтра и/или информацию коэффициентов ALF-фильтрации. ALF может применяться для восстановленного кадра после применения фильтрации для удаления блочности.

[124] Согласно некоторым вариантам осуществления настоящего изобретения, граничная интенсивность может определяться согласно условию для двух блоков, смежных с целевой границей. В настоящем изобретении, граничная интенсивность и граничная интенсивность фильтрации могут использоваться взаимозаменяемо.

[125] Фиг. 14 является видом, иллюстрирующим два блока и выборки, смежные с целевой границей фильтрации для удаления блочности согласно варианту осуществления настоящего изобретения.

[126] На фиг. 14, граница, обозначаемая посредством сплошной жирной линии, может представлять собой целевую границу фильтрации для удаления блочности.

[127] Как показано на фиг. 14, когда целевая граница представляет собой вертикальную границу, левый блок может задаваться как P-блок, и правый блок может задаваться как Q-блок на основе целевой границы. Помимо этого, когда целевая граница представляет собой горизонтальную границу, верхний блок может задаваться как P-блок, и нижний блок может задаваться как Q-блок на основе целевой границы.

[128] В настоящем изобретении, выборка в P-блоке может обозначаться посредством p_n, и выборка в Q-блоке может обозначаться посредством q_n. Таким образом, p_n и q_n представляют собой выборки, обращенные к границе (целевой границе) между P-блоком и Q-блоком. В этом случае, n может быть целым числом, большим или равным 0, и может означать расстояние от целевой границы. p₀ может представлять собой выборку в P-блоке, непосредственно смежном с целевой границей, и q₀ может означать выборку в Q-блоке, непосредственно смежном с целевой границей. Например, p₀ может представлять собой выборку левого или верхнего блока, примыкающего к целевой границе, и q₀ может представлять собой выборку правого или нижнего блока, примыкающего к целевой границе. Альтернативно, как показано на фиг. 14, выборка в P-блоке может обозначаться посредством p_{n, m}, и выборка в Q-блоке может обозначаться посредством q_{n, m}. В этом случае, n является целым числом, большим или равным 0, как описано выше, и может означать расстояние от целевой границы. Помимо этого, m может представлять собой индекс для различения выборок, расположенных на идентичном расстоянии от целевой границы в одном блоке (в P-блоке или в Q-блоке).

[129] Помимо этого, в нижеприведенном описании, первое, второе и третье значения граничной интенсивности, соответственно, могут означать 0, 1 и 2, но объем настоящего изобретения не ограничен таким определением.

[130] Оборудование кодирования изображений и оборудование декодирования изображений могут выполнять фильтрацию для удаления блочности на основе граничной интенсивности. Например, когда граничная интенсивность составляет первое значение (например, 0), фильтрация может не применяться для соответствующей целевой границы. Фильтрация для удаления блочности может применяться на основе интенсивности фильтрации (сильный фильтр/слабый фильтр) и/или длины фильтра.

[131] В настоящем изобретении, фильтрация для удаления блочности может выполняться посредством получения информации, связанной с фильтрацией для удаления блочности, из потока битов. Например, информация, связанная с фильтрацией для удаления блочности, может включать в себя флаг, указывающий то, доступна или нет фильтрация для удаления блочности. Помимо этого, информация, связанная с фильтрацией для удаления блочности, может включать в себя информацию, используемую для того, чтобы извлекать граничную интенсивность.

[132] Процедура фильтрации для удаления блочности может отдельно выполняться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности) восстановленного кадра. Например, граничная интенсивность bS может по-разному извлекаться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности). Помимо этого, например, целевая граница может отдельно извлекаться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности). В настоящем изобретении, цветовой компонент может указываться посредством индекса cIdx компонента. Например, когда cIdx равен 0, он может указывать компонент сигналов яркости. Помимо этого, когда cIdx равен 1, он может указывать компонент Cb сигналов цветности, а когда cIdx равен 2, он может указывать компонент Cr сигналов цветности.

[133] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно варианту осуществления настоящего изобретения.

[134] Ссылаясь на фиг. 7, может определяться то, представляет или нет текущий блок собой блок компонентов сигналов яркости (например, cIdx=0), и то, включаются или нет выборки p₀ и q₀ в блок кодирования (например, intra_bdpcm_luma_flag=1), к которому применяется дифференциальная импульсно-кодовая модуляция в квантованной остаточной области на основе блоков (BDPCM) (S710). Когда вышеуказанные условия удовлетворяются (S710 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).

[135] Когда условия этапа S710 не удовлетворяются (S710 - "Нет"), этап S720 может определяться. В частности, может определяться то, представляет собой или нет текущий блок компонент сигналов цветности блок (например, cIdx>0), и то, включаются или нет обе выборки p₀ и q₀ в блок кодирования (например, intra_bdpcm_chroma_flag=1), к которому применяется BDPCM (S720). Когда вышеуказанные условия удовлетворяются (S720 - "Да"), целевая интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).

[136] Когда условия этапа S720 не удовлетворяются (S720 - "Нет"), этап S730 может определяться. В частности, может определяться то, включается либо нет выборка p₀ или выборка q₀ в блок кодирования, кодированный в режиме внутреннего прогнозирования (S730). Когда вышеуказанное условие удовлетворяется (S730 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая третье значение (например, 2).

[137] Когда условие S730 не удовлетворяется (S730 - "Нет"), этап S740 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока кодирования, и то, включается или нет выборка p₀ или выборка q₀ в блок кодирования (например, ciip_flag=1), к которому применяется комбинированное взаимное и внутреннее прогнозирование (CIIP) (S740). Когда вышеуказанное условие удовлетворяется (S740 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая третье значение (например, 2).

[138] Когда условие этапа S740 не удовлетворяется (S740 - "Нет"), этап S750 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, включается или нет выборка p₀ или выборка q₀ в блок преобразования, имеющий один или более уровней ненулевых коэффициентов преобразования (S750). Когда вышеуказанное условие удовлетворяется (S750 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[139] Когда условие этапа S750 не удовлетворяется (S750 - "Нет"), этап S760 может определяться. В частности, может определяться то, отличаются или нет режим прогнозирования субблока кодирования, содержащего выборку p₀, и режим прогнозирования субблока кодирования, содержащего выборку q₀ (S760). Когда вышеуказанное условие удовлетворяется (S760 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1). Например, когда один из двух субблоков кодирования, расположенных на обеих сторонах целевой границы, кодируется в режиме IBC-прогнозирования, а другой кодируется в режиме взаимного прогнозирования, граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[140] Когда условие этапа S760 не удовлетворяется (S760 - "Нет"), этап S770 может определяться. В частности, на этапе S770, может определяться то, представляет собой цветовой компонент или нет компонент сигналов яркости (например, cIdx=0), то, представляет собой целевая граница или нет границу субблока (например, edgeFlags=2), и то, удовлетворяется или нет, по меньшей мере, одно из различных других условий, описанных ниже (S770). На этапе S770, когда цветовой компонент представляет собой компонент сигналов яркости, целевая граница представляет собой границу субблока, и, по меньшей мере, одно из других условий (условия 1-5), описанных ниже, удовлетворяется (S770 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[141] - Условие 1: Как субблок кодирования, содержащий выборку p₀, так и субблок кодирования, содержащий выборку q₀, кодируются в режиме IBC-прогнозирования, и разность между горизонтальными компонентами или вертикальными компонентами блочного вектора каждого субблока больше или равна 8-единичному значению в единице в 1/16 выборки сигналов яркости.

[142] - Условие 2: Субблок кодирования, содержащий выборку p₀, и субблок кодирования, содержащий выборку q₀, ссылаются на различные опорные кадры или имеют различные числа векторов движения. В условии 2, то, являются или нет опорные кадры идентичными, определяется с учетом только того, являются или нет идентичными кадры, на которые ссылаются для взаимного прогнозирования, и того, принадлежит или нет соответствующий опорный кадр списку 0 опорных кадров, или список 1 опорных кадров не учитывается. Помимо этого, то, являются или нет значения индекса, указывающие соответствующий опорный кадр, идентичными, не учитывается. Помимо этого, число векторов движения может определяться с использованием значений флага направления прогнозирования (PredFlagL0, PredFlagL1). Например, число векторов движения может извлекаться в качестве PredFlagL0+PredFlagL1.

[143] - Условие 3: Один вектор движения используется для того, чтобы прогнозировать субблок кодирования, содержащий выборку p₀, и субблок кодирования, содержащий выборку q₀, и разность между горизонтальными компонентами или вертикальными компонентами вектора движения каждого субблока может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.

[144] - Условие 4: Два вектора движения и два различных опорных кадра используются для того, чтобы прогнозировать субблок кодирования, включающий в себя идентичный p₀, и два вектора движения и два идентичных опорных кадра используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, и разность между горизонтальными компонентами или вертикальными компонентами векторов движения для идентичного опорного кадра может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.

[145] - Условие 5: Два вектора движения для идентичных опорных кадров используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку p₀, два вектора движения для идентичного опорного кадра используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, и следующие два условия удовлетворяются (условие 5-1 и условие 5-2).

[146] - Условие 5-1: Разность между горизонтальными компонентами или вертикальными компонентами векторов движения списка 0, используемых для того, чтобы прогнозировать каждый субблок кодирования, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости, и разность между горизонтальными компонентами или вертикальными компонентами векторов движения списка 1, используемых для того, чтобы прогнозировать каждый субблок кодирования, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.

[147] - Условие 5-2: Разность между горизонтальными компонентами или вертикальными компонентами между вектором движения списка 0, используемым для того, чтобы прогнозировать субблок кодирования, включающий в себя субблок p₀, и вектором движения списка 1, используемым для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости, либо разность между горизонтальными компонентами или вертикальными компонентами между вектором движения списка 1, используемым для того, чтобы прогнозировать субблок кодирования, включающий в себя субблок p₀, и вектором движения списка 0, используемым для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.

[148] В вышеприведенных условиях 1-5, разность между вертикальными (или горизонтальными) компонентами векторов движения может означать абсолютное значение разности между вертикальными (или горизонтальными) компонентами векторов движения.

[149] Когда условие этапа S770 не удовлетворяется (S770 - "Нет"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).

[150] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 7, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 7. Например, некоторые этапы, показанные на фиг. 7, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 7, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 7. Помимо этого, некоторые этапы, показанные на фиг. 7, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.

[151] В примере, показанном на фиг. 7, этап S750 определяет то, включают или нет два блока преобразования, смежные с целевой границей, в себя уровень ненулевых коэффициентов преобразования. Помимо этого, когда условие этапа S750 удовлетворяется, граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1)

[152] Тем не менее, когда остаточные выборки для двух компонентов сигналов цветности (например, Cb-компонента и Cr-компонента) кодируются как один блок преобразования, такая проблема, что определение граничной интенсивности границы блока является неточным, может возникать относительно определения этапа S750. Например, в настоящем изобретении, "объединенное остаточное CbCr-кодирование" может означать технологию, в которой остаточные выборки для двух компонентов сигналов цветности (например, Cb-компонента и Cr-компонента) кодируются как один блок преобразования. То, применяется или нет объединенное остаточное CbCr-кодирование для текущего блока, может определяться на основе информации (например, флага), передаваемой в служебных сигналах через поток битов. Таким образом, оборудование кодирования изображений может определять то, выполняется или нет объединенное остаточное CbCr-кодирование для текущего блока, и кодировать информацию флага в поток битов на основе этого. Помимо этого, оборудование декодирования изображений может определять то, выполняется (выполнено) или нет объединенное остаточное CbCr-кодирование для текущего блока, посредством синтаксического анализа информации флага из потока битов и восстанавливать текущий блок на основе этого. Например, информация флага может представлять собой tu_joint_cbcr_residual_flag в настоящем изобретении.

[153] Фиг. 8 является видом, иллюстрирующим передачу в служебных сигналах синтаксического элемента в блоке преобразования, связанном с вариантом осуществления настоящего изобретения.

[154] В примере, показанном на фиг. 8, tu_cb_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "Cb-блоком преобразования") Cb-компонента с координатами левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_cb_coded_flag второго значения (например, 1) может указывать то, что Cb-блок преобразования включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_cb_coded_flag первого значения (например, 0) может указывать то, что Cb-блок преобразования не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_cb_coded_flag составляет первое значение, все уровни коэффициентов преобразования в Cb-блоке преобразования могут задаваться равными 0. Помимо этого, когда tu_cb_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.

[155] В примере, показанном на фиг. 8, tu_cr_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "Cr-блоком преобразования") Cr-компонента с координатой левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_cr_coded_flag второго значения (например, 1) может указывать то, что Cr-блок преобразования включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_cr_coded_flag первого значения (например, 0) может указывать то, что Cr-блок преобразования не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_cr_coded_flag составляет первое значение, все уровни коэффициентов преобразования в Cr-блоке преобразования могут задаваться равными 0. Помимо этого, когда tu_cr_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.

[156] В примере, показанном на фиг. 8, tu_y_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "блоком преобразования сигналов яркости") компонента сигналов яркости с координатой левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_y_coded_flag второго значения (например, 1) может указывать то, что блок преобразования сигналов яркости включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_y_coded_flag первого значения (например, 0) может указывать то, что блок преобразования сигналов яркости не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_y_coded_flag составляет первое значение, все уровни коэффициентов преобразования в блоке преобразования сигналов яркости могут задаваться равными 0. Когда tu_y_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения или второго значения на основе других различных синтаксических элементов и/или переменных.

[157] В примере, показанном на фиг. 8, tu_joint_cbcr_residual_flag[x][y] может указывать то, кодируются или нет остаточная выборка для Cb-компонента и остаточная выборка для Cr-компонента в качестве одного блока преобразования, для блока преобразования с координатой левой верхней выборки (x, y). Например, когда tu_joint_cbcr_residual_flag составляет второе значение (например, 1), единица преобразования может включать в себя уровни коэффициентов преобразования для одного блока преобразования, и остаточные выборки для Cb-компонента и Cr-компонента могут извлекаться из одного блока преобразования. Помимо этого, когда tu_joint_cbcr_residual_flag составляет первое значение (например, 0), уровни коэффициентов преобразования для компонентов сигналов цветности могут кодироваться/декодироваться, как указано посредством tu_cb_coded_flag и tu_cr_coded_flag. Например, когда tu_cb_coded_flag равен 1, уровни коэффициентов преобразования для Cb-блока преобразования могут кодироваться/декодироваться, а когда tu_cb_coded_flag равен 0, уровни коэффициентов преобразования для Cb-блока преобразования могут логически выводиться в качестве 0 без кодирования/декодирования. Аналогично, когда tu_cr_coded_flag равен 1, уровни коэффициентов преобразования для Cr-блока преобразования могут кодироваться/декодироваться, а когда tu_cr_coded_flag равен 0, уровни коэффициентов преобразования для Cr-блока преобразования могут логически выводиться в качестве 0 без кодирования/декодирования. Когда tu_joint_cbcr_residual_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.

[158] Как показано на фиг. 8, передача остаточной информации (transform_skip_flag, residual_coding и/или residual_ts_coding) для каждого цветового компонента (сигнал (Y) яркости, сигнал (Cb и Cr) цветности может определяться на основе различных параметров и/или условий. Из фиг. 8 очевидно то, что условие передачи в служебных сигналах остаточной информации не ограничено tu_y_coded_flag, tu_cb_coded_flag и tu_cr_coded_flag. Тем не менее, в настоящем изобретении, в качестве условия передачи в служебных сигналах остаточной информации, могут упоминаться только tu_y_coded_flag, tu_cb_coded_flag, tu_cr_coded_flag и/или некоторые условия. Это служит для удобства описания, и условие передачи в служебных сигналах остаточной информации не ограничено этим. Таким образом, условие передачи в служебных сигналах остаточной информации может включать в себя все или некоторые условия передачи в служебных сигналах, показанные на фиг. 8, или может включать в себя дополнительные условия передачи в служебных сигналах, которые не показаны на фиг. 8. Как показано на фиг. 8, например, когда tu_y_coded_flag равен 1, остаточная информация для блока преобразования сигналов яркости может передаваться в служебных сигналах. Аналогично, остаточная информация для Cb-блока преобразования и Cr-блока преобразования может передаваться в служебных сигналах на основе tu_cb_coded_flag и tu_cr_coded_flag.

[159] Тем не менее, как показано на фиг. 8, остаточная информация для Cr-блока преобразования может передаваться в служебных сигналах только тогда, когда удовлетворяется следующее условие.

[160] !(tu_cb_coded_flag andand tu_joint_cbcr_residual_flag)

[161] Согласно вышеуказанному условию, когда как tu_cb_coded_flag, так и tu_joint_cbcr_residual_flag равны 1, остаточная информация для Cr-блока преобразования не передается в служебных сигналах. Таким образом, когда как tu_cb_coded_flag, так и tu_joint_cbcr_residual_flag равны 1, хотя tu_cr_coded_flag равен 1, transform_skip_flag для Cr-компонента и остаточный синтаксис не передаются в служебных сигналах. В этом случае, все уровни коэффициентов преобразования в Cr-блоке преобразования могут извлекаться в качестве 0.

[162] В вышеприведенном примере, когда tu_cb_coded_flag равен 1, Cb-блок преобразования включает в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, и хотя tu_cr_coded_flag равен 1, все уровни коэффициентов преобразования в Cr-блоке преобразования могут извлекаться в качестве 0. Соответственно, на основе определения этапа S750, граничная интенсивность целевой границы для Cb-компонента может извлекаться в качестве 1, и граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.

[163] Соответственно, посредством применения объединенного остаточного CbCr-кодирования, следующие две проблемы могут возникать в процессе определения граничной интенсивности.

[164] Во-первых, на этапе S750, хотя tu_cr_coded_flag равен 1, граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.

[165] Во-вторых, хотя tu_cr_coded_flag равен 0, когда tu_joint_cbcr_flag равен 1, Cr-блок преобразования может включать в себя один или более уровней ненулевых коэффициентов преобразования. Тем не менее, на этапе S750, граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.

[166] В дальнейшем в этом документе описываются различные варианты осуществления улучшения варианта осуществления по фиг. 7 с учетом вышеуказанных проблем согласно применению объединенного остаточного CbCr-кодирования.

[167] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[168] Фиг. 9 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 9 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 9, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S750 по фиг. 7 могут соответствовать этапам S910-S950 по фиг. 9, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S970-S980 по фиг. 9, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 9 дополнительно включает в себя этап S960 по сравнению со способом по фиг. 7.

[169] В частности, ссылаясь на фиг. 9, когда условие этапа S950 не удовлетворяется (S950 - "Нет"), этап S960 может определяться. Более конкретно, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из двух условий, описанных ниже (S960). Когда вышеуказанное условие удовлетворяется (S960 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[170] - Условие S960-1: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.

[171] - Условие S960-2: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.

[172] Вышеприведенные условия S960-1 и S960-2 могут объединяться в одно условие, например, следующим образом.

[173] - Условие объединения S960: Текущий блок представляет собой блок сигналов цветности (например, cIdx>0), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.

[174] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 9, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 9. Например, некоторые этапы, показанные на фиг. 9, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 9, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 9. Помимо этого, некоторые этапы, показанные на фиг. 9, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.

[175] Например, поскольку tu_joint_cbcr_residual_flag может означать то, что, по меньшей мере, один из tu_cu_coded_flag или tu_cr_coded_flag равен 1, для Cb-блока преобразования или Cr-блока преобразования, он может изменяться, с тем чтобы опускать этап S950 в способе определения граничной интенсивности согласно фиг. 9.

[176] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 9, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может определяться как составляющая ненулевое значение (например, 1).

[177] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[178] Фиг. 10 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 10 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 10, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S740 по фиг. 7 могут соответствовать этапам S1010-S1040 по фиг. 10, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S1060-S1070 по фиг. 10, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 10 дополнительно может включать в себя этап S1050 вместо этапа S750 по сравнению со способом по фиг. 7.

[179] В частности, ссылаясь на фиг. 10, когда условие этапа S1040 не удовлетворяется (S1040 - "Нет"), этап S1050 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из трех условий, описанных ниже (S1050). Когда вышеуказанное условие удовлетворяется (S1050 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[180] - Условие S1050-1: Текущий блок представляет собой блок компонентов сигналов яркости (например, cIdx=0), и выборка p₀ или выборка q₀ включается в блок преобразования сигналов яркости (например, tu_y_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.

[181] - Условие S1050-2: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в Cb-блок преобразования (например, tu_cb_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.

[182] - Условие S1050-3: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в Cr-блок преобразования (например, tu_cr_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.

[183] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 10, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 10. Например, некоторые этапы, показанные на фиг. 10, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 10, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 10. Помимо этого, некоторые этапы, показанные на фиг. 10, могут выполняться одновременно с другими этапами, или порядок других этапов может изменяться.

[184] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 10, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, поскольку способ по фиг. 10 определяет то, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования для каждого цветового компонента, даже когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может точно определяться.

[185] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.

[186] Фиг. 11 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 11 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 11, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S740 по фиг. 7 могут соответствовать этапам S1110-S1140 по фиг. 11, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S1160-S1170 по фиг. 11, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 11 дополнительно может включать в себя этап S1150 вместо этапа S750 по сравнению со способом по фиг. 7.

[187] Ссылаясь на фиг. 11, когда условие этапа S1140 не удовлетворяется (S1140 - "Нет"), этап S1150 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из четырех условий, описанных ниже (S1150). Когда вышеуказанное условие удовлетворяется (S1150 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).

[188] - Условие S1150-1: Текущий блок представляет собой блок компонентов сигналов яркости (например, cIdx=0), и выборка p₀ или выборка q₀ включается в блок преобразования сигналов яркости (например, tu_y_coded_flag=1), включающий в себя один или более уровней коэффициентов преобразования.

[189] - Условие S1150-2: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в Cb-блок преобразования (например, tu_cb_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.

[190] - Условие S1150-3: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в Cr-блок преобразования (например, tu_cr_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.

[191] - Условие S1150-4: Текущий блок не представляет собой блок компонентов сигналов яркости (например, cIdx ≠ 0), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.

[192] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 11, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 11. Например, некоторые этапы, показанные на фиг. 11, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 11, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 11. Помимо этого, некоторые этапы, показанные на фиг. 11, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.

[193] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 11, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, поскольку способ по фиг. 11 определяет то, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования для каждого цветового компонента, даже когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может точно определяться. Помимо этого, согласно способу по фиг. 11, когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может определяться как составляющая ненулевое значение (например, 1).

[194] В вариантах осуществления, описанных со ссылкой на фиг. 7-11, определение граничной интенсивности на основе определения того, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования с учетом применения объединенного остаточного CbCr-кодирования, может изменяться различными способами.

[195] Например, как описано выше, когда объединенное остаточное CbCr-кодирование применяется, по меньшей мере, для одного из двух блоков (P-блока и Q-блока), смежных с целевой границей (tu_joint_cbcr_residual_flag равен 1), граничная интенсивность может определяться как составляющая второе значение (например, 1). Помимо этого, когда, по меньшей мере, один из двух блоков (P-блок и Q-блок), смежный с целевой границей, включает в себя уровень ненулевых коэффициентов преобразования (кодированный флаг соответствующего цветового компонента равен 1), граничная интенсивность может определяться как составляющая второе значение (например, 1).

[196] Соответственно, согласно другому варианту осуществления настоящего изобретения, условие этапа S750 может изменяться следующим образом.

[197] Для компонента сигналов яркости (например, cIdx=0), когда сумма значения tu_y_coded_flag для P-блока и значения tu_y_coded_flag для Q-блока больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).

[198] Для Cb-компонента (например, cIdx=1), когда сумма значения tu_cb_coded_flag для P-блока, значения tu_joint_cbcr_residual_flag, значения tu_cb_coded_flag для Q-блока и значения tu_joint_cbcr_residual_flag больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).

[199] Для Cr-компонента (например, cIdx=2), когда сумма значения tu_cr_coded_flag для P-блока, значения tu_joint_cbcr_residual_flag, значения tu_cr_coded_flag для Q-блока и значения tu_joint_cbcr_residual_flag больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).

[200] Как описано выше, согласно измененному примеру, когда, по меньшей мере, один из P-блока или Q-блока включает в себя уровень ненулевых коэффициентов преобразования, либо объединенное остаточное CbCr-кодирование применяется, по меньшей мере, для одного из P-блока или Q-блока, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).

[201] Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс кодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.

[202] Ссылаясь на фиг. 12, оборудование кодирования изображений может формировать восстановленный кадр (S1210). Оборудование кодирования изображений может формировать восстановленный кадр посредством кодирования входного изображения, которое должно кодироваться, и его восстановления.

[203] Оборудование кодирования изображений может извлекать связанную с фильтром удаления блочности информацию для восстановленного кадра (S1220).

[204] Как описано выше, связанная с фильтром удаления блочности информация может включать в себя флаг, указывающий то, доступен или нет фильтр удаления блочности. Помимо этого, связанная с фильтром удаления блочности информация может включать в себя различную информацию, используемую для того, чтобы извлекать граничную интенсивность. Граничная интенсивность может по-разному извлекаться согласно компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности. Целевая граница, к которой применяется фильтрация для удаления блочности, может отдельно извлекаться согласно компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности.

[205] Оборудование кодирования изображений может формировать модифицированный восстановленный кадр посредством применения фильтрации для удаления блочности для восстановленного кадра на основе извлеченной связанной с фильтром удаления блочности информации (S1230). Модифицированный восстановленный кадр может передаваться в запоминающее устройство 170 и может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. DPB в запоминающем устройстве 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра для взаимного прогнозирования.

[206] Оборудование кодирования изображений может кодировать данные изображений, включающие в себя связанную с фильтром удаления блочности информацию (S1240). Например, связанная с фильтром удаления блочности информация может передаваться в энтропийный кодер 190 и кодироваться посредством энтропийного кодера 190, в силу этого выводясь в форме потока битов.

[207] Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс декодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.

[208] Ссылаясь на фиг. 13, оборудование декодирования изображений может получать данные изображений, включающие в себя связанную с фильтром удаления блочности информацию, из потока битов (S1310).

[209] Оборудование 200 декодирования изображений по фиг. 3 может принимать сигнал, выводимый из оборудования 100 кодирования изображений по фиг. 2 в форме потока битов. Энтропийный декодер 210 может получать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров), посредством синтаксического анализа потока битов.

[210] Оборудование декодирования изображений может формировать восстановленный кадр на основе полученной информации изображений (S1320).

[211] Например, сумматор 235 оборудования 200 декодирования изображений по фиг. 3 может формировать восстановленный кадр посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозных выборок), выводимым из модуля прогнозирования (модуля 260 взаимного прогнозирования и/или модуля 265 внутреннего прогнозирования).

[212] Оборудование декодирования изображений может формировать модифицированный восстановленный кадр посредством применения фильтрации для удаления блочности для восстановленного кадра (S1330).

[213] Фильтр 240 оборудования 200 декодирования изображений по фиг. 3 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному кадру. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру. Модифицированный восстановленный кадр может сохраняться в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования.

[214] Хотя примерные способы настоящего изобретения, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему изобретению, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.

[215] В настоящем изобретении, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, в случае если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.

[216] Различные варианты осуществления настоящего изобретения не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего изобретения, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.

[217] Различные варианты осуществления настоящего изобретения могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего изобретения посредством аппаратных средств, настоящее изобретение может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.

[218] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего изобретения, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.

[219] Фиг. 15 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего изобретения.

[220] Ссылаясь на фиг. 15, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.

[221] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.

[222] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего изобретения, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.

[223] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.

[224] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.

[225] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.

[226] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.

[227] Объем изобретения включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый машиночитаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.

Промышленная применимость

[228] Варианты осуществления настоящего изобретения могут использоваться для того, чтобы кодировать или декодировать изображение.

Изобретение относится к кодированию/декодированию изображений. Техническим результатом является повышение эффективности кодирования/декодирования изображений. Результат достигается тем, что способ декодирования изображений согласно настоящему изобретению может содержать получение восстановленного кадра, определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование по меньшей мере для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования. 3 н. и 3 з.п. ф-лы, 15 ил.

1. Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:

получают восстановленный кадр;

определяют целевую границу фильтрации для удаления блочности в восстановленном кадре;

определяют граничную интенсивность для целевой границы; и

применяют фильтрацию для удаления блочности к целевой границе на основе граничной интенсивности,

при этом на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничную интенсивность определяют на основе суммы двух первых флагов, указывающих то, выполняют ли объединенное остаточное CbCr-кодирование для двух блоков, смежных с целевой границей, и двух вторых флагов, указывающих то, включают ли два блока, смежные с целевой границей, в себя уровень ненулевых коэффициентов преобразования, и

при этом объединенное остаточное CbCr-кодирование соответствует кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.

2. Способ по п. 1, отличающийся тем, что граничную интенсивность определяют равной 1 на основе суммы, большей 0.

3. Способ по п. 1, отличающийся тем, что на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов яркости восстановленного кадра, граничную интенсивность определяют на основе того, включает ли по меньшей мере один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.

4. Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:

формируют восстановленный кадр;

определяют целевую границу фильтрации для удаления блочности в восстановленном кадре;

определяют граничную интенсивность для целевой границы; и

применяют фильтрацию для удаления блочности к целевой границе на основе граничной интенсивности,

при этом на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничную интенсивность определяют на основе суммы двух первых флагов, указывающих то, выполняют ли объединенное остаточное CbCr-кодирование для двух блоков, смежных с целевой границей, и двух вторых флагов, указывающих то, включают ли два блока, смежные с целевой границей, в себя уровень ненулевых коэффициентов преобразования, и

при этом объединенное остаточное CbCr-кодирование соответствует кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.

5. Способ по п. 4, отличающийся тем, что граничную интенсивность определяют равной 1 на основе суммы, большей 0.

6. Энергонезависимый машиночитаемый носитель записи, хранящий машиноисполняемые команды, которые, при их исполнении оборудованием, обеспечивают выполнение оборудованием способа кодирования изображений по п. 4.