СПОСОБ И СООТВЕТСТВУЮЩЕЕ УСТРОЙСТВО ДЛЯ ФИЛЬТРАЦИИ ЦИФРОВЫХ ВИДЕОИЗОБРАЖЕНИЙ Российский патент 2007 года по МПК H04N7/30 H04N7/50 

Настоящее изобретение касается способа снижения визуальных искажений в кадре цифрового видеосигнала, который кодируют блоками и затем декодируют, причем тип блоков определяют в соответствии со способом кодирования для блока, выбираемого из заданного набора типов кодирования, при этом выполняют фильтрацию для снижения визуальных искажений, обусловленных границей блока. Настоящее изобретение также касается устройства для снижения визуальных искажений в кадре цифрового видеосигнала, который кодируется блоками и затем декодируется, причем тип блока определяется в соответствии со способом кодирования для блока, выбираемого согласно заданному набору типов кодирования, причем устройство содержит фильтр для снижения визуальных искажений, обусловленных границей блока. Кроме того, настоящее изобретение касается видеокодера, содержащего средство для кодирования и декодирования цифрового видеосигнала блоками, причем тип блока определяется в соответствии со способом кодирования блока, выбираемого согласно заданному набору типов кодирования, и этот кодер содержит фильтр для снижения визуальных искажений, обусловленных границей блока. Настоящее изобретение также касается видеодекодера, содержащего средство для снижения визуальных искажений в кадре цифрового видеосигнала, который кодируется блоками и затем декодируется, причем тип блока определяется в соответствии со способом кодирования для блока, выбираемого согласно заданному набору типов кодирования, и этот видеодекодер содержит фильтр для снижения визуальных искажений, обусловленных границей блока. Настоящее изобретение также касается кодека видеосигнала, содержащего средство для кодирования и декодирования цифрового видеосигнала блоками, причем тип блока определяется в соответствии со способом кодирования блока, выбираемого согласно заданному набору типов кодирования, и этот кодек видеосигнала содержит фильтр для снижения визуальных искажений, обусловленных границей блока. Настоящее изобретение также касается подвижного терминала, содержащего кодек видеосигнала, который содержит средство для кодирования и декодирования цифрового видеосигнала блоками, причем тип блока определяется в соответствии со способом кодирования для блока, выбираемого согласно заданному набору типов кодирования, и этот кодек видеосигнала содержит фильтр для снижения визуальных искажений, обусловленных границей блока. Настоящее изобретение дополнительно касается носителя данных для хранения вспомогательной программы, содержащей выполняемые машиной операции кодирования и декодирования цифрового видеосигнала блоками, причем тип блока определяется в соответствии со способом кодирования для блока, выбираемого согласно заданному набору типов кодирования, для снижения визуальных искажений, обусловленных границей блока, посредством фильтрования.

Передающая система, аналогичная изображенной на фиг.1, в общем используется для передачи цифрового видеоизображения в сжатой форме. Видеоизображение формируют из последовательных кадров. В некоторых известных системах передачи видеосигнала, например, системах, соответствующих рекомендациям ITU-T H.261/H.263 (Комитет по стандартизации в составе ITU (Международного союза по электросвязи)), определены по меньшей мере три типа кадра: I-кадр (внутренний), Р-кадр (предсказуемый или промежуточный) и В-кадр (двунаправленный кадр). I-кадр формируют исключительно на основании информации, содержащейся непосредственно в изображении, причем на приемном конце этот I-кадр можно использовать для формирования полного изображения. Р-кадры формируют на основании предшествующего I-кадра или Р-кадра, причем на стадии приема предшествующий I-кадр или Р-кадр, соответственно, используют вместе с принятым Р-кадром для восстановления изображения. В компоновке Р-кадров, например, для сжатия количества информации используют компенсацию движения. В-кадры формируют на основании одного или нескольких предшествующих Р-кадров или I-кадров и/или одного или нескольких последующих Р- или I-кадров.

Дальше кадры делят на блоки. Один или несколько таких блоков формируют блочную область. В общем могут быть четыре различных типа областей: внутренняя область, область копирования, кодированная область и не кодированная область. Внутренняя область представляет собой блочную область, в которой блоки закодированы независимо, безотносительно к какому-либо другому кадру. Область копирования состоит из блоков, которые получены посредством копирования содержания эталонного кадра точно в то же самое местоположение без какого-либо предсказания с компенсацией движения. Кодированная область состоит из блоков, которые получены с использованием кодирования предсказания с компенсацией движения и ошибки предсказания. Ошибка предсказания представляет собой разность между значениями пикселов (элементов изображения) фактического кадра и восстановленного кадра, которая образуется в системе кодирования/декодирования, использующей предсказание с компенсацией движения, как будет более подробно описано в последующем тексте. Ошибку предсказания кодируют и посылают в приемное устройство. Не кодированную область получают посредством использования только предсказания с компенсацией движения. Фактически не кодированная область эквивалентна области копирования, если информация движения равняется 0. Все блочные области одного кадра не обязательно имеют аналогичные типы, но один кадр может содержать блочные области, которые относятся к различным типам.

Рассмотрим фиг.1, которая иллюстрирует типичную систему кодирования и декодирования (кодек), используемую, например, при передаче цифрового видеосигнала, при этом подлежащий кодированию текущий кадр видеосигнала поступает в передающую систему 10 в виде входных данных I_n(х,y). Входные данные I_n(х,y) обычно принимают форму информации значения пиксела. В дифференциальном сумматоре 11 она преобразуется в кадр Е_n(х,y) ошибки предсказания посредством вычитания из нее прогнозируемого кадра Р_n(х,y), сформированного на основании предыдущего изображения. Кадр ошибки предсказания кодируют в блоке 12 описанным ниже способом, и закодированный кадр ошибки предсказания направляют в мультиплексор 13. Для формирования нового прогнозируемого кадра закодированный кадр ошибки предсказания также направляют в декодер 14, образующий декодированный кадр ошибки предсказания, который суммируют в сумматоре 15 с прогнозируемым кадром Р_n(х,y), формируя в результате декодированный кадр . Декодированный кадр сохраняют в памяти 16 кадров. Чтобы закодировать следующий кадр, сохраненный в памяти 16 кадров, кадр считывают, как эталонный кадр R_n(x,y), и преобразуют в новый прогнозируемый кадр Р_n(х,y) в блоке 17 компенсации и предсказания движения согласно формуле:

Пара чисел [Dx(x,y), Dy(x,y)] называется вектором движения пиксела в местоположении (х,y), а числа Dx(x,y) и Dy(x,y) являются горизонтальным и вертикальным сдвигами пиксела. Они рассчитываются в блоке 18 оценки движения. Набор векторов движения [Dx(·), Dy(·)], состоящий из всех векторов движения, связанных с пикселами подлежащего сжатию кадра, также кодируется с использованием модели движения, содержащей базисные функции и коэффициенты. Базисные функции известны и кодеру, и декодеру. Значения коэффициентов кодируют и направляют в мультиплексор 13, который мультиплексирует их в один и тот же поток данных с закодированным кадром ошибки предсказания для посылки в приемное устройство. Таким образом, количество подлежащей передаче информации сильно сокращается.

Некоторые кадры могут быть частично, или полностью, настолько трудными для предсказания, что при их кодировании практически не используется предсказание с компенсацией движения. Эти кадры или части кадров кодируют с использованием внутреннего кодирования без предсказания, и поэтому нет необходимости посылать в приемное устройство касающуюся их информацию о векторе движения.

В системе 20 приемного устройства демультиплексор 21 разделяет закодированные кадры ошибки предсказания и информацию движения, передаваемую векторами движения, и направляет закодированные кадры ошибки предсказания в декодер 22. Декодер 22 создает декодированный кадр ошибки предсказания который суммируется сумматором 23 с прогнозируемым кадром Р_n(х,y), сформированным на основании предыдущего кадра, давая в результате декодированный кадр . Декодированный кадр направляют к выходу 24 декодера и в то же время сохраняют в памяти 25 кадров. При декодировании следующего кадра сохраненный в памяти кадров кадр считывают, как эталонный кадр, и преобразуют в новый прогнозируемый кадр в блоке 26 компенсации и предсказания движения, в соответствии с представленной выше формулой (1).

Способ кодирования, применяемый в блоке 12 для кодирования кадра ошибки предсказания или для внутреннего кодирования кадра или части Р-кадра, подлежащей посылке без предсказания, в общем основан на преобразовании, более приемлемым из которого является дискретное косинусоидальное преобразование, ДКП. Кадр делится на смежные блоки, имеющие размер, составляющий, например, 8×8 пикселов. При кодировании и декодировании блоки обрабатывают независимо друг от друга. Преобразование рассчитывают для блока, подлежащего кодированию, с получением в результате ряда членов. Коэффициенты этих членов квантуют в дискретном масштабе, чтобы их можно было обрабатывать в цифровой форме. Квантование вызывает погрешности округления, которые могут стать видимыми в изображении/ восстановленном из блоков, так, что образуется разрыв в значениях пикселов на границе между двумя смежными блоками. Поскольку некоторый декодированный кадр используется для вычисления прогнозируемого кадра для последующих прогнозируемых кадров, эти ошибки могут распространяться в последовательных кадрах, таким образом вызывая образование видимых краев в изображении, воспроизводимом приемным устройством. Искажения изображения этого типа называются блокирующими искажениями (артефактами).

Известны некоторые общепринятые способы удаления блокирующих искажений. Эти способы отличаются следующими особенностями:

- определением, для какого пиксела/пикселов требуется корректировка значения, с целью исключения блокирующих искажений,

- определением подходящей фильтрации "нижних частот" для каждого подлежащего корректировке пиксела на основании значений других пикселов, разделенных полосой пропускания фильтрации, расположенной вокруг пиксела,

- вычислением нового значения пиксела, подлежащего корректированию, и

- округлением нового значения до самого близкого цифрового значения пиксела.

Факторы, влияющие на выбор фильтра и решение, использовать ли фильтрацию, могут представлять собой, например, разность между значениями пикселов через границу блока, размер шага квантования коэффициентов, полученных в результате преобразования, и разность значений пикселов на разных сторонах обрабатываемого пиксела.

Было найдено, что известные способы имеют тенденцию удалять линии, принадлежащие реальным особенностям изображения. С другой стороны, известные способы не всегда способны удалять все блокирующие искажения.

Задача настоящего изобретения состоит в том, чтобы представить новый вид устройства фильтрации для снижения блокирующих искажений. Изобретение также имеет задачу, заключающуюся в том, чтобы способ и связанное устройство работали более надежно и эффективно, чем известные решения.

Способ согласно изобретению корректирует параметры фильтрации в соответствии с типом блоков, граница которых подлежит фильтрации. Различные параметры фильтрации выбирают в соответствии с типом блоков с обеих сторон границы, для обеспечения улучшенного результата фильтрации.

Задачи изобретения решаются посредством приспосабливания выбора пикселов для фильтрации и процесса фильтрации, более гибкого, чем прежде, относительно особенностей кадра и окружения точки фильтрации, и посредством принятия во внимание характера/типа блоков, подлежащих фильтрации.

Согласно первому аспекту изобретения, предложен способ снижения визуальных искажений в кадре, который кодируют блоками, отличающийся тем, что фильтрация, выполняемая на границе блока, зависит от типов блоков кадра в окрестностях границы блоков.

Согласно второму аспекту изобретения, предложено устройство для осуществления способа, соответствующего изобретению. Устройство по изобретению отличается тем, что фильтр выполнен с возможностью адаптивного функционирования в соответствии с типами блоков кадра в окрестностях границы блока.

Согласно третьему аспекту изобретения, предложен кодер, отличающийся тем, что фильтр выполнен с возможностью адаптивного функционирования в соответствии с типами блоков кадра в окрестностях границы блока.

Согласно четвертому аспекту изобретения, предложен декодер, отличающийся тем, что фильтр выполнен с возможностью адаптивного функционирования в соответствии с типами блоков кадра в окрестностях границы блока.

Согласно пятому аспекту изобретения, предложен кодек, отличающийся тем, что фильтр выполнен с возможностью адаптивного функционирования в соответствии с типами блоков кадра в окрестностях границы блока.

Согласно шестому аспекту изобретения, предложен подвижный терминал, отличающийся тем, что фильтр выполнен с возможностью адаптивного функционирования в соответствии с типами блоков кадра в окрестностях границы блока.

Согласно седьмому аспекту изобретения, предложен носитель данных, отличающийся тем, что вспомогательная программа дополнительно содержит выполняемые машиной операции для адаптивной фильтрации, соответствующей типам блоков кадра в окрестностях границы блока.

Поскольку блокирующие искажения появляются только на границах блоков согласно изобретению, фильтрация преимущественно применяется только к пикселам на границах блоков и близко от них. Края, которые являются частью изображения, могут постоянно находиться где-нибудь в области изображения. Чтобы для корректирующей фильтрации выбирались только пикселы, содержащие блокирующие искажения, и чтобы на качество краев, которые являются частью непосредственно изображения, не оказывалось влияние во время фильтрации, сделаны следующие предположения.

Изменения значений пикселов, связанных с краями, которые являются частью изображения, в общем больше, чем изменения, связанные с блокирующими искажениями, и те края в пределах изображения, где изменение значений пикселов маленькое, не страдают значительно от округления разности значений пикселов, обусловленного фильтрацией.

Поскольку подлежащее кодированию изображение в общем разделяется на блоки и в вертикальном, и в горизонтальном направлении, изображение содержит как вертикальные, так и горизонтальные границы блоков. Что касается вертикальных границ блоков, имеются пикселы справа и слева от границы, а что касается горизонтальных границ блоков, имеются пикселы выше и ниже границы. В общем, местоположение пикселов может быть описано, как нахождение на первой или второй стороне границы блока. В примерном варианте осуществления способа фильтрации согласно изобретению количество пикселов, подлежащих корректированию, характерные особенности используемого фильтра и размер полосы пропускания фильтрации зависят от следующих факторов:

a) типа блоков с обеих сторон границы (например, промежуточный, копирования, кодированный, не кодированный),

b) разности значений Δ пикселов через границу блоков. Разность можно определять несколькими путями. Одним определением является Δ=|r₁-l₁|, где r₁ - значение пиксела на первой стороне границы блока, ближайшего к границе, a l₁ - значение пиксела на второй стороне границы блока, ближайшего к границе,

c) размера шага QP квантования коэффициентов, полученных в результате используемого в кодировании преобразования, и

d) разностей значений пикселов между пикселами на первой стороне границы блока и, соответственно, между пикселами на второй стороне границы блока.

В преимущественном варианте осуществления способа согласно изобретению количество выбранных для фильтрации пикселов можно изменять, и оно не обязательно должно быть одинаковым на разных сторонах границы блока. Количество пикселов также зависит от типа блоков с обеих сторон границы. Поскольку количество пикселов приспосабливают к общим особенностям графической информации, содержащейся в кадре в конкретной области, в соответствии с упомянутыми выше факторами, способ обеспечивает лучший результат фильтрации, чем известные способы. "Лучшим" результатом в данном контексте является результат, при котором блокирующие искажения снижаются в большей степени, в то время как на реальные края в изображении производится воздействие в меньшей степени. Это означает, что большее количество блокирующих искажений может быть удалено без необоснованного ослабления краев действительного изображения.

Следует отметить, что в других вариантах осуществления изобретения факторы, воздействующие на выполняемую на границе блока фильтрацию, могут отличиться от факторов, представленных выше.

Дальше изобретение будет описано более подробно в отношении предпочтительных вариантов осуществления и прилагаемых чертежей, на которых

фиг.1 представляет систему кодирования и декодирования (кодек) цифрового видеоизображения, известную из уровня техники,

фиг.2 представляет расположение пикселов относительно границы блока в примерном варианте осуществления способа согласно изобретению,

фиг.3 представляет альтернативные решения для выполнения способа фильтрации согласно изобретению в системе кодирования и декодирования цифрового видеоизображения,

фиг.4 изображает схематическое представление устройства для осуществления способа согласно изобретению,

фиг.5 представляет устройство согласно фиг.4 в действии, и

фиг.6 изображает схематическое представление переносного устройства видеосвязи, реализующего способ согласно изобретению.

В приведенном выше описании в связи с описанием уровня техники сделана ссылка на фиг.1. В последующем описании изобретения и его предпочтительных вариантов осуществления ссылка будет сделана главным образом на фиг.2-5. На чертежах одни и те же ссылочные позиции используются для обозначения соответствующих частей.

Фиг.2 изображает местоположение пикселов r₁-r₆ и l₁-l₆ относительно вертикальной границы 30 блока. Для осуществления способа по изобретению определяют некоторые параметры. Параметр n представляет самое большое количество подлежащих исследованию пикселов от границы блока в одном направлении, и в случае фиг.2 это значение составляет 6. Целесообразно выбирать значение параметра n так, чтобы он имел некоторое отношение и к разности значений Δ пикселов через границу блока, и к размеру шага QP квантования коэффициентов, полученных в результате кодирования изображения. Кроме того, значение параметра n преимущественно меньше или равно количеству пикселов в блоке в направлении исследования, для исключения возможности блокирующих искажений, связанных с границами предыдущего блока, распространяющимися к исследуемой границе блока. Для использования в предпочтительном варианте осуществления изобретения применяемого для блоков изображения, содержащих 8х8 пикселов, рекомендуется следующее определение:

где α=QP·log(QP). Если QP имеет различное значение в блоках на разных сторонах границы блока, в вычислениях используется меньшее значение QP, а также во всех представленных ниже случаях, в которых определение содержит ссылку только на одно значение QP. Изобретение не накладывает никакие ограничения на определение значения параметра n, но согласно установкам выражения (2), преимущественно его значение в общем выше, когда разность Δ значений пикселов через границу блока маленькая по сравнению с размером шага QP квантования коэффициентов, полученных в результате преобразования кодирования. Если разность между значениями Δ пикселов большая, есть высокая вероятность того, что на границе блока имеется край действительного изображения, и в этом случае пикселы предпочтительно вообще не исследуют для фильтрации (n=0).

В следующей операции способа фильтрации согласно изобретению исследуют информацию о типе области относительно двух соседних блоков, то есть рассматривают тип блоков с обеих сторон исследуемой границы блока. Согласно информации о типе области значение параметра n может быть дополнительно ограничено (сокращено), чтобы обеспечивать еще лучшие результаты для снижения блокирующих искажений. Информация о типе области включается, например, в закодированную информацию, касающуюся пикселов конкретного блока, где эта информация содержится, или временно сохраняется, во время декодирования блока, пока не определено сокращенное значение n_сокр для параметра n.

В таблице 1 показаны сокращенные значения в соответствии с преимущественным вариантом осуществления настоящего изобретения. Таблица 1 применяется в ситуации, когда максимальное значение n составляет 6, и, конечно, в ситуациях, где максимальное значение отличается от 6, подходящими могут быть другие сокращенные значения. Сокращенные значения используются для первой и второй сторон границы блока в зависимости от типа области блока на первой стороне границы блока и от типа области блока на второй стороне границы блока.

Таблица 1 Тип блока на второй стороне границыТип блока на первой стороне границыВНУТРЕННИЙКОПИРОВАНИЯКОДИРОВАННЫЙНЕ_КОДИРОВАННЫЙВНУТРЕННИЙnn22n4n2КОПИРОВАНИЯ22222422КОДИРОВАННЫЙ4n424442НЕ_КОДИРОВАННЫЙ2n222422

Каждая ячейка таблицы 1, соответствующая конкретной комбинации типов областей, разбита на две части. Значение слева дает сокращенное значение (СЗ) для первой стороны границы блока, а значение справа дает сокращенное значение СЗ для второй стороны границы. Если значение параметра n превышает значение, данное в таблице 1, n сокращается до сокращенного значения СЗ, приведенного в таблице 1. Однако, если значение полного параметра использования n не превышает значение, данное в таблице 1, значение параметра n (первоначально определенное из выражения (2)) сохраняется. В таблице 1 символ "n" указывает, что дополнительное сокращение не выполняется, и значение параметра сохраняется. Сокращенное значение n_сокр для параметра n также может быть представлено формулой:

Одну и ту же таблицу можно использовать как для фильтрации через вертикальные границы блоков (горизонтальная фильтрация), посредством введения "Левая/Правая" вместо "Первая/Вторая", так и для фильтрации через горизонтальные границы блоков (вертикальная фильтрация), посредством введения "Нижняя/Верхняя" вместо "Первая/Вторая", соответственно. Теперь значение слева дает сокращенное значение для пикселов слева/ниже границы блока, а значение справа дает сокращенное значение для пикселов справа/сверху границы.

Чтобы дополнительно пояснять использование таблицы 1, дальше представлена примерная ситуация. В этой иллюстративной примерной ситуации "горизонтальная фильтрация" выполняется на протяжении вертикальной границы 30 блока. При предположении, что значение для параметра n, рассчитанное из уравнения 2, составляет, например, 4, блок на левой стороне от рассматриваемой границы 30 блока имеет внутренний тип, а блок на правой стороне рассматриваемой границы 30 блока имеет не кодированный тип, таблица 1 указывает, что сокращенное значение для левой стороны составляет n, а сокращенное значение для правой стороны равно 2. Это значит, что выбираются 4 пиксела, ближайшие к границе блока (= расчетному значению n), для исследования с левой стороны границы, и выбираются 2 пиксела, ближайшие к границе блока (= сокращенному значению n), для исследования с правой стороны.

Ниже представлена другая примерная ситуация. В этой иллюстративной примерной ситуации "горизонтальная фильтрация" выполняется через вертикальную границу 30 блока. При предположении, что значение параметра n, рассчитанное из уравнения (2), составляет, например, 4, и блоки с обеих сторон рассматриваемой границы 30 блока имеют тип копирования, таблица 1 указывает, что сокращенное значение для левой стороны равно 2, и сокращенное значение для правой стороны равно 2. Это означает, что выбираются 2 пиксела, ближайшие к границе блока (= сокращенному значению n), для исследования с левой стороны границы, и выбираются 2 пиксела, ближайшие к границе блока (= сокращенному значению n), для исследования с правой стороны.

Для двунаправлено прогнозируемых кадров (В-кадры) сокращение параметра n применять не целесообразно, поскольку нет однозначно определяемой информации о типе блоков.

Следующая операция в способе фильтрации согласно изобретению заключается в определении значений параметров d_l и d_r, которые представляют активность, или разность, значений пикселов между пикселами на одной стороне границы блока. Предпочтительное определение для d_r является следующим:

d_r=6, если при всех j ∈ [1, 6],

иначе: d_r=i, где, i удовлетворяет условиям

при всех j ∈ [1, i].

Здесь вспомогательный параметр β=4·log(QP). Значение параметра d_l определяется точно так же, за исключением того, что все символы r заменяются на символы 1, а для параметра n должно использоваться соответствующее сокращенное значение n_сокр. В определении (4) появляется число 6, поскольку, согласно уравнению (2), самое высокое возможное значение n в этом случае составляет 6. Если n определяется по-другому, но параметры d_r и d_l определяются согласно определению (4), число 6 следует заменить самым высоким возможным значением n в соответствии с новым определением.

Значения параметров d_r и d_l преимущественно рассчитываются независимо друг от друга, поскольку графическая информация, содержащаяся в кадре, может быть различной на разных сторонах границы блока. Изобретение не ограничивает определение параметров d_r и d_l, но согласно установкам определения (4) эти параметры преимущественно используются для ограничения блокирующих искажений посредством обработки относительно близко к границе блока, если около границы блока имеется край действительного изображения. В итоге можно получить существенные особенности определения (4) следующим образом: значение параметра d_r (и, соответственно, значение параметра d_l) обеспечивает индикацию относительно того, сколько пикселов, подсчитанных от границы блока, имеют приблизительно такое же значение, как пиксел на границе блока.

Высокое значение параметра n (например, 6) указывает на то, что разность между значениями пикселов на границе блока относительно маленькая по сравнению с общим изменением значений пикселов внутри блока. В этом случае возможно, что около границы блока имеется край действительного изображения. Выбирая достаточно маленькое значение параметра d_r (или d_l), можно ограничить фильтрацию, нацеленную на коррекцию блокирующих искажений, так, чтобы она не имела ухудшающего воздействия на край действительного изображения близко к границе блока. В некоторых ситуациях большое количество пикселов, подсчитанных от границы блока, имеет приблизительно такое же значение, как пиксел на границе блока. В этом случае определение (4) дает параметр d_r (или d_l) с относительно высоким значением. Однако, если имеется явный разрыв в значениях пикселов между блоками, параметр n имеет маленькое значение, и в определении (4) используется сокращенное значение n_сокр, которое гарантирует, что не будет выбрано такое необоснованно высокое значение в качестве значения параметра d_r (или d_l). Иначе относительно высокое значение параметра d_r (или d_l) приведет к ненужной фильтрации.

Если блоки с обеих сторон границы блока являются блоками внутреннего типа, сокращение не влияет на выбор значений параметров n, d_r и d_l. С другой стороны, если по меньшей мере один из блоков имеет тип, отличающийся от внутреннего, сокращение значения n согласно формуле (3) может ограничивать количество фильтруемых пикселов. Это имеет преимущество, что границы блока не сглаживаются слишком сильно.

Кроме того, следует принять решение относительно самого большого возможного количества пикселов, которые подлежат фильтрации. Это не имеет своего собственного обозначения на фиг.2, но может составлять, например, 3, а это означает, что фильтрация может использоваться только для корректирования значения пикселов r₁, r₂, r₃, l₁, l₂ и l₃.

Когда значения параметров n, n_сокр, d_r и d_l определены, выполняется фильтрация посредством использования подходящего фильтра. Изобретение не ограничивает тип фильтра, который можно использовать, но ниже описано фильтрующее устройство, которое нашли предпочтительным. Фильтрация используется для определения нового значения для пикселов, выбранных для фильтрации. В предпочтительном варианте осуществления изобретения для данного пиксела определяется новое значение пиксела путем вычисления среднего значения из значений пикселов, появляющихся в полосе пропускания фильтрации. В предпочтительном варианте осуществления полоса пропускания фильтрации симметричная относительно подлежащего фильтрации пиксела и содержит, в дополнение к подлежащему фильтрации пикселу, один, два или три пиксела с обеих сторон, в зависимости от значений параметров d_r и d_l, как описано ниже. Конечно, это только примеры, и можно выбрать другие значения в ситуациях, где n, n_сокр, d_r и d_l определяются по-другому. Расчетная средняя величина округляется до самого близкого цифрового значения пиксела, посредством чего она становится новым значением отфильтрованного пиксела.

В таблице 2 показано определение ширины полосы пропускания фильтрации для пикселов r₁, r₂ и r₃ в соответствии со значением параметра d_r в предпочтительном варианте осуществления изобретения. Значения пикселов l₁, l₂ и l₃ определяются таким же способом в соответствии со значением параметра d_l. В таблице символ "X" означает, что рассматриваемый пиксел не фильтруется вообще, а число означает, что полоса пропускания фильтрации содержит количество пикселов, показанных этим числом, с каждой стороны исследуемого пиксела. Помимо всего прочего, в таблице 2 показано, что для фильтрации, которую нужно применять к какому-либо пикселу, оба параметра d_r и d_l должны иметь значение, превышающее 1.

d_r(d_l>1)r₁r₂r₃1XXX21XX311*X422X5222**63 или 2***33

* Отфильтрованное значение пиксела r₁ используется для фильтрации пиксела r₂

** Отфильтрованные значения пикселов r₁ и r₂ используются для фильтрации пиксела r₃

*** 3, если d_l>2, в ином случае 2.

Приведенное выше описание касается осуществления фильтрации на одной горизонтальной части строки пикселов, которая имеет длину 12 пикселов и расположена симметрично с обеих сторон от вертикальной границы блока. Описание можно легко обобщить относительно вертикальных частей столбцов пикселов, которые расположены симметрично с обеих сторон от горизонтальной границы блока: фиг. 2 можно повернуть на 90 градусов против часовой стрелки, посредством чего граница 30 блока становится горизонтальной, и пикселы, изображенные на чертеже, образуют часть вертикального столбца пикселов, так что пикселы r₁-r₆ становятся пикселами, расположенными выше границы, а пикселы l₁-l₆ - пикселами, расположенными ниже границы. Чтобы фильтровать границы блока по всему кадру, применяя способ согласно изобретению, все вертикальные границы блока кадра подвергаются исследованию строка за строкой, и все горизонтальные границы блоков исследуются столбец за столбцом. Порядок по существу не имеет никакого значения, и таким образом, сначала могут быть исследованы все горизонтальные границы блоков кадра столбец за столбцом, а затем все вертикальные границы блока строка за строкой. В преимущественном варианте осуществления изобретения фильтрация повторяется строка за строкой, то есть сначала фильтруется первая строка пикселов в блоках (помимо границы), затем вторая строка и т.д.

Фиг.3 изображает, в каких точках известную систему кодирования и декодирования (кодек) цифрового изображения можно улучшить посредством применения фильтрации согласно изобретению. Первый альтернативный вариант заключается в размещении блока, осуществляющего способ фильтрации согласно изобретению, на выходе декодера приемного устройства, как иллюстрируется ссылочной позицией 31. В этом случае границы блока в кадре изображения фильтруются после декодирования всех блоков внутри кадра. Это требует, чтобы информация о типе блоков сохранялась для всех блоков в одном кадре. Другой альтернативный вариант заключается в размещении блока фильтрации в приемном устройстве перед точкой, в которой декодированный кадр направляется в память 25 кадров для формирования прогнозируемого кадра, как иллюстрируется ссылочной позицией 32. В этом случае информация о типе блоков для всех блоков внутри кадра также должна сохраняться, поскольку фильтрация границы блока все еще выполняется после декодирования и восстановления полного кадра. Однако этот альтернативный вариант имеет преимущество, заключающееся в том, что удаление блокирующих искажений также оказывает влияние на формирование прогнозируемого кадра, посредством чего блокирующие искажения в одном кадре не распространяются через прогнозируемый кадр к последующим кадрам. Для достижения только что описанного эффекта блок, который исполняет фильтрацию согласно изобретению, можно поместить либо перед, либо после памяти 25 кадров. Однако предпочтительным является местоположение, обозначенное ссылочной позицией 32, поскольку когда фильтрация применяется на этой стадии, она влияет одновременно на кадр, подлежащий выведению декодером приемного устройства, и на кадр, подлежащий сохранению в памяти. В передающем устройстве блок, осуществляющий способ фильтрации согласно изобретению, можно помещать, как изображено ссылочными позициями 33 и 34, либо перед, либо после памяти 16 кадров. Таким образом, изобретение также можно использовать для создания откорректированного прогнозируемого кадра на передающем конце.

В особенно предпочтительном варианте осуществления изобретения блок, выполняющий фильтрацию согласно изобретению, реализован в процессоре цифровых сигналов или соответствующем устройстве, подходящем для обработки цифрового сигнала, который можно программировать для применения заданных функций обработки к сигналу, принимаемому в качестве входных данных. На фиг.4 представлены функциональные элементы блока, осуществляющего способ фильтрации согласно изобретению, реализованного в виде процессора цифровых сигналов. Соответственно работа блока фильтрации иллюстрируется на фиг.5. Рассмотрим сначала фиг.4, на которой функциональные элементы запрограммированы с функциональными определениями (35-39) для вычисления параметров, которые управляют способом фильтрации согласно изобретению. Преимущественно, что функциональные определения загружаются в процессор сигнала в связи с его изготовлением или программированием. Во время работы согласно фиг.5, кадр временно сохраняется в регистре 41 так, чтобы его можно было обрабатывать процессором сигналов. Обработка кадра продолжается от блока к блоку. В данный момент количество пикселов, обозначенных параметром n, n_сокр, согласно определениям, обеспеченным в таблице 1, выбирается для исследования 42 с каждой стороны от некоторой точки на некоторой границе блока, рассчитываются d-параметры 43 и выполняется фильтрация 44. Эти операции повторяют до тех пор, пока все границы всех блоков не будут отфильтрованы/обработаны, после чего кадр можно выводить из регистра 41 и сохранять новый кадр для обработки. В соответствии с фиг.4 и 5 можно выполнять мероприятия в отдельном процессоре сигналов, или они могут быть реализованы в общем процессоре, который также содержит другие устройства для обработки сигналов.

Можно использовать носитель данных для хранения программы программного средства, содержащей выполняемые машиной операции для осуществления способа согласно изобретению. В преимущественном варианте осуществления изобретения, программа программного средства считывается с носителя данных в устройство, содержащее программируемое средство, например процессор, для выполнения способа по изобретению.

Изобретение можно видоизменять, не отступая от объема притязаний, определенного представленной ниже формулой изобретения, используя возможности специалиста в данной области техники, без применения действительных изобретательских шагов. Например, параметр Δ можно рассчитать, используя формулу Δ=|(r₁+r₂)-(l₁+l₂)| или некоторую считающуюся подходящей другую формулу. Определения других параметров, представленных выше, должны также рассматриваться только в качестве примеров. Особенно преимущественное использование изобретения заключается в применениях переносных устройств видеосвязи, цифровых телевизионных приемниках и других устройствах, которые по меньшей мере принимают и декодируют цифровое видеоизображение. Далее следует отметить, что способ согласно изобретению в общем можно применять к любому способу кодирования изображений, в котором изображение кодируется/декодируется от блока к блоку, включая отдельные (то есть, неподвижные) цифровые изображения.

Фиг.6 изображает подвижный терминал 46, предназначенный для использования в качестве переносного устройства видеосвязи и применения способа согласно изобретению. Подвижный терминал 46 преимущественно содержит по меньшей мере средство 47 дисплея для отображения изображений, звуковое средство 48 для фиксации и воспроизведения звуковой информации, клавиатуру 49 для ввода, например, команд пользователя, часть 50 радиосредства для связи с сетью мобильной связи (не показанной), средство 51 обработки для управления работой устройства, средство 52 памяти для сохранения информации и предпочтительно камеру 53 для принятия изображений.

Настоящее изобретение не ограничено исключительно представленным выше вариантом осуществления, а может видоизменяться в объеме прилагаемой формулы изобретения.

Изобретение касается способа снижения визуальных искажений в кадре цифрового видеосигнала, который кодируют блоками и затем декодируют. Технический результат заключается в снижении визуальных искажений, а также повышение надежности и эффективности. Тип блока определяют в соответствии со способом кодирования для блока, выбираемого согласно заданному набору типов кодирования. Для достижения технического результата, то есть снижения визуальных искажений, обусловленных границей блока, в способе осуществляют фильтрацию, которую выполняют в зависимости от типов блоков кадра в окрестностях границы блока. 9 н. и 30 з.п. ф-лы, 6 ил., 2 табл.

1. Способ снижения визуальных искажений, обусловленных границей блоков между блоками изображения в кадре цифрового видеосигнала, отличающийся тем, что выполняют операцию фильтрации на значениях пикселов на границе блоков или близко от нее и корректируют, по меньшей мере, один заданный параметр операции фильтрации в зависимости, по меньшей мере, частично от способа кодирования, используемого для кодирования блока изображения на первой стороне границы блоков, и способа кодирования, используемого для кодирования блока изображения на второй стороне границы блоков.2. Способ по п.1, отличающийся тем, что кадр содержит, по меньшей мере, одну область блоков изображения и операция фильтрации, выполняемая на значениях пикселов на границе блоков или близко от нее, зависит, по меньшей мере, частично от типа области блока изображения на первой стороне границы блоков и типа области блока изображения на второй стороне границы блоков.3. Способ по п.1, отличающийся тем, что корректируют, по меньшей мере, один заданный параметр операции фильтрации, выполняемой на значениях пикселов, по меньшей мере, на одной стороне границы блоков в зависимости от способа кодирования, используемого для кодирования, по меньшей мере, одного блока изображения в окрестностях границы блоков.4. Способ по п.3, отличающийся тем, что корректируют, по меньшей мере, один заданный параметр операции фильтрации, выполняемой на значениях пикселов на границе блоков или близко от нее в зависимости от способов кодирования, используемых для кодирования как первого блока изображения, так и второго блока изображения, причем первый и второй блоки изображения расположены на противоположных сторонах границы блоков.5. Способ по п.3 или 4, отличающийся тем, что упомянутый, по меньшей мере, один заданный параметр является одним из следующего: количеством подлежащих исследованию пикселов, количеством подлежащих фильтрации пикселов, степенью активности, обеспечивающей индикацию разности между значениями пикселов на одной стороне границы блоков, полосой пропускания фильтрации.6. Способ по п.1, отличающийся тем, что выбирают количество пикселов (n) для исследования, по меньшей мере, с одной стороны границы блоков.7. Способ по п.6, отличающийся тем, что количество пикселов (n), выбранных для исследования, зависит от разности (Δ) в значении пикселов между пикселами через границу блоков.8. Способ по п.6 или 7, отличающийся тем, что количество пикселов, выбранных для исследования, зависит от размера шага квантования, используемого для квантования коэффициентов, используемых в кодировании блоков изображения.9. Способ по п.8, отличающийся тем, что количество пикселов (n), выбранных для исследования, определяют формулой

где Δ - разность между значениями пикселов через границу блоков, α=QP·log(QP), а QP - размер шага квантования, используемого для квантования коэффициентов, используемых в кодировании блоков изображения.

 Тип области блока на второй стороне границыТип области блока на первой стороне границыВНУТРЕННЯЯКОПИРОВАНИЯКОДИРОВАННАЯНЕКОДИРОВАННАЯВНУТРЕННЯЯnn22n4n2КОПИРОВАНИЯ22222422КОДИРОВАННАЯ4n424442НЕКОДИРОВАННАЯ2n222422

и использования упомянутого выбранного сокращенного значения (СЗ) с помощью формулы

d_r(d_l>1)r₁r₂r₃1XXX21XX311*X422X5222**6(3 или 2)***33

где

* означает, что отфильтрованное значение пиксела r₁ используют для фильтрации пиксела r₂;

** означает, что отфильтрованные значения пикселов r₁ и r₂ используют для фильтрации пиксела r₃;

*** означает 3, если d_l>2, в ином случае 2,

причем целочисленный параметр d_r представляет собой степень

активности, которая указывает активность на первой стороне границы блоков, а целочисленный параметр d_l представляет собой степень активности, которая указывает активность на второй стороне границы блоков, r₁, r₂ и r₃ представляют собой три пиксела на первой стороне границы блоков, ближайшие к границе в этом порядке, Х означает, что пиксел не фильтруют, число означает, что в дополнение к подлежащему фильтрации пикселу для полосы пропускания фильтрации с обеих сторон от подлежащего фильтрации пиксела берут количество пикселов, показанное этим числом, а выражение "3 или 2" означает "3, если d_l>2, в ином случае 2", и для определения новых значений подлежащих фильтрации пикселов с другой стороны границы блоков используют полосу пропускания фильтрации, определяемую аналогичным образом, за исключением того, что все символы r заменяют на символы 1 и наоборот.

d_r=6, если при всех j ∈ [1, 6],

иначе: d_r=i, где i удовлетворяет условиям

,

при всех j ∈ [1, i],

где вспомогательный параметр β=4·log(QP), a QP - размер шага квантования, используемого для квантования коэффициентов, используемых в кодировании блоков изображения, n_сокр - сокращенное количество пикселов, и значение параметра d_l определяют точно также, за исключением того, что все символы г заменяют на символы 1.

где Δ - разность между значениями пикселов через границу блоков, α=QP·log(QP), а QP - размер шага квантования, используемого для квантования коэффициентов, используемых в кодировании блоков изображения.

 Тип блока на второй стороне границыТип блока на первой стороне границыВНУТРЕННИЙКОПИРОВАНИЯКОДИРОВАННЫЙНЕКОДИРОВАННЫЙВНУТРЕННИЙnn22n4n2КОПИРОВАНИЯ22222422КОДИРОВАННЫЙ4n424442НЕКОДИРОВАННЫЙ2n222422

и использования упомянутого выбранного сокращенного значения (СЗ) с помощью формулы

d_r(d_l>1)r₁r₂r₃1XXX21XX311*X422X5222**6(3 или 2)***33

где * означает, что отфильтрованное значение пиксела r₁ используют для фильтрации пиксела r₂,

** означает, что отфильтрованные значения пикселов r₁ и r₂ используют для фильтрации пиксела r₃,

*** означает 3, если d_l>2, в ином случае 2,

и причем целочисленный параметр d_r представляет собой степень активности, которая указывает активность на первой стороне границы блоков, а целочисленный параметр d_l представляет собой степень активности, которая указывает активность на второй стороне границы блоков, r₁, r₂ и r₃ представляют собой три пиксела на первой стороне границы блоков, ближайшие к границе в этом порядке, Х означает, что пиксел не фильтрован, число означает, что в дополнение к подлежащему фильтрации пикселу для полосы пропускания фильтрации с обеих сторон от подлежащего фильтрации пиксела взято количество пикселов, показанное этим числом, а выражение "3 или 2" означает "3, если d_l>2, в ином случае 2", и для определения новых значений подлежащих фильтрации пикселов с другой стороны границы блоков фильтр выполнен с возможностью использования полосы пропускания фильтрации, определяемой аналогичным образом, за исключением того, что все символы г заменены на символы l и наоборот.

d_r=6, если при всех j ∈ [1, 6],

иначе d_r=i, где i удовлетворяет условиям

при всех j ∈ [1, i],

где вспомогательный параметр β=4·log(QP), a QP - размер шага квантования, используемого для квантования коэффициентов, используемых в кодировании блоков изображения, n_сокр - сокращенное количество пикселов, а значение параметра d_l определено аналогично, за исключением того, что все символы г заменяют на символы l.