УСТРОЙСТВО КОМПРЕССИИ С ДИФФЕРЕНЦИАЛЬНОЙ ИМПУЛЬСНО-КОДОВОЙ МОДУЛЯЦИЕЙ Российский патент 2001 года по МПК H04N5/911 

Настоящее изобретение относится к шумопонижению для устройства компрессии видеосигнала с дифференциальной импульсно-кодовой модуляцией DPCM, а конкретнее - к устройствам шумопонижения для использования в системе DPCM.

Кодирование с предсказанием для компрессии видеосигнала лучше всего функционирует, когда текущие изображения легко предсказываются по временно соседним изображениям. Однако, когда изображения источника содержат шум, точное предсказание становится трудным и падает эффективность компрессии или ухудшается качество воспроизводимых изображений или же и то, и другое. Поэтому желательно миниминизировать шум в видеосигнале, который подвергается компрессии, до процесса компрессии.

Рассмотрите фиг. 1, которая иллюстрирует систему кодирования изображений с предсказанием. Элементы 12-22 образуют действительное устройство кодирования с предсказанием, которое будет описано здесь позже. Шумопонижение в таких системах предшествующего уровня техники обычно содержит рекурсивный фильтр шумопонижения 10 для предварительной обработки видеосигнала для компрессии. Имеется тенденция предпочесть рекурсивные фильтры поля или кадра, потому что они могут эффективно понижать компоненты шума в диапазоне частот активного сигнала. Однако такие фильтры очень интенсивны в отношении памяти и требуют относительно сложных схем обработки для того, чтобы выполнять значительное понижение уровня шума без введения нежелательных артефактов вокруг признаков движущихся изображений.

Цель настоящего изобретения состоит в том, чтобы предложить обладающее высокой эффективностью устройство шумопонижения и способ для устройства кодирования с предсказанием при минимальной дополнительной аппаратуре.

Настоящее изобретение содержит устройство компрессии с предсказанием DPCM, в котором простой нелинейный элемент обработки включается в систему DPCM для исключения остатков между сигналами предсказанных и реальных изображений, которые меньше предварительно определенного значения. Исключение таких остатков уменьшает количество уплотненных данных, порождаемых для сигналов, включающих даже небольшие количества шума.

Краткое описание чертежей
Фиг. 1 - это блок-схема устройства компрессии с DPCM предшествующего уровня техники.

Фиг. 2 и 4 - это блок-схемы альтернативного устройства, содержащего устройство шумопонижения, соответствующее настоящему изобретению.

Фиг. 3 и 5 - это иллюстрированные схемы иллюстративных нелинейных функций переноса для устройства шумопонижения с фиг. 2 и 4.

Настоящее изобретение будет описываться в контексте видеокомпрессии, подобной описанной в стандарте, установленном группой экспертов по движущимся картинам (MPEG) Международной организации по стандартизации. Кодирование с предсказанием с компенсацией движения типа, описанного в протоколе MPEG, требует и внутрикадрового кодирования, и межкадрового кодирования. А именно, каждый N-ый кадр внутрикадрово кодируется для обеспечения регулярного временного пополнения сигнала. Вмешивающиеся кадры подвергаются межкадровому кодированию или кодированию с предсказанием с DPCM, при котором уплотненные данные в последовательных кадрах зависят от предшествующих кадров. Кадры с внутрикадровым кодированием, называются I-кадрами, а кадры с межкадровым кодированием называются либо P-кадрами, либо B-кадрами в зависимости от того, предсказываются ли они только вперед, или и вперед и назад соответственно. Процесс кодирования с предсказанием содержит деление соответствующих изображений на небольшие участки и поиск соседних изображений для определения одинаковых или почти одинаковых участков в соседнем изображении. Местонахождение участка в соседнем изображении и различия между участком текущего изображения и соответствующим совпадающим или почти совпадающим участком соседнего изображения кодируются для передачи. Обратите внимание, что если соответствующие участки фактически одинаковы, все различия будут нулевыми и участок может кодироваться просто вектором, идентифицирующим местонахождение соответствующего участка, и кодом, указывающим, что все различия являются нулевыми. Таким образом, уплотняемые одинаковые или почти одинаковые образы могут реализовываться относительно небольшим числом кодовых слов. Вместо этого, если изображение содержит значительный шум, будет ценно, что коррекция участков изображения от кадра к кадру будет ухудшаться с сопутствующим увеличением остаточных данных и соответствующим увеличением уплотненных слов.

На фиг. 1 видеосигналы, порождаемые, например, камерами, подаются на рекурсивную систему шумопонижения 10, которая кондинционирует видеосигналы для компрессии. Остальная аппаратура имеет относительно хорошо известную конфигурацию, поэтому будет даваться только общее описание. Данные элементов I-кадра от системы шумопонижения 10 без изменения пропускаются к кодирующему устройству 15 вычитающим устройством 12. Кодирующее устройство 15 выполняет дискретное косинусное преобразование DCT на данных элементов изображения (в блоках из 8х8 элементов изображения) для порождения коэффициентов DCT. Коэффициенты разбиваются на подгруппы для управления скоростью данных и упорядочиваются в предварительно определенной последовательности, которая имеет тенденцию объединять большинство коэффициентов с нулевым значением для эффективного неравномерного кодирования. Затем кодирующее устройство неравномерно и статистически кодирует коэффициенты. Кодированные представительные данные элементов изображения подаются форматеру 19, который располагает в себе информацию для указания места источников соответствующих блоков в кадре, тип кодирования (I, P или B), номер кадра, отметки времени и так далее согласно выбранному протоколу компрессии, например, MPEG 2. Данные от форматера подаются к процессору транспортировки 20, который сегментирует форматированные данные в пакеты полезной нагрузки из определенного числа бит, порождает идентификаторы для адресации соответствующей полезной нагрузки, порождает информацию синхронизации, разрабатывает коды обнаружения и исправления ошибок и добавляет все перечисленное к соответствующим пакетам полезной нагрузки для образования транспортных пакетов. Транспортные пакеты подаются к соответствующему модему 22 для передачи.

Уплотненные I-кадры от кодирующего устройства 15 подаются на декодер 16, который выполняет функцию, обратную функции кодирующего устройства 15. Для уплотненных I-кадров на выходе декодера 16 получается воспроизведенный I-кадр. Разуплотненный I-кадр неизменным пропускается сумматором 18 в буферную память 17, в которой он сохраняется для компрессии с предсказанием последующих P- и B-кадров. Кодирование с предсказанием P-кадров и B-кадров подобны друг другу, и будет обсуждаться компрессия P-кадров. P-кадр изображений, уплотняемый в текущий момент, подается в устройство оценки движения 14, которое делит кадр на блоки, например, из 16х16 элементов изображения. Затем устройство оценки 14 ищет предшествующий I- или P-кадр для подобных блоков из 16х16 элементов изображения и вычисляет совокупность векторов, которые указывают относительную разницу пространственных координат блока в текущем кадре и наименее отличающийся блок в разыскиваемом кадре. С использованием этого вектора соответствующий блок из соответствующего разуплотненного кадра в буферной памяти 17 связывается с вычитающим устройством 12, которое поэлементно вычитает предсказанный блок из памяти 17 из соответствующего блока текущего кадра, который разуплотнен. Различия или остатки, выдаваемые устройством вычитания, подаются на устройство кодирования 15, в котором они обрабатываются подобно данным элементов изображения I-кадров. Векторы, порождаемые устройством оценивания 14, связываются с форматером 19, в котором они содержатся как часть кодированных данных, связанных с соответствующими блоками.

Уплотненные P-кадры декодируются в декодере 16 и подаются в сумматор 18. Одновременно предсказывающим устройством 13 из буферной памяти делается выборка соответствующих блоков кадра изображений, по которым кадр предсказывался, и подается на второй вход сумматора 18, где декодированные остатки или различия поэлементно добавляются для восстановления действительного изображения. Восстановленные данные P-кадра элементов изображения из сумматора 18 сохраняются в буферной памяти 17 для кодирования и/или декодирования с предсказанием последующих P- и B-кадров.

Важно отметить, что, когда обрабатываются I-кадры, предсказывающее устройство 13 подает нулевые значения и на вычитающее устройство 12, и на сумматор 18. Поэтому I-кадры, которые являются входными, пропускаются без изменений вычитающим устройством 12, а декодированные I-кадры от декодера 16 пропускаются без изменений сумматором 18.

Фигура 2 иллюстрирует первый вариант исполнения изобретения. На фигуре 2 устройство компрессии подобно устройству с фигуры 1, а элементы, обозначенные номерами, подобными номерам фигуры 1, выполняют подобные функции. Имеются два главных различия, которыми являются добавление нелинейного элемента 500 и небольшая дополнительная функция, добавленная к элементу 1333, который выполняет функцию элемента 13 с фигуры 1.

Нелинейный элемент 500 соединен между вычитающим устройством 12 и кодирующим устройством 15. Этот элемент организован так, чтобы пропускать только значения сигнала выше предварительно определенного значения. Элементом 500 может быть простая схема изымания сердцевины, которая пропускает нулевое значение для всех значений ниже предварительно определенного значения и значение сигнала минус предварительно определенное значение для всех значений, превышающих предварительно определенное значение, как показано кусочно-линейной функцией (кривая В) на фигуре 3. Вместо этого он может принимать вид более типичной схемы изымания сердцевины, которая пропускает нулевое значение для всех значений сигнала, меньших предварительно определенного значения, и значение сигнала для всех значений сигнала, которые превышают предварительно определенное значение. Еще одной альтернативной функцией для элемента 500 может быть более мягко искривляющаяся функция, такая как кривая, обозначенная буквой А на фигуре 3. Все эти функции могут обеспечиваться посредством программирования функций в соответствующих адресных ячейках в памяти, которая организована так, чтобы адресоваться к ней сигналом, который обрабатывается.

Устройство уплотнения выполняет два типа уплотнения, внутрикадровое и межкадровое. При уплотнении последнего типа сигналом, подаваемым на элемент 500, являются остатки, получившиеся из взятия различий элементов изображений двух независимых кадров. При уплотнении первого типа сигналом, подаваемым на элемент 500, является неизменный видеосигнал. Мощность шума у последнего на корень квадратный из двух больше, чем у первого, а уровень сигнала последнего значительно меньше. Следовательно, отношение сигнал-шум у внутрикадрового видеосигнала значительно больше, чем отношение сигнал-шум у межкадровых остатков безотносительно к количеству шума, загрязняющего сигнал.

Ввиду разницы отношений сигнал-шум нелинейная функция, подаваемая во время внутрикадровой компрессии, должна отличаться от функции, подаваемой для межкадровой компрессии. Например, если нелинейной функцией является кусочно-линейное изымание сердцевины, предварительно определенное значение, ниже которого будет изыматься сердцевина внутрикадровых значений, может значительно превышать межкадровые остатки. Вместо этого, так как отношение сигнал-шум у внутрикадровых сигналов будет относительно велико по сравнению с остатками, нелинейный элемент может приводиться в состояние для пропускания неизмененными внутрикадровых сигналов. Относительные отношения сигнал-шум у кадров, кодированных с предсказанием для B-кадров и P-кадров, могут также значительно различаться в зависимости от числа B-кадров между P-кадрами. Таким образом, это может соответствовать применению различных нелинейных функций в элементе 500 для различных типов кодирования с предсказанием. Адаптивное управление нелинейным элементом выполняется предсказывающим устройством 1333, которое применяет соответствующие сигналы управления для кодируемых I-, P- и B-кадров.

Фиг. 4 показывает воплощение варианта исполнения изобретения, проводимой для использования подобной нелинейной функции для всех типов компрессии, внутрикадровой и межкадровой.

На фиг. 4 элементы, обозначенные номерами, подобными номерам на фиг. 1, подобны им и выполняют подобные функции. Схема фиг. 4 содержит нелинейный элемент 50 между вычитающим устройством 12 и кодирующим устройством 15. Функция нелинейного элемента может быть подобна функции, показанной на фиг. 5 (стандартная функция изымания сердцевины), или функции, которая описана для элемента 500.

Во время компрессии межкардовых кадров переключателем sw1 и sw2 находятся в положении, альтернативном к показанным положениям. При переключателях, находящихся в этом положении, система обладает такой же конфигурацией и работает точно так же, как система с фиг. 2 для межкадрового кодирования. Таким образом, нелинейная функция элемента 50 будет выбираться в соответствии с эксплуатационными ожиданиями для межкадрового кодирования.

Для внутрикадрового кодирования необходимо, чтобы декодированный сигнал от декодера 16 пропускался через сумматор 18 без изменений. Это осуществляется использованием переключателя sw1, состояние которого определяется предсказывающим элементом 133 для пропускания нулевых значений во время кодирования I-кадров. Одновременно переключатель sw2 перемещается в положение, показанное на фиг. 4.

Для того, чтобы нелинейный элемент оказывал выгодное действие на сигналы I-кадров ввиду их относительно высокого отношения сигнал-шум, сигналы I-кадров искусственно ослабляются для обработки, связанной с шумом, а затем восстанавливаются после обработки, связанной с шумом. Ослабление I-кадрового сигнала осуществляется путем порождения предсказываемого I-кадра и подачей предсказанного I-кадра на вычитающее устройство 12. Величина различий, порожденных вычитающим устройством, будет того же порядка, что и у внутрикадровых остатков, а следовательно, нелинейный элемент будет работать подобно им. Предсказанный сигнал, получаемый от предсказывающего устройства 133, затем складывается обратно с сигналом, получаемым от нелинейного элемента, для восстановления входного I-кадрового сигнала по существу до его первоначального значения.

Имеется несколько способов для порождения предсказанных I-кадров. Один способ - просто для кондиционирования предсказывающего устройства 133 для вывода блоков элементов изображения, которые размещаются совместно с текущим I-кадром, от последнего декодированного кадра в буфере 17 (который может не быть I-кадром). Но предпочитаемый способ, который обеспечивает гораздо более точное пресказание I-кадра, состоит в предсказании I-кадра таким же образом, как и предсказание P- и B-кадров. Обратите внимание, что предсказание требует векторов движения, которые обеспечивают пространственное соответствие между подобными блоками элементов изображения во временно разнесенных кадрах. Кодированные I-кадры обычно не содержат векторов движения. Однако, так как кодирующее устройство содержит устройство порождения векторов движения для порождения векторов для P- и B-кадров, является простым делом запрограммировать такое устройство для порождения векторов движения также для I-кадров. Эти векторы движения могут использоваться в кодирующем устройстве для порождения предсказанного I-кадра для целей шумопонижения, а затем отбрасываются, то есть не включаются, в кодированную последовательность бит. Вместо этого векторы движения I-кадров могут включаться в кодированную последовательность бит для целей маскировки ошибок, как предлагается в протоколе MPEG.

Допустим, что нелинейный элемент 50 запрограммирован на пропускание всех сигнальных выборок, имеющих величины больше значения T, которое номинально будет довольно маленьким. Кроме того, допустим, что сигналом, выдаваемым предсказывающим устройством, является S(n), а входным I-кадровым сигналом является I(n), Пренебрегая элементом 50, сигналом, выдаваемым на верхнем контакте переключателя sw2, являются I(n) - S(n). Этот сигнал связывается с одним входом сумматора 52, а сигнал S(n) подается на второй вход сумматора 52. Сумматор 52 обеспечивает сигнал I(n) - S(n)+S(n) = I(n). Эти значения связываются с кодирующим устройством 15 и не изменяются по сравнению с входными значениями. Нелинейный элемент 12 будет влиять только на те выходные значения I(n), для которых различия, обеспечиваемые вычитающим устройством 12, находятся в пределах ±T. Следовательно, выгодно, если I-кадровые предсказания, обеспечиваемые предсказывающим устройством 133, очень точны, то есть в пределах отклонений ±T, и в этом случае нелинейный элемент 50 будет влиять по существу только на шумовые компоненты.

В предшествующем описании предполагается, что кадры кодируются в своей целостности как внутрикадрово кодируемые кадры или как межкадрово кодируемые кадры. В стандарте MPEG, например, видеосигнал кодируется поблочно и принимаются меры для кодирования некоторых блоков P- или B-кадров в режиме внутрикадрового кодирования, если для блока в кадре поиска нельзя обнаружить близкого соответствия. В этих случаях предсказывающие устройства 13, 133 и 1333 будут програмироваться на переключение элементов нелинейной обработки 15, 50 и 500 соответственно поблочно в соответствии с текущим типом обработки. Таким образом, если в прилагаемых пунктах формулы изобретения делается упоминание о сжатии кадров в соответствии с межкадровым режимом обработки, следует оценить то, что некоторые из блоков элементов изображения в таких кадрах могут обрабатываться внутрикадрово, а формула ориентирована на применение таких кадров, обработанных в смешанном режиме.

Схема шумоподавления в устройстве компрессии видеосигнала типа компрессии с дифференциальной импульсно/кодовой модуляцией (DPCM) с предсказанием содержит простой элемент нелинейной обработки в системе DPCM для исключения остатков между предсказанными и реальными сигналами изображения, которые меньше, чем предварительно определенное значение. Исключение таких остатков резко уменьшает количество упомянутых данных, порожденных для сигналов, содержащих даже самые умеренные количества шума, что является техническим результатом. 5 з.п.ф-лы, 5 ил.

1. Устройство для сжатия видеосигнала в стандарте подобному стандарту ЭГК (Экспертной группы по кинематографии), с использованием внутрикадрового кодирования и межкадрового кодирования, содержащее вычитающее устройство для получения остатков, имеющих низкоамплитудные и высокоамплитудные компоненты, причем этими остатками являются различия значений элементов изображений между предсказанными значениями элементов изображения и реальными значениями элементов изображения текущего кадра названного видеосигнала, подвергающегося сжатию, кодирующее устройство, выполняющее дискретное косинусное преобразование, содержащее средство преобразования для преобразования названных остатков и формирования сжатого видеосигнала с использованием как внутрикадрового кодирования, так и межкадрового кодирования, причем остатки подаются на устройство кодирования, в котором они обрабатываются, отличающееся тем, что содержит декодер, выполняющий функцию, обратную функции кодирующего устройства, и предсказывающее устройство для предсказания сигнала изображения, при этом предсказывающее устройство выполнено с возможностью пропускания предсказанных кадров изображений ко второму входному контакту вычитающего устройства, и нелинейный элемент, подсоединенный между вычитающим устройством и кодирующим устройством для ослабления низкоамплитудных компонент остатков больше, чем высокоамплитудных компонент остатков. 2. Устройство по п.1, отличающееся тем, что нелинейным элементом является схема изымания сердцевины. 3. Устройство по п.1, отличающееся тем, что видеосигнал существует в кадрах, и устройство сжатия сжимает один из кадров видеосигнала путем межкадрового кодирования, а другие из кадров - путем внутрикадрового кодирования, и при этом устройство также содержит средство для приведения нелинейного элемента в состояние для обработки кадров, которые подвергаются внутрикадровому кодированию, по-другому, чем кадры, которые подвергаются межкадровому кодированию. 4. Устройство по п.1, отличающееся тем, что видеосигнал существует в кадрах, и устройство сжатия сжимает один из кадров видеосигнала путем межкадрового кодирования, а другие из кадров - путем внутрикадрового кодирования, и при этом предсказывающее устройство выполнено с возможностью пропускания предсказанных кадров изображения ко второму входному контакту вычитающего устройства во время промежутков внутрикадрового кодирования, причем устройство дополнительно содержит сумматор, имеющий первый входной контакт, соединенный со вторым входным контактом вычитающего устройства, и второй входной контакт, соединенный с выходным контактом нелинейного элемента, и выходной контакт, переключатель, имеющий первый и второй входные контакты, соединенные с выходными контактами нелинейного элемента и сумматора соответственно, и средство приведения переключателя в состояние для пропускания сигнала, подаваемого на его первый и второй входные контакты, при межкадровом и внутрикадровом кодировании кадров соответственно. 5. Устройство по п.1, отличающееся тем, что в нелинейном элементе применяются различные нелинейные функции для различных типов кодирования с предсказанием. 6. Устройство по п.5, отличающееся тем, что нелинейная функция, подаваемая во время внутрикадрового сжатия, отличается от функции, подаваемой для межкадрового сжатия.