СПОСОБ ДЕКОДИРОВАНИЯ ОДНОГО ПОЛУЧЕННОГО ТЕКУЩЕГО СИГНАЛА ИЗ СЕРИИ ДВУХКАНАЛЬНЫХ КОДИРОВАННЫХ ВИДЕОСИГНАЛОВ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 1998 года по МПК H04N7/24 

Настоящее изобретение относится к способу и прибору для декодирования одного видеосигнала, полученного из текущего потока двухканальных закодированных видеосигналов, каждый из которых включает канал базы закодированных данных канала базы и закодированные данные вектора движения канала расширения закодированных данных канала расширения, представляющих собой разности между некодируемым видеосигналом и восстановлением непосредственно предшествующего базового видеосигнала из канала базы.

В данном применении видеосигналы фразы соотносятся к цифровому представлению видеоисточника.

Такое так называемое двухканальное кодирование видеосигналов было предназначено для использования в схемах торговых автоматов (ATM), эти схемы могли допускать потерю ячейки, которая могла стать причиной значительного разрыва в потоках данных на каналах с переменной скоростью передачи бит (VBR).

Пример двухканальной схемы кодирования описан в патенте США N 4 933762, там передача осуществляется посредством основной дорожки и вспомогательной дорожки схемы переменной скорости цифровой передачи. Когда основная дорожка не способна координировать всю полноту информации изображения, вспомогательная информация координируется посредством вспомогательной дорожки.

Недостаток традиционных систем наполнения, где кодируются и передаются только существенные отличия между последовательными видеосигналами (или кадрами) в то время, когда используются более эффективные межкадровые кодеры, заключается в том, что ошибки передачи не ограничиваются одним единственным декодированным кадром, а распространяются в более поздние кадры.

Масахиро Уада в статье, озаглавленной "Селективное восстановление потери видеопакета с использованием способа сокрытия ошибки" IEEE J. on Selected Areas in Communications, v. 7 (1989), June, N 5, N-Y, USA, описывает способ сокрытия ошибки для схемы передачи, состоящей из одного единственного канала (т.е. одного слоя) посредством канала скорости передачи бит (VBR). Когда декодер выявляет потерю видеопакета, качество изображения частично восстанавливается способом сокрытия ошибки за счет компенсации движения, по этому способу блоки из полученного предыдущего видеокадра сдвигаются векторами движения среднего значения блоков, расположенных рядом с блоками, которые используются для сокрытия. Данный способ может оказаться достаточным для одного или двух пропущенных блоков, но для более значительной группы пропущенных блоков он может стать причиной серьезных нарушений. Эксперименты, проведенные заявителем, показали,что в ячейку или пакет могут войти 4 блока, и когда случается потеря ячейки в схеме ATM, она обычно затрагивает пакеты ячеек, возможно, 3 пакета и больше, в результате получается десятки пропущенных блоков.

Желательно, чтобы канал базы содержал данные для основного изображения вместе с важной информацией, такой как данные синхронизации, и, следовательно, он должен передаваться при постоянной скорости бит на "гарантированный" канал постоянной скорости бит.

Канал расширения, кодируя отличия между кодируемым видеосигналом и видеокадром, восстановленным только из канала базы (который будет также называться "данные расширения"), доводит основной режим изображения до конечного требуемого качества. В общих чертах канал расширения будет иметь неустойчивую скорость передачи бит и может быть передан по каналу VBR. Если какая-либо информация будет потеряна, это не затронет движение восстановленных кадров, а приведет к возвращению к качеству основного режима. Случайная потеря разрешающей способности компенсируется за счет преимуществ передачи, например выгодное использование себестоимости каналов схемы.

Такие кодированные видеосигналы могут быть декодированы путем декодирования канала базы для получения базового видеосигнала, декодирования канала расширения для получения данных расширения и комбинирования базового видеосигнала и данных расширения для получения конечного декодированного видеосигнала.

Эта схема двухканального кодирования была проверена моделированием на компьютере на двухканальном приспособлении стандартного H. 261 CCITT, как было сообщено в IEEE J. on Selected Areas in Commun, v. 7, N. 5, June, 1989 в статье М.Ганбари, озаглавленной "Двухслойное кодирование видеосигналов для схем VBR", где говорится о том, что включение компенсации движения для кодирования видеосигнала в канале базы приводит к высокой степени сжатия ширины полосы. Векторы канала движения передаются как часть канала базы в "гарантированный" канал постоянной скорости передачи бит (CBR), так как они необходимы для восстановления основного режима изображения. Так как канал расширения содержит главным образом информацию о деталях изображения и краях, потеря данных из этого канала рассматривается как потеря разрешающей способности в восстановленном изображении, выработанном из декодированного видеосигнала. Данные канала базы предоставят допустимое качество изображения для четких областей, но более детальные области могут иметь видимое искажение, несмотря на то, что компьютерное моделирование указывает, что эта специальная схема на основе H.261 устойчива к потере ячейки и при скоростях 1-10 эта потеря незаметна.

Настоящее изобретение имеет целью предложить усовершенствованную систему декодирования видеосигналов, закодированных подобным двухканальным методом, и, согласно первому аспекту, способ декодирования таких кодированных видеосигналов в соответствии с п. 1 формулы изобретения, характеризующийся тем, что он также включает этапы выявления, потеряны ли данные расширения из канала расширения и, если это имеет место, интерполяции потерянных данных расширения от данных расширения непосредственно предшествующего полученного кодированного видеосигнала и векторов движения, полученных из канала базы в данный момент.

Изобретение опирается на тот факт, что канал базы передается по "гарантированному" каналу, тем самым обеспечивая прием декодером векторов движения кодированных сигналов, полученных в данный момент. Эти векторы движения, следовательно, будут необходимы для обеспечения соответствующего сдвига в сторону непосредственно предшествующих данных расширения с целью определения, какие из этих данных расширения следует использовать для интерполяции данных расширения, потерянных из канала расширения текущего кодированного видеосигнала. Способ в соответствии с настоящим изобретение имеет то преимущество, что он обеспечивает хорошее качество восстановленного изображения даже в случае большого числа блоков, потерянных в канале расширения, из-за потери пакетов ячеек.

Интерполяция данных расширения может быть выполнена в области преобразования на предшествующих полученных ячейках информации канала расширения с использованием линейного кодирования (например, транзисторной схемы с непосредственными связями DCT). Однако, в общих чертах, это будет неприемлемо на практике, так как кодированные части расширения кадров изменяются пространственно между кадрами и ячейки не содержат данных, относящихся к одному и тому же местоположению, а уплотнены в доступном пространстве ячейки. Следовательно, интерполяция должна осуществляться в области элемента изображения (pel), но должно быть ясно, что изобретение в самом широком аспекте не ограничивается этим предпочитаемым способом.

Декодер для декодирования канала базы может иметь запоминающее устройство кадра для запоминания непосредственно предшествующего декодированного канала базы (видеосигнала базы или изображения базы) для использования в качестве шаблона при декодировании следующих, текущих видеосигналов. Подходящий способ получения непосредственно предшествующих данных расширения, необходимый для настоящего изобретения, заключается в определении отличий между этим записанным базовым сигналом и непосредственно предшествующим декодируемым видеосигналом. Это может быть достигнуто путем записывания непосредственно предшествующего декодированного сигнала во второе запоминающее устройство кадра и получения впоследствии отличий между этими двумя видеосигналами известным способом.

Альтернативно непосредственно предшествующие декодированные данные расширения сами могут быть записаны в запоминающее устройство кадра с тем, чтобы они могли быть использованы напрямую для декодирования текущего видеосигнала по способу настоящего изобретения.

Способ, позволяющий обнаружить, пропущены ли какие-либо данные расширения из канала расширения, в деталях будет зависеть от схемы кодирования, применяемой кодером видеосигнала. Обычно канал расширения будет передаваться в пронумерованных ячейках таким образом, что при анализе полученной последовательности ячеек можно определить, которая из них может быть потеряна. Когда обнаруживается, что одна или более ячеек потеряны, данные, которые могут быть потеряны, определяются на основе информации неповрежденных ячеек, граничащих с потерянной ячейкой или ячейками. Затем эти данные интерполируются с использованием векторов движения и данных расширения из непосредственно предшествующего кодированного видеосигнала.

Согласно другому аспекту изобретения, декодер для реализации настоящего способа в соответствии с первым аспектом изобретения, как отмечено в пункте 5 формулы изобретения, характеризуется тем, что включает средство выявления потери ячейки для определения, потеряны ли какие-либо данные расширения из канала расширения, блок интерполяции для получения данных интерполяции, включающих данные расширения непосредственно предшествующего полученного кодированного видеосигнала, измененного в соответствии с векторами движения канала базы, полученными в данный момент; и средство для замены любых пропущенных данных расширения интерполированными данными.

Средство интерполяции может включать первое запоминающее устройство кадра для записывания первого видеосигнала канала базы, который представляет собой восстановление из канала базы непосредственно предшествующего кодированного видеосигнала, второе запоминающее устройство кадра для записывания непосредственно предшествующего декодированного видеосигнала, дифференцирующий блок для получения данных расширения путем вычитания первого кадра из второго и блок сдвига для перемещения данных расширения в соответствии с полученными векторами движения.

Альтернативно последние декодированные данные расширения могут быть записаны в запоминающее устройство кадра для более позднего применения средством интерполяции.

Когда не наблюдаются потери ячейки, декодер функционирует как обычные двухканальные декодеры. В случае возможной потери ячейки интерполированные данные используются вместо информации в потерянных ячейках с целью восстановления видеосигнала, тем самым увеличивая разрешающую способность изображения, которое он вырабатывает, по сравнению с известными двухканальными декодерами.

Теперь будет описан предпочтительный вариант исполнения изобретения только в качестве примера и объяснен принцип действия в деталях со ссылкой на сопровождающие рисунки, где:
фиг. 1 представляет блок-схему известного двухканального декодера, выходной сигнал которого может быть декодирован с помощью способа и прибора настоящего изобретения;
фиг. 2 демонстрирует схему декодера согласно настоящему изобретению;
фиг. 3 показывает диаграмму совершенствования S/V соотношения последовательности видеосигналов, полученных декодером фиг. 2, сравненных с тем же декодером, но функционирующим без данных интерполяции для замены потерянных данных расширения; и
фиг. 4а и 4б представляют копии фотографий, демонстрирующих качество декодированного изображения одной и той же стандартной последовательности видеосигналов для получения результатов фиг. 3, имеющей 10% потери ячейки из канала расширения без применения и с применением соответственно интерполированных данных.

Обратимся сначала к фиг. 1, где представлен схематично известный кодер видеосигналов, который обеспечивает двухканальное кодирование такого типа, к которому применяются способ и прибор настоящего изобретения и который будет описан более подробно, чтобы понять изобретение. Структура кодера фиг. 1 представляет собой модифицированное выполнение стандартной системы кодирования CCITT H.261. Части, соответствующие схеме H.261, расположены в пределах пунктирной линии.

Фиг. 1 показывает этапы кодирования видеосигнала. Отдельные элементы диаграммы не обязательно представляют дискретные физические приборы, выполняющие особые этапы процесса.

Входящий (текущий) видеосигнал, являющийся одним из серий, связывается с входным сигналом 1 и несет вычтенный из него видеосигнал, восстановленный из непосредственно предшествующего кодированного видеосигнала базы после компенсации на любые данные вектора движения, которые будут кодироваться с помощью кода для текущего видеосигнала. Этот восстановленный видеосигнал получается из запоминающего устройства 2 кадра. Вычитание осуществляется вычитателем 4.

Полученный в результате видеосигнал отличия, который должен быть закодирован для передачи, преобразовывается с помощью DCT 6 и затем квантуется переменным квантизатором 8. Квантизатор 8 контролируется для поддержания выходного буфера 10 (который запоминает данные квантования вместе с другой основной информацией, мультиплексированной с данными квантования с помощью мультиплексора и 12) с содержимым в пределах заранее установленных верхних и нижних предельных значений.

Выходной сигнал из буфера 10 представляет собой выходной сигнал канала базы, на основании которого видеосигнал базы может быть восстановлен декодером известным способом и, как далее будет описано, со ссылкой на фиг. 2.

Видеосигнал базы также восстанавливается в пределах кодера типа H.261 фиг. 1 обратным квантизатором 12 и обратным DCT 14.

Восстановленный видеосигнал базы из обратного DCT 14 для непосредственно предшествующего входного видеосигнала сравнивается с текущим входящим видеосигналом с помощью формулы оценки 18, которая определяет векторы движения для этого текущего видеосигнала. Восстановленный видеосигнал базы также прибавляется к уже имеющемуся содержимому запоминающего устройства 2, как показано сумматором 16.

Устройство 18 оценки движения также соединяется с мультиплексором 12, который вводит векторы движения в канал базы для видеосигнала, который кодируется, и в запоминающее устройство 2 таким образом, что содержимое запоминающего устройства 2 соответствует содержимому, полученному с помощью декодера, декодирующего канала базы.

Отличия между входящим текущим видеосигналом и видеосигналом, восстановленным из непосредственно предшествующего канала базы, определяются путем вычитания последнего из первого, как показано вычитателем 20, который связан с входящим видеосигналом 1 и сумматором 16. Сигнал отличия затем квантуется с помощью высококачественного квантизатора 22 и выводится через мультиплексер 24 так же, как канал расширения на выходе 25.

В одном варианте выполнения кодирующего устройства канал расширения получается в области преобразования путем вычитания выходного сигнала обратного квантизатора 12 из выходного сигнала DCT 6 и присоединения разности к высококачественному квантизатору и VLC 22.

Канал базы передается на гарантированный канал постоянной скорости передачи бит, который обеспечивает минимальное качество изображения, полученного принимающим декодером. Канал расширения может быть передан на канал VBR переменной скорости бит для улучшения качества полученного изображения и извлечения преимуществ от свойств VBR.

Известный декодер для декодирования двухканального закодированного видеосигнала, представленного кодером фиг. 1, показан схематично частью фиг. 2, которая вместе с фиг. 1 иллюстрирует процесс декодирования, при этом индивидуальные элементы не обязательно должны соответствовать дискретным физическим элементам. Известный декодер фиг. 2 включает процессы, связанные внешним образом с блоками, отмеченными пунктирной линией. Эти декодирующие процессы будут описаны в первую очередь. Элементы внутри отмеченного пунктирной линией блока на фиг. 2 включают дополнительные примерные процессы для демонстрации настоящего изобретения и будут показаны дальше.

Декодер фиг. 2, связанный внешним образом с блоками, отмеченными пунктирной линией, функционирует следующим образом. Полученный канал базы соединяется с VLD и демультиплексером 40 посредством буфера 42. Выходной сигнал демультиплексера 40 преобразовывается в видеосигнал обратным квантизатором 44 и обратным DCT 46. Этот декодированный сигнал канала базы используется для получения видеосигнала базы обычным способом путем добавления его к непосредственно предшествующему видеосигналу канала базы, хранящемуся в запоминающем устройстве 50 кадра (модифицированного как и следует посредством векторов движения, соединенных с запоминающим устройством 50 кадра от демультиплексера 40), как указано сумматором 48.

Полученный канал расширения преобразуется в видеосигнал расширения с помощью VLD и демультиплексера 52, обратного квантизатора 54 и обратного DCT 56. Выходной сигнал обратного DCT 56 добавляется (т.е. комбинируется), как указано сумматором 52 (представляющим средство комбинирования), к видеосигналу канала базы для получения расширенного видеосигнала на выходе 58 декодера.

Если из канала расширения потеряны ячейки из-за ограничений скорости передачи бит, вызванных каналом VBR, по которому передаются данные расширения, в таком случае эти элементы конечного видеосигнала будут просто видеосигналом канала базы, т.е. нерасширенным.

Декодер настоящего изобретения, показанный полностью на фиг. 2, может способствовать некоторому сокрытию потерянных ячеек, что вызвано применением средства интерполяции, представленного в блоках, отмеченных пунктирной линией на фиг. 2.

Непосредственно предшествующий сигнал, выходящий из декодера фиг. 2, записывается во втором запоминающем устройстве 60 кадра, из которого вычитается, как показано вычитателем 62, видеосигнал канала базы, составленный из текущего канала базы. Этот видеосигнал разности сдвигается вытеснителем 64 в соответствии с текущими векторами движения, соединенными с вытеснителем 64 от демультиплексера 40.

Поступающие ячейки канала расширения контролируются детектором 66 потери ячейки (содержащим средство выявления потери ячейки). Если обнаружена потеря ячейки, данные расширения из сдвинутого, непосредственно предшествующего каналу расширения, записанные в вытеснитель 64, переводятся на сумматор 52 посредством переключателя 68 под контролем детектора 68 потери ячейки, так что эти данные интерполируются для данных расширения, потерянных из текущего канала расширения.

Детектор 66 потери ячейки функционирует путем осуществления контроля за порядковыми номерами поступающих ячеек канала расширения. В настоящем варианте исполнения он является частью VLD и демультиплексера 52, но показан отдельно от него для ясности.

Фигура 3 показывает относительное улучшение соотношения сигнал - шум (S/V) с использованием способа сокрытия ячейки настоящего изобретения. Необработанное изображение, имеющее потерю ячейки, равную 10%, имеет среднее соотношение сигнал - шум, равное 39 децибелов. Почти постоянное соотношение сигнал - шум является результатом кодирования переменной скорости передачи бит второго канала, когда изображение кодируется при постоянном шаге квантования, равном 8 (динамический диапазон первоначальных коэффициентов от 2048 до 2047) в настоящем варианте декодера. Более качественное квантование дает лучшее изобретение за счет большего количества данных в канал базы.

Поскольку данные второго канала несут остаточный шум квантования канала базы, их помощь при измерении значения соотношения сигнал - шум кажется незначительной. Это потому, что соотношение сигнал - шум канала базы относительно высокое. Его среднее значение равно почти 34 децибелам, что является переменной величиной из-за изменения шага квантования. Следует также отметить, что не все ячейки второго канала имеют большую амплитуду искажения за счет квантования, поэтому их потеря не способствует высокому значению соотношения сигнал - шум. Однако их влияние на субъективное качество изображений более выражено.

Фигуры 4а и 4б показывают часть изображения в последовательности без сокрытия ячеек и с сокрытием соответственно. Более качественное изображение галстука и левой руки на портрете, полученном с помощью способа и прибора настоящего изобретения, видно на фиг. 4б. Совершенствование качества изображения становится более четким, когда этот процесс затрагивает отдельные неясные участки изображения.

Декодер для декодирования кодированных видеосигналов, состоящий из канала базы и канала расширения, включает детектор потери ячейки для выявления потери ячеек из канала расширения. В таком случае данные расширения из непосредственно предшествующего видеосигнала, смещенные вытеснителем согласно текущим векторам движения, представляют данные интерполяции для потерянных ячеек. Данные интерполяции прибавляются к декодированному каналу базы, как указано сумматором. Данные расширения получаются путем вычитания непосредственно предшествующего видеосигнала базы, записанного в запоминающее устройство, из непосредственно предшествующего декодированного видеосигнала, записанного в запоминающее устройство, как указано вычитателем. Техническим результатом является улучшение качества изображения. 2 с. и 4 з.п. ф-лы, 4 ил.

1. Способ декодирования одного полученного текущего сигнала из серии двухканальных кодированных видеосигналов, каждый из которых включает канал базы кодированных данных базы и закодированные данные вектора движения и канал расширения кодированных данных расширения, которые являются разностями между некодированным видеосигналом и восстановленным каналом базы, включающий операции декодирования кодированных данных базы для получения видеосигнала базы, декодирования канала кодированных данных расширения для получения данных расширения и суммируют видеосигнал базы и данных расширения для получения декодированного видеосигнала, отличающийся тем, что выявляют, пропущены ли какие-либо данные расширения из канала расширения, и если это имеет место, интерполируют пропущенные данные расширения из данных расширения непосредственно предшествующего полученного кодированного видеосигнала и векторов движения текущего полученного из базового канала. 2. Способ по п. 1, отличающийся тем, что данные расширения непосредственно предшествующего полученного кодированного видеосигнала получают путем определения разностей между непосредственно декодированным видеосигналом и шаблонным видеосигналом базы, восстановленным из канала базы непосредственно предшествующего кодированного видеосигнала. 3. Способ по п. 2, отличающийся тем, что декодированный видеосигнал записывают в запоминающее устройство кадра. 4. Способ по любому из пп. 1 - 3, отличающийся тем, что выявленные потери данных расширения из канала расширения осуществляют путем анализа полученных кодированных данных расширения. 5. Устройство декодирования одного полученного текущего сигнала из серии двухканальных кодированных видеосигналов, содержащее декодер для декодирования полученного текущего одного видеосигнала из серии двухканальных кодированных видеосигналов, каждый из которых включает канал базы кодированных данных базы и кодированные данные вектора движения, и канал расширения кодированных данных расширения, представляющих разности между некодированным видеосигналом и восстановлением непосредственно предшествующего видеосигнала базы, при этом декодер включает:
первый декодирующий блок для декодирования канала базы для получения видеосигнала базы,
второй декодирующий блок для декодирования канала расширения и для получения данных расширения,
сумматор для суммирования видеосигнала базы и данных расширения и для получения декодированного видеосигнала, к первому и второму входу которого подключены соответственно первое и второе декодирующее средство, отличающееся тем, что содержит блок выявления потери каких-либо данных расширения из канала расширения.

блок интерполяции для проведения интерполяции данных, состоящих из данных расширения непосредственно предшествующего полученного кодированного видеосигнала, измененного в соответствии с векторами движения полученного текущего канала базы, и блок для замены пропущенных данных расширения данными интерполяции.