СПОСОБЫ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕОИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ МЕЖУРОВНЕВОЙ ФИЛЬТРАЦИИ И ВИДЕОКОДЕР И ВИДЕОДЕКОДЕР С ИХ ИСПОЛЬЗОВАНИЕМ Российский патент 2008 года по МПК H04N7/26 G06T7/20 

Область техники, к которой относится изобретение

Устройства и способы, согласно настоящему изобретению, относятся к способу многоуровневого кодирования видеоизображения и, более конкретно, к способу кодирования видеоизображения с использованием межуровневой фильтрации.

УРОВЕНЬ ТЕХНИКИ

С развитием технологии связи, включая Интернет, расширилась передача видеоизображения, а также передача текста и речи. Обычная передача текста не может удовлетворять различным потребностям пользователей, и, соответственно, расширились мультимедийные услуги, которые могут обеспечивать различные виды информации, такие как текст, изображения и музыка. Мультимедийные данные для осуществления передачи требуют носителя информации большой емкости и широкую полосу пропускания, так как, обычно, количество данных велико. Например, 24-битовое изображение в натуральных цветах (true-color), имеющее разрешение 640*480, требует емкости в 640*480*24 битов, то есть, для данных порядка 7,37 Mbits на кадр. Когда видеоизображение, состоящее из таких изображений, передают на скорости 30 кадров в секунду, требуется полоса пропускания 221 Mbits/sec. При сохранении 90-минутного фильма, основанного на таком изображении, требуется область памяти около 1200 Gbits. Соответственно, для передачи мультимедийных данных необходим способ кодирования со сжатием.

Основным принципом сжатия мультимедийных данных является удаление избыточности данных. Другими словами, данные видеоизображения могут быть сжаты при удалении пространственной, временной и визуальной избыточности. Пространственная избыточность возникает, когда в изображении повторяется один и тот же цвет или объект. Временная избыточность возникает, когда имеет место небольшое изменение между смежными кадрами в движущемся изображении или в звукозаписи повторяется один звук. При удалении визуальной избыточности учитываются ограничения зрения человека и ограниченное восприятие им высокой частоты.

Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.

Данные видеоизображения сжимают видеокодером 110. MPEG-2, MPEG-4, H.263 и H.264 являются известными в настоящее время алгоритмами сжатия видеоизображения на основе Дискретного Косинусного Преобразования (DCT, ДКП). В последнее время активно проводились исследования масштабируемого кодирования видеоизображения на основе вейвлет (разложения по волнам малой длительности). Сжатые данные видеоизображения передают в видеодекодер 130 через сеть 120. Видеодекодер 130 декодирует сжатые данные видеоизображения для восстановления исходных данных видеоизображения.

Видеокодер 110 сжимает исходные данные видеоизображения, так чтобы они не превышали доступную полосу пропускания сети 120. Однако полоса пропускания канала связи может варьироваться в зависимости от вида сети 120. Например, доступная полоса пропускания канала связи сети Ethernet (локальной сети на основе протокола CSMA-CD) отлична от полосы пропускания канала беспроводной локальной сети (WLAN, БЛС). Сотовая сеть связи может иметь очень узкую полосу пропускания. Соответственно, активно проводится исследование в отношении способа формирования данных видеоизображения, сжатых по различной частоте следования битов, из одних и тех же сжатых данных видеоизображения, в частности масштабируемого кодирования видеоизображения.

Масштабируемое кодирование видеоизображения является способом сжатия видеоизображения, который обеспечивает возможность масштабирования данных видеоизображения. Масштабируемость является возможностью формирования из одного сжатого потока битов последовательностей видеоизображения при различных разрешениях, частотах кадра и качествах. Временная масштабируемость может быть обеспечена с использованием Компенсирующей Движение Временной Фильтрации (MCTF, КДВФ), Абсолютной MCTF (UMCTF, АВФКД) или алгоритма Последовательной Временной Аппроксимации и Сравнения с эталоном (STAR, ПВАС). Пространственная масштабируемость может быть получена посредством алгоритма вейвлет-преобразования (преобразования с разложением на волны малой длительности) или многоуровневого кодирования, которые активно изучались в последнее время. Масштабируемость Отношения сигнал-шум (SNR, ОСШ) может быть получена с использованием Внедренного Вейвлет с Нулевыми Деревьями (EZW, ВВН), Разбиения на Наборы в Иерархических Деревьях (SPIHT, РНИД), Внедренного Кодирования с Нулевым Блоком (EZBC, ВЕНБ), или Внедренного Блочного Кодирования с Оптимизированным Усечением (EBCOT).

В последнее время для масштабируемого кодирования видеоизображения были приняты алгоритмы многоуровневого кодирования видеоизображения. Хотя стандартное многоуровневое кодирование видеоизображения обычно использует один алгоритм кодирования видеоизображения, в последнее время повышенное внимание уделяют многоуровневому кодированию видеоизображения с использованием нескольких алгоритмов кодирования видеоизображения.

Фиг.2 и фиг 3 иллюстрируют возможные варианты потоков битов, сформированных при многоуровневом кодировании видеоизображения.

Согласно фиг.2, видеокодер использует и алгоритм Усовершенствованного Кодирования Видеоизображения MPEG-4, предлагающий превосходную эффективность кодирования, и способ вейвлет-кодирования, обеспечивающий превосходную масштабируемость. Когда видеокодер выполняет кодирование с использованием только вейвлет-кодирования, имеется тенденция к существенному ухудшению качества видеоизображения при низком разрешении. Соответственно, поток битов, изображенный на фиг.2, содержит AVC-кодированные кадры уровня с самым низким разрешением, и кадры уровня с самым высоким разрешением, вейвлет-кодированнные с использованием AVC-кодированных кадров самого низкого уровня. Кадром, используемым в качестве опорного при кодировании, является кадр, восстановленный при декодировании кадра, кодированного посредством AVC-кодирования.

Согласно фиг.3, видеокодер использует и вейвлет-кодирование, обеспечивающее превосходную масштабируемость, и AVC-кодирование, обеспечивающее высокую эффективность кодирования. Хотя в потоке битов, изображенном на фиг.2, имеется только два уровня, вейвлет-кодированный и AVC-кодированный, в потоке битов, изображенном на фиг.3, имеется вейвлет-кодированный уровень и AVC-кодированный уровень для каждого разрешения.

Раскрытие изобретения

Техническая проблема

При многоуровневом кодировании видеоизображения существует проблема, состоящая в том, что имеется тенденция к низкой эффективности кодирования уровня расширения, из-за шума квантования в предыдущем кодированном уровне (базовом уровне). В частности, проблема является более неблагоприятной, когда при многоуровневом кодировании видеоизображения используют несколько алгоритмов кодирования видеоизображения, имеющих различные характеристики. Например, использование и AVC-кодирования на основе DCT и вейвлет-кодирования, как изображено на фиг.2 или фиг.3, может ухудшить эффективность кодирования на уровне вейвлет.

Техническое решение

Настоящее изобретение обеспечивает способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации, разработанной для повышения эффективности многоуровневого кодирования видеоизображения, и видеокодеры и видеодекодеры.

Вышеупомянутая задача, а также другие задачи, признаки и преимущества настоящего изобретения станут очевидны для специалистов в данной области техники после обзора последующего описания.

Согласно аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий кодирование кадров с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения с обращением к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно другому аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий субдискретизацию кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирование кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышение дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения до разрешения кадров видеоизображения, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно еще одному аспекту настоящего изобретения обеспечен видеокодер, содержащий первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием первой схемы кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров, кодированных первой схемой кодирования видеоизображения, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно дополнительному аспекту настоящего изобретения обеспечен видеокодер, содержащий средство субдискретизации, субдискретизирующее кадры видеоизображения для формирования кадров видеоизображения с низким разрешением, первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, средство повышения дискретизации, повышающее дискретизацию кадров, кодированных первой схемой кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров с повышенной дискретизацией, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения на основе кадров, фильтрованных посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно еще одному аспекту настоящего изобретения, обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнение межуровневой фильтрации в отношении восстановленных кадров первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, восстановление кадров первого уровня, повышение дискретизации восстановленных кадров первого уровня, выполнение межуровневой фильтрации для кадров с повышенной дискретизацией первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадровпервого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий интерпретатор потока битов, извлекающий кадры, кодированные посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения, декодирующий кадры, кодированные посредством первой схемы кодирования видеоизображения, обращаясь к первой схеме декодирования видеоизображения и восстанавливающий кадры первого уровня, межуровневый фильтр, выполняющий межуровневую фильтрацию на восстановленных кадрах первого уровня, и второй блок декодирования видеоизображения, декодирующий кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения в отношении кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий видеодекодер, содержащий интерпретатор потока битов для извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения для декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановления кадров первого уровня, средство повышения дискретизации для повышения дискретизации восстановленных кадров первого уровня, межуровневый фильтр для выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и второй блок декодирования видеоизображения для декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановления кадров второго уровня.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеупомянутые и другие аспекты настоящего изобретения станут более очевидны при подобном описании его возможных вариантов осуществления, согласно приложенным чертежам.

Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.

Фиг.2 и фиг.3 изображают возможные структуры потока битов, сформированного при многоуровневом кодировании видеоизображения.

Фиг.4 - блочная диаграмма видеокодера согласно первому возможному варианту осуществления настоящего изобретения.

Фиг.5 - блочная диаграмма видеокодера согласно второму возможному варианту осуществления настоящего изобретения.

Фиг.6 - блочная диаграмма временного фильтра согласно возможному варианту осуществления настоящего изобретения.

Фиг.7 - диаграмма, иллюстрирующая процесс кодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.

Фиг.8 - диаграмма, иллюстрирующая подробно процесс кодирования второго уровня, согласно возможному варианту осуществления настоящего изобретения.

Фиг.9 - блочная диаграмма видеодекодера согласно первому возможному варианту осуществления настоящего изобретения.

Фиг.10 - блочная диаграмма видеодекодера согласно второму возможному варианту осуществления настоящего изобретения.

Фиг.11 - блочная диаграмма обратного временного фильтра согласно возможному варианту осуществления настоящего изобретения.

Фиг.12 - диаграмма, иллюстрирующая процесс декодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.

Фиг.13 - диаграмма, иллюстрирующая подробно процесс выполнения обратного временного фильтрования на втором уровне, согласно возможному варианту осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Аспекты изобретения и способы их выполнения могут стать более понятны при обращении к последующему подробному описанию возможных вариантов осуществления и приложенным чертежам. Однако настоящее изобретение может быть реализовано во многих различных видах и не должно рассматриваться, как ограниченное изложенными здесь возможными вариантами осуществления. Кроме того, эти возможные варианты осуществления приведены, чтобы это раскрытие было полным и завершенным, и для передачи полностью концепции изобретения специалистам в данной области техники, и настоящее изобретение должно быть определено исключительно приложенной формулой изобретения. В описании использована сквозная нумерация.

Настоящее изобретение описано более полно, согласно приложенным чертежам, в которых изображены возможные варианты осуществления изобретения. Для удобства объяснения предполагается, что видеокодер имеет два блока кодирования для двух уровней.

Фиг.4 иллюстрирует блок-схему видеокодера согласно первому возможному варианту осуществления настоящего изобретения.

Согласно фиг.4, видеокодер, согласно первому возможному варианту осуществления настоящего изобретения, содержит первый блок 410 кодирования видеоизображения, второй блок 420 кодирования видеоизображения, генератор 430 потока битов и межуровневый фильтр 440.

Первый блок 410 кодирования содержит временной фильтр 411, преобразователь 412 Дискретного Косинусного Преобразования (DCT) и квантующее средство 413 и кодирует кадр видеоизображения с использованием усовершенствованного кодирования видеоизображения (AVC).

Временной фильтр 411 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 411 может использовать алгоритм Компенсирующей Движение Временной Фильтрации (MCTF). Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Для MCTF широко используют Фильтр 5/3. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как Абсолютная MCTF (UMCTF) или Последовательная Временная Аппроксимация и Обращение к эталону (STAR).

Преобразователь 412 DCT выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.

Квантующее средство 413 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того как он подвергся сканированию и статистическому кодированию, квантованный кадр вставляют в поток битов.

Второй блок 420 кодирования видеоизображения содержит временной фильтр 421, вейвлет-преобразователь 422 и квантующее средство 423 и кодирует кадр видеоизображения с использованием вейвлет-кодирования.

Временной фильтр 421 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 421 может использовать алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

Вейвлет-преобразователь 422 выполняет преобразование в отношении кадра, фильтрованного посредством временного фильтрования, на по-кадровой основе. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, осуществляет разложение кадра на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL поддиапазон по размеру составляет четверть первоначального кадра и является его аппроксимацией перед тем, как он подвергается вейвлет-преобразованию. Вновь выполняют вейвлет-преобразование для разложения LL поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон по размеру составляет четверть LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.

Квантующее средство 423 осуществляет квантования кадра, преобразованного посредством вейвлет-преобразования. Квантование выполняют с использованием внедренного алгоритма квантования, такого как Внедренный Вейвлет с нулевыми Деревьями (EZW), Разбиение на Наборы в Иерархических Деревьях (SPIHT), Внедренное Кодирование с Нулевым Блоком (EZBC), или Внедренное Блочное Кодирование с Оптимизированным Усечением (EBCOT), обеспечивающие масштабируемость отношения сигнал-шум (SNR).

Временной фильтр 421 удаляет временную избыточность, которая существует в кадре 400 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 410 кодирования видеоизображения, в качестве опорного. DCT на основе блока, выполняемое перед квантованием, может вызывать блочные искажения изображения, которые ухудшают эффективность вейвлет-кодирования, выполняемого вторым блоком 420 кодирования видеоизображения. То есть кадр, содержащий блочные искажения изображения, может ухудшать эффективность вейвлет-кодирования, так как блочные искажения изображения, такие как шум, распространяются по всему кадру, когда кадр подвергается вейвлет-преобразованию.

Соответственно, видеокодер фиг.4 дополнительно содержит межуровневый фильтр 440 для устранения шума, формируемого между уровнями. Межуровневый фильтр 440 выполняет фильтрацию так, что кадр, кодированный посредством первого способа кодирования видеоизображения, соответственно, используют в качестве опорного для второго способа кодирования видеоизображения. Межуровневая фильтрация необходима, когда для каждого уровня используют различные схемы кодирования видеоизображения, как изображено в кодере видеоизображения фиг.4.

Межуровневый фильтр 440 выполняет фильтрование для кадра, кодированного посредством AVC-кодирования на основе DCT так, что он может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. Для осуществления этого межуровневый фильтр субдискретизирует AVC-кодированный кадр с использованием MPEG (или другого) фильтра после повышения его дискретизации с использованием вейвлет-фильтра; однако, это просто иллюстративно. Кроме того, фильтром субдискретизации в межуровневом фильтре 440 может быть фильтр нижних частот, проявляющий большой градиент на частоте среза. Межуровневым фильтром 440 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергаемый межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 420 кодирования видеоизображения.

Генератор 430 потока битов формирует поток битов, содержащий AVC-кодированный кадр 431, вэйвлет-кодированный кадр 432, вектора движения и другую необходимую информацию.

Фиг.5 изображает блок-схему видеокодера согласно второму возможному варианту осуществления настоящего изобретения.

Согласно фиг.5 видеокодер содержит первый блок 510 кодирования видеоизображения, второй блок 520 кодирования видеоизображения, генератор 530 потока битов, межуровневый фильтр 540, средство (блок) 550 повышения дискретизации и средство (блок) 560 субдискретизации. Видеокодер кодирует кадр видеоизображения и кадр видеоизображения с низким разрешением с использованием различных схем кодирования видеоизображения. В частности, средство 560 субдискретизации субдискретизирует кадр 500 видеоизображения для формирования кадра видеоизображения с низким разрешением.

Первый блок 510 кодирования видеоизображения содержит временной фильтр 511, DCT-преобразователь 512 и квантующее устройство 513 и кодирует кадр видеоизображения с низким разрешением с использованием AVC-кодирования.

Временной фильтр 511 принимает кадр видеоизображения с низким разрешением и удаляет временную избыточность, которую кадр с низким разрешением имеет со смежными кадрами с низким разрешением. Для удаления временной избыточности между кадрами с низким разрешением временной фильтр 511 использует алгоритм MCTF, который поддерживает временную масштабируемость. Для MCTF широко используют фильтр 5/3, но могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

DCT-преобразователь 512 выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.

Квантующее средство 513 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того, как он подвергся переупорядочению и статистическому кодированию, квантованный кадр вставляют в поток битов.

Средство 550 повышения дискретизации повышает дискретизацию AVC-кодированного кадра до разрешения кадра 500.

Межуровневый фильтр 540 выполняет фильтрацию таким образом, что вариант (версия) кадра с повышенной дискретизацией может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. В возможном варианте осуществления настоящего изобретения дискретизация варианта кадра с повышенной дискретизацией может быть повышена посредством вейвлет-фильтра с последующей субдискретизацией с использованием MPEG-фильтра; однако, это просто иллюстративно. Кроме того, субдискретизирующим фильтром в межуровневом фильтре 540 может быть фильтр нижних частот, имеющий большой градиент на частоте среза. Межуровневым фильтром 540 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергшийся межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 520 кодирования видеоизображения.

Второй блок 520 кодирования видеоизображения содержит временной фильтр 521, вейвлет-преобразователь 522 и квантующее средство 523, и он кодирует кадр видеоизображения с использованием вейвлет-кодирования.

Временной фильтр 521 принимает кадр 500 видеоизображения и удаляет временную избыточность, которую кадр 500 видеоизображения имеет со смежными кадрами. В возможном варианте осуществления настоящего изобретения для удаления временной избыточности между кадрами с низким разрешением временной фильтр 521 использует алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами с низким разрешением. Могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

Вейвлет-преобразователь 522 выполняет вейвлет-преобразование в отношении кадра, фильтрованного посредством временного фильтрования. В отличие от DCT-преобразования, которое выполняют в единицах блоков, вейвлет-преобразование выполняют в единицах кадров. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, разлагает кадр на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL-поддиапазон составляет четверть размера исходного кадра до того, как он подвергся вейвлет-преобразованию, и является его аппроксимацией. Вновь выполняют вейвлет-преобразование для разложения LL-поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон составляет четверть размера LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.

Квантующее средство 523 осуществляет квантование кадра, преобразованного посредством вейвлет-преобразования. Квантованием может быть внедренный алгоритм квантования, который обеспечивает масштабируемость SNR, такой как EZW, SPIHT, EZBC или EBCOT.

Временной фильтр 521 удаляет временную избыточность, которая существует в кадре 500 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 510 кодирования видеоизображения, в качестве опорного. Перед передачей во временной фильтр 521 кадр, кодированный первым блоком кодирования видеоизображения, подвергают повышению дискретизации и межуровневой фильтрации.

Генератор 530 потока битов формирует поток битов, содержащий AVC-кодированный кадр 531, вейвлет-кодированный кадр 532, векторы движения и другую необходимую информацию.

Со ссылками на фиг.6 более подробно описан временной фильтр.

Фиг.6 - блочная диаграмма временного фильтра 600, согласно возможному варианту осуществления настоящего изобретения.

Хотя на фиг.4 и фиг.5 изображено, что первый и второй блоки 410 (510) и 420 (520) кодирования видеоизображения содержат временные фильтры 411 (511) и 421 (521), соответственно, для удобства объяснения в возможном варианте осуществления предполагается, что временной фильтр 600 используют во втором блоке 420 кодирования видеоизображения.

Временной фильтр 600 удаляет временную избыточность между кадрами видеоизображения с использованием MCTF на основе принципа группа-за-группой для групп изображения (GOP, ГРИ). Для выполнения этой функции временной фильтр 600 содержит генератор 610 кадров предсказания для формирования кадра предсказания, сглаживающий фильтр 620 кадров предсказания для сглаживания кадра предсказания, генератор 630 остаточных кадров для формирования остаточного кадра посредством сравнения сглаженного кадра предсказания с кадром видеоизображения, и средство 640 обновления для обновления кадра видеоизображения с использованием остаточного кадра.

Генератор 610 кадров предсказания формирует кадр предсказания, который должен сравниваться с кадром видеоизображения для формирования остаточного кадра, с использованием кадров видеоизображения, смежных с кадром видеоизображения, и кадра, подвергшегося межуровневой фильтрации, в качестве опорного. Генератор 610 кадров предсказания обнаруживает совпадающий блок для каждого блока в кадре видеоизображения внутри опорных кадров (смежных кадров видеоизображения и кадра, подвергшегося межуровневой фильтрации) (интер-кодирование) или внутри другого блока в кадре видеоизображения (интра-кодирование).

Сглаживающий фильтр 620 кадров предсказания сглаживает кадр предсказания, так как в кадре предсказания, созданном из блоков, соответствующих блокам в кадре видеоизображения, по границам блока вносятся блочные искажения изображения (артефакты). Для выполнения этого сглаживающий фильтр 620 кадров предсказания может выполнять разделение блоков на пикселина разделения блоков по границам блоков в кадре предсказания. Так как алгоритм разделения хорошо известен в схеме кодирования видеоизображения H.264, то его подробное описание приведено не будет.

Генератор 630 остаточных кадров сравнивает сглаженный кадр предсказания с кадром видеоизображения и формирует остаточный кадр, в котором удалена временная избыточность.

Средство 640 обновления использует остаточный кадр для обновления других кадров видеоизображения. Затем обновленные кадры видеоизображения выдают на генератор 610 кадров предсказания.

Например, когда каждая GOP состоит из восьми кадров видеоизображения, временной фильтр 600 удаляет временную избыточность в кадрах 1, 3, 5 и 7 для формирования остаточных кадров 1, 3, 5 и 7, соответственно. Остаточные кадры 1, 3, 5 и 7 используют для обновления кадров 0, 2, 4 и 6. Временной фильтр 600 удаляет временную избыточность из обновленных кадров 2 и 6 для формирования остаточных кадров 2 и 6. Остаточные кадры 2 и 6 используют для обновления кадров 0 и 4. Затем временной фильтр 600 удаляет временную избыточность в обновленном кадре 4 для формирования остаточного кадра 4. Остаточный кадр 4 используют для обновления кадра 0. Посредством процесса, описанного выше, временной фильтр 600 выполняет временную фильтрацию восьми кадров видеоизображения для получения одного кадра низкой частоты(обновленный кадр 0) и семи кадров высокой частоты (остаточные кадры с 1 по 7).

Со ссылками на фиг.7 и фиг.8 описаны процесс кодирования видеоизображения и временная фильтрация. Предполагается, что кодирование видеоизображения выполняют на двух уровнях.

Сначала, согласно фиг.7, на этапе S710 видеокодер принимает кадр видеоизображения.

На этапе S720 видеокодер кодирует входной кадр видеоизображения с использованием AVC-кодирования. В приведенном возможном варианте осуществления первый уровень кодируют с использованием AVC-кодирования, так как AVC-кодирование обеспечивает наиболее высокую эффективность кодирования, доступную в настоящее время. Однако, первый уровень может быть кодирован с использованием другого алгоритма кодирования видеоизображения.

После кодирования первого уровня на этапе S730 видеокодер выполняет межуровневую фильтрацию для AVC-кодированного кадра так, чтобы он мог, соответственно, использоваться в качестве опорного для кодирования второго уровня. Межуровневая фильтрации включает в себя повышение дискретизации AVC-кодированного кадра с использованием вейвлет-фильтра и субдискретизацию варианта AVC-кодированного кадра с повышенной дискретизацией с использованием MPEG-фильтра.

После завершения межуровневой фильтрации на этапе S740 видеокодер выполняет вейвлет-кодирование кадра видеоизображения с использованием в качестве опорного кадра, подвергшегося межуровневой фильтрации. После завершения вейвлет-кодирования на этапе S750 видеокодер формирует поток битов, содержащий AVC-кодированный кадр и вейвлет-кодированный кадр. Когда первый и второй уровни имеют различные разрешения, видеокодер использует кадр с низким разрешением, полученный посредством субдискретизации входного кадра видеоизображения при AVC-кодировании. После завершения AVC-кодирования видеокодер изменяет разрешение AVC-кодированного кадра. Например, когда разрешение первого уровня ниже разрешения второго уровня, видеокодер повышает дискретизацию AVC-кодированного кадра до разрешения второго уровня. Затем видеокодер выполняет межуровневую фильтрацию варианта (экземпляра) AVC-кодированного кадра с повышенной дискретизацией.

Фиг.8 является блок-схемой, иллюстрирующей подробно процесс кодирования второго уровня согласно возможному варианту осуществления настоящего изобретения.

Согласно фиг.8 на этапе S810 второй блок кодирования видеоизображения принимает кодированный на первом уровне кадр видеоизображения, который был подвергнут межуровневой фильтрации.

На этапе S820 после приема кадра видеоизображения и кадра, подвергнутого межуровневой фильтрации, второй блок кодирования видеоизображения выполняет оценку движения для формирования кадра предсказания, который должен использоваться при удалении временной избыточности в кадре видеоизображения. Для оценки движения могут использоваться различные известные алгоритмы, такие как Согласование Блока и Иерархическое Согласование Блока Переменного Размера (HVSBM, ИСБПР).

На этапе S830 после выполнения оценки движения второй блок кодирования видеоизображения использует векторы движения, полученные в результате оценки движения, для формирования кадра предсказания.

На этапе S840 второй блок кодирования видеоизображения осуществляет сглаживание кадра предсказания для уменьшения блочных искажений изображенияв остаточном кадре. Это происходит из-за того, что очевидная граница блока ухудшает эффективность кодирования при вейвлет-преобразовании и квантовании.

На этапе S850 второй блок кодирования видеоизображения осуществляет сравнение кадра предсказания с кадром видеоизображения для формирования остаточного кадра. Остаточный кадр соответствует кадру высокой частоты (H-кадру), сформированному посредством MCTF.

На этапе S860 временной фильтр использует остаточный кадр для обновления другого кадра видеоизображения. Обновленный вариант кадра видеоизображения соответствует кадру низкой частоты (L-кадру).

После формирования L-кадра и H-кадра на основе GOP на этапах с S820 по S860 второй блок кодирования видеоизображения на этапе S870 выполняет вейвлет-преобразование кадров, фильтрованных посредством временного фильтрования (L и H кадрах). Хотя обычно для вейвлет-преобразования используют фильтр 9/7, может быть также использован фильтр 11/9 или 13/11.

На этапе S880 второй блок кодирования видеоизображения осуществляет квантование кадров, преобразованных посредством вейвлет-преобразования, с использованием EZW, SPIHT, EZBC или EBCOT.

Ниже описаны видеодекодер и процесс декодирования. Хотя процесс декодирования, в основном, выполняют в обратном порядке относительно процесса кодирования, уровни кодируют и декодируют в одинаковом порядке. Например, когда видеокодер последовательно кодирует первый и второй уровни, видеодекодер декодируют первый и второй уровни в том же порядке. Для удобства объяснения предполагается, что кадр видеоизображения восстанавливают из потока битов, имеющего два уровня.

Фиг.9 - блок-схема видеодекодера согласно первому возможному варианту осуществления настоящего изобретения, используемого, когда первый и второй уровни имеют одинаковое разрешение.

Согласно фиг.9, видеодекодер содержит интерпретатор 900 потока битов, первый блок 910 декодирования видеоизображения, второй блок 920 декодирования видеоизображения и межуровневый фильтр 940.

Интерпретатор 900 потока битов интерпретирует входной поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Затем кадры, кодированные посредством первого кодирования видеоизображения, выдают на первый блок 910 декодирования видеоизображения, в то время как кадры, кодированные посредством второго кодирования видеоизображения, подают на второй блок 920 декодирования видеоизображения.

Первый блок 910 декодирования видеоизображения содержит средство (блок) 911 обратного квантования, обратный DCT-преобразователь 912 и обратный временной фильтр 913. Средство 911 обратного квантования осуществляет квантование кадров, кодированных посредством первого кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством DCT-преобразования, с использованием таблицы квантования.

Обратный DCT-преобразователь 912 выполняет обратное DCT-преобразование кадров, подвергшихся обратному квантованию.

Обратный временной фильтр 913 восстанавливает кадры видеоизображения первого уровня из кадров, подвергшихся обратному DCT-преобразованию, и выводит декодированный кадр (931). Восстановленные кадры видеоизображения первого уровня получают посредством кодирования исходных кадров видеоизображения на низкой скорости передачи битов и декодирования кодированных кадров.

Межуровневый фильтр 940 выполняет межуровневую фильтрацию в отношении восстановленного кадра первого уровня. Межуровневая фильтрация может быть выполнена с использованием алгоритма разделения блоков.

Второй блок 920 декодирования видеоизображения содержит устройство 921 обратного квантования, обратный вейвлет-преобразователь 922 и обратный временной фильтр 923.

Средство 921 обратного квантования применяет обратное квантование к кадрам, кодированным посредством второго кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления вейвлет-преобразованных кадров с использованием таблицы квантования.

Обратный вейвлет-преобразователь 922 выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию.

Обратный временной фильтр 923 восстанавливает кадры видеоизображения второго уровня из кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием в качестве опорного кадров, подвергнутых межуровневой фильтрации, и выводит декодированный кадр (932). Восстановленные кадры видеоизображения второго уровня получают посредством кодирования исходных кадров видеоизображения на высокой скорости передачи битов и декодирования кодированных кадров.

Фиг.10 - блок-схема видеодекодера, согласно второму возможному варианту осуществления настоящего изобретения, используемого, когда первый уровень имеет более низкое разрешение, чем второй уровень. Согласно фиг.10, видеодекодер содержит интерпретатор 1000 потока битов, первый блок 1010 декодирования видеоизображения, второй блок 1020 декодирования видеоизображения, межуровневый фильтр 1040, средство (блок) 1050 повышения дискретизации.

Интерпретатор 1000 потока битов интерпретирует входной поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Кадры, кодированные посредством первого кодирования видеоизображения, имеют более низкое разрешение, чем кадры, кодированные посредством второго кодирования видеоизображения. Затем первыеподают на первый блок 1010 декодирования видеоизображения, в то время как последние подают на второй блок 1020 декодирования видеоизображения.

Первый блок 1010 декодирования видеоизображения содержит устройство 1011 обратного квантования, обратный DCT-преобразователь 1012 и обратный временной фильтр 1013.

Средство (блок) 1011 обратного квантование осуществляет обратное квантование кадров, кодированных посредством первого кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством DCT-преобразования, с использованием таблицы квантования.

Обратный DCT-преобразователь 1012 выполняет обратное DCT-преобразование кадров, подвергнутых обратному квантованию.

Обратный временной фильтр 1013 восстанавливает кадры видеоизображения первого уровня из кадров, преобразованных посредством обратного DCT-преобразования, и выводит декодированный кадр (1031). Восстановленный кадр видеоизображения первого уровня получают посредством субдискретизации и кодирования исходного кадра видеоизображения и декодирования кодированного кадра.

Средство 1050 повышения дискретизации повышает дискретизацию кадра первого уровня до разрешения восстановленного кадра второго уровня.

Межуровневый фильтр 1040 выполняет межуровневую фильтрацию для варианта кадра первого уровня с повышенной дискретизацией. Межуровневая фильтрация может быть выполнена с использованием алгоритма разделения блоков.

Второй блок 1020 декодирования видеоизображения содержит устройство 1021 обратного квантования, обратный вейвлет-преобразователь 1022 и обратный временной фильтр 1023.

Средство 1021 обратного квантования осуществляет обратное квантование кадров, кодированных посредством второго кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством вейвлет-преобразования, с использованием таблицы квантования.

Обратный вейвлет-преобразователь 1022 выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию.

Обратный временной фильтр 1023 восстанавливает кадры видеоизображения второго уровня из кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием в качестве опорного кадров, которые были подвергнуты межуровневой фильтрации, и выводит декодированный кадр (1032). Восстановленные кадры видеоизображения второго уровня получают посредством кодирования исходных кадров видеоизображения и декодирования кодированных кадров.

Фиг.11 - блочная диаграмма обратного временного фильтра 1100 согласно примерному варианту осуществления настоящего изобретения.

Хотя на фиг.9 и фиг.10 изображено, что первый и второй блоки 910 (1010) и 920 (1020) декодирования видеоизображения содержат обратные (инверсные) временные фильтры 913 (1013) и 923 (1023), соответственно, для удобства объяснения в примерном варианте осуществления предполагается, что временной фильтр 1100 используют во втором блоке 920 декодирования видеоизображения, изображенном на фиг.9.

Обратный временной фильтр 1100 восстанавливает кадры видеоизображения из кадров, преобразованных посредством обратного вейвлет-преобразования, на основе группа-за-группой изображения (GOP) с использованием MCTF. Кадры, преобразованные посредством обратного вейвлет-преобразования, которые подают в обратный временной фильтр 1100, состоят из кадров низкойчастоты и высокойчастоты, в которых при кодировании видеоизображения была удалена временная избыточность. Например, когда каждая GOP создана из восьми кадров, кадры, преобразованные посредством обратного вейвлет-преобразования, могут содержать один кадр низкой частоты (обновленный кадр 0) и семь кадров высокой частоты (остаточные кадры с 1 по 7), полученных в результате кодирования видеоизображения.

Для выполнения этой функции обратный временной фильтр 1100 содержит средство 1110 обратного обновления, генератор 1120 кадров предсказания, сглаживающий фильтр 1130 кадров предсказания и средство 1140 восстановления кадров.

Средство 1110 обратного обновления обновляет кадры, преобразованные посредством обратного вейвлет-преобразования, в порядке, обратном тому, который используют при кодировании видеоизображения.

Генератор 1120 кадров предсказания формирует кадр предсказания, который должен использоваться при восстановлении кадра низкой частоты или кадра видеоизображения из остаточного кадра, с использованием кадра, фильтрованного посредством межуровневой фильтрации.

Сглаживающий фильтр 1130 кадров предсказания осуществляет сглаживание кадра предсказания.

Средство 1140 восстановления кадров восстанавливает кадр низкой частоты или кадр видеоизображения из кадра высокой частоты с использованием сглаженного кадра предсказания.

Например, когда каждая GOP создана из восьми кадров видеоизображения, обратный временной фильтр 1100 использует остаточный кадр 4 и кадр 0, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадра низкой частоты 0.

Затем кадр низкой частоты 0 используют для формирования кадра предсказания для остаточного кадра 4, и кадр предсказания используют для получения кадра низкой частоты 4 из остаточного кадра 4.

Затем обратный временной фильтр 1100 использует остаточные кадры 2 и 6 и кадры 0 и 4, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадров низкой частоты 0 и 4, и затем использует кадры низкой частоты 0 и 4 и кадры 2 и 6, фильтрованные посредством межуровневой фильтрации, для формирования кадров предсказания для остаточных кадров 2 и 6. Затем кадры предсказания используют для получения кадров низкой частоты 2 и 6 из остаточных кадров 2 и 6.

Затем временной фильтр 1100 использует остаточные кадры 1, 3, 5 и 7 и кадры 0, 2, 4 и 6, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадров низкой частоты 0, 2, 4 и 6, вследствие этого восстанавливая кадры видеоизображения 0, 2, 4 и 6.

В заключение, обратный временной фильтр 1100 использует восстановленные кадры 0, 2, 4 и 6 и кадры 1, 3, 5 и 7, фильтрованные посредством межуровневой фильтрации, для формирования кадров предсказания для остаточных кадров 1, 3, 5 и 7. Затем кадры предсказания используют для восстановления кадров видеоизображения 1, 3, 5 и 7.

В приведенном выше описании каждым компонентом является, например, программный или аппаратный компонент, такой как программируемая пользователем вентильная матрица (FPGA, ППВМ) или специализированная интегральная схема (ASIC, СИС), который выполняет некоторые задачи. Предпочтительно, компонент может быть сконфигурирован для постоянного размещения на адресуемом носителе информации и сконфигурирован для выполнения на одном или большем количестве процессоров. Соответственно, компонент может содержать, например, программные компоненты, компоненты объектно-ориентированного программного обеспечения, компоненты класса и компоненты задачи, процессы, функции, параметры, процедуры, подпрограммы, фрагменты кода программы, драйверы, программно-аппаратные средства, микропрограмму, схемы данных, базы данных, структуры данных, таблицы, массивы и переменные. Функциональные возможности, обеспеченные в компонентах и модулях, могут быть объединены в меньшее количество компонентов и модулей или дополнительно разделены на дополнительные компоненты и модули. Дополнительно, компоненты и модули могут быть реализованы так, чтобы они могли выполняться на одном или большем количестве компьютеров в системе связи.

Ниже со ссылками на фиг.12 и фиг.13 описан процесс декодирования видеоизображения.

Фиг.12 иллюстрирует блок-схему, иллюстрирующую процесс декодирования видеоизображения, согласно примерному варианту осуществления настоящего изобретения.

На этапе S1210 видеодекодер принимает поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Например, первой и второй схемами кодирования видеоизображения могут быть AVC-кодирование и вейвлет-кодирование, соответственно.

На этапе S1220 видеодекодер выполняет AVC-декодирование извлеченных AVC-кодированных кадров.

На этапе S1230 видеодекодер выполняет межуровневую фильтрацию кадров, декодированных посредством AVC-декодирования.

На этапе S1240 видеодекодер выполняет вейвлет-декодирование вейвлет-кодированных кадров, обращаясь к кадрам, фильтрованным посредством межуровневой фильтрации.

На этапе S1250 после завершения вейвлет-кодирования видеодекодер использует восстановленные кадры видеоизображения для формирования видеосигнала. То есть, видеодекодер преобразовывает яркость (Y) и составляющие цветности (UV) восстановленного пикселя в составляющие цветности красный (R), зеленый (G) и синий (B).

Фиг.13 - блок-схема, иллюстрирующая подробно процесс выполнения обратной временной фильтрации на втором уровне, согласно примерному варианту осуществления настоящего изобретения.

Согласно фиг.13, на этапе S1310 обратный временной фильтр принимает кадры, преобразованные посредством обратного вейвлет-преобразования, и кадры, фильтрованные посредством межуровневой фильтрации. Кадры, преобразованные посредством обратного вейвлет-преобразования, восстанавливают на основе GOP и они состоят из кадров низкой частоты и высокой частоты.

На этапе S1320 обратный временной фильтр использует кадр высокой частоты из кадров, преобразованных посредством обратного вейвлет-преобразования, и кадр, фильтрованный посредством межуровневой фильтрации, для обратного обновления кадра низкой частоты.

На этапе S1330 обратный временной фильтр использует кадр низкой частоты, подвергнутый обратному обновлению, и кадр, фильтрованный посредством межуровневой фильтрации, для формирования кадра предсказания.

На этапе S1340 обратный временной фильтр осуществляет сглаживание кадра предсказания.

На этапе S1350 после завершения сглаживания кадра предсказания обратный временной фильтр использует сглаженный кадр предсказания и кадр высокой частоты для восстановления кадра низкой частоты или кадра видеоизображения.

Промышленная применимость

Настоящее изобретение обеспечивает способы многоуровневого кодирования и декодирования видеоизображения с применением нескольких алгоритмов кодирования видеоизображения, которые могут улучшить эффективность кодирования с использованием межуровневой фильтрации.

В частности, настоящее изобретение может предотвратить ухудшение эффективности кодирования, которое может возникать при совместном использовании схемы кодирования видеоизображения с алгоритмом преобразования на основе блоков и схемы кодирования видеоизображения с алгоритмом преобразования на основе кадров.

Хотя настоящее изобретение, в частности, было изображено и описано в отношении его возможных вариантов осуществления, для специалиста очевидно, что, не удаляясь от сути и не выходя из объема настоящего изобретения, которые определены последующей формулой изобретения, могут быть внесены изменения в его вид и детали. Например, хотя был описан видеокодер, в котором применяют способ AVC-кодирования и способ вейвлет-кодирования, в видеокодере могут быть применены другие способы кодирования. Следовательно, раскрытые возможные варианты осуществления изобретения используются исключительно в обобщенном и описательном смысле, а не в целях наложения ограничений.

Изобретение относится к области техники обработки изображений и, в частности, к способу кодирования видеоизображения с использованием межуровневой фильтрации. Техническим результатом является повышение эффективности многоуровневого кодирования видеоизображения. Предложен способ кодирования видеоизображения, включающий: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации для кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, состоящего из кадров, кодированных посредством первой и второй схем кодирования видеоизображения, причем первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), второй схемой кодирования является схема вейвлет-кодирования, а межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра. 12 н. и 32 з.п. ф-лы, 13 ил.

1. Способ кодирования видеоизображения, содержащий этапы: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.2. Способ кодирования видеоизображения по п.1, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.3. Способ кодирования видеоизображения по п.2, в котором межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.4. Способ кодирования видеоизображения по п.1, в котором кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения содержит этапы: выполнение Компенсирующей движение временной фильтрации (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, выполнение вейвлет-преобразования в отношении кадров, фильтрованных посредством временной фильтрации, и квантование вейвлет-преобразованных кадров.5. Способ кодирования видеоизображения по п.4, в котором выполнение MCTF содержит: формирование кадров предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, формирование остаточных кадров для кадров видеоизображения с использованием сглаженных кадров предсказания, и обновление кадров видеоизображения с использованием остаточных кадров.6. Способ кодирования видеоизображения, содержащий этапы: субдискретизации кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирования кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышения дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения, до разрешения кадров видеоизображения, выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.7. Способ кодирования видеоизображения по п.6, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.8. Способ кодирования видеоизображения по п.7, в котором межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадра с повышенной дискретизацией с использованием MPEG-фильтра.9. Способ кодирования видеоизображения по п.6, в котором кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения содержит выполнение Компенсирующей движение временной фильтрации (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, выполнение вейвлет-преобразования в отношении кадров, фильтрованных посредством временной фильтрации, и квантование вейвлет-преобразованных кадров.10. Способ кодирования видеоизображения по п.9, в котором выполнение MCTF содержит формирование кадров предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, формирование остаточных кадров для кадров видеоизображения с использованием сглаженных кадров предсказания, и обновление кадров видеоизображения с использованием остаточных кадров.11. Видеокодер, содержащий первый блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием первой схемы кодирования видеоизображения, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, второй блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, который формирует поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.12. Видеокодер по п.11, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.13. Видеокодер по п.12, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.14. Видеокодер по п.11, в котором второй блок кодирования видеоизображения содержит временной фильтр, который выполняет Компенсирующую движение временную фильтрацию (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованных посредством межуровневой фильтрации, вейвлет-преобразователь, который выполняет вейвлет-преобразование в отношении кадров, фильтрованных посредством временной фильтрации, и квантующее устройство, которое квантует вейвлет-преобразованные кадры.15. Видеокодер по п.14, в котором временной фильтр содержит генератор кадров предсказания, который формирует кадры предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованных посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, генератор остаточных кадров, который формирует остаточные кадры для кадров видеоизображения с использованием сглаженных кадров предсказания, и средство обновления, которое обновляет кадры видеоизображения с использованием остаточных кадров.16. Видеокодер, содержащий устройство субдискретизации, которое субдискретизирует кадры видеоизображения для формирования кадров видеоизображения с низким разрешением, первый блок кодирования видеоизображения, который кодирует кадры видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, средство повышения дискретизации, которое повышает дискретизацию кадров, кодированных посредством первой схемы кодирования видеоизображения, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров с повышенной дискретизацией, второй блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, который формирует поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.17. Видеокодер по п.16, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.18. Видеокодер по п.17, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.19. Видеокодер по п.16, в котором второй блок кодирования видеоизображения содержит временной фильтр, который выполняет Компенсирующую движение временную фильтрацию (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, вейвлет-преобразователь, который выполняет вейвлет-преобрззование в отношении кадров, фильтрованных посредством временной фильтрации, и квантующее средство, которое квантует вейвлет-преобразованные кадры.20. Видеокодер по п.19, в котором временной фильтр содержит генератор кадров предсказания, который формирует кадры предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, генератор остаточных кадров, который формирует остаточные кадры для кадров видеоизображения с использованием сглаженных кадров предсказания, и средство обновления, которое обновляет кадры видеоизображения с использованием остаточных кадров.21. Способ декодирования видеоизображения, содержащий этапы извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнения межуровневой фильтрации в отношении восстановленных кадров первого уровня, и декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстановление кадров второго уровня.22. Способ декодирования видеоизображения по п.21, в котором первой схемой кодирования и декодирования видеоизображения является схема Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования и декодирования видеоизображения является схема вейвлет.23. Способ декодирования видеоизображения по п.22, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-декодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.24. Способ декодирования видеоизображения по п.21, в котором декодирование кадров с использованием второй схемы декодирования видеоизображения содержит обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, выполнение обратного вейвлет-преобразования в отношении кадров, подвергнутых обратному квантованию, и выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием Компенсирующей движение временной фильтрации (MCTF) посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации.25. Способ декодирования видеоизображения по п.24, в котором выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием MCTF включает: обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, формирование кадров предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, и восстановление кадров второго уровня посредством обращения к кадрам, подвергнутых обратному обновлению, и сглаженным кадрам предсказания.26. Способ декодирования видеоизображения, содержащий этапы извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, и восстановление кадров первого уровня, повышения дискретизации восстановленных кадров первого уровня, выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством промежуточной фильтрации, и восстановление кадров второго уровня.27. Способ декодирования видеоизображения по п.26, в котором первой схемой кодирования и декодирования видеоизображения является схема Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования и декодирование видеоизображения является схема вейвлет.28. Способ декодирования видеоизображения по п.27, в котором межуровневая фильтрация включает повышение дискретизации AVC-декодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.29. Способ декодирования видеоизображения по п.26, в котором декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, содержит обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, выполнение обратного вейвлет-преобразования в отношении кадров, подвергнутых обратному квантованию, и выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием Компенсирующей движение временной фильтрации (MCTF) посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации.30. Способ декодирования видеоизображения по п.29, в котором выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием MCTF содержит обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, формирование кадров предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, и восстановление кадров второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.31. Видеодекодер, содержащий интерпретатор потока битов, который извлекает из потока битов кадры, кодированные посредством первой и второй схем кодирования видеоизображения, первый блок декодирования видеоизображения, который декодирует кадры, кодированные посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, и восстанавливает кадры первого уровня, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении восстановленных кадров первого уровня, и второй блок декодирования видеоизображения, который декодирует кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстанавливает кадры второго уровня.32. Видеодекодер по п.31, в котором первый блок декодирования восстанавливает кадры первого уровня с использованием схемы декодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй блок декодирования восстанавливает кадры второго уровня с использованием схемы вейвлет-декодирования.33. Видеодекодер по п.32, в котором межуровневый фильтр повышает дискретизацию кадров, декодированных посредством схемы AVC-декодирования, с использованием вейвлет-фильтра и субдискретизирует кадры с повышенной дискретизацией с использованием MPEG-фильтра.34. Видеодекодер по п.31, в котором второй видеодекодер содержит средство обратного квантования, которое осуществляет обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, блок обратного вейвлет-преобразования, который выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию, и блок обратной временной фильтрации, который выполняет обратную временную фильтрацию в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, с использованием Компенсирующей движение временной фильтрации (MCTF).35. Видеодекодер по п.34, в котором блок обратной временной фильтрации содержит средство обратного обновления, которое осуществляет обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, генератор кадров предсказания, который формирует кадры предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, и средство восстановления кадров, которое восстанавливает кадры второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.36. Видеодекодер, содержащий интерпретатор потока битов, который извлекает из потока битов кадры, кодированные посредством первой и второй схем кодирования видеоизображения, первый блок декодирования видеоизображения, который декодирует кадры, кодированные посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстанавливает кадры первого уровня, средство повышения дискретизации, которое повышает дискретизацию восстановленных кадров первого уровня, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров с повышенной дискретизацией первого уровня, и второй блок декодирования видеоизображения, который декодирует кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстанавливает кадры второго уровня.37. Видеодекодер по п.36, в котором первый блок декодирования восстанавливает кадры первого уровня с использованием схемы декодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй блок декодирования восстанавливает кадры второго уровня с использованием схемы вейвлет-декодирования.38. Видеодекодер по п.37, в котором межуровневый фильтр повышает дискретизацию кадров первого уровня, подвергаемых повышению дискретизации, с использованием вейвлет-фильтра и субдискретизирует кадры с повышенной дискретизацией с использованием MPEG-фильтра.39. Видеодекодер по п.36, в котором второй видеодекодер содержит средство обратного квантования, которое осуществляет обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, блок обратного вейвлет-преобразования, который выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию, и блок обратной временной фильтрации, который выполняет обратную временную фильтрацию в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, с использованием Компенсирующей движение временной фильтрации (MCTF).40. Видеодекодер по п.39, в котором блок обратной временной фильтрации содержит средство обратного обновления, которое осуществляет обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, генератор кадров предсказания, который формирует кадры предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, и средство восстановления кадров, которое восстанавливает кадры второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.41. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа кодирования видеоизображения, содержащего этапы: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.42. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа кодирования видеоизображения, содержащего этапы: субдискретизацию кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирование кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышение дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения, до разрешения кадров видеоизображения, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.43. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа декодирования видеоизображения, содержащего этапы: извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнение межуровневой фильтрации в отношении восстановленных кадров первого уровня, и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстановление кадров второго уровня.44. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа декодирования видеоизображения, включающего извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, повышение дискретизации восстановленных кадров первого уровня, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством промежуточной фильтрации, и восстановление кадров второго уровня.