Область техники, к которой относится изобретение
Изобретение относится к устройству кодирования, способу кодирования и программе, предназначенным для кодирования данных изображения, и к устройству декодирования, способу декодирования и программе, предназначенным для декодирования данных изображения.
Уровень техники
В последние годы, в развитие кодека MPEG (Экспертная группа по вопросам движущегося изображения), который выполняет цифровую обработку данных изображения и затем сжимает данные с использованием дискретного косинусного преобразования или другого ортогонального преобразования, и выполняет компенсацию движения с использованием избыточности, присущей информации изображения, для передачи и сохранения информации с более высокой эффективностью, получили распространение устройства кодирования и устройства декодирования на основе стандарта H.264/AVC (усовершенствованное кодирование видеоизображения) и на основе других схем кодирования, имеющих более высокую степень сжатия, как при передаче информации широковещательными станциями и т.д., так и при приеме информации в обычных домах.
Кроме того, в настоящее время выполняется работа по стандартизации SVC (масштабируемое кодирование видеоизображения), которое расширяет функции масштабирования на основе кодирования H.264/AVC. Применяемые в настоящее время спецификации SVC комбинируют в JSM (Объединенная масштабируемая модель видеоизображения).
В устройстве кодирования в соответствии со стандартом SVC входное изображение разделяют с помощью иерархической схемы изображения (иерархическое представление или многоуровневая обработка данных) на два класса, состоящих, например, из верхнего значимого уровня и нижнего значимого уровня. После этого схема кодирования верхнего значимого уровня кодирует верхний значимый уровень, и схема кодирования нижнего значимого уровня кодирует нижний значимый уровень. Затем кодированный верхний значимый уровень и нижний значимый уровень мультиплексируют и передают.
Нижний значимый уровень также называют "базовым уровнем", и он представляет собой уровень, имеющий низкое качество изображения. При декодировании только потока битов нижнего значимого уровня декодируют изображение, имеющее относительно низкое качество изображения. Однако нижний значимый уровень включает в себя более важную информацию, чем качество изображения.
Верхний значимый уровень также называется "уровнем улучшения" и представляет собой уровень, предназначенный для повышения качества изображения и декодирования изображения, имеющего высокое качество изображения. При декодировании потока битов верхнего значимого уровня в дополнение к потоку битов нижнего значимого уровня, возможно декодировать изображение, имеющее более высокое качество изображения.
В описанном выше устройстве кодирования, когда схема кодирования верхнего значимого уровня выполняет кодирование внутри кадра, декодированное изображение получают путем кодирования в схеме кодирования нижнего значимого уровня, затем декодированное изображение можно использовать как прогнозируемое изображение.
Сущность изобретения
Проблема, решаемая изобретением
При этом, обычное устройство кодирования, выполняющее описанное выше иерархическое кодирование, кодирует прогрессивные данные изображения, как верхний значимый уровень, но не может кодировать данные изображения с перемежением. Однако также существует потребность в обработке данных изображения с перемежением на верхнем значимом уровне.
Кроме того, существует аналогичная потребность в устройстве декодирования, которое декодирует данные изображения, кодированные иерархически в устройстве кодирования, которое также пояснялось выше.
В соответствии с этим, при выполнении иерархического (с разделением на уровни или многоуровневых кодированных данных) кодирования, существует потребность в предоставлении устройства кодирования, способа кодирования и программы, которые позволяют обрабатывать данные изображения с перемежением в каждом из двух классов.
Кроме того, существует потребность в создании устройства декодирования, способа декодирования и программы, позволяющих декодировать любые данные изображения с перемежением, кодированные по двум классам (уровням), которые пояснялись выше.
Средство решения проблемы
Устройство кодирования в соответствии с вариантом воплощения настоящего изобретения представляет собой устройство кодирования, предназначенное для иерархического (с разделением на уровни или многоуровневых данных) кодирования данных верхнего поля и данных нижнего поля, каждые из которых получены в результате разделения на множество данных изображения, составляющих движущиеся изображения, имеющее первый модуль кодирования, выполненный с возможностью кодирования одних данных поля из двух данных поля, для верхних данных поля и нижних данных поля, выделенных из данных изображения, модуль преобразования, выполненный с возможностью интерполирования первых прогнозируемых данных изображения, генерируемых первым модулем кодирования, кодирующим одни данные поля, для генерирования вторых прогнозируемых данных изображения положения сканирования других данных поля из двух данных поля, и второй модуль кодирования, выполненный с возможностью кодирования других данных поля из двух данных поля, на основе вторых данных прогнозируемого изображения, генерируемых модулем преобразования.
Кроме того, устройство кодирования в соответствии с вариантом воплощения настоящего изобретения представляет собой устройство кодирования, предназначенное для иерархического кодирования данных верхнего поля и данных нижнего поля, каждые из которых получены в результате разделения множества данных изображения, составляющих представление движущегося изображения, имеющее первое средство кодирования, предназначенное для кодирования одних данных поля из двух данных поля, состоящих из данных верхнего поля и данных нижнего поля, отделенных от данных изображения, средство преобразования, выполненное с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых первым средством кодирования, кодирующим одни данные поля, и генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и второе средство кодирования, предназначенное для кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых средством преобразования.
Способ кодирования в соответствии с вариантом воплощения настоящего изобретения представляет собой способ кодирования, предназначенный для иерархического (с разделением на уровни или многоуровневых данных) кодирования данных верхнего поля и данных нижнего поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, включающих в себя первый этап, состоящий в кодировании одних данных поля из двух данных поля, составляющих данные верхнего поля и данные нижнего поля, отделенных от данных изображения, второй этап интерполирования первых данных прогнозируемого изображения, генерируемых на первом этапе путем кодирования данных одного поля и генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и третий этап кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых на втором этапе.
Программа в соответствии с вариантом воплощения настоящего изобретения представляет собой программу, выполняемую компьютером для иерархического (многоуровневые данные) кодирования данных верхнего поля и данных нижнего поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, обеспечивая выполнение компьютером первой процедуры, состоящей в кодировании одних данных поля из двух данных поля, составляющих данные верхнего поля и данные нижнего поля, отделенные от данных изображения, второй процедуры, состоящей в интерполировании первых данных прогнозируемого изображения, генерируемых первой процедуры, кодирующей данные одного поля, и генерировании вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и третьей процедуры, состоящей в кодировании других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых во второй процедуре.
Устройство декодирования в соответствии с вариантом воплощения настоящего изобретения представляет собой устройство декодирования, предназначенное для декодирования двух кодированных данных поля, полученных в результате иерархического кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, содержащее первый модуль декодирования, выполненный с возможностью декодирования одних кодированных данных поля из двух кодированных данных поля, модуль преобразования, выполненный с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования первым модулем декодирования, и генерирования вторых данных прогнозируемого изображения положения сканирования других кодированных данных поля из двух кодированных данных поля, и второй модуль декодирования, выполненный с возможностью декодирования других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых модулем преобразования.
Кроме того, устройство декодирования в соответствии с вариантом воплощения настоящего изобретения представляет собой устройство декодирования, предназначенное для декодирования двух кодированных данных поля, полученных путем иерархического (с разделением на уровни или многоуровневых данных) кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, имеющее первое средство декодирования, предназначенное для декодирования одних кодированных данных поля из двух кодированных данных поля, средство преобразования, предназначенное для интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования первым средством декодирования, и генерирования вторых данных прогнозируемого изображения в положении сканирования других кодированных данных поля из двух кодированных данных поля, и второе средство декодирования, предназначенное для декодирования других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых средством преобразования.
Способ декодирования в соответствии с вариантом выполнения настоящего изобретения представляет собой способ декодирования, предназначенный для декодирования двух кодированных данных поля, полученных в результате иерархического (с разделением на уровни или многоуровневых данных) кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, включающего в себя первый этап декодирования одних кодированных данных поля из двух кодированных данных поля, второй этап интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования на первом этапе, и генерирования вторых данных прогнозируемого изображения в положении сканирования других кодированных данных поля из двух кодированных данных поля, и третий этап, состоящий в декодировании других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых на втором этапе.
Программа в соответствии с вариантом воплощения настоящего изобретения представляет собой программу, выполняемую компьютером для декодирования двух кодированных данных поля, получаемых путем иерархического (с разделением на уровни или многоуровневых данных) кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, обеспечение выполнения компьютером первой процедуры, состоящей в декодировании одних кодированных данных поля из двух кодированных данных поля, второй процедуры, состоящей в интерполировании первых данных прогнозируемого изображения, генерируемых в результате декодирования в первой процедуре, и генерировании вторых данных прогнозируемого изображения положения сканирования других кодированных данных поля из двух кодированных данных поля, и третьей процедуры, состоящей в декодировании других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых во второй процедуре.
Эффект изобретения
В соответствии с настоящим изобретением может быть получено устройство кодирования, способ кодирования и программа, позволяющие обрабатывать данные изображения с перемежением в каждом из двух классов, при выполнении иерархического кодирования.
Кроме того, в соответствии с настоящим изобретением, может быть предложено устройство декодирования, способ декодирования и программа, позволяющие декодировать любые данные изображения с перемежением, кодированные в двух классах, поясняющихся выше.
Краткое описание чертежей
На фиг.1 представлен вид конфигурации системы обработки кодирования/декодирования в соответствии с вариантом воплощения настоящего изобретения.
На фиг.2 показан вид конфигурации устройства кодирования, представленного на фиг.1.
На фиг.3 показана схема, поясняющая обработку иерархической схемы, представленной на фиг.2.
На фиг.4 показана схема, поясняющая обработку иерархической схемы, показанной на фиг.2.
На фиг.5 показана схема, поясняющая обработку иерархической схемы, показанной на фиг.2.
На фиг.6 представлен вид конфигурации схемы кодирования нижнего значимого уровня, представленной на фиг.2.
На фиг.7 показана схема, поясняющая обработку схемы преобразования, представленной на фиг.6.
На фиг.8 показан вид конфигурации схемы кодирования верхнего значимого уровня, представленной на фиг.2.
На фиг.9 показан вид конфигурации устройства декодирования, показанного на фиг.1.
На фиг.10 показан вид конфигурации схемы декодирования нижнего значимого уровня, показанной на фиг.9.
На фиг.11 показан вид конфигурации схемы декодирования верхнего значимого уровня, показанной на фиг.9.
На фиг.12 показана схема, поясняющая модификацию в соответствии с вариантом воплощения настоящего изобретения.
Описание обозначений
1… система обработки кодирования/декодирования, 2… устройство кодирования, 3… устройство декодирования, 10… иерархическая (с разделением на уровни или обработка многоуровневых данных) схема, 11… схема задержки, 12… схема кодирования нижнего значимого уровня, 13… схема преобразования, 14… схема кодирования верхнего значимого уровня, 15… схема мультиплексирования, 23, 123… схемы перераспределения изображения, 31, 131… схемы обработки, 32, 132… схемы ортогонального преобразования, 33, 133… схемы квантования, 34, 134… схемы управления скоростью, 35, 135… схемы обратимого кодирования, 36, 136… буферное запоминающее устройство, 37, 137… схемы инверсного квантования, 38, 138… схемы инверсного ортогонального преобразования, 39, 139… схемы суммирования, 40, 140… фильтры устранения блоков, 41, 141… запоминающее устройство кадра, 42, 142… схемы прогнозирования внутри кадра, 43, 143… схемы прогнозирования/компенсации движения, 51… схема разделения, 52… схема задержки, 53… схема декодирования нижнего значимого уровня, 54… схема преобразования, 55… схема декодирования верхнего значимого уровня, 56… схема повторного составления, 60, 160… буферы-накопители, 61, 161… схема реверсивного декодирования, 62, 162… схемы инверсного квантования, 63, 163… схемы инверсного ортогонального преобразования, 64, 164… схемы суммирования, 65, 165… фильтры устранения блоков, 66, 166… схемы кадра, 67, 167… буферы перераспределения изображения, 69, 169… схемы прогнозирования внутри кадра и 70, 170… схемы прогнозирования/компенсации движения.
Подробное описание изобретения
Ниже поясняется система обработки кодирования/декодирования в соответствии с вариантом воплощения настоящего изобретения.
Вариант воплощения настоящего изобретения основан на технологии изменения скорости/технологии масштабирования.
На фиг.1 показана принципиальная схема системы 1 обработки кодирования/декодирования в соответствии с настоящим вариантом воплощения.
Система 1 обработки кодирования/декодирования имеет устройство 2 кодирования, расположенное на стороне передачи, и устройство 3 декодирования, расположенное на стороне приема, которые соединены через среду 5 передачи.
Настоящий вариант воплощения характеризуется тем, что в устройстве 2 кодирования, как показано на фиг.5 и т.д., схема 43 прогнозирования/компенсации движения рассчитывает весовой параметр на основе данных эталонного изображения REF (ЭТ) и данных изображения, подвергаемых обработке, и выполняет явное взвешивающее прогнозирование на основе этого параметра.
При таком взвешивающем прогнозировании данные прогнозируемого изображения PI (ПИ) генерируют на основе данных эталонного изображения, отрегулированного на основе параметра.
В системе 1 обработки кодирования/декодирования устройство 2 кодирования на стороне передачи генерирует данные изображения кадра (поток битов), сжатые в соответствии с дискретным косинусным преобразованием, преобразованием Карунена - Лоэва (Karhunen-Loewe), или другим ортогональным преобразованием, и с компенсацией движения, модулирует данные изображения кадра, затем передает их через волну широковещательной передачи искусственного спутника Земли, кабельную телевизионную сеть, телефонную сеть, сеть мобильной телефонной связи или другую среду передачи данных.
На стороне приема устройство 3 декодирования демодулирует принятый сигнал изображения, затем разворачивает его, используя преобразование, обратное ортогональному преобразованию, применявшемуся во время описанной выше модуляции и компенсации движения, для генерирования предназначенных для использования данных изображения кадра.
Следует отметить, что упомянутая выше среда 5 передачи может также представлять собой оптический диск, магнитный диск, полупроводниковое запоминающее устройство или другой носитель информации.
В настоящем варианте воплощения, как показано на фиг.9, иерархическая схема 10 разделяет прогрессивные данные изображения (прогрессивный сигнал) S9, которые кодируют в данные S10_1 и S10_2 изображения с перемежением.
Схема 12 кодирования нижнего значимого уровня кодирует данные S10_2 изображения с перемежением для генерирования нижних значимых кодированных данных S12.
Схема 13 преобразования интерполирует данные L_PRE нижнего значимого прогнозируемого изображения, генерируемые схемой 12 кодирования нижнего значимого уровня, для генерирования данных L_PREb нижнего значимого прогнозируемого изображения, имеющих положение сканирования, согласованное с данными S10_1 изображения перемежения, и выводит их в схему 14 кодирования верхнего значимого уровня.
Схема 14 кодирования верхнего значимого уровня кодирует данные S10_1 изображения с перемежением на основе данных L_PREb нижнего значимого прогнозируемого изображения для генерирования верхних значимых кодированных данных S14.
Устройство кодирования
Устройство 2 кодирования, показанное на фиг.1, поясняется ниже.
На фиг.2 представлен вид общей конфигурации устройства 2 кодирования, показанного на фиг.1.
Устройство 2 кодирования имеет, например, иерархическую (с разделением на уровни или обработки многоуровневых данных) схему 10, схему 11 задержки, схему 12 кодирования нижнего значимого уровня, схему 13 преобразования, схему 14 кодирования верхнего значимого уровня и схему 15 мультиплексирования.
Иерархическая схема
Иерархическая (обработки многоуровневых данных) схема 10 принимает входные прогрессивные данные изображения (прогрессивный сигнал), предназначенный для кодирования, и разделяет каждые из множества данных кадра (данных изображения), составляющих прогрессивные данные S9 изображения, на данные верхнего поля и данные нижнего поля.
Прогрессивные данные S9 изображения поступают с частотой, например, 60 кадров/секунду.
Иерархическая схема 10 поочередно выводит упомянутые выше разделенные данные верхнего поля и данные нижнего поля в схему 11 задержки и в схему 12 кодирования нижнего значимого уровня. А именно, иерархическая схема 10, как показано на фиг.4, разделяет первые данные 1FL кадра, составляющие прогрессивные данные S9 изображения, на данные IT верхнего поля и данные 1В нижнего поля, записывает данные 1T верхнего поля в схему 11 задержки и выводит данные 1В нижнего поля в схему 12 кодирования нижнего значимого уровня.
Иерархическая схема 10, как показано на фиг.5, разделяет данные 2FL следующего кадра, на данные 2Т верхнего поля и данные 2 В нижнего поля, выводит данные 2Т верхнего поля в схему 12 кодирования нижнего значимого уровня и записывает данные 2В нижнего поля в схему 11 задержки.
В настоящем варианте воплощения данные поля, записанные в схему 11 задержки из иерархической схемы 10, называются "данными S10_1 изображения с перемежением", и данные поля, выводимые из иерархической схемы 10 в схему 12 кодирования нижнего значимого уровня, называются "данными S10_2 изображения с перемежением".
Иерархическая схема 10 записывает данные EisTop атрибута, представляющие, является ли поле верхним полем, и данные ETime атрибута, представляющие время этого поля в схеме 11 задержки, соответствующие каждым данным верхнего поля и данным нижнего поля.
Иерархическая схема 10 выводит данные BisTop атрибута, представляющие, является ли поле верхним полем, и данные BTime атрибута, представляющие время этого поля, в схему 12 кодирования нижнего значимого уровня, соответствующую каждым данным верхнего поля и данным нижнего поля.
Схема задержки
Схема 11 задержки выводит данные верхнего поля и данные нижнего поля, вводимые из иерархической схемы 10, в качестве данных U_FI верхнего значимого поля в схему 14 кодирования верхнего значимого уровня, вводя в них в то же время, например, задержку, равную точно времени обработки в схеме 12 кодирования нижнего значимого уровня и в схеме 13 преобразования.
Схема 11 задержки осуществляет задержку данных EisTop и ETime атрибута для данных U_FI верхнего значимого поля, например, на величину, точно равную времени обработки в схеме 12 кодирования нижнего значимого уровня и в схеме 13 преобразования, и выводит их в схему 14 кодирования верхнего значимого уровня.
Схема кодирования нижнего значимого уровня
Схема 12 кодирования нижнего значимого уровня кодирует данные верхнего поля и данные нижнего поля, вводимые из иерархической схемы 10. Схема 12 кодирования нижнего значимого уровня кодирует данные изображения с перемежением, имеющие данные поля, введенные из схемы 11 задержки и схемы 12 кодирования нижнего значимого уровня как данные 1 (одного) кадра.
Описанные выше данные изображения с перемежением следуют с частотой, например, 30 кадров/секунду.
На фиг.6 показан вид конфигурации схемы 12 кодирования нижнего значимого уровня, показанной на фиг.2.
Схема 12 кодирования нижнего значимого уровня имеет, например, схему 23 перераспределения изображения, схему 31 обработки, схему 32 ортогонального преобразования, схему 33 квантования, схему 34 управления скоростью, схему 35 обратимого кодирования, буферное запоминающее устройство 36, схему 37 обратного квантования, схему 38 обратного ортогонального преобразования, схему 39 суммирования, фильтр 40 устранения блоков, запоминающее устройство 41 кадра, схему 42 прогнозирования внутри кадра, схему 43 прогнозирования/компенсации движения и схему 47 управления.
Схема 47 управления выполняет управление следующей обработкой в схеме 12 кодирования нижнего значимого уровня.
Схема 23 перераспределения изображения выполняет перераспределение данных поля для данных S10_2 изображения перемежения, вводимых из иерархической схемы 10, показанной на фиг.2, в последовательность кодирования в соответствии со структурой GOP (ГИ, группа изображений), включающей в себя типы I, P и В изображений, и выводит их в схему 31 обработки (сумматор/вычитатель), схему 42 прогнозирования внутри кадра и схему 43 прогнозирования/компенсации движения.
Схема 31 обработки генерирует данные изображения, представляющие разность между данными поля или данными кадра, предназначенными для кодирования, вводимыми из схемы 23 перераспределения изображения, и данные ПИ прогнозируемого изображения, вводимые из схемы 42 прогнозирования внутри кадра, или схемы 43 прогнозирования/компенсации движения, и выводит их в схему 32 ортогонального преобразования.
Схема 32 ортогонального преобразования применяет дискретное косинусное преобразование (DCT, ДКП), преобразование Карунена - Лоэва, или другое ортогональное преобразование в данные изображения, вводимые из схемы 31 обработки, для генерирования данных изображения, представляющих коэффициент преобразования (например, коэффициент ДКП), и выводит их в схему 33 квантования.
Схема 33 квантования выполняет квантование данных изображения (коэффициента преобразования перед квантованием), вводимых из схемы 32 ортогонального преобразования на основе шкалы QS (ШК) квантования, вводимой из схемы 34 управления скоростью, для генерирования данных изображения, представляющих коэффициент преобразования после квантования, и выводит их в схему 35 обратимого кодирования и схему 37 обратного квантования.
Схема 34 управления скоростью генерирует, например, шкалу ШК квантования на основе данных изображения, считываемых из буферного запоминающего устройства 36, и выводит их в схему 33 квантования.
Схема 35 обратимого кодирования сохраняет данные изображения, получаемые с помощью кодирования, с переменной длиной данных изображения, выводимых из схемы 33 квантования, в буфере 36. В это время схема 35 обратимого кодирования сохраняет данные BisTop и BTime атрибута, выводимые из иерархической схемы 10, в данных заголовка и т.д.
Данные BisTop атрибута сохраняют, как, например, dpd#output#delay в синхронизации SEI изображения в потоке битов. Кроме того, данные BTime атрибута сохраняют как pic#struct в SEI.
Схема 35 обратимого кодирования сохраняет вектор MV (ВД) движения, выводимый из схемы 43 прогнозирования/компенсации движения, или его разностный вектор движения, данные идентификации данных эталонного изображения и режим прогнозирования внутри кадра, вводимые из схемы 42 прогнозирования внутри кадра в данных заголовка и т.д.
Данные изображения, сохраненные в буферном запоминающем устройстве 36, считывают как нижние значимые кодированные данные S12 в схему 15 мультиплексирования, показанную на фиг.2.
Схема 37 обратного квантования применяет обработку обратного квантования, соответствующую квантованию в схеме 33 квантования, применявшемуся к данным изображения из схемы 33 квантования, генерирует данные, полученные ею, и выводит их в схему 38 обратного ортогонального преобразования.
Схема 38 обратного ортогонального преобразования применяет обратное преобразование к ортогональному преобразованию, применявшемуся в схеме 32 ортогонального преобразования, к данным, выводимым из схемы 37 обратного квантования, и выводит сгенерированные таким образом данные изображения в схему 39 суммирования.
Схема 39 суммирования суммирует данные изображения, вводимые (декодированные) из схемы 38 обратного ортогонального преобразования, и данные ПИ прогнозируемого изображения из схемы 42 прогнозирования внутри кадра или схемы 43 прогнозирования/компенсации движения для генерирования эталонных (повторно составленных) данных изображения, и выводит их в фильтр 40 устранения блоков.
Фильтр 40 устранения блоков устраняет искажение блока данных эталонного изображения, вводимых из схемы 39 суммирования, и записывает их в запоминающее устройство 41 кадра.
Данные эталонного изображения, записанные в запоминающем устройстве 41 кадра, считывают как данные L_PRE нижнего значимого прогнозируемого изображения из запоминающего устройства 41 кадра и выводят в схему 13 преобразования, показанную на фиг.2.
Схема 42 прогнозирования внутри кадра определяет режим минимизации остатка при прогнозировании внутри кадра в макроблоке, который предназначен для кодирования внутри кадра, и размер блока для блока прогнозирования.
Схема 42 прогнозирования внутри кадра использует размеры блока 4х4 и 16х16 пикселей.
Схема 42 прогнозирования внутри кадра, когда выбрано прогнозирование внутри кадра, выводит данные ПИ прогнозируемого изображения при прогнозировании внутри кадра в схему 31 обработки и схему 39 суммирования.
Схема 43 прогнозирования/компенсации движения выполняет прогнозирование движения на основе данных ЭТ эталонного изображения, которые уже были локально декодированы после кодирования и сохранены в запоминающем устройстве 41 кадра, и определяет вектор движения, минимизирующий остаток и размер блока компенсации движения.
В схеме 43 прогнозирования/компенсации движения используются размеры блока 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 и 4×4 пикселей.
Схема 43 прогнозирования/компенсации движения, когда выбрано прогнозирование между кадрами, выводит данные ПИ прогнозируемого изображения при прогнозировании между кадрами в схему 31 обработки и схему 39 суммирования.
Схема преобразования
Схема (схема интерполирования данных прогнозируемого изображения) 13 преобразования, показанная на фиг.2, поясняется ниже.
Когда возникает условие, что данные U_FI верхнего значимого поля, вводимые из схемы 11 задержки схемой 14 кодирования верхнего значимого уровня (данные S10_1
изображения с перемежением, считанные из схемы 11 задержки) и данные L_PRE нижнего значимого прогнозируемого изображения, выводимые из схемы 13 преобразования схемой 12 кодирования нижнего значимого уровня, представляют собой данные поля с такой же синхронизацией, удовлетворяется условие, что одни из этих данных представляют собой данные верхнего поля и другие - данные нижнего поля, при этом, положения их сканирования будут разными.
Поэтому схема 13 преобразования определяет, удовлетворяется ли указанное выше условие на основе данных EisTop и ETime атрибута, вводимых из схемы 11 задержки, и данных BisTop и BTime атрибута, вводимых из схемы 12 кодирования нижнего значимого уровня. Когда определяется, что данное условие удовлетворяется, она применяет интерполяцию к данным L_PRE нижнего значимого прогнозируемого изображения, вводимого из схемы 12 кодирования нижнего значимого уровня, для генерирования данных L_PREb нижнего значимого прогнозируемого изображения, имеющих согласованное положение сканирования, пояснявшееся выше, и выводит их в схему 14 кодирования верхнего значимого уровня.
Например, схема 13 преобразования генерирует данные L_PREa нижнего значимого прогнозируемого изображения, полученные в результате интерполирования данных 2Т верхнего поля, показанных на фиг.7 в вертикальном направлении, выделяет данные строки, соответствующие положению сканирования данных 2В нижнего поля, показанных на фиг, 3, предназначенных для кодирования в схеме 14 кодирования верхнего значимого уровня, из данных L_PRE нижнего значимого прогнозируемого изображения, для генерирования данных L_PREb нижнего значимого прогнозируемого изображения, и выводит их в схему 14 кодирования верхнего значимого уровня.
Схема 13 преобразования выводит данные BisTop и BTime атрибута, соответствующие данным L_PRE нижнего значимого прогнозируемого изображения, введенным из схемы 12 кодирования нижнего значимого уровня, в схему 14 кодирования верхнего значимого уровня.
Схема 13 преобразования, когда верхний значимый уровень и нижний значимый уровень имеют одинаковую синхронизацию и оба представляют собой верхние (или нижние) поля одинаковым образом (когда BTime и ETime имеют одинаковое время, и BisTop и EisTop имеют одинаковое значение), выводит данные L_PRE нижнего значимого прогнозируемого изображения, вводимые из схемы 12 кодирования нижнего значимого уровня, как данные L_PREb изображения нижнего значимого прогнозируемого изображения, как если бы она была схемой 14 кодирования верхнего значимого уровня.
Схема кодирования верхнего значимого уровня
На фиг.8 показан вид конфигурации схемы 14 кодирования верхнего значимого уровня, показанной на фиг.2.
Схема 14 кодирования верхнего значимого уровня имеет, например, схему 123 перераспределения изображения, схему 131 обработки, схему 132 ортогонального преобразования, схему 133 квантования, схему 134 управления скоростью, схему 135 обратимого кодирования, буферное запоминающее устройство 136, схему 137 обратного квантования, схему 138 обратного ортогонального преобразования, схему 139 суммирования, фильтр 140 устранения блоков, запоминающее устройство 141 кадра, схему 142 прогнозирования внутри кадра, схему 143 прогнозирования/компенсации движения и схему 147 управления.
Схема 123 перераспределения изображения выполняет перераспределение данных U_FI поля для данных S10_1 изображения с перемежением, считываемых из схемы 11 задержки, показанной на фиг.2, в последовательность кодирования в соответствии со структурой ГИ, состоящей из типов I, P и В изображения, и выводит их в схему 131 обработки, схему 142 прогнозирования внутри кадра и схему 143 прогнозирования/компенсации движения.
Схема 131 обработки генерирует данные изображения, представляющие разность между данными поля или данными кадра, которые должны быть кодированы, вводимыми из схемы 123 перераспределения изображения, и данными ПИ прогнозируемого изображения, вводимыми из схемы 142 прогнозирования внутри кадра, схемы 143 прогнозирования/компенсации движения, или схемы 145 прогнозирования нижнего значимого уровня, и выводит их в схему 132 ортогонального преобразования.
Схема 132 ортогонального преобразования применяет дискретное косинусное преобразование, преобразование Карунена - Лоэва, или другое ортогональное преобразование к данным изображения, вводимым из схемы 131 обработки, для генерирования данных изображения, представляющих коэффициент преобразования (например, коэффициент ДКП), и выводит их в схему 133 квантования.
Схема 133 квантования выполняет квантование данных изображения, вводимых из схемы 132 ортогонального преобразования (коэффициент преобразования перед обработкой квантования), на основе шкалы ШК квантования, вводимой из схемы 134 управления скоростью, для генерирования данных изображения, представляющих коэффициент преобразования после квантования, и выводит их в схему 135 обратимого кодирования и в схему 137 обратного квантования.
Схема 134 управления скоростью генерирует, например, шкалу ШК квантования на основе данных изображения, считанных из буферного запоминающего устройства 136, и выводит их в схему 133 квантования.
Схема 135 обратимого кодирования сохраняет данные изображения, полученные в результате кодирования с переменной длиной данных изображения, вводимых из схемы 133 квантования, в буфере 136.
В это время схема 135 обратимого кодирования сохраняет данные EisTop и Etime атрибута, вводимые из иерархической схемы 10, в данных заголовка и т.д.
Схема 135 обратимого кодирования сохраняет вектор ВД движения, вводимый из схемы 143 прогнозирования/компенсации движения, или его разностный вектор движения, данные идентификации для данных эталонного изображения, и режим прогнозирования внутри кадра, вводимые из схемы 142 прогнозирования внутри кадра, в данных заголовка и т.д.
Данные изображения, сохраненные в буферном запоминающем устройстве 136, считывают как верхние значимые кодированные данные S14, в схему 15 мультиплексирования, показанную на фиг.2.
Схема 137 обратного квантования применяет обработку обратного квантования, соответствующую квантованию в схеме 133 квантования, к данным изображения из схемы 133 квантования, генерирует получаемые в результате этого данные и выводит их в схему 138 обратного ортогонального преобразования.
Схема 138 обратного ортогонального преобразования применяет преобразование, обратное для ортогонального преобразования, выполнявшееся в схеме 132 ортогонального преобразования, к данным, вводимым из схемы 137 обратного квантования, и выводит сгенерированные таким образом данные изображения в схему 139 суммирования.
Схема 139 суммирования суммирует данные изображения, введенные (декодированные) из схемы 138 обратного ортогонального преобразования, и данные ПИ прогнозируемого изображения, введенные из схемы 142 прогнозирования внутри кадра или схемы 143 прогнозирования/компенсации движения, для генерирования эталонных (повторно составленных) данных изображения и выводит их в фильтр 140 устранения блоков.
Фильтр 140 устранения блоков устраняет искажения блока данных эталонного изображения, вводимых из схемы 139 суммирования, и записывает их в запоминающее устройство 141 кадра.
Схема 142 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, минимизирующий остатки в макроблоке, который должен быть кодирован внутри кадра, и размер блока для блока прогнозирования.
Схема 142 прогнозирования внутри кадра использует размеры 4х4 и 16х16 пикселей, как размер блока.
Схема 142 прогнозирования внутри кадра, при выборе прогнозирования внутри, выводит данные ПИ прогнозируемого изображения в соответствии с прогнозированием внутри кадра, в схему 131 обработки и схему 139 суммирования.
Схема 143 прогнозирования/компенсации движения выполняет прогнозирование движения на основе данных ЭТ эталонного изображения, которые уже были кодированы, затем локально декодирует и сохраняет их в запоминающем устройстве 131 кадра и определяет вектор движения, сводящий к минимуму остатки, а также размер блока для компенсации движения.
Схема 143 прогнозирования/компенсации движения использует размеры 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 и 4×4 пикселей, в качестве размера блока.
Схема 143 прогнозирования/компенсации движения, при выборе прогнозирования между кадрами, выводит данные ПИ прогнозируемого изображения в соответствии с прогнозированием между кадрами в схему 131 обработки и схему 139 суммирования.
Схема 145 прогнозирования нижнего значимого уровня выполняет прогнозирование внутри кадра на основе данных LJPREb нижнего значимого прогнозируемого изображения, вводимых из схемы 13 преобразования, показанной на фиг.2, и генерирует данные ПИ прогнозируемого изображения. В это время схема 145 прогнозирования нижнего значимого уровня определяет данные L_PREb нижнего значимого прогнозируемого изображения, используемые для прогнозирования внутри кадра, на основе данных BisTop и BTime атрибута, вводимых из схемы 13 преобразования.
Данные ПИ прогнозируемого изображения, минимизирующие разность с данными изображения, предназначенными для кодирования, выбирают среди данных ПИ прогнозируемого изображения, генерируемых схемой 142 прогнозирования внутри кадра, схемой 143 прогнозирования/компенсации движения и схемой 145 прогнозирования нижнего значимого уровня, и выводят в схему 131 обработки.
Схема 147 управления выполняет общее управление схемой 14 кодирования верхнего значимого уровня.
Схема мультиплексирования
Схема 15 мультиплексирования мультиплексирует нижние значимые кодированные данные S12, вводимые из схемы 12 кодирования нижнего значимого уровня, и верхние значимые кодированные данные S14, вводимые из схемы 14 кодирования верхнего значимого уровня, для генерирования кодированных данных S2.
Пример работы устройства кодирования
Пример работы устройства 2 кодирования, показанного на фиг.2, поясняется ниже. Иерархическая (обработки многоуровневых данных) схема 10 принимает, в качестве входных данных прогрессивные данные (прогрессивный сигнал) S9 изображения, предназначенные для кодирования, и разделяет каждые из множества данных кадра, соответствующих прогрессивным данным S9 изображения, на данные верхнего поля и данные нижнего поля. Как показано на фиг.3, упомянутые выше разделенные данные верхнего поля и данные нижнего поля, в качестве альтернативы, выводят в схему 11 задержки и схему 12 кодирования нижнего значимого уровня. В соответствии с этим, как показано на фиг.3, после того, как данные S10_1 изображения с перемежением будут записаны в схему 11 задержки, она осуществляет задержку, точно равную времени обработки схемы 12 кодирования нижнего значимого уровня и схемы 13 преобразования. Результат выводят в схему 14 кодирования верхнего значимого уровня.
Данные S10_2 изображения с перемежением выводят из иерархической схемы 10 в схему 12 кодирования нижнего значимого уровня.
Схема 12 кодирования нижнего значимого уровня кодирует данные S10_2 изображения с перемежением и выводит нижние значимые кодированные данные S12 в схему 15 мультиплексирования.
Схема 12 кодирования нижнего значимого уровня генерирует данные L_PRE нижнего значимого прогнозируемого изображения. Их интерполируют в схеме 13 преобразования таким образом, что их положение сканирования совпадает с данными S10_1 изображения с перемежением, в результате чего генерируют данные L_PREb нижнего значимого прогнозируемого изображения.
Схема 14 кодирования верхнего значимого уровня осуществляет кодирование внутри кадра данных S10_1 изображения с перемежением (данных U_FI поля) на основе данных L_PREb нижнего значимого прогнозируемого изображения для генерирования верхних значимых кодированных данных S14.
Схема 15 мультиплексирования мультиплексирует нижние значимые кодированные данные S12, вводимые из схемы 12 кодирования нижнего значимого уровня, и верхние значимые кодированные данные S14, вводимые из схемы 14 кодирования верхнего значимого уровня для генерирования кодированных данных S2.
Устройство декодирования
На фиг.9 показан вид конфигурации устройства 3 декодирования, показанного на фиг.1.
Устройство 3 декодирования имеет, например, схему 51 разделения, схему 52 задержки, схему 53 декодирования нижнего значимого уровня, схему 54 преобразования, схему 55 декодирования верхнего значимого уровня и схему 56 перераспределения.
Устройство 3 декодирования, в основном, выполняет обработку, обратную обработке, выполняемой устройством 2 кодирования, пояснявшимся выше.
Схема разделения
Схема 51 разделения принимает как входные данные описанные выше кодированные данные S2, генерируемые устройством 2 кодирования, делит их на нижние значимые кодированные данные S12 и верхние значимые кодированные данные S14, выводит нижние значимые кодированные данные S12 в схему 53 декодирования нижнего значимого уровня и записывает верхние значимые кодированные данные S14 в схему задержки 52.
Схема задержки
Схема 52 задержки задерживает верхние значимые кодированные данные S14, вводимые из схемы 51 разделения, точно на время обработки в схеме 53 декодирования нижнего значимого уровня и в схеме 54 преобразования, и выводит их в схему 55 декодирования верхнего значимого уровня.
Схема декодирования нижнего значимого уровня
На фиг.10 показан вид конфигурации схемы 53 декодирования нижнего значимого уровня, показанной на фиг.9.
Схема 53 декодирования нижнего значимого уровня имеет, например, буфер 60 - накопитель, схему 61 обратимого декодирования, схему 62 обратного квантования, схему 63 обратного ортогонального преобразования, схему 64 суммирования, фильтр 65 устранения блоков, запоминающее устройство 66 кадра, буфер 67 перераспределения изображения, схему 69 прогнозирования внутри кадра и схему 70 прогнозирования/компенсации движения.
В буфере 60 - накопителе записаны нижние значимые кодированные данные S12, вводимые схемой 51 разделения.
Схема 61 обратимого декодирования, при определении, что макроблок MB, предназначенный для обработки в нижних значимых кодированных данных S12, является кодированным между кадрами, декодирует вектор движения, записанный в участке их заголовка, и выводит его в схему 70 прогнозирования/компенсации движения.
Схема 61 обратимого декодирования, при определении, что макроблок MB, предназначенный для обработки в нижних значимых кодированных данных S12, является кодированным внутри кадра, декодирует информацию режима прогнозирования внутри кадра, записанную в участке их заголовка, и выводит ее в схему 69 прогнозирования внутри кадра.
Схема 61 обратимого декодирования декодирует нижние значимые кодированные данные S12 и выводит их в схему 62 инверсного квантования. Схема 61 обратимого декодирования записывает данные BisTop и BTime атрибута, включенные в данные заголовка нижних значимых кодированных данных S12, в запоминающее устройство 66 кадра и в буфер 67 перераспределения изображения и, одновременно с этим, выводит их в схему 54 преобразования, показанную на фиг.9.
Схема 62 обратного квантования выполняет обратное квантование данных изображения, декодированных в схеме 61 обратимого декодирования (коэффициент ортогонального преобразования), на основе параметра QP квантования, введенного из схемы 61 обратимого декодирования, и выводит их в схему 63 обратного ортогонального преобразования.
Схема 63 обратного ортогонального преобразования применяет обработку обратного ортогонального преобразования для блока 4х4 к данным изображения (коэффициент ортогонального преобразования), вводимым из схемы 62 обратного квантования, для генерирования разностных данных изображения, и выводит их в схему 64 суммирования.
Схема 64 суммирования суммирует прогнозируемые данные ПИ изображения из схемы 70 прогнозирования/компенсации движения или схемы 69 прогнозирования внутри кадра, и разностные данные изображения из схемы 63 обратного ортогонального преобразования для генерирования данных изображения, и выводит их в фильтр 65 устранения блоков.
Фильтр 65 устранения блоков применяет обработку фильтра устранения блоков к данным изображения, вводимым из схемы 64 суммирования, и записывает декодированные данные изображения после обработки в запоминающее устройство 66 кадра и буфер 67 перераспределения изображения.
Данные декодированного изображения, сохраненные в запоминающем устройстве 66 кадра, считывают как данные L_PRE1 нижнего значимого прогнозируемого изображения в схему 54 преобразования, показанную на фиг.9.
Схема 69 прогнозирования внутри кадра генерирует данные ПИ прогнозируемого изображения на основе режима прогнозирования внутри кадра, вводимого из схемы 61 обратимого декодирования, и данные декодированного изображения, считанные из запоминающего устройства 66 кадра, и выводит их в схему 64 суммирования.
Схема 70 прогнозирования/компенсации движения генерирует данные ПИ прогнозируемого изображения на основе декодированных данных изображения, считанных из запоминающего устройства 66 кадра, и вектор движения, введенный из схемы 61 обратимого декодирования, для генерирования данных ПИ прогнозируемого изображения и выводит их в схему 64 суммирования.
Буфер 67 перераспределения изображения сохраняет декодированные данные изображения, записанные в фильтр 65 устранения блоков.
Декодированные данные изображения, сохраненные в буфере 67 перераспределения изображения, считывают в схему 56 повторного составления, показанную на фиг.9, как данные S53 нижнего значимого декодированного изображения в последовательности отображения.
Схема преобразования
Схема 54 преобразования, показанная на фиг.9, поясняется ниже.
Когда выполняется условие, что данные U_EFI верхнего значимого кодированного поля, вводимые из схемы 52 задержки схемой 55 декодирования верхнего значимого уровня (верхние значимые кодированные данные S14, считанные из схемы 52 задержки), и данные L_PRE1 нижнего значимого прогнозируемого изображения, выводимые в схему 54 преобразования схемой 53 декодирования нижнего значимого уровня, представляют собой данные поля с одинаковой синхронизацией, одни из которых представляют собой данные верхнего поля, и другие представляют собой данные нижнего поля, положения сканирования их являются разными.
По этой причине схема 54 преобразования определяет, удовлетворяется ли указанное выше условие на основе данных EisTop и ETime атрибута в верхних значимых кодированных данных S14, введенных из схемы 52 задержки, и данных BisTop и BTime атрибута, введенных из схемы 53 декодирования нижнего значимого уровня. При определении, что условие удовлетворяется, она применяет обработку интерполирования к данным L_PRE1 нижнего значимого прогнозируемого изображения, введенным из схемы 53 декодирования нижнего значимого уровня, для генерирования данных L_PRE1a нижнего значимого прогнозируемого изображения.
Схема 54 преобразования выделяет данные строки, соответствующие положению сканирования данных U_EFI верхнего значимого кодированного поля, декодированных в схеме 55 декодирования верхнего значимого уровня, из данных L_PRE1a нижнего значимого прогнозируемого изображения, для генерирования данных L_PRE1b нижнего значимого прогнозируемого изображения, и выводит их в схему 55 декодирования верхнего значимого уровня.
Схема 13 преобразования выводит данные BisTop и BTime атрибута, соответствующие данным L_PRE1 нижнего значимого прогнозируемого изображения, вводимые из схемы 53 декодирования нижнего значимого уровня, в схему 55 декодирования верхнего значимого уровня.
Схема 54 преобразования, когда верхний значимый уровень и нижний значимый уровень имеют одинаковую синхронизацию, и оба представляют собой верхние (или нижние) поля одинаковым образом (когда BTime и ETime представляют собой одинаковое время, и BisTop и EisTop имеют одинаковое значение), выводит данные L_PRE1 нижнего значимого прогнозируемого изображения, введенного из схемы 53 декодирования нижнего значимого уровня, как данные L_PRE1b нижнего значимого прогнозируемого изображения, как если бы она представляла собой схему 55 декодирования верхнего значимого уровня.
Схема декодирования верхнего значимого уровня
На фиг.11 показан вид конфигурации схемы 55 декодирования верхнего значимого уровня, показанной на фиг.9.
Схема 55 декодирования верхнего значимого уровня имеет, например, буфер 160 - накопитель, схему 161 обратимого декодирования, схему 162 обратного квантования, схему 163 обратного ортогонального преобразования, схему 164 суммирования, фильтр 165 удаления блоков, запоминающее устройство 166 кадра, буфер 167 перераспределения изображения, схему 169 прогнозирования внутри кадра, схему 170 прогнозирования/компенсации движения и схему 171 прогнозирования нижнего значимого уровня.
В буфере 160 - накопителе записаны данные U_EFI верхнего значимого кодированного поля, считываемые из схемы 52 задержки.
Схема 161 обратимого декодировании, при определении, что макроблок MB, предназначенный для обработки в данных UJEFI верхнего значимого кодированного поля, является кодированным между кадрами, декодирует вектор движения, записанный в его участке заголовка, и выводит его в схему 170 прогнозирования/компенсации движения.
Схема 161 обратимого декодирования, при определении, что макроблок MB, предназначенный для обработки в данных U_EFI верхнего значимого кодированного поля, является кодированным внутри кадра, декодирует информацию режима прогнозирования внутри кадра, записанную в их участке заголовка, и выводит ее в схему 169 прогнозирования внутри кадра.
Схема 161 обратимого декодирования, когда определяют на основе участка заголовка, что данные U_EFI верхнего значимого кодированного поля представляют собой нижний значимый уровень, прогнозируемый внутри кадра, декодирует информацию режима прогнозирования внутри кадра, записанную в их участок заголовка, и выводит ее в схему 169 прогнозирования внутри кадра. Кроме того, схема 161 обратимого декодирования декодирует данные U_EFI верхнего значимого кодированного поля и выводит их в схему 162 обратного квантования. Кроме того, схема 161 обратимого декодирования выводит данные EisTop и ETime атрибута, включенные в данные заголовка данных U_EFI верхнего значимого кодированного поля в схему 54 преобразования, схему 56 перераспределения и схему 171 прогнозирования нижнего значимого уровня.
Схема 162 обратного квантования выполняет обратное квантование данных изображения (коэффициент ортогонального преобразования), декодированных в схеме 161 обратимого декодирования, на основе параметра QP квантования, введенного из схемы 161 обратимого декодирования, и выводит их в схему 163 обратного ортогонального преобразования.
Схема 163 обратного ортогонального преобразования применяет обработку обратного ортогонального преобразования для блока размером 4х4 к данным изображения (коэффициент ортогонального преобразования), введенным из схемы 162 обратного квантования, для генерирования разностных данных изображения, и выводит их в схему 164 суммирования.
Схема 164 суммирования суммирует данные ПИ прогнозируемого изображения из схемы 170 прогнозирования/компенсации движения, схемы 169 прогнозирования внутри кадра или схемы 171 прогнозирования нижнего значимого уровня и разностные данные изображения из схемы 163 обратного ортогонального преобразования для генерирования данных изображения, и выводит их в фильтр 165 устранения блоков.
Фильтр 165 устранения блоков применяет обработку фильтра устранения блоков к данным изображения, вводимым из схемы 164 суммирования, и записывает декодированные данные изображения после их обработки в запоминающее устройство 166 кадра и в буфер 167 перераспределения изображения.
Схема 169 прогнозирования внутри кадра, когда обозначено обычное прогнозирование внутри кадра, генерирует данные ПИ прогнозируемого изображения на основе режима прогнозирования внутри кадра, введенного из схемы 161 обратимого декодирования, и декодированные данные изображения, считанные из запоминающего устройства 166 кадра, и выводит их в схему 164 суммирования.
Схема 170 прогнозирования/компенсации движения, при обозначении прогнозирования между кадрами, генерирует данные ПИ прогнозируемого изображения на основе декодированных данных изображения, считанных из запоминающего устройства 166 кадра, и вектор движения, введенный из схемы 161 обратимого декодирования, и выводит их в схему 164 суммирования.
Схема 171 прогнозирования нижнего значимого уровня, при обозначении прогнозирования внутри кадра нижнего значимого уровня, генерирует данные ПИ прогнозируемого изображения, используя данные декодированного изображения, считанные из запоминающего устройства 166 кадра, на основе режима прогнозирования внутри кадра, введенного из схемы 161 обратимого декодирования, и данные L_PRE1b нижнего значимого прогнозируемого изображения, введенные из схемы 54 преобразования, и выводит их в схему 164 суммирования.
При этом схема 171 прогнозирования нижнего значимого уровня выбирает и использует, например, данные L_PRE1b нижнего значимого прогнозируемого изображения, соответствующие декодированным данным изображения, считываемым из запоминающего устройства 165 кадра, на основе данных EisTop и ETime атрибута, введенных из схемы 161 обратимого декодирования, и данных BisTop и BTime атрибута, введенных из схемы 54 преобразования.
Буфер 167 перераспределения изображения сохраняет декодированные данные изображения, записанные из фильтра 165 устранения блоков.
Декодированные данные изображения, сохраненные в буфере 167 перераспределения изображения, считывают в схему 56 повторного составления, показанную на фиг.9, как данные S55 верхнего значимого декодированного изображения в последовательности отображения.
Схема повторного составления
Схема 56 повторного составления повторно составляет данные S55 верхнего значимого декодированного изображения, введенные из схемы 55 декодирования верхнего значимого уровня, и данные S53 нижнего значимого декодированного изображения, введенные из схемы 53 декодирования нижнего значимого уровня для генерирования прогрессивных данных S56 изображения.
Пример работы устройства декодирования
Работа устройства декодирования, показанная на фиг.9, поясняется ниже.
Схема 51 разделения принимает в качестве входа кодированные данные S2, пояснявшиеся выше, генерируемые устройством 2 кодирования, разделяет их на нижние значимые кодированные данные 812 и верхние значимые кодированные данные S14, выводит нижние значимые кодированные данные S12 в схему 53 декодирования нижнего значимого уровня и записывает верхние значимые кодированные данные S14 в схему 52 задержки.
Схема 52 задержки задерживает верхние значимые кодированные данные S14, введенные из схемы 51 разделения, точно на время обработки в схеме 53 декодирования нижнего значимого уровня и схеме 54 преобразования, и выводит их в схему 55 декодирования верхнего значимого уровня.
Схема 53 декодирования нижнего значимого уровня декодирует нижние значимые кодированные данные S12, генерирует данные S53 нижнего значимого декодированного изображения и выводит их в схему повторного составления. Кроме того, схема 53 декодирования нижнего значимого уровня генерирует данные L_PRE1 нижнего значимого прогнозируемого изображения и выводит их в схему 54 преобразования.
Схема 54 преобразования выполняет обработку интерполирования таким образом, что данные L_PRE1 нижнего значимого прогнозируемого изображения совпадают по положению сканирования с данными U_EFI изображения верхнего значимого поля, и генерирует данные L_PRE1b нижнего значимого прогнозируемого изображения.
Схема 55 декодирования верхнего значимого уровня выполняет декодирование внутри кадра данных U_EFI изображения верхнего значимого поля на основе данных L_PRE1b нижнего значимого прогнозируемого изображения, для генерирования данных S55 верхнего значимого декодированного изображения, и выводит их в схему 56 повторного составления.
Схема 56 повторного составления выполняет повторное составление данных S55 верхнего значимого декодированного изображения, введенного из схемы 55 декодирования верхнего значимого уровня, и данных S53 нижнего значимого декодированного изображения из схемы 53 декодирования нижнего значимого уровня для генерирования прогрессивных данных S56 изображения.
Как пояснялось выше, в соответствии с устройством 2 кодирования, в соответствии с вариантом воплощения настоящего изобретения, данные изображения с перемежением могут быть кодированы в каждой из схемы 12 кодирования нижнего значимого уровня и схемы 14 кодирования верхнего значимого уровня, показанных на фиг.2.
Кроме того, в соответствии с устройством 3 декодирования, в соответствии с вариантом воплощения настоящего изобретения, данные изображения с перемежением могут быть декодированы в каждой из схемы 53 декодирования нижнего значимого уровня и схемы 55 декодирования верхнего значимого уровня, показанных на фиг.9.
Таким образом, в соответствии с настоящим вариантом воплощения, данные изображения с перемежением могут быть обработаны в каждом классе иерархического кодирования.
Кроме того, в соответствии с настоящим вариантом воплощения, при декодировании иерархически кодированных данных изображения, данные изображения с перемежением могут быть обработаны в каждом классе.
Настоящее изобретение не ограничивается описанным выше вариантом воплощения.
А именно, специалист в данной области техники может выполнить различные модификации, комбинации, дополнительные комбинации и их изменения в отношении описанного выше варианта воплощения в пределах технического объема настоящего изобретения или его эквивалентного объема.
Например, все или часть функций устройства 2 кодирования или устройства 3 декодирования, пояснявшиеся выше, могут быть выполнены с помощью ЦПУ (центральное процессорное устройство) или другой схемы 253 обработки в соответствии с программированием программы PRG (ПРГ), сохраненной в запоминающем устройстве 252, как показано на фиг.12.
В этом случае данные изображения, предназначенные для кодирования или декодирования, вводят через интерфейс 251, и выводят результат их обработки.
Для ссылки ниже приведено пояснение взаимозависимости между конфигурацией в соответствии с настоящим вариантом воплощения и конфигурацией настоящего изобретения.
Устройство 2 кодирования представляет собой пример модуля кодирования или устройства кодирования в соответствии с первым аспектом изобретения. Когда содержание обработки (функции) устройства 2 кодирования описано с помощью программы ПРГ, показанной на фиг.12, программа ПРГ представляет собой пример программы в соответствии с вариантом воплощения настоящего изобретения.
Устройство 12 кодирования нижнего значимого уровня, показанное на фиг.2, представляет собой пример первого модуля кодирования или первого средства кодирования, схема 13 преобразования представляет собой пример модуля преобразования или средства преобразования, и схема 14 кодирования верхнего значимого уровня представляет собой пример второго модуля кодирования или второго средства кодирования.
Иерархическая схема 10 представляет собой пример модуля разделения или средства разделения в соответствии с настоящим изобретением.
Устройство 3 декодирования представляет собой пример устройства декодирования в соответствии с вариантом воплощения настоящего изобретения. При описании содержания обработки (функции) устройства 3 декодирования в виде программы ПРГ, программа ПРГ представляет собой пример программы в соответствии с вариантом воплощения настоящего изобретения.
Схема 53 декодирования нижнего значимого уровня, показанная на фиг.9, представляет собой пример первого модуля декодирования или первого средства декодирования в соответствии с вариантом воплощения настоящего изобретения, схема 54 преобразования представляет собой пример модуля преобразования или средства преобразования, и схема 55 декодирования верхнего значимого уровня представляет собой пример второго модуля декодирования или второго средства декодирования.
Изобретение относится к области кодирования/декодирования данных изображения. Техническим результатом является обеспечение эффективного иерархического с разделением на уровни или многоуровневых кодированных данных кодирования, которое позволяет обрабатывать данные изображения с перемежением в каждом уровне. Указанный технический результат достигается тем, что предложено устройство кодирования, предназначенное для иерархического (многоуровневого) кодирования данных верхнего поля и данных нижнего поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения, содержит: первый модуль (12) кодирования, выполненный с возможностью кодирования одних данных поля из двух данных поля, составляющих данные верхнего поля и данные нижнего поля, отделенных от данных изображения, модуль (13) преобразования, выполненный с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых первым модулем кодирования, кодирующим упомянутые выше одни из данных поля, и генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и второй модуль (14) кодирования, выполненный с возможностью кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых модулем преобразования. 6 н. и 9 з.п ф-лы, 18 ил.
1. Устройство кодирования, предназначенное для иерархического (многоуровневые данные) кодирования данных верхнего поля и данных нижнего поля, каждые из которых получены в результате разделения множества данных изображения, составляющих представление движущегося изображения,
упомянутое устройство кодирования содержит:
первый модуль кодирования, выполненный с возможностью кодирования одних данных поля из двух данных поля для верхних данных поля и нижних данных поля, выделенных из данных изображения;
модуль преобразования, выполненный с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых первым модулем кодирования, кодирующим одни данные поля, для генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля; и
второй модуль кодирования, выполненный с возможностью кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых модулем преобразования, в котором:
второй модуль кодирования выбирает данные прогнозируемого изображения, минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, генерируемых при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, генерируемых путем прогнозирования/компенсации движения, и данных прогнозируемого изображения, генерируемых в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и
кодирует разность между другими данными поля и данными прогнозируемого изображения.
2. Устройство кодирования по п.1, в котором первый модуль кодирования и второй модуль кодирования выполняют кодирование внутри кадра в качестве кодирования.
3. Устройство кодирования по п.1, в котором первый модуль кодирования декодирует одни данные поля после кодирования для генерирования повторно составленных данных изображения и выводит повторно составленные данные изображения в качестве первых прогнозируемых данных изображения в модуль преобразования.
4. Устройство кодирования по п.1, дополнительно содержащее: модуль разделения, выполненный с возможностью разделения каждых из множества данных изображения на данные верхнего поля и данные нижнего поля.
5. Устройство кодирования по п.1, в котором модуль разделения обеспечивает кодирование первым модулем кодирования одних из данных верхнего поля, составляющих непрерывные данные изображения, и обеспечивает кодирование вторым модулем кодирования других данных верхнего поля.
6. Устройство кодирования по п.5, в котором каждый из первого модуля кодирования и второго модуля кодирования кодирует данные кадра, состоящие из одних данных верхнего поля, составляющих непрерывные данные двух изображений, и других данных нижнего поля.
7. Устройство кодирования по п.1, дополнительно содержащее: часть мультиплексирования, выполненную с возможностью мультиплексирования данных поля, кодированных первым модулем кодирования, и данных поля, кодированных вторым модулем кодирования.
8. Способ кодирования, предназначенный для иерархического кодирования данных верхнего поля и данных нижнего поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения,
упомянутый способ кодирования содержит
первый этап кодирования одних данных поля из двух данных поля, составляющих данные верхнего поля и данные нижнего поля, отделенных от данных изображения,
второй этап интерполирования первых данных прогнозируемого изображения, генерируемых на первом этапе путем кодирования одних данных поля, и генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и
третий этап кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых на втором этапе, в котором:
на третьем этапе кодирования, выбирают данные прогнозируемого изображения, минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, генерируемых при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, генерируемых путем прогнозирования/компенсации движения, и данных прогнозируемого изображения, генерируемых в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и
кодируют разность между другими данными поля и данными прогнозируемого изображения,
9. Устройство декодирования, предназначенное для декодирования двух кодированных данных поля, полученных путем иерархического (многоуровневые данные) кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения,
упомянутое устройство декодирования содержит
первый модуль декодирования, выполненный с возможностью декодирования одних кодированных данных поля из двух кодированных данных поля,
модуль преобразования, выполненный с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования первым модулем декодирования, и генерирования вторых данных прогнозируемого изображения в положении сканирования других кодированных данных поля из двух кодированных данных поля, и
второй модуль декодирования, выполненный с возможностью декодирования других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых модулем преобразования, в котором:
второй модуль декодирования выбирает данные прогнозируемого изображения, минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, сгенерированных при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, сгенерированных путем прогнозирования/компенсации движения, и данных прогнозируемого изображения, сгенерированных в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и
декодирует разность между другими данными поля и данными прогнозируемого изображения.
10. Устройство декодирования по п.9, в котором первый модуль декодирования и второй модуль декодирования выполняют декодирования внутри кадра в качестве декодирования.
11. Способ декодирования, предназначенный для декодирования двух кодированных данных поля, полученных в результате иерархического (многоуровневые данные) кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения,
причем упомянутый способ декодирования содержит
первый этап декодирования одних кодированных данных поля из двух кодированных данных поля,
второй этап интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования на первом этапе, и генерирования вторых данных прогнозируемого изображения в положении сканирования других кодированных данных поля из двух кодированных данных поля, и
третий этап, состоящий в декодировании других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых на втором этапе, в котором:
на третьем этапе декодирования, выбирают данные прогнозируемого изображения, минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, сгенерированных при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, сгенерированных путем прогнозирования/компенсации движения, и данных прогнозируемого изображения, сгенерированных в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и
декодируют разность между другими данными поля и данными прогнозируемого изображения.
12. Устройство кодирования, предназначенное для иерархического (многоуровневые данные) кодирования данных верхнего поля и данных нижнего поля, каждые из которых получены в результате разделения множества данных изображения, составляющих представление движущегося изображения,
упомянутое устройство кодирования содержит
первое средство кодирования, предназначенное для кодирования одних данных поля из двух данных поля, состоящих из данных верхнего поля и данных нижнего поля, отделенных от данных изображения,
средство преобразования, выполненное с возможностью интерполирования первых данных прогнозируемого изображения, генерируемых первым средством кодирования, кодирующим одни данные поля, и генерирования вторых данных прогнозируемого изображения в положении сканирования других данных поля из двух данных поля, и
второе средство кодирования, предназначенное для кодирования других данных поля из двух данных поля на основе вторых данных прогнозируемого изображения, генерируемых средством преобразования, в котором:
второе средство кодирования выбирает данные прогнозируемого изображения,
минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, генерируемых при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, генерируемых путем прогнозирования/компенсации движения, и данных прогнозируемого изображения, генерируемых в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и,
кодирует разность между другими данными поля и данными прогнозируемого изображения.
13. Устройство кодирования по п.12, дополнительно содержащее: средство разделения, предназначенное для разделения каждых из множества данных изображения на данные верхнего поля и данные нижнего поля.
14. Устройство кодирования по п.12, дополнительно содержащее: средство мультиплексирования, предназначенное для мультиплексирования данных поля, кодированных первым средством кодирования и данных поля, кодированных вторым средством кодирования.
15. Устройство декодирования, предназначенное для декодирования двух кодированных данных поля, полученных в результате иерархического кодирования двух данных поля, разделенных друг от друга множеством данных изображения, составляющих представление движущегося изображения,
упомянутое устройство декодирования содержит
первое средство декодирования, предназначенное для декодирования одних кодированных данных поля из двух кодированных данных поля,
средство преобразования, предназначенное для интерполирования первых данных прогнозируемого изображения, генерируемых путем декодирования первым средством декодирования, и генерирования вторых данных прогнозируемого изображения в положении сканирования других кодированных данных поля из двух кодированных данных поля, и
второе средство декодирования, предназначенное для декодирования других кодированных данных поля из двух кодированных данных поля на основе вторых данных прогнозируемого изображения, генерируемых средством преобразования, в котором:
второе средство декодирования, выбирает данные прогнозируемого изображения, минимизируя разницу с другими данными поля, среди данных прогнозируемого изображения, сгенерированных при прогнозировании внутри кадра, используя другие данные поля, данных прогнозируемого изображения, сгенерированных путем
прогнозирования/компенсации движения, и данных прогнозируемого изображения, сгенерированных в результате прогнозирования внутри кадра, используя вторые данные прогнозируемого изображения, и
декодирует разность между другими данными поля и данными прогнозируемого изображения.
