ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к способу кодирования изображений, способу декодирования изображений, устройству кодирования изображений, устройству декодирования изображений, и устройству кодирования-декодирования изображений. В частности, настоящее изобретение относится к способу кодирования изображений, способу декодирования изображений, устройству кодирования изображений, устройству декодирования изображений, и устройству кодирования-декодирования изображений с меньшей потерей в качестве изображения.
УРОВЕНЬ ТЕХНИКИ
В последние годы растет количество приложений, используемых для, например, услуги типа видео по запросу, включающей в себя видеоконференцсвязь, широковещание цифрового видео, и потоковую передачу видеоконтента посредством сети Интернет. Эти приложения зависят от передачи видеоданных. Когда видеоданные передаются или записываются, значительный объем данных передается через стандартный канал передачи, имеющий ограниченную полосу пропускания, или записывается на стандартный носитель записи, имеющий ограниченную емкость данных. Чтобы передавать видеоданные через стандартный канал передачи или записывать видеоданные на стандартный носитель записи, является абсолютно существенным сжимать или уменьшать объем цифровых данных.
В этой ситуации было разработано множество стандартов кодирования видео для сжатия видеоданных. Примеры стандартов кодирования видео включают в себя стандарты Сектора Стандартизации в области Телекоммуникаций Международного Телекоммуникационного Союза (ITU-T), определенные посредством "H.26x", и Международной Организации по Стандартам/Международной Электротехнической Комиссии (ISO/IEC), определенные посредством "MPEG-x". В настоящее время, наиболее последний и наиболее передовой стандарт кодирования видео представлен посредством стандарта H.264/AVC или MPEG-4 AVC (см. непатентную литературу 1 и 2).
Более того, осуществлялись различные исследования, чтобы улучшить эффективность кодирования посредством стандарта высокоэффективного кодирования видео (HEVC), который является стандартом кодирования изображений следующего поколения (см. непатентную литературу 3).
СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК
НЕПАТЕНТНАЯ ЛИТЕРАТУРА
[NPL 1] ISO/IEC 14496-10 "MPEG-4 Part 10, Advanced Video Coding"
[NPL 2] Thomas Wiegand и др., "Overview of the H.264/AVC Video Coding Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, JULY 2003, PP. 1-1
[NPL 3] Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH,-6-23 March, 2011 JCTVC-E603 WD3: Working Draft 3 of High-Efficiency Video Coding ver.7 http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/w g11/JCTVC-E603-v7.zip
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ПРОБЛЕМА
В последние годы требуется улучшение качества изображения при сохранении эффективности кодирования.
В виду этого, настоящее изобретение предназначено, чтобы решать вышеупомянутую традиционную проблему, и имеет целью обеспечить способ кодирования изображений и способ декодирования изображений, способные улучшить кодированное изображение и декодированное изображение в качестве изображения.
РЕШЕНИЕ ПРОБЛЕМЫ
Способ кодирования изображений в одном аспекте согласно представленному изобретению является способом кодирования входного блока, включенного в изображение. Чтобы быть более конкретными, способ кодирования изображений включает в себя генерирование предсказанного блока посредством предсказания входного блока; вычисление остаточного блока посредством вычитания предсказанного блока из входного блока; вычисление квантованных коэффициентов посредством выполнения преобразования и квантования над остаточным блоком; вычисление кодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование кодированного во времени блока посредством добавления кодированного остаточного блока к предсказанному блоку; определение, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием при вычислении квантованных коэффициентов; исполнение процесса смещения над кодированным во времени блоком, когда при упомянутом определении определяется, что требуется процесс смещения; и выполнение кодирования с переменной длиной слова над квантованными коэффициентами и первой информацией флага.
Следует отметить, что общий или конкретный вариант осуществления в одном аспекте может осуществляться посредством системы, способа, интегральной схемы, компьютерной программы, или носителя записи, или посредством любой комбинации системы, способа, интегральной схемы, компьютерной программы, и носителя записи.
ВЫГОДНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Настоящее изобретение может уменьшать искажение сигнала цветности и улучшать субъективное качество изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 является блок-схемой, показывающей пример конфигурации устройства кодирования изображений в варианте 1 осуществления согласно настоящему изобретению.
Фиг. 2 является блок-схемой, показывающей пример стандартного способа кодирования сигнала цветности.
Фиг. 3 является блок-схемой последовательности операций, показывающей пример традиционного способа кодирования сигнала цветности.
Фиг. 4 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 1 осуществления согласно настоящему изобретению.
Фиг. 5 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 1 осуществления согласно настоящему изобретению.
Фиг. 6 является схематической диаграммой, показывающей пример вычисления значения внутреннего предсказания сигнала цветности, в варианте 1 осуществления согласно настоящему изобретению.
Фиг. 7 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 2 осуществления согласно настоящему изобретению.
Фиг. 8 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 2 осуществления согласно настоящему изобретению.
Фиг. 9 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 3 осуществления согласно настоящему изобретению.
Фиг. 10 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 3 осуществления согласно настоящему изобретению.
Фиг. 11A является схематической диаграммой, показывающей пример единицы смещения, используемой для внутреннего предсказания сигнала цветности, и показывает пример, где для каждого блока используется разное значение смещения, в варианте 3 осуществления согласно настоящему изобретению.
Фиг. 11B является схематической диаграммой, показывающей пример единицы смещения, используемой для внутреннего предсказания сигнала цветности, и показывает пример, где одно и то же значение смещения используется в области A.
Фиг. 12 является блок-схемой, показывающей пример конфигурации устройства декодирования изображений в варианте 4 осуществления согласно настоящему изобретению.
Фиг. 13 является блок-схемой, показывающей пример традиционного способа декодирования сигнала цветности.
Фиг. 14 является блок-схемой последовательности операций, показывающей пример традиционного способа декодирования сигнала цветности.
Фиг. 15 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 4 осуществления согласно настоящему изобретению.
Фиг. 16 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 4 осуществления согласно настоящему изобретению.
Фиг. 17 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 5 осуществления согласно настоящему изобретению.
Фиг. 18 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 5 осуществления согласно настоящему изобретению.
Фиг. 19 является блок-схемой, показывающей пример внутреннего предсказания сигнала цветности в варианте 6 осуществления согласно настоящему изобретению.
Фиг. 20 является блок-схемой последовательности операций, показывающей пример внутреннего предсказания сигнала цветности в варианте 6 осуществления согласно настоящему изобретению.
Фиг. 21 является диаграммой, показывающей синтаксис блока предсказания, который является примером внутреннего предсказания сигнала цветности в варианте 4 осуществления согласно настоящему изобретению.
Фиг. 22 является диаграммой, показывающей синтаксис данных среза, который является примером внутреннего предсказания сигнала цветности в варианте 6 осуществления согласно настоящему изобретению.
Фиг. 23 показывает полную конфигурацию системы обеспечения контента для осуществления услуг распространения контента.
Фиг. 24 показывает полную конфигурацию системы цифрового широковещания.
Фиг. 25 показывает блок-схему, иллюстрирующую пример конфигурации телевизора.
Фиг. 26 показывает блок-схему, иллюстрирующую пример конфигурации блока записи/воспроизведения информации, который считывает и записывает информацию из и на носитель записи, который является оптическим диском.
Фиг. 27 показывает пример конфигурации носителя записи, который является оптическим диском.
Фиг. 28A показывает пример сотового телефона.
Фиг. 28B является блок-схемой, показывающей пример конфигурации сотового телефона.
Фиг. 29 иллюстрирует структуру мультиплексированных данных.
Фиг. 30 схематически показывает то, как каждый поток мультиплексируется в мультиплексированных данных.
Фиг. 31 более подробно показывает то, как видеопоток сохраняется в потоке пакетов PES.
Фиг. 32 показывает структуру пакетов TS и исходных пакетов в мультиплексированных данных.
Фиг. 33 показывает структуру данных PMT.
Фиг. 34 показывает внутреннюю структуру информации мультиплексированных данных.
Фиг. 35 показывает внутреннюю структуру информации атрибутов потока.
Фиг. 36 показывает этапы для идентификации видеоданных.
Фиг. 37 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления.
Фиг. 38 показывает конфигурацию для переключения между частотами возбуждения.
Фиг. 39 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.
Фиг. 40 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.
Фиг. 41A является диаграммой, показывающей пример конфигурации для совместного использования модуля блока обработки сигналов.
Фиг. 41B является диаграммой, показывающей другой пример конфигурации для совместного использования модуля блока обработки сигналов.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Знание, формирующее основу настоящего изобретения
Как показано на фиг. 1 и фиг. 12, например, HEVC главным образом включает в себя процессы, такие как предсказание, преобразование, квантование, и энтропийное кодирование. Среди них предсказание, в свою очередь, включает в себя межкадровое (inter-) предсказание и внутреннее (intra-) предсказание. Внутреннее предсказание является процессом, где предсказанный пиксель генерируется посредством интерполяции по соседним пикселям в соседних макроблоках, расположенных например, выше и слева от текущего макроблока, который должен быть обработан, и кодируется отличие от предсказанного пикселя. Внутреннее предсказание согласно стандарту HEVC осуществляет предсказание на пиксельном уровне вместо уровня коэффициентов дискретного косинусного преобразования (DCT), и также использует шаблоны предсказания пикселей в вертикальном, горизонтальном, и диагональном направлениях.
Традиционное внутреннее предсказание сигнала цветности описывается со ссылкой на фиг. 2, фиг. 3, фиг. 13, и фиг. 14.
Описывается конфигурация блока 100 внутреннего предсказания сигнала цветности, который выполняет внутреннее предсказание сигнала цветности согласно традиционному способу кодирования изображений. Фиг. 2 является блок-схемой, показывающей пример традиционного блока 100 внутреннего предсказания сигнала цветности.
Как показано на фиг. 2, блок 100 внутреннего предсказания сигнала цветности включает в себя блок 110 генерирования внутренне-предсказанного сигнала цветности, блок 120 вычисления остаточного сигнала, блок 130 преобразования-квантования, блок 135 обратного квантования-преобразования, блок 140 генерирования кодированного сигнала, и блок 150 кодирования.
Операция, выполняемая посредством традиционного блока 100 внутреннего предсказания сигнала цветности, описывается более подробно. Фиг. 3 является блок-схемой последовательности операций, показывающей процесс, выполняемый посредством блока 100 внутреннего предсказания сигнала цветности.
Во-первых, блок 110 генерирования внутренне-предсказанного сигнала цветности генерирует внутренне-предсказанный сигнал цветности на основе режима внутреннего предсказания, и выводит сгенерированный сигнал в блок 120 вычисления остаточного сигнала и блок 140 генерирования кодированного сигнала (этап S1001). Режим внутреннего предсказания указывается как номер индекса, назначенный способу генерирования внутренне-предсказанного сигнала цветности. Внутренне-предсказанный сигнал цветности генерируется согласно режиму внутреннего предсказания с использованием, как надлежит, кодированного сигнала яркости соседнего блока, кодированного сигнала цветности соседнего блока, и кодированного сигнала яркости текущего блока, который должен быть обработан.
Далее, блок 120 вычисления остаточного сигнала вычисляет остаточный сигнал по входному сигналу цветности и внутренне-предсказанному сигналу цветности, и выводит остаточный сигнал в блок 130 преобразования-квантования (этап S1002). Остаточный сигнал получается посредством вычисления разности между входным сигналом цветности и внутренне-предсказанным сигналом цветности.
Далее, блок 130 преобразования-квантования вычисляет квантованные коэффициенты посредством выполнения преобразования и квантования над остаточным сигналом, и выводит квантованные коэффициенты в блок 135 обратного квантования-преобразования и блок 150 кодирования (этап S1003). Здесь, преобразование относится к процессу преобразования остаточного сигнала в пространственной области в коэффициенты в частотной области. Посредством квантования, значение коэффициента в частотной области, полученное посредством преобразования остаточного сигнала, аппроксимируется более грубо. Значение, указывающее грубость упоминается как параметр квантования (в дальнейшем также может упоминаться как QP). Когда QP больше, выполняется более грубая аппроксимация, означая, что ошибка (ошибка квантования) больше между исходным входным сигналом цветности и кодированным сигналом цветности, описанным ниже по тексту.
Далее, блок 135 обратного квантования-преобразования вычисляет кодированный остаточный сигнал посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами, и выводит кодированный остаточный сигнал в блок 140 генерирования кодированного сигнала (этап S1004). Обратное квантование и обратное преобразование выполняются посредством процедуры, в точности противоположной процедуре на этапе S1003.
После этого, блок 140 генерирования кодированного сигнала генерирует кодированный сигнал цветности из кодированного остаточного сигнала и внутренне-предсказанного сигнала цветности (этап S1005). Блок 140 генерирования кодированного сигнала сохраняет сгенерированный кодированный сигнал цветности в памяти, которая не проиллюстрирована на диаграмме. Кодированный сигнал цветности, сохраненный в памяти, используется, как кодированный сигнал соседнего блока, блоком 110 генерирования внутренне-предсказанного сигнала цветности, чтобы генерировать внутренне-предсказанный сигнал цветности. То же имеет место для кодированного сигнала яркости (описание этого пропускается). Кодированный сигнал цветности вычисляется посредством добавления кодированного остаточного сигнала к внутренне-предсказанному сигналу цветности.
Далее, блок 150 кодирования генерирует битовый поток посредством кодирования квантованных коэффициентов и режима внутреннего предсказания (этапа S1006). В кодировании, квантованным коэффициентам назначается переменный код, чтобы битовая длина была короткой, и, в результате, эффективность сжатия улучшалась. Битовый поток, полученный посредством эффективного сжатия данных, передается или записывается.
Описывается конфигурация блока 300 внутреннего предсказания сигнала цветности, который выполняет внутреннее предсказание сигнала цветности согласно традиционному способу декодирования изображений. Фиг. 13 является блок-схемой, показывающей пример традиционного блока 300 внутреннего предсказания сигнала цветности.
Как показано на фиг. 13, блок 300 внутреннего предсказания сигнала цветности включает в себя блок 310 декодирования с переменной длиной слова, блок 320 получения остаточного сигнала, блок 330 генерирования внутренне-предсказанного сигнала цветности, и блок 340 генерирования декодированного сигнала цветности.
Операция, выполняемая посредством традиционного блока 300 внутреннего предсказания сигнала цветности, описывается более подробно, со ссылкой на фиг. 14. Фиг. 14 является блок-схемой последовательности операций, показывающей процесс, выполняемый посредством блока 300 внутреннего предсказания сигнала цветности.
Во-первых, блок 300 внутреннего предсказания сигнала цветности получает квантованные коэффициенты и режим внутреннего предсказания посредством выполнения декодирования с переменной длиной слова над битовым потоком, и выводит квантованные коэффициенты и режим внутреннего предсказания в блок 320 получения остаточного сигнала и блок 330 генерирования внутренне-предсказанного сигнала цветности (этап S3001).
Далее, блок 320 получения остаточного сигнала получает декодированный остаточный сигнал посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами, и выводит декодированный остаточный сигнал в блок 340 генерирования декодированного сигнала цветности (этап S3002). Декодированный остаточный сигнал аппроксимируется более грубо посредством квантования во время кодирования. При учете этого, когда декодированный сигнал цветности генерируется с использованием этого остаточного сигнала, вызывается ошибка по отношению к исходному входному изображению.
Далее, блок 330 генерирования внутренне-предсказанного сигнала цветности генерирует внутренне-предсказанный сигнал цветности на основе режима внутреннего предсказания, и выводит внутренне-предсказанный сигнал цветности в блок 340 генерирования декодированного сигнала цветности (этап S3003). Внутренне-предсказанный сигнал цветности генерируется согласно режиму внутреннего предсказания с использованием, как надлежит, декодированного сигнала яркости соседнего блока, декодированного сигнала цветности соседнего блока, и декодированного сигнала яркости текущего блока, который должен быть обработан.
Далее, блок 340 генерирования декодированного сигнала цветности генерирует декодированный сигнал цветности из декодированного остаточного сигнала и внутренне-предсказанного сигнала цветности (этап S3004). Декодированный сигнал цветности вычисляется посредством добавления декодированного остаточного сигнала к внутренне-предсказанному сигналу цветности. Декодированный сигнал цветности, сгенерированный посредством блока 340 генерирования декодированного сигнала цветности, сохраняется в память, которая не проиллюстрирована на диаграмме, и используется, например для более позднего процесса внутреннего предсказания.
Согласно вышеупомянутой традиционной технологии, однако, квантование выполняется тогда, когда кодируется остаточный сигнал, указывающий разность между входным сигналом и предсказанным сигналом. По этой причине, когда QP больше, ошибка между входным сигналом и кодированным сигналом цветности или между входным изображением и декодированным сигналом цветности больше. Особенно в отношении сигнала цветности, даже незначительное различие в значении вызывает явное искажение цвета в субъективном качестве изображения.
Чтобы решить вышеописанную проблему, способ кодирования изображений в одном аспекте согласно настоящему изобретению является способом кодирования входного блока, включенного в изображение. Чтобы быть более конкретными, способ кодирования изображений включает в себя: генерирование предсказанного блока посредством предсказания входного блока; вычисление остаточного блока посредством вычитания предсказанного блока из входного блока; вычисление квантованных коэффициентов посредством выполнения преобразования и квантования над остаточным блоком; вычисление кодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование кодированного во времени блока посредством добавления кодированного остаточного блока к предсказанному блоку; определение, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием при вычислении квантованных коэффициентов; исполнение процесса смещения над кодированным во времени блоком, когда при упомянутом определении определяется, что требуется процесс смещения; и выполнение кодирования с переменной длиной слова над квантованными коэффициентами и первой информацией флага.
С этой конфигурацией, ошибка (ошибка квантования), вызванная квантованием, может уменьшаться. Более конкретно, может эффективно предотвращаться ухудшение качества изображения.
Более того, процесс смещения может исполняться, чтобы добавлять значение смещения к значению пикселя, включенного в кодированный во времени блок. При определении, используется ли значение смещения для ранее кодированного блока, смежного с входным блоком, или значение смещения, вновь вычисленное для кодированного во времени блока, в процессе смещения, который должен быть исполнен над кодированным во времени блоком, может дополнительно определяться генерировать вторую информацию флага, указывающую результат определения. В исполнении, процесс смещения может исполняться над кодированным во времени блоком с использованием значения смещения, указанного второй информацией флага. В выполнении, кодирование с переменной длиной слова может дополнительно выполняться над второй информацией флага.
Дополнительно, в исполнении, процесс смещения может исполняться избирательно над пикселем, (i) который является одним из пикселей, включенных в кодированный во времени блок, и (ii) который соответствует пикселю, включенному во входной блок и имеющему значение, включенное в предварительно определенный диапазон, где субъективное искажение цвета является явным.
Более того, в определении, когда каждое из значений всех пикселей, включенных во входной блок, находится вне предварительно определенного диапазона, может определяться, что не требуется исполнять процесс смещения над кодированным во времени блоком, который соответствует входному блоку.
В качестве примера, каждое из значений пикселей, включенных во входной блок, может выражаться в формате YUV.
Дополнительно, способ кодирования изображений может (i) осуществлять переключение между процессом кодирования на основе первого стандарта и процессом кодирования на основе второго стандарта, (ii) выполнять определение, исполнение, и выполнение, как процесс кодирования на основе первого стандарта, и (iii) кодировать идентификатор, указывающий стандарт процесса кодирования.
Способ декодирования изображений в одном аспекте согласно настоящему изобретению является способом декодирования битового потока, чтобы генерировать декодированный блок. Чтобы быть более конкретными, способ декодирования изображений включает в себя: получение квантованных коэффициентов и первой информации флага, которая указывает, требуется ли процесс смещения, посредством выполнения декодирования с переменной длиной слова над битовым потоком; получение декодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование предсказанного блока посредством предсказания декодированного блока; генерирование декодированного во времени блока посредством добавления декодированного остаточного блока к предсказанному блоку; и генерирование декодированного блока посредством исполнения, над декодированным во времени блоком, процесса смещения для корректировки ошибки, которая вызывается квантованием и включается в декодированный во времени блок, когда первая информация флага указывает, что требуется процесс смещения.
Более того, может исполняться процесс смещения, чтобы добавлять значение смещения к значению пикселя, включенного в декодированный во времени блок. В получении квантованных коэффициентов и первой информации флага, может дополнительно получаться вторая информация флага, при этом вторая информация флага указывает, используется ли значение смещения для ранее декодированного блока, смежного с декодированным блоком, или значение смещения, вновь вычисленное для декодированного во времени блока, в процессе смещения, который должен быть исполнен над декодированным во времени блоком. В генерировании декодированного блока, процесс смещения может исполняться над декодированным во времени блоком с использованием значения смещения, указанного второй информацией флага.
В качестве примера, каждое из значений пикселей, включенных в декодированный блок, может выражаться в формате YUV.
Дополнительно, способ декодирования изображений может (i) осуществлять переключение между процессом декодирования на основе первого стандарта и процессом декодирования на основе второго стандарта, согласно идентификатору, который включен в битовый поток и указывает первый стандарт или второй стандарт, и (ii) выполнять, в качестве процесса декодирования на основе первого стандарта, выполнение и исполнение, когда идентификатор указывает первый стандарт.
Устройство кодирования изображений в одном аспекте согласно настоящему изобретению кодирует входной блок, включенный в изображение. Чтобы быть более конкретными, устройство кодирования изображений включает в себя: блок предсказания, который генерирует предсказанный блок посредством предсказания входного блока; блок вычисления, который вычисляет остаточный блок посредством вычитания предсказанного блока из входного блока; блок преобразования-квантования, который вычисляет квантованные коэффициенты посредством выполнения преобразования и квантования над остаточным блоком; блок обратного квантования-преобразования, который вычисляет кодированный остаточный блок посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; блок генерирования, который генерирует кодированный во времени блок посредством добавления кодированного остаточного блока к предсказанному блоку; блок определения, который определяет, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием, выполняемым посредством блока преобразования-квантования; блок обработки смещения, который исполняет процесс смещения над кодированным во времени блоком, когда посредством блока определения определяется, что требуется процесс смещения; и блок кодирования с переменной длиной слова, который выполняет кодирование с переменной длиной слова над квантованными коэффициентами и первой информацией флага.
Устройство декодирования изображений в одном аспекте согласно настоящему изобретению декодирует битовый поток, чтобы генерировать декодированный блок.
Чтобы быть более конкретными, устройство декодирования изображений включает в себя: блок декодирования с переменной длиной слова, который получает квантованные коэффициенты и первую информацию флага, которая указывает, требуется ли процесс смещения, посредством выполнения декодирования с переменной длиной слова над битовым потоком; блок получения, который получает декодированный остаточный блок посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; блок предсказания, который генерирует предсказанный блок посредством предсказания декодированного блока; блок генерирования, который генерирует декодированный во времени блок посредством добавления декодированного остаточного блока к предсказанному блоку; и блок обработки смещения, который генерирует декодированный блок посредством исполнения, над декодированным во времени блоком, процесса смещения для корректировки ошибки, которая вызывается квантованием и включается в декодированный во времени блок, когда первая информация флага указывает, что требуется процесс смещения.
Устройство кодирования-декодирования изображений в одном аспекте согласно настоящему изобретению включает в себя: устройство кодирования изображений, описанное выше; и устройство декодирования изображений, описанное выше.
Следует отметить, что один общий или конкретный вариант осуществления в одном аспекте может осуществляться посредством системы, способа, интегральной схемы, компьютерной программы, или носителя записи, или посредством любой комбинации системы, способа, интегральной схемы, компьютерной программы, и носителя записи.
Последующее является описанием вариантов осуществления согласно настоящему изобретению, со ссылкой на чертежи.
УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ
Фиг. 1 является блок-схемой, показывающей пример конфигурации устройства 200 кодирования изображений в вариантах 1 по 3 осуществления согласно настоящему изобретению.
Устройство 200 кодирования изображений выполняет кодирование со сжатием над данными изображения. Например, устройство 200 кодирования изображений принимает, в качестве входного сигнала, данные изображения для каждого блока. Устройство 200 кодирования изображений генерирует кодированный сигнал (т.е. битовый поток) посредством выполнения преобразования, квантования, и кодирования с переменной длиной слова над принятым входным сигналом.
Как показано на фиг. 1, устройство 200 кодирования изображений включает в себя модуль 205 вычитания, блок 210 преобразования-квантования, блок 220 энтропийного кодирования, блок 230 обратного квантования-преобразования, модуль 235 сложения, фильтр 240 удаления блочности, память 250, блок 260 внутреннего предсказания, блок 270 оценки движения, блок 280 компенсации движения, и переключатель 290 выбора внутреннего/внешнего режима.
Модуль 205 вычитания вычисляет разность между входным сигналом (входным блоком) и предсказанным сигналом (предсказанным блоком). Более конкретно, модуль 205 вычитания вычисляет остаточную ошибку предсказания (остаточный блок).
Блок 210 преобразования-квантования генерирует коэффициенты преобразования в частотной области посредством преобразования остаточной ошибки предсказания в пространственной области. Например, блок 210 преобразования-квантования генерирует коэффициенты преобразования посредством выполнения DCT (дискретного косинусного преобразования) над остаточной ошибкой предсказания. Более того, блок 210 преобразования-квантования генерирует квантованные коэффициенты посредством квантования коэффициентов преобразования.
Блок 220 энтропийного кодирования генерирует кодированный сигнал посредством выполнения кодирования с переменной длиной слова над квантованными коэффициентами. Более того, блок 220 энтропийного кодирования кодирует данные движения (такие как вектор движения), оцененные посредством блока 270 оценки движения, первую информацию флага и вторую информацию флага (описанные ниже по тексту), значение смещения (описанное позже), и так далее. Затем, блок 220 энтропийного кодирования включает эти кодированные части данных в кодированный сигнал и выводит этот кодированный сигнал.
Блок 230 обратного квантования-преобразования восстанавливает коэффициенты преобразования посредством выполнения обратного квантования над квантованными коэффициентами. Более того, блок 230 обратного квантования-преобразования восстанавливает остаточную ошибку предсказания посредством выполнения обратного преобразования над восстановленными коэффициентами преобразования. Следует отметить, что, так как информация о восстановленной остаточной ошибке предсказания была потеряна вследствие квантования, восстановленная остаточная ошибка предсказания не согласуется с остаточной ошибкой предсказания, сгенерированной посредством модуля 205 вычитания. Чтобы быть более конкретными, восстановленная остаточная ошибка предсказания включает в себя ошибку квантования.
Модуль 235 сложения генерирует локальное декодированное изображение (кодированный блок) посредством добавления восстановленной остаточной ошибки предсказания к предсказанному сигналу.
Фильтр 240 удаления блочности выполняет фильтрацию удаления блочности над сгенерированным локальным декодированным изображением.
Память 250 хранит опорное изображение, которое должно быть исполнено для компенсации движения. Чтобы быть более конкретными, память 250 хранит локальное декодированное изображение, над которым была выполнена фильтрация удаления блочности.
Блок 260 внутреннего предсказания генерирует предсказанный сигнал (внутренне-предсказанный сигнал) посредством выполнения внутреннего предсказания. Более конкретно, блок 260 внутреннего предсказания генерирует внутренне-предсказанный сигнал посредством выполнения внутреннего предсказания, со ссылкой на изображение, расположенное рядом с текущим блоком (входной сигнал), который должен быть кодирован и включен в локальное декодированное изображение, сгенерированное посредством модуля 235 сложения.
Блок 270 оценки движения оценивает данные движения (такие как вектор движения) между входным сигналом и опорным изображением, сохраненным в памяти 250.
Блок 280 компенсации движения генерирует предсказанный сигнал (внешне-предсказанный сигнал) посредством выполнения компенсации движения на основе оцененных данных движения.
Переключатель 290 выбора внутреннего/внешнего режима выбирает один из внутренне-предсказанного сигнала и внешне-предсказанного сигнала, и выводит выбранный сигнал в качестве предсказанного сигнала в модуль 205 вычитания и модуль 235 сложения.
С конфигурацией, описанной до сих пор, устройство 200 кодирования изображений в вариантах 1 по 3 осуществления согласно настоящему изобретению выполняет кодирование со сжатием над данными изображения.
ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ
Способ кодирования изображений в варианте 1 осуществления включает в себя: генерирование предсказанного блока посредством предсказания входного блока; вычисление остаточного блока посредством вычитания предсказанного блока из входного блока; вычисление квантованных коэффициентов посредством выполнения преобразования и квантования над остаточным блоком; вычисление кодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование кодированного во времени блока посредством добавления кодированного остаточного блока к предсказанному блоку; исполнение процесса смещения над кодированным во времени блоком; и выполнение кодирования с переменной длиной слова над квантованными коэффициентами.
Отметим, что процесс смещения относится к процессу, выполняемому, чтобы корректировать ошибку, которая вызывается квантованием при вычислении квантованных коэффициентов и включается в кодированный во времени блок. Чтобы быть более конкретными, процесс смещения исполняется, чтобы добавлять значение смещения к значению пикселя, включенного в кодированный во времени блок. Здесь, хотя каждое из значений пикселей, включенных во входной блок, не является конкретно ограниченным, последующее описание основывается на предположении, что каждое из значений пикселей выражено в формате YUV. Более того, хотя последующее описывает пример, где предсказанный блок генерируется посредством внутреннего предсказания, настоящее изобретение не ограничено этим. Предсказанный блок может генерироваться посредством, например, внешнего предсказания.
Последующее описывает конфигурацию устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 500, которое исполняет способ внутреннего предсказания в процессе смещения, исполняемом над сигналом цветности в варианте 1 осуществления. Фиг. 4 является блок-схемой, показывающей пример конфигурации устройства 500 обработки изображений в варианте 1 осуществления согласно настоящему изобретению. Следует отметить, что, как описано ниже, устройство 500 обработки изображений в варианте 1 осуществления согласно настоящему изобретению соответствует части устройства 200 кодирования изображений, которое выполняет кодирование со сжатием над сигналом изображения и выводит данные кодированного изображения.
Как показано на фиг. 4, устройство 500 обработки изображений включает в себя блок 510 генерирования внутренне-предсказанного сигнала цветности, блок 520 вычисления остаточного сигнала, блок 530 преобразования-квантования, блок 535 обратного квантования-преобразования, блок 540 генерирования кодированного во времени сигнала цветности, первый блок 550 вычисления компоненты DC, второй блок 555 вычисления компоненты DC, блок 560 вычисления значения смещения, блок 570 кодирования, и блок 580 добавления значения смещения.
Операция, выполняемая посредством устройства 500 обработки изображений в варианте 1 осуществления согласно настоящему изобретению, описывается более подробно, со ссылкой на фиг. 5. Фиг. 5 является блок-схемой последовательности операций, показывающей процесс, выполняемый посредством устройства 500 обработки изображений.
Во-первых, блок 510 генерирования внутренне-предсказанного сигнала цветности генерирует внутренне-предсказанный сигнал цветности на основе режима внутреннего предсказания, и выводит сгенерированный сигнал в блок 520 вычисления остаточного сигнала и блок 540 генерирования кодированного во времени сигнала цветности (этап S5001). Внутренне-предсказанный сигнал цветности генерируется согласно режиму внутреннего предсказания с использованием, как надлежит, кодированного сигнала яркости соседнего блока, кодированного сигнала цветности соседнего блока, и кодированного сигнала яркости текущего блока, который должен быть обработан.
Далее, блок 520 вычисления остаточного сигнала вычисляет остаточный сигнал по входному сигналу цветности и внутренне-предсказанному сигналу цветности, и выводит остаточный сигнал в блок 530 преобразования-квантования (этап S5002). Остаточный сигнал получается посредством вычисления разности между входным сигналом цветности и внутренне-предсказанным сигналом цветности.
Далее, блок 530 преобразования-квантования вычисляет квантованные коэффициенты посредством выполнения преобразования и квантования над остаточным сигналом, и выводит квантованные коэффициенты в блок 535 обратного квантования-преобразования и блок 570 кодирования (этап S5003). Вследствие квантования, значение коэффициента в частотной области, полученное посредством преобразования остаточного сигнала, аппроксимируется более грубо. Здесь, когда QP больше, выполняется более грубая аппроксимация, означая, что ошибка больше между исходным входным сигналом цветности и кодированным во времени сигналом цветности, описанным ниже по тексту.
Далее, блок 535 обратного квантования-преобразования вычисляет кодированный остаточный сигнал посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами, и выводит кодированный остаточный сигнал в блок 540 генерирования кодированного во времени сигнала цветности (этап S5004). Обратное квантование и обратное преобразование выполняются посредством процедуры, в точности противоположной процедуре на этапе S5003.
После этого, блок 540 генерирования кодированного во времени сигнала цветности генерирует кодированный во времени сигнал цветности из кодированного остаточного сигнала и внутренне-предсказанного сигнала цветности, и выводит сгенерированный сигнал во второй блок 555 вычисления компоненты DC и блок 580 добавления значения смещения (этап S5005). Кодированный во времени сигнал цветности вычисляется посредством добавления кодированного остаточного сигнала к внутренне-предсказанному сигналу цветности.
Далее, первый блок 550 вычисления компоненты DC вычисляет компоненту DC входного сигнала цветности и выводит вычисленную компоненту DC в блок 560 вычисления значения смещения (этап S5006). Здесь, компонента DC относится к среднему значению формы сигнала, и получается посредством, например, вычисления среднего значения пикселей входного сигнала (т.е. множества пикселей, включенных в текущий блок, который должен быть кодирован). Альтернативно, компонента DC, полученная посредством выполнения частотного преобразования над входным сигналом цветности, может использоваться в качестве компоненты DC входного сигнала цветности.
Затем, второй блок 555 вычисления компоненты DC вычисляет компоненту DC кодированного во времени сигнала цветности, и выводит вычисленную компоненту DC в блок 560 вычисления значения смещения (этап S5007). Здесь, компонента DC вычисляется посредством такого же способа, что и используемый на этапе S5006.
Далее, блок 560 вычисления значения смещения вычисляет значение смещения от компоненты DC входного сигнала цветности и компоненты DC кодированного во времени сигнала цветности, и выводит вычисленное значение смещения в блок 570 кодирования и блок 580 вычисления значения смещения (этап S5008). Конкретный способ вычисления значения смещения описывается позже.
Затем, блок 570 кодирования генерирует битовый поток посредством кодирования квантованных коэффициентов, режима внутреннего предсказания, и значения смещения (этап S5009).
Далее, блок 580 добавления значения смещения генерирует кодированный сигнал цветности посредством добавления значения смещения к кодированному во времени сигналу цветности (этапу S5010). Кодированный сигнал цветности, полученный посредством добавления, выполненного посредством блока 580 добавления значения смещения, сохраняется в памяти, которая не проиллюстрирована, для использования, например в более позднем процессе внутреннего предсказания.
Процесс из этапа S5001 по этап S5010, как описано, повторяется для каждого из блоков, включенных в изображение.
Здесь, описывается значение смещения. Значение смещения компоненты DC входного сигнала цветности и компоненты DC кодированного во времени сигнала цветности вычисляется например согласно Уравнению 1.
tmp_offset=average(InputC)-average(tmpRecC) Уравнение 1
Уравнение 1 показывает пример, где среднее значение пикселей сигнала цветности используется в качестве компоненты DC. Здесь, "InputC" представляет блок входного сигнала цветности, и "tmpRecC" представляет кодированный во времени сигнал цветности. Более того, "average()" представляет функцию, используемую для вычисления среднего значений сигнала входного блока. Значение смещения "tmp_offset" вычисляется с субпиксельной точностью согласно Уравнению 1, и, поэтому, кодированный сигнал цветности может восстанавливаться с высокой точностью посредством использования этого значения смещения. Однако количество бит кодированного битового потока возрастает. Таким образом, чтобы уменьшать объем информации, над значением смещения выполняется процесс квантования или процесс отсечения, как выражено посредством Уравнения 2.
offset=Clip(Disc(tmp_offset)) Уравнение 2
Здесь, "offset" представляет выходное значение блока 560 вычисления значения смещения, то есть, значение смещения, которое вычисляется с точностью целочисленных пикселей и фактически добавляется к кодированному во времени сигналу цветности. Более того, "Disc()"представляет функцию, используемую для квантования значения смещения tmp_offset, имеющего субпиксельную точность, в целое кратное параметра p1. Дополнительно, "Clip()" представляет процесс округления значения вне заданного диапазона до максимального значения или минимального значения с использованием параметра p2. Фиг. 6 показывает примеры процесса квантования и процесса отсечения, выполняемых над значением смещения.
Здесь, каждый из параметров p1 и p2 является целочисленным значением. Каждый из параметров p1 и p2 определяется согласно, например, ограничению в отношении количества бит кодированного сигнала, установке вручную на основе субъективного качества изображения кодированного изображения, соотношению с квантованными коэффициентами, и статистическим данным в отношении значения разности между входным сигналом цветности и кодированным во времени сигналом цветности.
В этой связи, ошибка между входным сигналом цветности и кодированным сигналом цветности (то есть ошибка, вызванная квантованием, = ошибка квантования) может уменьшаться. Более того, искажение цвета кодированного сигнала цветности может подавляться.
Следует отметить, что кодированный сигнал цветности может использоваться во внутреннем предсказании сигнала цветности, внутреннем предсказании сигнала яркости, межкадровом предсказании сигнала цветности, или межкадровом предсказании сигнала яркости для блока, который должен быть обработан позже. В этой связи, точность предсказания может дополнительно улучшаться, и, таким образом, может осуществляться высокая эффективность кодирования.
Следует отметить, что только один из первого блока 550 вычисления компоненты DC и второго блока 555 вычисления компоненты DC обычно может использоваться при вычислении компоненты DC входного сигнала цветности и компоненты DC кодированного во времени сигнала цветности. Это обеспечивает возможность реализовать устройство 500 обработки изображений с меньшим размером схемы.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
ВАРИАНТ 2 ОСУЩЕСТВЛЕНИЯ
Способ кодирования изображений в варианте 2 осуществления дополнительно включает в себя: определение, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием при вычислении квантованных коэффициентов. В исполнении процесса смещения, когда при упомянутом определении определяется, что требуется процесс смещения, процесс смещения исполняется над кодированным во времени блоком. Более того, в выполнении кодирования с переменной длиной слова, кодирование с переменной длиной слова выполняется над первой информацией флага.
Далее, описывается операция, выполняемая посредством устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 600 в варианте 2 осуществления согласно настоящему изобретению.
Фиг. 7 является блок-схемой, показывающей конфигурацию устройства 600 обработки изображений в варианте 2 осуществления.
Как показано на фиг. 7, устройство 600 обработки изображений включает в себя блок 610 генерирования внутренне-предсказанного сигнала цветности, блок 620 вычисления остаточного сигнала, блок 630 преобразования-квантования, блок 635 обратного квантования-преобразования, блок 640 генерирования кодированного во времени сигнала цветности, первый блок 650 вычисления компоненты DC, второй блок 655 вычисления компоненты DC, блок 660 вычисления значения смещения, блок 670 кодирования, блок 680 добавления значения смещения, и блок 690 определения смещения. Более конкретно, по сравнению с устройством 500 обработки изображений, показанным на фиг. 4, устройство 600 обработки изображений, показанное на фиг. 7, дополнительно включает в себя блок 690 определения смещения. Другие компоненты блока 600 обработки изображений являются идентичными соответствующим компонентам устройства 500 обработки изображений, и, поэтому, подробное описание этих компонентов здесь не повторяется.
Описание компонентов, которые включены в устройство 600 обработки изображений и являются идентичными соответствующим компонентам, включенным в устройство 500 обработки изображений в варианте 1 осуществления, пропускается. Таким образом, описывается блок 690 определения смещения, который является отличием между устройством 600 обработки изображений и устройством 500 обработки изображений. Чтобы быть более конкретными, в варианте 2 осуществления, для каждого блока определяется, требуется ли процесс смещения, и значение смещения вычисляется только для блока, где определяется, что процесс смещения требуется.
Далее, описывается внутреннее предсказание сигнала цветности, выполняемое устройством 600 обработки изображений. Фиг. 8 является блок-схемой последовательности операций, показывающей внутреннее предсказание сигнала цветности согласно способу кодирования изображений в варианте 2 осуществления. Подробное описание процессов, показанных на фиг. 8, которые являются идентичными соответствующим процессам, описанным в варианте 1 осуществления со ссылкой на фиг. 5, здесь не повторяется. Таким образом, главным образом описываются этапы S6006 по S6010 на фиг. 8.
На этапе S6006, блок 690 определения смещения определяет, требуется ли процесс смещения в текущем блоке, который должен быть обработан. Для этого определения, используются, например, входной сигнал цветности и входной сигнал яркости. Искажение цвета, вызванное ошибкой между входным сигналом цветности и кодированным сигналом цветности, зависит от значений сигнала цветности и сигнала яркости. Более конкретно, даже с одним и тем же значением ошибки, искажение цвета проявляется различным образом в субъективном качестве изображения согласно значениям сигнала цветности и сигнала яркости. При учете этого, определяется, что требуется процесс смещения, когда входной сигнал существует в диапазоне (в дальнейшем также может упоминаться как "диапазон A"), где искажение цвета в субъективном качестве изображения является явным в пространстве цветности и пространстве яркости.
Структура данных диапазона A может выражаться на основе максимального значения и минимального значения для каждой компоненты YUV и RGB, или на основе цветовой карты, имеющей три оси, соответствующие YUV или RGB. Более того, входной сигнал, используемый для определения, может быть, например, средними значениями входного сигнала цветности и входного сигнала яркости в текущем блоке, компонентами DC, полученными посредством частотных преобразований, выполненных над входным сигналом цветности и входным сигналом яркости, или медианными значениями входного сигнала цветности и входного сигнала яркости.
Следует отметить, что только значение в пространстве цветности может использоваться в определении в отношении того, требуется ли процесс смещения в текущем блоке. В этой связи, объем вычислений, требуемый для блока 690 определения смещения, и размер схемы могут подавляться.
Чтобы быть более конкретными, в исполнении процесса смещения, процесс смещения может исполняться избирательно над пикселем: который является одним из пикселей, включенных в кодированный во времени блок; и который соответствует пикселю, включенному во входной блок и имеющему значение, включенное в предварительно определенный диапазон, где субъективное искажение цвета является явным. Более того, в определении, когда каждое из значений всех пикселей, включенных во входной блок, находится вне предварительно определенного диапазона, может определяться, что не требуется исполнять процесс смещения над кодированным во времени блоком, который соответствует входному блоку.
Когда на этапе S6006 определяется, что требуется процесс смещения, значение смещения вычисляется на этапах S6007 по S6009 таким же образом как в варианте 1 осуществления.
С другой стороны, когда на этапе S6006 определяется, что процесс смещения не требуется, значение смещения устанавливается на значение, которому блок 670 кодирования назначает минимальное количество бит. В этой связи, информация, указывающая, требуется ли процесс смещения, не должна быть кодирована, и определение в отношении того, требуется ли процесс смещения, может осуществляться с минимальным количеством бит. Таким образом, количество бит битового потока может подавляться, и искажение цвета кодированного сигнала цветности также может подавляться. Отметим, что информация, указывающая, требуется ли процесс смещения, (т.е. первая информация флага) может включаться в битовый поток отдельно от значения смещения.
Когда на этапе S6006 определяется, что процесс смещения не требуется, информация, указывающая, требуется ли процесс смещения, (т.е. первая информация флага) может кодироваться. В этом случае, процесс добавления значения смещения на этапе S6012 не выполняется и, поэтому, увеличение в объеме вычислений может подавляться.
Следует отметить, что, на этапе S6006 то, требуется ли процесс смещения, может определяться с использованием кодированного во времени сигнала цветности. Сторона устройства декодирования также может генерировать такой же сигнал, что и кодированный во времени сигнал цветности и, таким образом, может определять, требуется ли процесс смещения. Учитывая это, первая информация флага не должна включаться в битовый поток, и только значение смещения может кодироваться только тогда, когда требует процесс смещения. Более конкретно, когда процесс смещения не требуется, информация, относящаяся к процессу смещения, не кодируется. Это может дополнительно подавлять количество бит битового потока.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
ВАРИАНТ 3 ОСУЩЕСТВЛЕНИЯ
Согласно способу кодирования изображений в варианте 3 осуществления, дополнительно исполняется следующий процесс. Более конкретно, при определении, используется ли значение смещения для ранее кодированного блока, смежного с входным блоком, или значение смещения, вновь вычисленное для кодированного во времени блока, в процессе смещения, который должен быть исполнен над кодированным во времени блоком, дополнительно определяется (т.е. определяется, должно ли значение смещения обновляться) генерировать вторую информацию флага, указывающую результат определения. В исполнении, процесс смещения исполняется над кодированным во времени блоком с использованием значения смещения, указанного второй информацией флага. В выполнении, кодирование с переменной длиной слова дополнительно выполняется над второй информацией флага, и также над новым значением смещения, когда значение смещения обновляется.
Далее, описывается операция, выполняемая посредством устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 700 в варианте 3 осуществления согласно настоящему изобретению.
Фиг. 9 является блок-схемой, показывающей конфигурацию устройства 700 обработки изображений в варианте 3 осуществления.
Как показано на фиг. 9, устройство 700 обработки изображений включает в себя блок 710 генерирования внутренне-предсказанного сигнала цветности, блок 720 вычисления остаточного сигнала, блок 730 преобразования-квантования, блок 735 обратного квантования-преобразования, блок 740 генерирования кодированного во времени сигнала цветности, первый блок 750 вычисления компоненты DC, второй блок 755 вычисления компоненты DC, блок 760 вычисления значения смещения, блок 770 кодирования, блок 780 добавления значения смещения, и блок 790 определения единицы смещения. Более конкретно, по сравнению с устройством 500 обработки изображений, показанным на фиг. 4, устройство 700 обработки изображений, показанное на фиг. 9, дополнительно включает в себя блок 790 определения единицы смещения. Другие компоненты блока 700 обработки изображений являются идентичными соответствующим компонентам устройства 500 обработки изображений, и, поэтому, подробное описание этих компонентов здесь не повторяется.
Описание компонентов, которые включены в устройство 700 обработки изображений и являются идентичными соответствующим компонентам, включенным в устройство 500 обработки изображений в варианте 1 осуществления, пропускается. Таким образом, описывается блок 790 определения единицы смещения, который является отличием между устройством 700 обработки изображений и устройством 500 обработки изображений. Устройство 700 обработки изображений в варианте 3 осуществления обеспечивает возможность выполнять процесс смещения над множеством соседних блоков с использованием одного и того же значения смещения.
Далее, описывается внутреннее предсказание сигнала цветности, выполняемое посредством устройства 700 обработки изображений. Фиг. 10 является блок-схемой последовательности операций, показывающей внутреннее предсказание сигнала цветности согласно способу кодирования изображений в варианте 3 осуществления. Подробные описания в отношении процессов, которые являются идентичными соответствующим процессам, описанным в варианте 1 осуществления со ссылкой на фиг. 5, здесь не повторяется. Таким образом, главным образом описываются этапы S7009 по S7012 на фиг. 10.
На этапе S7009, блок 790 определения единицы смещения определяет, завершено ли вычисление значения смещения для всех блоков, существующих в области, включающей в себя блоки (в дальнейшем также упоминается как "область A"). Когда вычисление значения смещения не завершено для всех блоков (Нет на S7009), устройство 700 обработки изображений сохраняет значение смещения, вычисленное на этапе S7008, и повторяет этапы S7001 по S7008. Затем, когда вычисление значения смещения завершается для всех блоков (Да на S7009), устройство 700 обработки изображений переходит на этап S7010.
Далее, на этапе S7010, блок 790 определения единицы смещения суммирует значения смещения всех блоков в области A, которые вычислены согласно этапам вплоть до S7009, чтобы определить единицу процесса смещения. Затем, блок 790 определения единицы смещения выводит результат определения в блок 770 кодирования и блок 780 добавления значения смещения.
После этого, на этапе S7011, блок 770 кодирования генерирует битовый поток посредством кодирования квантованных коэффициентов, режима внутреннего предсказания, единицы процесса смещения (второй информации флага), и значения смещения.
Далее, на этапе S7012, блок 780 добавления значения смещения добавляет значение смещения к кодированному во времени сигналу цветности, чтобы генерировать кодированный сигнал цветности. Кодированный сигнал цветности, сгенерированный посредством блока 780 добавления смещения, сохраняется в память, которая не проиллюстрирована, для использования, например в более позднем процессе внутреннего предсказания.
Здесь, в качестве примера, описывается определение единицы процесса смещения. Во-первых, формула оценки, представленная посредством Уравнения 3, вычисляется для каждого из значений смещения.
Уравнение 3
Здесь, "k" представляет значение смещения, которое должно быть оценено, "N" представляет количество блоков, существующих в области A, и "sBlk(i)" представляет размер i-ого блока в области A. Более того, "jdg1(i)" представляет функцию, используемую для определения того, равняется ли "k" значение смещения i-ого блока в области A, как выражено посредством Уравнения 4.
Уравнение 4
Здесь, "Eval(k)" представляет долю пикселей, имеющих значение смещения "k" в области A.
Далее, как выражено посредством Уравнения 5, то, является ли максимальное значение Eval(k) более большим, чем или равным заданному порогу "Th_oft", определяется с использованием функции "jdg2".
Уравнение 5
Каждая из фиг. 11A и фиг. 11B показывает пример результата, когда Th_oft=0,6. Когда jdg2=0, блок 790 определения единицы смещения определяет, что преобладающее значение смещения не существует в области A, и, таким образом, определяет, что для каждого блока процесс смещения должен выполняться с использованием отличного значения смещения, как показано на фиг. 11A. С другой стороны, когда jdg2=1, блок 790 определения единицы смещения определяет, что в области A существует преобладающее значение смещения, и, таким образом, определяет, что процесс смещения должен выполняться над всеми блоками с использованием одного и того же значения смещения, как показано на фиг. 11B.
Как результат, значения смещения области, большей, чем блок (такой как LCU), могут кодироваться посредством одной операции. Это может подавлять увеличение в количестве бит кодированного сигнала и также подавлять искажение цвета кодированного сигнала цветности.
Следует отметить, что определение единицы процесса смещения может делаться на основе сравнения с использованием функции стоимости, как выражено посредством Уравнения 6.
Уравнение 6
Здесь, "Input(i)" представляет i-й блок в области A входного сигнала, и "oftRec(i)" представляет i-ый блок в области A кодированного сигнала. Здесь, может использоваться только сигнал цветности или оба сигнал яркости и сигнал цветности. Более того, "diff(A,B)" представляет функцию, которая возвращает значение различия между блоком A и блоком B. Значение различия получается например посредством вычисления абсолютной ошибки. Дополнительно, "bit(A)" является функцией, которая возвращает количество битов, генерируемое, когда кодируется блок A. Более того, "λ" представляет весовой параметр и устанавливается в соответствии с, например, упомянутым QP.
Например, блок 790 определения единицы смещения выполняет вычисление согласно Уравнению 6 для каждого из случаев: где для всех блоков используется одно и то же значение смещения; и где для каждого из блоков используется отличное значение смещения. Затем, посредством осуществления сравнения, как выражено посредством Уравнения 7, блок 790 определения единицы смещения определяет единицу процесса смещения.
Уравнение 7
Здесь, "cost_inv" представляет значение стоимости Уравнения 6 в случае, когда для каждого из блоков используется отличное значение смещения, и "cost_all" представляет значение стоимости Уравнения 6 в случае, когда для всех блоков области A используется одно и то же значение смещения. Когда jdg3=0, блок 790 определения единицы смещения определяет, что для каждого из блоков процесс смещения должен выполняться с использованием отличного значения смещения. С другой стороны, когда jdg3=1, блок 790 определения единицы смещения определяет, что для всех блоков процесс смещения должен выполняться с использованием одного и того же значения смещения. Как результат, кодирование может выполняться, с количеством бит и внешним видом искажения цвета, находящимися в равновесии.
Следует отметить, что, как описано в варианте 2 осуществления, кодирование значения смещения может выполняться только над блоком, где требуется процесс смещения. Чтобы быть более конкретными, когда процесс смещения не требуется, значение смещения этого блока не кодируется. В этой связи, количество бит кодированного сигнала может дополнительно подавляться.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ
Фиг. 12 является блок-схемой, показывающей пример конфигурации устройства 400 декодирования изображений в вариантах 4 по 6 осуществления согласно настоящему изобретению.
Устройство 400 декодирования изображений декодирует данные кодированного изображения, сгенерированные посредством кодирования со сжатием. Например, устройство 400 декодирования изображений принимает данные кодированного изображения для каждого блока, в качестве текущего сигнала, который должен быть декодирован. Устройство 400 декодирования изображений восстанавливает данные изображения посредством выполнения декодирования с переменной длиной слова, обратного квантования, и обратного преобразования над принятым текущим сигналом, который должен быть декодирован.
Как показано на фиг. 4, устройство 400 декодирования изображений включает в себя блок 410 энтропийного декодирования, блок 420 обратного квантования-преобразования, модуль 425 сложения, фильтр 430 удаления блочности, память 440, блок 450 внутреннего предсказания, блок 460 компенсации движения, и переключатель 470 выбора внутреннего/внешнего режима.
Блок 410 энтропийного декодирования восстанавливает квантованные коэффициенты посредством выполнения декодирования с переменной длиной слова над входным сигналом (входным потоком). Здесь, входной сигнал (входной поток) является текущим сигналом, который должен быть декодирован, и соответствует данным каждого блока, включенного в данные кодированного изображения. Более того, блок 410 энтропийного декодирования получает данные движения из входного сигнала и выводит полученные данные движения в блок 460 компенсации движения.
Блок 420 обратного квантования-преобразования восстанавливает коэффициенты преобразования посредством выполнения обратного квантования над квантованными коэффициентами, восстановленными посредством блока 410 энтропийного декодирования. Затем, блок 420 обратного квантования-преобразования восстанавливает остаточную ошибку предсказания посредством выполнения обратного преобразования над восстановленными коэффициентами преобразования.
Модуль 425 сложения генерирует декодированное изображение посредством добавления остаточной ошибки предсказания, восстановленной посредством блока 420 обратного квантования-преобразования, к предсказанному сигналу, полученному от переключателя 470 выбора внутреннего/внешнего режима.
Фильтр 430 удаления блочности выполняет фильтрацию удаления блочности над декодированным изображением, сгенерированным посредством модуля 425 сложения. Декодированное изображение, над которым была выполнена фильтрация удаления блочности, выводится как декодированный сигнал.
Память 440 хранит опорное изображение, которое должно быть использовано для компенсации движения. Чтобы быть более конкретными, память 440 хранит декодированное изображение, над которым была выполнена фильтрация удаления блочности посредством фильтра 430 удаления блочности.
Блок 450 внутреннего предсказания генерирует предсказанный сигнал (внутренне-предсказанный сигнал) посредством выполнения внутреннего предсказания. Более конкретно, блок 450 внутреннего предсказания генерирует внутренне-предсказанный сигнал, посредством выполнения внутреннего предсказания со ссылкой на изображение, расположенное рядом с текущим блоком, который должен быть декодирован (входной сигнал) и является включенным в декодированное изображение, сгенерированное посредством модуля 425 сложения.
Блок 460 компенсации движения генерирует предсказанный сигнал (внешне-предсказанный сигнал) посредством выполнения компенсации движения на основе данных движения, выведенных из блока 410 энтропийного декодирования.
Переключатель 470 выбора внутреннего/внешнего режима выбирает один из внутренне-предсказанного сигнала и внешне-предсказанного сигнала, и выводит выбранный сигнал в качестве предсказанного сигнала в модуль 425 сложения.
С конфигурацией, описанной до сих пор, устройство 400 декодирования изображений в вариантах 4 по 6 осуществления согласно настоящему изобретению декодирует данные кодированного изображения, сгенерированные посредством кодирования со сжатием.
ВАРИАНТ 4 ОСУЩЕСТВЛЕНИЯ
Способ декодирования изображений в варианте 4 осуществления включает в себя: получение квантованных коэффициентов посредством выполнения декодирования с переменной длиной слова над битовым потоком; получение декодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование предсказанного блока посредством предсказания декодированного блока; генерирование декодированного во времени блока посредством добавления декодированного остаточного блока к предсказанному блоку; и генерирование декодированного блока посредством исполнения, над декодированным во времени блоком, процесса смещения для корректировки ошибки, которая вызывается квантованием и включается в декодированный во времени блок.
Последующее описывает конфигурацию устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 800, которое исполняет способ внутреннего предсказания в процессе смещения, исполняемом над сигналом цветности в варианте 4 осуществления. Фиг. 15 является блок-схемой, показывающей пример конфигурации устройства 800 обработки изображений в варианте 4 осуществления согласно настоящему изобретению. Следует отметить, что, как описано ниже, устройство 800 обработки изображений в варианте 4 осуществления согласно настоящему изобретению соответствует части устройства декодирования изображений, которое декодирует кодированный сигнал и выводит данные декодированного изображения.
Как показано на фиг. 15, устройство 800 обработки изображений включает в себя блок 810 декодирования с переменной длиной слова, блок 820 получения остаточного сигнала, блок 830 генерирования внутренне-предсказанного сигнала цветности, блок 840 генерирования декодированного во времени сигнала цветности, и блок 850 добавления значения смещения.
Операция, выполняемая посредством устройства 800 обработки изображений в варианте 4 осуществления согласно настоящему изобретению, описывается более подробно, со ссылкой на фиг. 16. Фиг. 16 является блок-схемой последовательности операций, показывающей процесс, выполняемый посредством устройства 800 обработки изображений.
Во-первых, блок 810 декодирования с переменной длиной слова получает квантованные коэффициенты, режим внутреннего предсказания, и значение смещения посредством выполнения декодирования с переменной длиной слова над битовым потоком, и выводит полученные квантованные коэффициенты, режим внутреннего предсказания, и значение смещения в блок 820 получения остаточного сигнала и блок 850 добавления значения смещения (этап S8001).
Далее, блок 820 получения остаточного сигнала получает декодированный остаточный сигнал посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами, и выводит декодированный остаточный сигнал в блок 840 генерирования декодированного во времени сигнала цветности (этап S8002). Декодированный остаточный сигнал аппроксимируется более грубо посредством квантования во время кодирования. При учете этого, когда декодированный сигнал цветности генерируется с использованием этого остаточного сигнала, вызывается ошибка по отношению к "предназначенному для кодирования" входному изображению.
Далее, блок 830 генерирования внутренне-предсказанного сигнала цветности генерирует внутренне-предсказанный сигнал цветности на основе режима внутреннего предсказания сигнала цветности, и выводит внутренне-предсказанный сигнал цветности в блок 840 генерирования декодированного во времени сигнала цветности (этап S8003). Режим внутреннего предсказания сигнала цветности указывается как номер индекса, назначенный способу генерирования внутренне-предсказанного сигнала цветности. Режим внутреннего предсказания определяется для каждого блока во внутреннем предсказании, выполняемом во время кодирования. Внутренне-предсказанный сигнал цветности генерируется с использованием, как надлежит, кодированного сигнала яркости соседнего блока, кодированного сигнала цветности соседнего блока, и кодированного сигнала яркости текущего блока, который должен быть обработан.
Далее, блок 840 генерирования декодированного во времени сигнала цветности генерирует декодированный во времени сигнал цветности из декодированного остаточного сигнала и внутренне-предсказанного сигнала цветности (этапа S8004). Декодированный во времени сигнал цветности вычисляется посредством добавления декодированного остаточного сигнала к внутренне-предсказанному сигналу цветности.
Далее, блок 850 добавления значения смещения генерирует декодированный сигнал цветности посредством добавления значения смещения к декодированному во времени сигналу цветности (этап S8006). Отметим, что значение смещения вычисляется, когда внутреннее предсказание осуществляется во время кодирования. Декодированный сигнал цветности, сгенерированный посредством блока 850 добавления значения смещения, сохраняется в память, которая не проиллюстрирована, для использования, например в более позднем процессе внутреннего предсказания.
В этой связи, ошибка между "предназначенным для кодирования" входным сигналом цветности и декодированным сигналом цветности может уменьшаться. Более того, искажение цвета декодированного сигнала цветности может подавляться.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
Фиг. 21 является диаграммой, показывающей пример, где вариант 4 осуществления согласно настоящему изобретению показан как синтаксис на основе стандарта HEVC (см. непатентную литературу 3). Когда сигнал изображения кодируется в формате YUV, значения смещения компонент U и V декодируются для каждой единицы предсказания после того, как декодируется режим внутреннего предсказания сигнала цветности.
ВАРИАНТ 5 ОСУЩЕСТВЛЕНИЯ
Способ декодирования изображений в варианте 5 осуществления дополнительно исполняет следующий процесс. Более конкретно, в выполнении декодирования с переменной длиной слова, дополнительно получается первая информация флага, указывающая, требуется ли процесс смещения. В исполнении процесса смещения, процесс смещения исполняется, когда первая информация флага указывает, что требуется процесс смещения.
Далее, описывается операция, выполняемая посредством устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 900 в варианте 5 осуществления согласно настоящему изобретению.
Фиг. 17 является блок-схемой, показывающей конфигурацию устройства 900 обработки изображений в варианте 5 осуществления.
Как показано на фиг. 17, устройство 900 обработки изображений включает в себя блок 910 декодирования с переменной длиной слова, блок 920 получения остаточного сигнала, блок 930 генерирования декодированного во времени сигнала цветности, блок 940 генерирования внутренне-предсказанного сигнала цветности, блок 950 добавления значения смещения, и блок 960 определения смещения. Более конкретно, по сравнению с устройством 800 обработки изображений, показанным на фиг. 15, устройство 900 обработки изображений, показанное на фиг. 17, дополнительно включает в себя блок 960 определения смещения. Другие компоненты блока 900 обработки изображений являются идентичными соответствующим компонентам устройства 800 обработки изображений, и, поэтому, подробное описание этих компонентов здесь не повторяется.
Описания компонентов, которые включены в устройство 900 обработки изображений и являются идентичными соответствующим компонентам, включенным в устройство 800 обработки изображений в варианте 4 осуществления, пропускается. Таким образом, описывается блок 970 определения смещения, который является отличием между устройством 900 обработки изображений и устройством 800 обработки изображений. Чтобы быть более конкретными, в варианте 5 осуществления, определяется, требуется ли процесс смещения, и процесс смещения исполняется только над блоком, где процесс смещения требуется.
Далее, описывается внутреннее предсказание сигнала цветности, выполняемое посредством устройства 900 обработки изображений. Фиг. 18 является блок-схемой последовательности операций, показывающей внутреннее предсказание сигнала цветности согласно способу кодирования изображений в варианте 5 осуществления. Подробные описания в отношении процессов, показанных на фиг. 18, которые являются идентичными соответствующим процессам, описанным в варианте 4 осуществления со ссылкой на фиг. 16, здесь не повторяется. Таким образом, главным образом описываются этапы S9005 по S9007 на фиг. 18.
На этапе S9005, блок 960 определения смещения определяет, с использованием декодированного сигнала яркости и декодированного во времени сигнала цветности текущего блока, требуется ли процесс смещения. Это определение осуществляется согласно, например, такому же способу, что используется в варианте 2 осуществления. Искажение цвета, возникающее для декодированного сигнала цветности вследствие ошибки между "предназначенным для кодирования" входным сигналом цветности и декодированным сигналом цветности, зависит от значений сигнала цветности и сигнала яркости. Более конкретно, даже с одним и тем же значением ошибки, искажение цвета проявляется различным образом в субъективном качестве изображения согласно значениям сигнала цветности и сигнала яркости. При учете этого, блок 960 определения смещения определяет, что требуется процесс смещения, когда декодированный во времени сигнал существует в некотором диапазоне (в дальнейшем также может упоминаться как "диапазон A"), где искажение цвета в субъективном качестве изображения является явным в пространстве цветности и пространстве яркости.
Структура данных диапазона A может выражаться на основе максимального значения и минимального значения для каждой компоненты YUV и RGB, или на основе цветовой карты, имеющей три оси, соответствующие YUV или RGB. Более того, входной сигнал, используемый для определения, может быть, например, средними значениями входного сигнала цветности и входного сигнала яркости в текущем блоке, компонентами DC, полученными посредством частотных преобразований, выполненных над входным сигналом цветности и входным сигналом яркости, или медианными значениями входного сигнала цветности и входного сигнала яркости.
Затем, когда на этапе S9005 определяется, что требуется процесс смещения, выполняются этапы S9006 по S9007. На этапе S9006, блок 910 декодирования с переменной длиной слова получает значение смещения посредством выполнения декодирования с переменной длиной слова над битовым потоком, и выводит полученное значение смещения в блок 950 добавления значения смещения.
Далее, на этапе S9007, блок 950 добавления значения смещения генерирует декодированный сигнал цветности посредством добавления значения смещения к декодированному во времени сигналу цветности. Декодированный сигнал цветности, сгенерированный посредством блока 950 добавления значения смещения, сохраняется в память, которая не проиллюстрирована на диаграмме, для использования например для более позднего процесса внутреннего предсказания.
С другой стороны, когда на этапе S9005 определяется, что процесс смещения не требуется, процесс смещения не выполняется. Таким образом, декодированный во времени сигнал цветности используется как декодированный сигнал цветности без изменения.
В этой связи, искажение цвета кодированного сигнала цветности может подавляться при том, что количество бит битового потока подавляется.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
Способ определения того, требуется ли процесс смещения не ограничен вышеупомянутым способом. Например, блок 960 определения смещения получает, из битового потока, первую информацию флага, указывающую, требуется ли процесс смещения. Затем, то, требуется ли процесс смещения, может определяться согласно значению, установленному в полученной первой информации флага.
ВАРИАНТ 6 ОСУЩЕСТВЛЕНИЯ
Способ декодирования изображений в варианте 6 осуществления дополнительно выполняет следующую обработку. Чтобы быть более конкретными, в получении квантованных коэффициентов и первой информации флага, дополнительно получается вторая информация флага, при этом вторая информация флага указывает, используется ли значение смещения для ранее декодированного блока, смежного с декодированным блоком, или значение смещения, вновь вычисленное для декодированного во времени блока, в процессе смещения, который должен быть исполнен над декодированным во времени блоком (т.е. при этом вторая информация флага указывает, должно ли значение смещения обновляться). В генерировании декодированного блока, процесс смещения исполняется над декодированным во времени блоком с использованием значения смещения, указанного второй информацией флага.
Далее, описывается операция, выполняемая посредством устройства обработки изображений (блока внутреннего предсказания сигнала цветности) 1000 в варианте 6 осуществления согласно настоящему изобретению.
Фиг. 19 является блок-схемой, показывающей конфигурацию устройства 1000 обработки изображений в варианте 6 осуществления.
Как показано на фиг. 19, устройство 1000 обработки изображений включает в себя блок 1010 декодирования с переменной длиной слова, блок 1020 получения остаточного сигнала, блок 1030 генерирования внутренне-предсказанного сигнала цветности, блок 1040 генерирования декодированного во времени сигнала цветности, блок 1060 добавления значения смещения, и блок 1070 получения информации единицы смещения. Более конкретно, по сравнению с устройством 800 обработки изображений, показанным на фиг. 15, устройство 1000 обработки изображений дополнительно включает в себя блок 1070 получения информации единицы смещения. Другие компоненты блока 1000 обработки изображений являются идентичными соответствующим компонентам устройства 800 обработки изображений, и, поэтому, подробное описание этих компонентов здесь не повторяется.
Описания компонентов, которые включены в устройство 1000 обработки изображений и являются идентичными соответствующим компонентам, включенным в устройство 800 обработки изображений в варианте 4 осуществления, пропускается. Таким образом, описывается блок 1070 получения информации единицы смещения, который является отличием между устройством 1000 обработки изображений и устройством 800 обработки изображений. Устройство 1000 обработки изображений в варианте 6 осуществления обеспечивает возможность выполнять процесс смещения над множеством соседних блоков с использованием одного и того же значения смещения.
Далее, описывается внутреннее предсказание сигнала цветности, выполняемое посредством устройства 1000 обработки изображений. Фиг. 20 является блок-схемой последовательности операций, показывающей внутреннее предсказание сигнала цветности согласно способу декодирования изображений в варианте 6 осуществления. Подробное описание процессов, которые являются идентичными соответствующим процессам, описанным в варианте 4 осуществления со ссылкой на фиг. 16, здесь не повторяется. Таким образом, главным образом описываются этап S10001 и этапы S10005 по S10007 на фиг. 20.
На этапе S10001, блок 1010 декодирования с переменной длиной слова получает квантованные коэффициенты, режим внутреннего предсказания, и информацию единицы смещения посредством выполнения декодирования с переменной длиной слова над битовым потоком, и выводит полученные квантованные коэффициенты, режим внутреннего предсказания, и информацию единицы смещения в блок 1020 получения остаточного сигнала, блок 1030 генерирования внутренне-предсказанного сигнала цветности, блок 1070 получения информации единицы смещения, и блок 1060 добавления значения смещения. Информация единицы смещения указывает на информацию относительно того, используется ли, в области A, включающей в себя множество блоков, одно и то же значение смещения для всех блоков или для каждого из блоков используется отличное (от других) значение смещения.
Далее, на этапе S10005, блок 1070 получения информации единицы смещения верифицирует, по информации единицы смещения, должно ли значение смещения обновляться, и выводит результат в блок 1010 декодирования с переменной длиной слова. Когда для всех блоков области A используется одно и то же значение смещения, значение смещения обновляется, только когда процесс смещения завершается для всех блоков области A. С другой стороны, когда для каждого из блоков области A используется отличное значение смещения, значение смещения обновляется для каждого из блоков.
Когда значение смещения должно обновляться, блок 1010 декодирования с переменной длиной слова получает значение смещения посредством выполнения декодирования с переменной длиной слова над битовым потоком и выводит полученное значение смещения в блок 1060 добавления значения смещения на этапе S10006. Здесь, значение смещения вычисляется, когда внутреннее предсказание осуществляется во время кодирования.
Далее, на этапе S10007, блок 1060 добавления значения смещения генерирует декодированный сигнал цветности посредством добавления значения смещения к декодированному во времени сигналу цветности.
Как результат, значения смещения области, большей, чем блок, могут кодироваться посредством одной операции. Это может подавлять увеличение в количестве бит кодированного сигнала и также подавлять искажение цвета декодированного сигнала цветности.
Следует отметить, что вышеупомянутый процесс смещения также может выполняться над сигналом яркости таким же образом. Как результат, также может получаться сигнал кодированного изображения, более близкий по яркости к входному сигналу.
Фиг. 22 является диаграммой, показывающей пример, где вариант 6 осуществления согласно настоящему изобретению показан как синтаксис на основе стандарта HEVC (см. непатентную литературу 3). Когда сигнал изображения кодируется в формате YUV, значения смещения компонент U и V декодируются для каждого дерева кодирования (группы блоков кодирования) в случае I-среза, после того, как декодируется режим внутреннего предсказания сигнала цветности.
ВАРИАНТ 7 ОСУЩЕСТВЛЕНИЯ
Обработка, описанная в каждом из вариантов осуществления, может просто осуществляться в независимой компьютерной системе, посредством записи, на носитель записи, программы для осуществления конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что программа может записываться, как, например, магнитный диск, оптический диск, магнитный оптический диск, карточка IC, и полупроводниковая память.
Ниже, будут описываться приложения для способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления, и системы, использующие их. Система имеет функционал наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе могут изменяться как надлежит в зависимости от случаев.
Фиг. 23 иллюстрирует полную конфигурацию системы ex100 обеспечения контента для осуществления услуг распространения контента. Область для предоставления услуг связи разделена на ячейки требуемого размера, и в каждой из ячеек расположены базовые станции ex106, ex107, ex108, ex109, и ex110, которые являются фиксированными беспроводными станциями.
Система ex100 обеспечения контента соединяется с устройствами, такими как компьютер ex111, персональный цифровой ассистент (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, посредством сети ex101 Интернет, поставщика услуг ex102 сети Интернет, телефонной сети ex104, также как базовых станций ex106 по ex110, соответственно.
Однако конфигурация системы ex100 обеспечения контента не ограничена конфигурацией, показанной на фиг. 23, и является приемлемой комбинация, в которой соединены любые из элементов. В дополнение, каждое устройство может напрямую соединяться с телефонной сетью ex104, нежели посредством базовых станций ex106 по ex110, которые являются фиксированными беспроводными станциями. Дополнительно, устройства могут соединяться друг с другом посредством беспроводной связи ближнего действия и других.
Камера ex113, такая как цифровая видео камера, выполнена с возможностью захвата видео. Камера ex116, такая как цифровая камера, выполнена с возможностью захвата как неподвижных изображений, так и видео. Дополнительно, сотовый телефон ex114 может быть телефоном, который удовлетворяет любым из стандартов, таким как глобальная система мобильной связи (GSM) (зарегистрированный товарный знак), множественный доступ с кодовым разделением каналов (CDMA), широкополосный многостанционный доступ с кодовым разделением каналов (W-CDMA), стандарт долгосрочного развития (LTE), и высокоскоростная пакетная передача данных (HSPA). Альтернативно, сотовый телефон ex114 может быть персональной системой Handyphone (PHS).
В системе ex100 обеспечения контента, сервер ex103 потоковой передачи соединен с камерой ex113 и другими посредством телефонной сети ex104 и базовой станции ex109, что обеспечивает возможность распространения изображений живого шоу и других. В таком распространении, контент (например, видео музыкального живого шоу), захваченный посредством использования пользователем камеры ex113, кодируется, как описано выше в каждом из вариантов осуществления (т.е. камера функционирует в качестве устройства кодирования изображений согласно одному аспекту настоящего изобретения), и кодированный контент передается в сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет распространение потока переданных данных контента к клиентам при их запросах. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114, и игровую машину ex115, которые выполнены с возможностью декодирования вышеупомянутых кодированных данных. Каждое из устройств, которые приняли распространенные данные, декодирует и воспроизводит кодированные данные (т.е. функционирует в качестве устройства декодирования изображений согласно одному аспекту настоящего изобретения).
Захваченные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, или процессы кодирования могут совместно использоваться между камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, или обработки декодирования могут разделяться между клиентами и сервером ex103 потоковой передачи. Дополнительно, данные неподвижных изображений и видео, захваченные посредством не только камеры ex113, но также камеры ex116, могут передаваться в сервер ex103 потоковой передачи посредством компьютера ex111. Процессы кодирования могут выполняться посредством камеры ex116, компьютера ex111, или сервера ex103 потоковой передачи, или разделяться среди них.
Дополнительно, процессы кодирования и декодирования могут выполняться посредством LSI ex500, в общем, включенной в каждое из компьютера ex111 и устройств. LSI ex500 может иметь конфигурацию в виде одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видео может быть интегрированным в некоторый тип носителя записи (такой как CD-ROM, гибкий диск, и жесткий диск), который может считываться посредством компьютера ex111 и других, и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Дополнительно, когда сотовый телефон ex114 оснащен камерой, могут передаваться видеоданные, полученные посредством камеры. Видеоданные является данными, кодированными посредством LSI ex500, включенной в сотовый телефон ex114.
Дополнительно, сервер ex103 потоковой передачи может состоять из серверов и компьютеров, и может децентрализировать данные и обрабатывать децентрализированные данные, записывать, или распространять данные.
Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 обеспечения контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном времени в системе ex100 обеспечения контента, так что пользователь, который не имеет какого-либо конкретного права и оборудования, может осуществлять персональное широковещание.
Помимо примера системы ex100 обеспечения контента, по меньшей мере, одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может осуществляться в системе ex200 цифрового широковещания, проиллюстрированной на фиг. 24. Более конкретно, станция ex201 широковещания осуществляет передачи или передает, посредством радиоволн в спутник ex202 широковещания, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других на видеоданные. Видеоданные являются данными, кодированными посредством способа кодирования движущихся изображений, описанного в каждом из вариантов осуществления (т.е. данными, кодированными посредством устройства кодирования изображений согласно одному аспекту настоящего изобретения). При приеме мультиплексированных данных, спутник ex202 широковещания передает радиоволны для широковещания. Затем, антенна ex204 домашнего использования с функцией приема спутникового широковещания принимает радиоволны. Далее, устройство, такое как телевизор (приемник) ex300 и приставка к телевизору (STB) ex217 декодирует принятые мультиплексированные данные, и воспроизводит декодированные данные (т.е. функционирует в качестве устройства декодирования изображений согласно одному аспекту настоящего изобретения).
Дополнительно, модуль ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы в носителе ex215 записи, и, в некоторых случаях, записывает данные, полученные посредством мультиплексирования аудиосигнала на кодированные данные. Модуль ex218 считывания/записи может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, как показано в каждом из вариантов осуществления. В этом случае, воспроизведенные видеосигналы отображаются на мониторе ex219, и могут воспроизводиться посредством другого устройства или системы с использованием носителя ex215 записи, на котором мультиплексированные данные записаны. Является также возможным осуществить устройство декодирования движущихся изображений в приставке к телевизору ex217, соединенной с кабелем ex203 для кабельного телевидения или с антенной ex204 для спутникового и/или наземного широковещания, таким образом, чтобы отображать видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования движущихся изображений может осуществляться не в приставке к телевизору, а в телевизоре ex300.
Фиг. 25 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в каждом из вариантов осуществления. Телевизор ex300 включает в себя: модуль ex301 настройки, который получает или обеспечивает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных на видеоданные, посредством антенны ex204 или кабеля ex203, и т.д., который принимает широковещание; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, подлежащие предоставлению вовне; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные, или мультиплексирует видеоданные и аудиоданные, кодированные посредством блока ex306 обработки сигналов, в данные.
Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки аудиосигнала и блок ex305 обработки видеосигнала, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, соответственно (которые функционируют в качестве устройства кодирования изображений и устройства декодирования изображений согласно аспектам настоящего изобретения); и блок ex309 вывода, включающий в себя громкоговоритель ex307, который обеспечивает декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. Дополнительно, телевизор ex300 включает в себя блок ex317 интерфейса, включающий в себя блок ex312 рабочего ввода, который принимает ввод пользовательской операции. Дополнительно, телевизор ex300 включает в себя блок ex310 управления, который в целом управляет каждым составляющим элементом телевизора ex300, и блок ex311 схемы источника питания, который предоставляет питание каждому из элементов. Другой, нежели блок ex312 рабочего ввода, блок ex317 интерфейса может включать в себя: мост ex313, который соединен с внешним устройством, таким как модуль ex218 считывания/записи; щелевой блок ex314 для обеспечения возможности присоединения носителя ex216 записи, такого как карта SD; привод ex315, подлежащий соединению с внешним носителем записи, таким как жесткий диск; и модем ex316, подлежащий соединению с телефонной сетью. Здесь, носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединены друг с другом посредством синхронной шины.
Во-первых, будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне посредством антенны ex204 и других, и воспроизводит декодированные данные. В телевизоре ex300, при пользовательской операции посредством пульта ex220 удаленного управления и других, блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные посредством блока ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающим в себя CPU. Дополнительно, блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, и блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизоре ex300. Блок ex309 вывода обеспечивает декодированный видеосигнал и аудиосигнал наружу, соответственно. Когда блок ex309 вывода обеспечивает видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319, и других, так что сигналы воспроизводятся в синхронизации друг с другом. Дополнительно, телевизор ex300 может считывать мультиплексированные данные не посредством широковещания и других, но из носителей записи ex215 и ex216, как, например, магнитный диск, оптический диск, и карта SD. Далее, будет описываться конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал, и передает данные наружу или записывает данные на носитель записи. В телевизоре ex300, при пользовательской операции посредством пульта ex220 удаленного управления и других, блок ex304 обработки аудиосигнала кодирует аудиосигнал, и блок ex305 обработки видеосигнала кодирует видеосигнал, под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированные видеосигнал и аудиосигнал, и обеспечивает результирующий сигнал наружу. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321, и других, так что сигналы воспроизводятся в синхронизации друг с другом. Здесь, буферы ex318, ex319, ex320, и ex321 могут быть множественными, как проиллюстрировано, или, по меньшей мере, в телевизоре ex300 может совместно использоваться один буфер. Дополнительно, данные могут сохраняться в буфере, так что переполнение и недостаточное заполнение в системе могут избегаться между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования, например.
Дополнительно, телевизор ex300 может включать в себя конфигурацию для приема ввода AV от микрофона или камеры, другую, нежели конфигурация для получения аудио и видео данных из широковещания или носителя записи, и может кодировать полученные данные. Хотя телевизор ex300 может кодировать, мультиплексировать, и обеспечивать внешние данные в описании, он может быть выполнен с возможностью только приема, декодирования, и обеспечения внешних данных, но не кодирования, мультиплексирования, и обеспечения внешних данных.
Дополнительно, когда модуль ex218 считывания/записи считывает или записывает мультиплексированные данные из или на носитель записи, один из телевизора ex300 и модуля ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и модуль ex218 считывания/записи могут совместно использовать декодирование или кодирование.
В качестве примера, фиг. 26 иллюстрирует конфигурацию блока ex400 записи/воспроизведения информации, когда данные считываются или записываются из или на оптический диск. Блок ex400 записи/воспроизведения информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406, и ex407, которые будут описываться ниже. Оптическая головка ex401 облучает лазерное пятно в записывающей поверхности носителя ex215 записи, который является оптическим диском, чтобы записывать информацию, и детектирует отраженный свет от записывающей поверхности носителя ex215 записи, чтобы считывать информацию. Блок ex402 записи модуляции электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует свет лазера согласно записанным данным. Блок ex403 демодулирования воспроизведения усиливает сигнал воспроизведения, полученный посредством электрического детектирования отраженного света от записывающей поверхности с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством отделения компонента сигнала, записанного на носителе ex215 записи, чтобы воспроизводить необходимую информацию. Буфер ex404 временно хранит информацию, подлежащую записи на носитель ex215 записи, и информацию, воспроизведенную из носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Блок ex406 управления сервосистемой перемещает оптическую головку ex401 на предварительно определенную информационную дорожку при управлении приводом вращения двигателя ex405 диска, таким образом, чтобы следовать за лазерным пятном. Блок ex407 управления системой управляет в целом блоком ex400 записи/воспроизведения информации. Обработки считывания и записи могут осуществляться посредством блока ex407 управления системой, использующего различную информацию, сохраненную в буфере ex404, и генерирующего и добавляющего новую информацию по мере необходимости, и посредством блока ex402 записи модуляции, блока ex403 демодулирования воспроизведения, и блока ex406 управления сервосистемой, которые записывают и воспроизводят информацию посредством оптической головки ex401, в то время как управляются координированным способом. Блок ex407 управления системой включает в себя, например, микропроцессор, и исполняет обработку посредством предписания компьютеру исполнять программу для считывания и записи.
Хотя оптическая головка ex401 облучает лазерное пятно в описании, она может выполнять запись высокой плотности с использованием света ближнего поля.
Фиг. 27 иллюстрирует носитель ex215 записи, который является оптическим диском. Над записывающей поверхностью носителя ex215 записи, спиралеобразно сформированы направляющие желобки, и информационная дорожка ex230 записывает, заранее, адресную информацию, указывающую абсолютное положение на диске согласно изменению в форме направляющих желобков. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может вести к определению положений блоков записи. Дополнительно, носитель ex215 записи включает в себя область ex233 записи данных, внутреннюю область ex232 окружности, и внешнюю область ex234 окружности. Область ex233 записи данных является областью для использования в записи пользовательских данных. Внутренняя область ex232 окружности и внешняя область ex234 окружности, которые находятся внутри и вне области ex233 записи данных, соответственно предназначены для специального использования за исключением записи пользовательских данных. Блок 400 записи/воспроизведения информации считывает и записывает кодированное аудио, кодированные видеоданные, или мультиплексированные данные, полученные посредством мультиплексирования кодированных аудио и видео данных, из и на область ex233 записи данных носителя ex215 записи.
Хотя оптический диск, имеющий слой, такой как DVD и BD, в описании описан в качестве примера, оптический диск не ограничен этим, и может быть оптическим диском, имеющим многослойную структуру и выполненным с возможностью записи на часть, другую нежели поверхность. Дополнительно, оптический диск может иметь структуру для многомерной записи/воспроизведения, такой как запись информации с использованием света цветов с разными длинами волн в одной и той же части оптического диска и для записи информации, имеющей разные слои для различных углов.
Дополнительно, автомобиль ex210, имеющий антенну ex205, может принимать данные от спутника ex202 и других, и воспроизводить видео на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в системе ex200 цифрового широковещания. Здесь, конфигурация автомобильной навигационной системы ex211 является конфигурацией, например, включающей в себя принимающий блок GPS из конфигурации, проиллюстрированной на фиг. 25. То же является верным для конфигурации компьютера ex111, сотового телефона ex114, и других.
Фиг. 28A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; блок ex365 камеры, выполненный с возможностью захвата движущихся и неподвижных изображений; и блок ex358 отображения, такой как жидкокристаллический дисплей, для отображения данных, таких как декодированное видео, захваченное посредством блока ex365 камеры или принятое посредством антенны ex350. Сотовый телефон ex114 дополнительно включает в себя: блок основного корпуса, включающий в себя блок ex366 рабочих клавиш; блок ex357 вывода аудио, такой как громкоговоритель для вывода аудио; блок ex356 ввода аудио, такой как микрофон для ввода аудио; блок памяти ex367 для хранения, захваченного видео или неподвижных снимков, записанного аудио, кодированных или декодированных данных принятого видео, неподвижных снимков, сообщений электронной почты, или других; и щелевой блок ex364, который является блоком интерфейса для носителя записи, который хранит данные таким же способом как блок памяти ex367.
Далее, со ссылкой на фиг. 28B будет описываться пример конфигурации сотового телефона ex114. В сотовом телефоне ex114, основной блок ex360 управления, предназначенный, чтобы управлять в целом каждым блоком основного корпуса, включающего в себя блок ex358 отображения, также как блок ex366 рабочих клавиш, подсоединен взаимно, посредством синхронной шины ex370, к блоку ex361 схемы источника питания, блоку ex362 управления рабочим вводом, блоку ex355 обработки видеосигнала, блоку ex363 интерфейса камеры, блоку ex359 управления жидкокристаллическим дисплеем (LCD), блоку ex352 модуляции/демодуляции, блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки аудиосигнала, щелевому блоку ex364, и блоку ex367 памяти.
Когда клавиша окончания вызова или клавиша включения питания приводится в действие посредством операции пользователя, блок ex361 схемы источника питания обеспечивает соответствующие блоки питанием от блока аккумуляторов так, чтобы активировать сотовый телефон ex114.
В сотовом телефоне ex114, блок ex354 обработки аудиосигнала преобразует аудиосигналы, собранные посредством блока ex356 ввода аудио в режиме речевого диалога, в цифровые аудиосигналы под управлением основного блока ex360 управления, включающего в себя CPU, ROM, и RAM. Затем, блок ex352 модуляции/демодуляции выполняет обработку расширенного спектра над цифровыми аудиосигналами, и блок ex351 передачи и приема выполняет цифроаналоговое преобразование и частотное преобразование над данными, так, чтобы передавать результирующие данные посредством антенны ex350. Также, в сотовом телефоне ex114, блок ex351 передачи и приема усиливает данные, принятые посредством антенны ex350 в режиме речевого диалога, и выполняет частотное преобразование и аналого-цифровое преобразование над данными. Затем, блок ex352 модуляции/демодуляции выполняет обратную обработку расширенного спектра над данными, и блок ex354 обработки аудиосигнала преобразует их в аналоговые аудиосигналы, так, чтобы выводить их посредством блока ex357 вывода аудио.
Дополнительно, когда передается сообщение электронной почты в режиме передачи данных, текстовые данные сообщения электронной почты, введенные посредством использования блока ex366 рабочих клавиш и других основного корпуса, посылаются в основной блок ex360 управления посредством блока ex362 управления рабочим вводом. Основной блок ex360 управления предписывает блоку ex352 модуляции/демодуляции выполнять обработку расширенного спектра над текстовыми данными, и блок ex351 передачи и приема выполняет цифроаналоговое преобразование и частотное преобразование над результирующими данными, чтобы передавать данные в базовую станцию ex110 посредством антенны ex350. Когда принимается сообщение электронной почты, обработка, которая является приблизительно обратной к обработке для передачи сообщения электронной почты, выполняется над принятыми данными, и результирующие данные обеспечиваются в блок ex358 отображения.
Когда видео, неподвижные изображения, или видео и аудио в режиме передачи данных передается или передаются, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, обеспеченные из блока ex365 камеры, с использованием способа кодирования движущихся изображений, показанного в каждом из вариантов осуществления (т.е. функционирует в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и передает кодированные видеоданные в блок ex353 мультиплексирования/демультиплексирования. В противоположность, в течение процесса, когда блок ex365 камеры захватывает видео, неподвижные изображения, и другие, блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные посредством блока ex356 ввода аудио, и передает кодированные аудиоданные в блок ex353 мультиплексирования/демультиплексирования.
Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, обеспеченные из блока ex355 обработки видеосигнала, и кодированные аудиоданные, обеспеченные из блока ex354 обработки аудиосигнала, с использованием предварительно определенного способа. Затем, блок модуляции/демодуляции (блок схемы модуляции/демодуляции) ex352 выполняет обработку расширенного спектра над мультиплексированными данными, и блок ex351 передачи и приема выполняет цифроаналоговое преобразование и частотное преобразование над данными так, чтобы передавать результирующие данные посредством антенны ex350.
При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме сообщения электронной почты с прикрепленным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые посредством антенны ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в битовый поток видеоданных и битовый поток аудиоданных, и обеспечивает блок ex355 обработки видеосигнала кодированными видеоданными и блок ex354 обработки аудиосигнала кодированными аудиоданными, через синхронную шину ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, показанному в каждом из вариантов осуществления (т.е. функционирует в качестве устройства декодирования изображений согласно аспекту настоящего изобретения), и затем блок ex358 отображения отображает, например, видео и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока ex359 управления LCD. Дополнительно, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 вывода аудио обеспечивает аудио.
Дополнительно, аналогично телевизору ex300, терминал, такой как сотовый телефон ex114, вероятно имеет 3 типа конфигураций осуществления, включающих в себя не только (i) терминал передачи и приема, включающий в себя как устройство кодирования, так и устройство декодирования, но также (ii) терминал передачи, включающий в себя только устройство кодирования, и (iii) терминал приема, включающий в себя только устройство декодирования. Хотя система ex200 цифрового широковещания принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных на видеоданные в описании, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, но символьных данных, относящихся к видео, на видеоданные, и могут быть не мультиплексированными данными, но самими видеоданными.
Как таковые, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления могут использоваться в любом из описанных устройств и систем. Таким образом, могут получаться преимущества, описанные в каждом из вариантов осуществления.
Дополнительно, настоящее изобретение не ограничено вариантами осуществления, и различные модификации и переработки являются возможными без отхода от объема настоящего изобретения.
ВАРИАНТ 8 ОСУЩЕСТВЛЕНИЯ
Видеоданные могут генерироваться посредством переключения, по мере необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с другим стандартом, таким как MPEG-2, MPEG-4 AVC, и VC-1.
Здесь, когда множество видеоданных, которые соответствуют разным стандартам, генерируется и затем декодируется, способы декодирования должны выбираться, чтобы соответствовать разным стандартам. Однако, так как то, какому стандарту каждые из множества видеоданных, которые должны быть декодированы, соответствуют, не может детектироваться, имеется проблема, что соответствующий способ декодирования не может выбираться.
Чтобы решить упомянутую проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других на видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую то, какому стандарту видеоданные соответствуют. Ниже будет описываться конкретная структура мультиплексированных данных, включающих в себя видеоданные, сгенерированные в способе кодирования движущихся изображений и посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG-2.
Фиг. 29 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 29, мультиплексированные данные могут получаться посредством мультиплексирования, по меньшей мере, одного из видеопотока, аудиопотока, потока графики представления (PG), и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток (IG) представляет часть первичного аудио и часть вторичного аудио, подлежащую смешиванию с частью первичного аудио, и поток графики представления представляет субтитры фильма. Здесь, первичное видео является нормальным видео, подлежащим отображению на экране, и вторичное видео является видео, подлежащим отображению в более маленьком окне в первичном видео. Дополнительно, поток интерактивной графики представляет интерактивный экран, подлежащий генерированию посредством расположения компонентов GUI на экране. Видеопоток кодируется в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления, или в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений в соответствии с общепринятым стандартом, таким как MPEG-2, MPEG-4 AVC, и VC-1. Аудиопоток кодируется в соответствии со стандартом, таким как Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, и линейным PCM.
Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0x1011 назначается видеопотоку, подлежащему использованию для видео из фильма, 0x1100 по 0x111F назначаются аудиопотокам, 0x1200 по 0x121F назначаются потокам графики представления, 0x1400 по 0x141F назначаются потокам интерактивной графики, 0x1B00 по 0x1B1F назначаются видеопотокам, которые должны быть использованы для вторичного видео фильма, и 0x1A00 по 0x1A1F назначаются аудиопотокам, которые должны быть использованы для вторичного аудио, которое должно быть смешано с первичным аудио.
Фиг. 30 схематически иллюстрирует то, как данные мультиплексируются. Во-первых, видеопоток ex235, скомпонованный из видеокадров, и аудиопоток ex238, скомпонованный из аудиокадров, преобразуются в поток пакетов ex236 PES и поток пакетов ex239 PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS, соответственно. Аналогично, данные потока ex241 графики представления и данные потока ex244 интерактивной графики преобразуются в поток пакетов ex242 PES и поток пакетов ex245 PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS, соответственно. Эти пакеты TS мультиплексируются в поток, чтобы получать мультиплексированные данные ex247.
Фиг. 31 более подробно иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 31 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как показано посредством стрелок, обозначенных как yy1, yy2, yy3, и yy4 на фиг. 31, видеопоток разделен на снимки как I снимки, B снимки, и P снимки каждый, из которых является единицей представления видео, и снимки сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит временную метку представления (PTS), указывающую время отображения снимка, и временную метку декодирования (DTS), указывающую время декодирования снимка.
Фиг. 32 иллюстрирует формат пакетов TS, подлежащих окончательной записи в мультиплексированные данные. Каждый из пакетов TS является 188-байтовым пакетом фиксированной длины, включающим в себя 4-байтовый заголовок TS, имеющий информацию, такую как PID, для идентификации потока, и 184-байтовую полезную нагрузку TS для хранения данных. Пакеты PES разделяются, и сохраняются в полезных нагрузках TS, соответственно. Когда используется BD ROM, каждому из пакетов TS задается 4-байтовый дополнительный заголовок TP (TP_Extra_Header), таким образом, давая результатом 192-байтовые исходные пакеты. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, такую как временная метка прибытия (Arrival_Time_Stamp) (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS должен передаваться в фильтр PID. Исходные пакеты располагаются в мультиплексированных данных, как показано внизу на фиг. 32. Числа, возрастающие с головной части мультиплексированных данных, называются номерами исходных пакетов (SPN).
Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и других, но также таблицу ассоциации программы (PAT), таблицу соответствия программы (PMT), и эталон тактового сигнала программы (PCR). PAT показывает то, какой PID в PMT, используемой в мультиплексированных данных, показывается, и PID из PAT сам регистрируется как нуль. PMT хранит идентификаторы PID потоков видео, аудио, субтитров и других, включенных в мультиплексированные данные, и атрибутную информацию потоков, соответствующих идентификаторов PID. PMT также имеет различные описатели, относящиеся к мультиплексированным данным. Описатели имеют информацию, такую как информация управления копированием, показывающая, разрешается ли копирование мультиплексированных данных или нет. PCR хранит информацию времени STC, соответствующую ATS, показывающей, когда пакет PCR передан в декодер, чтобы достигать синхронизации между тактовым сигналом времени прибытия (ATC), который является осью времени меток ATS, и тактовым сигналом системного времени (STC), который является осью времени меток PTS и меток DTS.
Фиг. 33 подробно иллюстрирует структуру данных PMT. Заголовок PMT размещается на вершине PMT. Заголовок PMT описывает длину данных, включенных в PMT и другие. Множество описателей, относящихся к мультиплексированным данным, размещается после заголовка PMT. Информация, такая как информация управления копированием, описывается в описателях. После описателей, размещается множество частей информации потока, относящейся к потокам, включенным в мультиплексированные данные. Каждая часть информации потока включает в себя описатели потоков, каждый описывает информацию, такую как тип потока для идентификации кодека сжатия потока, PID потока, и атрибутную информацию потока (такую как скорость кадров или соотношение геометрических размеров). Описатели потоков равны в количестве количеству потоков в мультиплексированных данных.
Когда мультиплексированные данные записываются на носитель записи и другие, они записываются вместе с файлами информации мультиплексированных данных.
Каждый из файлов информации мультиплексированных данных является информацией управления мультиплексированных данных, как показано на фиг. 34. Файлы информации мультиплексированных данных находятся в соответствии один к одному с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, атрибутную информацию потока, и соответствие элементов.
Как проиллюстрировано на фиг. 34, информация мультиплексированных данных включает в себя скорость системы, время начала воспроизведения, и время окончания воспроизведения. Скорость системы показывает максимальную скорость передачи, на которой целевой декодер системы, подлежащий описанию позже, передает мультиплексированные данные в фильтр PID. Интервалы меток ATS, включенные в мультиплексированные данные, устанавливаются на не более, чем скорость системы. Время начала воспроизведения показывает PTS в видеокадре в головной части мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается на время окончания воспроизведения.
Как показано на фиг. 35, часть информации атрибутов регистрируется в информации атрибутов потока, для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая часть информации атрибутов имеет разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком графики представления, или потоком интерактивной графики. Каждая часть информации атрибутов видеопотока переносит информацию, включающую в себя то, какой тип кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение геометрических размеров и скорость кадров частей данных снимка, которые включены в видеопоток. Каждая часть информации атрибутов аудиопотока переносит информацию, включающую в себя то, какой тип кодека сжатия используется для сжатия аудиопотока, сколько каналов включено в аудиопоток, какой язык аудиопоток поддерживает, и насколько высокой является частота дискретизации. Атрибутная информация видеопотока и атрибутная информация аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.
В настоящем варианте осуществления, мультиплексированные данные, подлежащие использованию, являются типом потока, включенным в PMT. Дополнительно, когда мультиплексированные данные записываются на носитель записи, используется атрибутная информация видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанные в каждом из вариантов осуществления, включает в себя этап или блок для назначения однозначной информации, показывающей видеоданные, сгенерированные посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, типу потока, включенному в PMT или атрибутную информацию видеопотока. С упомянутой конфигурацией, видеоданные, сгенерированные посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, могут различаться от видеоданных, которые соответствуют другому стандарту.
Дополнительно, фиг. 36 иллюстрирует этапы способа декодирования движущихся изображений согласно настоящему варианту осуществления. На этапе exS100, тип потока, включенный в PMT, или атрибутная информация видеопотока, включенная в информацию мультиплексированных данных, получается из мультиплексированных данных. Далее, на этапе exS101, определяется, показывает ли тип потока или атрибутная информация видеопотока, что мультиплексированные данные генерируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления. Когда определяется, что тип потока или атрибутная информация видеопотока показывает, что мультиплексированные данные генерируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, на этапе exS102, декодирование выполняется посредством способа декодирования движущихся изображений в каждом из вариантов осуществления. Дополнительно, когда тип потока или атрибутная информация видеопотока показывает соответствие с общепринятыми стандартами, такими как MPEG-2, MPEG-4 AVC, и VC-1, на этапе exS103, декодирование выполняется посредством способа декодирования движущихся изображений в соответствии с общепринятыми стандартами.
Как таковое, назначение нового однозначного значения типу потока или информации атрибутов видеопотока обеспечивает возможность определения того, может ли способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описаны в каждом из вариантов осуществления, выполнять декодирование. Даже, когда вводятся мультиплексированные данные, которые соответствуют другому стандарту, может выбираться соответствующий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Дополнительно, способ кодирования движущихся изображений или устройство, или способ декодирования движущихся изображений или устройство в настоящем варианте осуществления может использоваться в устройствах и системах, описанных выше.
ВАРИАНТ 9 ОСУЩЕСТВЛЕНИЯ
Каждое из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений, и устройства декодирования движущихся изображений в каждом из вариантов осуществления обычно достигается в форме интегральной схемы или крупномасштабной интегрированной (LSI) схемы. В качестве примера LSI, фиг. 37 иллюстрирует конфигурацию LSI ex500, которая осуществлена в одном чипе. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, и ex509, подлежащие описанию ниже, и элементы соединены друг с другом посредством шины ex510. Блок ex505 схемы источника питания активируется посредством обеспечения каждого из элементов питанием, когда блок ex505 схемы источника питания включается.
Например, когда выполняется кодирование, LSI ex500 принимает сигнал AV от микрофона ex117, камеры ex113, и других посредством AV IO ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, и блок ex512 управления частотой возбуждения. Принятый сигнал AV временно сохраняется во внешней памяти ex511, такой как SDRAM. Под управлением блока ex501 управления, сохраненные данные сегментируются в порции данных согласно объему обработки и скорости, подлежащей передаче в блок ex507 обработки сигналов. Затем, блок ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. Здесь, кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Дополнительно, блок ex507 обработки сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и IO ex506 потока обеспечивает мультиплексированные данные наружу. Обеспеченные мультиплексированные данные передаются в базовую станцию ex107, или записываются на носитель ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508 таким образом, чтобы наборы данных синхронизировались друг с другом.
Хотя память ex511 является элементом, находящимся вне LSI ex500, она может включаться в LSI ex500. Буфер ex508 не ограничен одним буфером, но может состоять из буферов. Дополнительно, LSI ex500 может осуществляться в одной микросхеме или множестве микросхем.
Дополнительно, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 управления частотой возбуждения, конфигурация блока ex501 управления не ограничена этим. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок ex507 обработки сигналов может улучшать скорость обработки. Дополнительно, в качестве другого примера, CPU ex502 может служить в качестве или быть частью блока ex507 обработки сигналов, и, например, может включать в себя блок обработки аудиосигнала. В таком случае, блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.
Название, используемое здесь - это LSI, но она также может называться IC, системная LSI, супер LSI, или ультра LSI в зависимости от степени интеграции.
Более того, способы для достижения интеграции, не ограничены LSI, и специальная схема или процессор общего назначения и так далее могут также достигать интеграции. Для такой же цели может использоваться программируемая пользователем вентильная матрица (FPGA), которая может программироваться после производства схем LSI, или процессор с перестраиваемой конфигурацией, который обеспечивает возможность переконфигурирования соединения или конфигурации LSI.
В будущем, с достижениями в полупроводниковой технологии, совершенно новая технология может заменить LSI. Функциональные блоки могут интегрироваться с использованием такой технологии. Возможность состоит в том, что настоящее изобретение применяется к биотехнологии.
ВАРИАНТ 10 ОСУЩЕСТВЛЕНИЯ
Когда видеоданные, сгенерированные в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, декодируются, по сравнению со случаем, когда декодируются видеоданные, которые соответствуют общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1, объем обработки вероятно увеличивается. Таким образом, LSI ex500 должна устанавливаться на частоту возбуждения более высокую, чем частота CPU ex502, подлежащего использованию, когда видеоданные декодируются в соответствии с общепринятым стандартом. Однако, когда частота возбуждения устанавливается выше, имеется проблема, что потребление мощности увеличивается.
Чтобы решить упомянутую проблему, устройство декодирования движущихся изображений, такое как телевизор ex300 и LSI ex500, конфигурируется с возможностью определять, какому стандарту соответствуют видеоданные, и переключаться между частотами возбуждения согласно определенному стандарту. Фиг. 38 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения, когда видеоданные генерируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, блок ex803 переключения частоты возбуждения инструктирует блок ex801 обработки декодирования, который исполняет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют общепринятому стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем частота возбуждения видеоданных, сгенерированных посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем, блок ex803 переключения частоты возбуждения инструктирует блок ex802 обработки декодирования, который соответствует общепринятому стандарту, декодировать видеоданные.
Более конкретно, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 управления частотой возбуждения на фиг. 37. Здесь, каждый из блока ex801 обработки декодирования, который исполняет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и блока ex802 обработки декодирования, который соответствует общепринятому стандарту, соответствует блоку ex507 обработки сигналов на фиг. 37. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем, блок ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Дополнительно, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в варианте 8 осуществления, вероятно используется для идентификации видеоданных. Идентификационная информация не ограничена информацией, описанной в варианте 8 осуществления, но может быть любой информацией при условии, что информация показывает, какому стандарту соответствуют видеоданные. Например, когда то, какому стандарту соответствуют видеоданные, может определяться на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска, и т.д., определение может делаться на основе такого внешнего сигнала. Дополнительно, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения, как показано на фиг. 40. Частота возбуждения может выбираться посредством хранения таблицы поиска в буфере ex508 и во внутренней памяти LSI, и со ссылкой на таблицу поиска посредством CPU ex502.
Фиг. 39 иллюстрирует этапы для исполнения способа в настоящем варианте осуществления. Во-первых, на этапе exS200, блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее, на этапе exS201, CPU ex502 определяет то, генерируются ли видеоданные посредством способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления, на основе идентификационной информации. Когда видеоданные генерируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для установки частоты возбуждения на более высокую частоту возбуждения в блок ex512 управления частотой возбуждения. Затем, блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения. С другой стороны, когда идентификационная информация показывает, что видеоданные соответствуют общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1, на этапе exS203, CPU ex502 передает сигнал для установки частоты возбуждения на более низкую частоту возбуждения в блок ex512 управления частотой возбуждения. Затем, блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем частота возбуждения в случае, когда видеоданные генерируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления.
Дополнительно, вместе с переключением частот возбуждения, эффект экономии энергопотребления может улучшаться посредством изменения напряжения, подлежащего применению к LSI ex500 или устройству, включающему в себя LSI ex500. Например, когда частота возбуждения устанавливается низкой, напряжение, подлежащее применению к LSI ex500 или устройству, включающему в себя LSI ex500, вероятно устанавливается на напряжение, более низкое, чем, напряжение в случае, когда частота возбуждения устанавливается выше.
Дополнительно, когда объем обработки для декодирования является более большим, частота возбуждения может устанавливаться более высокой, и когда объем обработки для декодирования является более маленьким, частота возбуждения может устанавливаться более низкой как способ для установки частоты возбуждения. Таким образом, способ установки не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC является более большим, чем объем обработки для декодирования видеоданных, сгенерированных посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, частота возбуждения вероятно устанавливается в обратном порядке на установку, описанную выше.
Дополнительно, способ для установки частоты возбуждения не ограничен способом для установки более низкой частоты возбуждения. Например, когда идентификационная информация показывает, что видеоданные генерируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, напряжение, подлежащее применению к LSI ex500 или устройству, включающему в себя LSI ex500, вероятно устанавливается более высоким. Когда идентификационная информация показывает, что видеоданные соответствуют общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1, напряжение, подлежащее применению к LSI ex500 или устройству, включающему в себя LSI ex500, вероятно устанавливается более низким. В качестве другого примера, когда идентификационная информация показывает, что видеоданные генерируется посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, управление CPU ex502 вероятно не должно приостанавливаться. Когда идентификационная информация показывает, что видеоданные соответствуют общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1, управление CPU ex502 вероятно приостанавливается в заданный момент времени, так как CPU ex502 имеет дополнительную емкость обработки. Даже когда идентификационная информация показывает, что видеоданные генерируется посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, в случае, когда CPU ex502 имеет дополнительную емкость обработки, управление CPU ex502 вероятно приостанавливается в заданный момент времени. В таком случае, время приостановки вероятно устанавливается более коротким, чем время в случае, когда идентификационная информация показывает, что видеоданные соответствуют общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1.
Соответственно, эффект экономии энергопотребления может улучшаться посредством переключения между частотами возбуждения в соответствии со стандартом, которому видеоданные соответствуют. Дополнительно, когда LSI ex500 или устройство, включающее в себя LSI ex500, управляется с использованием аккумулятора, жизнь аккумулятора может увеличиваться с помощью эффекта экономии энергопотребления.
ВАРИАНТ 11 ОСУЩЕСТВЛЕНИЯ
Имеются случаи, когда множество видеоданных, которые соответствуют разным стандартам, обеспечиваются в устройства и системы, такие как телевизор и сотовый телефон. Чтобы обеспечивать возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов из LSI ex500 должен соответствовать разным стандартам. Однако проблемы увеличения в масштабе схемы LSI ex500 и увеличения в стоимости возникают с индивидуальным использованием блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.
Чтобы решить проблему, то, что предполагается - это конфигурация, в которой блок обработки декодирования для осуществления способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, и блок обработки декодирования, который соответствует общепринятому стандарту, такому как MPEG-2, MPEG-4 AVC, и VC-1, частично совместно используются. Ex900 на фиг. 41A показывает пример конфигурации. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который соответствует MPEG-4 AVC, имеют, частично в общем, детали обработки, такие как энтропийное кодирование, обратное квантование, фильтрация удаления блочности, и предсказание с компенсацией движения. Детали обработки, подлежащей совместному использованию, вероятно включают в себя использование блока ex902 обработки декодирования, который соответствует MPEG-4 AVC. В противоположность, выделенный блок ex901 обработки декодирования вероятно используется для другой обработки, уникальной для одного аспекта настоящего изобретения. Так как аспект настоящего изобретения характеризуется обратным квантованием в частности, например, выделенный блок ex901 обработки декодирования используется для обратного квантования. Иначе, блок обработки декодирования вероятно совместно используется для одного из энтропийного декодирования, фильтрации удаления блочности, и компенсации движения, или всех из обработок. Блок обработки декодирования для осуществления способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, может совместно использоваться для обработки, подлежащей совместному использованию, и выделенный блок обработки декодирования может использоваться для обработки, уникальной для обработки MPEG-4 AVC.
Дополнительно, ex1000 на фиг. 41B показывает другой пример, в котором обработка частично совместно используется. Этот пример использует конфигурацию, включающую в себя выделенный блок ex1001 обработки декодирования, который поддерживает обработку, уникальную для одного аспекта настоящего изобретения, выделенный блок ex1002 обработки декодирования, который поддерживает обработку, уникальную для другого общепринятого стандарта, и блок ex1003 обработки декодирования, который поддерживает обработку, подлежащую совместному использованию между способом декодирования движущихся изображений согласно аспекту настоящего изобретения и стандартным способом декодирования движущихся изображений. Здесь, выделенные блоки ex1001 и ex1002 обработки декодирования не являются необходимо специализированными для обработки согласно аспекту настоящего изобретения и обработки общепринятого стандарта, соответственно, и могут быть блоками с возможность осуществления общей обработки. Дополнительно, конфигурация настоящего варианта осуществления может осуществляться посредством LSI ex500.
Как таковые, уменьшение масштаба схемы LSI и уменьшение стоимости являются возможными посредством совместного использования блока обработки декодирования для обработки, подлежащей совместному использованию между способом декодирования движущихся изображений согласно аспекту настоящего изобретения и способом декодирования движущихся изображений в соответствии с общепринятым стандартом.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Способ кодирования изображений и способ декодирования изображений согласно настоящему изобретению могут использоваться для различных целей. Например, настоящее изобретение может использоваться для устройства отображения изображения высокого разрешения и устройства съема изображения высокого разрешения, такого как телевизор, модуль записи цифрового видео, автомобильная навигационная система, сотовый телефон, цифровая камера, и цифровая видео камера.
СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ
100, 300 Блок внутреннего предсказания сигнала цветности
110, 330, 510, 610, 710, 830, 940, 1030 блок генерирования внутренне-предсказанного сигнала цветности
120, 520, 620, 720 Блок вычисления остаточного сигнала
130, 210, 530, 630, 730 Блок преобразования-квантования
135, 230, 535, 635, 735 Блок обратного квантования-преобразования
140 Блок генерирования кодированного сигнала
150, 570, 670, 770 Блок кодирования
200 Устройство кодирования изображений
205 Модуль вычитания
220 Блок энтропийного кодирования
235, 425 Модуль сложения
240, 430 Фильтр удаления блочности
250, 440 Память
260, 450 Блок внутреннего предсказания
270 Блок оценки движения
280, 460 Блок компенсации движения
290, 470 Переключатель выбора внутреннего/внешнего режима
310, 810, 910, 1010 Блок декодирования с переменной длиной слова
320, 820, 920, 1020 Блок получения остаточного сигнала
340 Блок генерирования декодированного сигнала цветности
400 Устройство декодирования изображений
410 Блок энтропийного декодирования
500, 600, 700, 800, 900, 1000 Устройство обработки изображений
540, 640, 740 Блок генерирования кодированного во времени сигнала цветности
550, 650, 750 Первый блок вычисления компоненты DC
555, 655, 755 Второй блок вычисления компоненты DC
560, 660, 760 Блок вычисления значения смещения
580, 680, 780, 850, 950, 1060 Блок добавления значения смещения
690, 960 Блок определения смещения
790 Блок определения единицы смещения
840, 930, 1040 Блок генерирования декодированного во времени сигнала цветности
1070 Блок получения информации единицы смещения.
Изобретение относится к области кодирования изображений. Техническим результатом является повышение качества изображения при кодировании и декодировании изображения. Способ кодирования изображений включает в себя: генерирование предсказанного блока; вычисление остаточного блока; вычисление квантованных коэффициентов посредством выполнения преобразования и квантования над остаточным блоком; вычисление кодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами; генерирование кодированного во времени блока; определение того, требуется ли процесс смещения, чтобы генерировать первую информацию флага, указывающую результат определения; исполнение процесса смещения над кодированным во времени блоком, когда определяется, что требуется процесс смещения; и выполнение кодирования с переменной длиной слова над квантованными коэффициентами и первой информацией флага. 5 н.п., 8 з.п. ф-лы, 44 ил.
1. Способ кодирования изображений для кодирования входного блока, включенного в изображение, при этом способ кодирования изображений содержит:
генерирование предсказанного блока посредством предсказания входного блока;
вычисление остаточного блока посредством вычитания предсказанного блока из входного блока;
вычисление квантованных коэффициентов посредством выполнения преобразования и квантования над остаточным блоком;
вычисление кодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами;
генерирование кодированного во времени блока посредством добавления кодированного остаточного блока к предсказанному блоку;
определение, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием при вычислении квантованных коэффициентов;
исполнение процесса смещения над кодированным во времени блоком, когда при упомянутом определении определяется, что требуется процесс смещения; и
выполнение кодирования с переменной длиной слова над квантованными коэффициентами и первой информацией флага.
2. Способ кодирования изображений по п.1,
в котором процесс смещения исполняется, чтобы добавлять значение смещения к значению пикселя, включенного в кодированный во времени блок,
при определении, используется ли значение смещения для ранее кодированного блока, смежного с входным блоком, или значение смещения, вновь вычисленное для кодированного во времени блока, в процессе смещения, который должен быть исполнен над кодированным во времени блоком, дополнительно определяется генерировать вторую информацию флага, указывающую результат определения,
при исполнении, процесс смещения исполняется над кодированным во времени блоком с использованием значения смещения, указанного второй информацией флага, и
при выполнении, кодирование с переменной длиной слова дополнительно выполняется над второй информацией флага.
3. Способ кодирования изображений по п.1, в котором, при исполнении, процесс смещения исполняется избирательно над пикселем, (i) который является одним из пикселей, включенных в кодированный во времени блок и (ii) который соответствует пикселю, включенному во входной блок и имеющему значение, включенное в предварительно определенный диапазон, где субъективное искажение цвета является явным.
4. Способ кодирования изображений по п.3,
в котором, при определении, когда каждое из значений всех пикселей, включенных во входной блок, находится вне предварительно определенного диапазона, определяется, что не требуется исполнять процесс смещения над кодированным во времени блоком, который соответствует входному блоку.
5. Способ кодирования изображений по п.1,
в котором каждое из значений пикселей, включенных во входной блок, выражается в формате YUV.
6. Способ кодирования изображений по любому из пп. 1 - 5,
в котором способ кодирования изображений (i) осуществляет переключение между процессом кодирования на основе первого стандарта и процессом кодирования на основе второго стандарта, (ii) выполняет определение, исполнение, и выполнение, как процесс кодирования на основе первого стандарта, и (iii) кодирует идентификатор, указывающий стандарт процесса кодирования.
7. Способ декодирования изображений для декодирования битового потока, чтобы генерировать декодированный блок, при этом способ декодирования изображений содержит:
получение квантованных коэффициентов и первой информации флага, которая указывает, требуется ли процесс смещения, посредством выполнения декодирования с переменной длиной слова над битовым потоком;
получение декодированного остаточного блока посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами;
генерирование предсказанного блока посредством предсказания декодированного блока;
генерирование декодированного во времени блока посредством добавления декодированного остаточного блока к предсказанному блоку; и
генерирование декодированного блока посредством исполнения, над декодированным во времени блоком, процесса смещения для корректировки ошибки, которая вызывается квантованием и включается в декодированный во времени блок, когда первая информация флага указывает, что требуется процесс смещения.
8. Способ декодирования изображений по п.7,
в котором процесс смещения исполняется, чтобы добавлять значение смещения к значению пикселя, включенного в декодированный во времени блок,
при получении квантованных коэффициентов и первой информации флага, дополнительно получается вторая информация флага, при этом вторая информация флага указывает, используется ли значение смещения для ранее декодированного блока, смежного с декодированным блоком, или значение смещения, вновь вычисленное для декодированного во времени блока, в процессе смещения, который должен быть исполнен над декодированным во времени блоком, и
при генерировании декодированного блока, процесс смещения исполняется над декодированным во времени блоком с использованием значения смещения, указанного второй информацией флага.
9. Способ декодирования изображений по п.7, в котором каждое из значений пикселей, включенных в декодированный блок, выражается в формате YUV.
10. Способ декодирования изображений по любому из пп. 7 - 9,
в котором способ декодирования изображений (i) осуществляет переключение между процессом декодирования на основе первого стандарта и процессом декодирования на основе второго стандарта, согласно идентификатору, который включен в битовый поток и указывает первый стандарт или второй стандарт, и (ii) выполняет, как процесс декодирования на основе первого стандарта, выполнение и исполнение, когда идентификатор указывает первый стандарт.
11. Устройство кодирования изображений, которое кодирует входной блок, включенный в изображение, при этом устройство кодирования изображений содержит:
блок предсказания, сконфигурированный с возможностью генерировать предсказанный блок посредством предсказания входного блока;
блок вычисления, сконфигурированный с возможностью вычислять остаточный блок посредством вычитания предсказанного блока из входного блока;
блок преобразования-квантования, сконфигурированный с возможностью вычислять квантованные коэффициенты посредством выполнения преобразования и квантования над остаточным блоком;
блок обратного квантования-преобразования, сконфигурированный с возможностью вычислять кодированный остаточный блок посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами;
блок генерирования, сконфигурированный с возможностью генерировать кодированный во времени блок посредством добавления кодированного остаточного блока к предсказанному блоку;
блок определения, сконфигурированный с возможностью определять, требуется ли процесс смещения для корректировки ошибки, включенной в кодированный во времени блок, чтобы генерировать первую информацию флага, указывающую результат определения, при этом ошибка вызывается квантованием, выполняемым посредством блока преобразования-квантования;
блок обработки смещения, сконфигурированный с возможностью исполнять процесс смещения над кодированным во времени блоком, когда посредством блока определения определяется, что требуется процесс смещения; и
блок кодирования с переменной длиной слова, сконфигурированный с возможностью выполнять кодирование с переменной длиной слова над квантованными коэффициентами и первой информацией флага.
12. Устройство декодирования изображений, которое декодирует битовый поток, чтобы генерировать декодированный блок, при этом устройство декодирования изображений содержит:
блок декодирования с переменной длиной слова, сконфигурированный с возможностью получать квантованные коэффициенты и первую информацию флага, которая указывает, требуется ли процесс смещения, посредством выполнения декодирования с переменной длиной слова над битовым потоком;
блок получения, сконфигурированный с возможностью получать декодированный остаточный блок посредством выполнения обратного квантования и обратного преобразования над квантованными коэффициентами;
блок предсказания, сконфигурированный с возможностью генерировать предсказанный блок посредством предсказания декодированного блока;
блок генерирования, сконфигурированный с возможностью генерировать декодированный во времени блок посредством добавления декодированного остаточного блока к предсказанному блоку; и
блок обработки смещения, сконфигурированный с возможностью генерировать декодированный блок посредством исполнения, над декодированным во времени блоком, процесса смещения для корректировки ошибки, которая вызывается квантованием и включается в декодированный во времени блок, когда первая информация флага указывает, что требуется процесс смещения.
13. Устройство кодирования-декодирования изображений, содержащее:
устройство кодирования изображений по п.11; и
устройство декодирования изображений по п.12.
| US5495298 A, 27.02.1996 | |||
| US20090238275 A1, 24.09.2009 | |||
| US20100208829 A1, 19.08.2010 | |||
| RU2009102652 A, 10.08.2010. |
