СПОСОБ ДЕКОДИРОВАНИЯ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ, СПОСОБ КОДИРОВАНИЯ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ДВИЖУЩЕГОСЯ ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК H04N19/105 

ОБЛАСТЬ ТЕХНИКИ

[0001]

Настоящее изобретение относится к способам кодирования движущегося изображения, способам декодирования движущегося изображения, устройствам кодирования движущегося изображения, устройствам декодирования движущегося изображения и устройствам кодирования и декодирования движущегося изображения, и в частности, к способу кодирования движущегося изображения и способу декодирования движущегося изображения, использующим внутреннее предсказание изображения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002]

Современные схемы кодирования движущегося изображения, например H.263, MPEG-4 AVC/H.264 и высокоэффективное кодирование видеосигнала (HEVC) следующего поколения используют внутреннее (intra) предсказание изображения и внешнее (inter) предсказание изображения. Во внутреннем предсказании изображения (в дальнейшем называемом внутренним предсказанием) значения выборок целевой единицы кодирования предсказываются из ранее кодированных выборок в одном и том же изображении. В отличие от этого, во внешнем предсказании изображения (в дальнейшем называемом внешним предсказанием) значения выборок целевой единицы кодирования в изображении предсказываются из выборок ранее кодированных других изображений.

[0003]

Здесь во время обработки декодирования движущегося изображения могут генерироваться ошибки из-за ряда факторов, например потерь при передаче или несовместимой реализации декодирования. Когда используется внешнее предсказание, такая ошибка также распространяется на последующие изображения и может накапливаться со временем. Кроме того, внутреннее предсказание имеет склонность подвергаться влиянию качества эталонных (опорных) выборок. Таким образом, когда ошибочные значения выборок используются в качестве эталонных выборок для внутреннего предсказания, качество изображения значительно падает.

[0004]

Традиционные методики для решения такого падения качества из-за ошибочного внутреннего предсказания включают в себя схему ограниченного внутреннего предсказания, используемую в H.264. Эта схема позволяет использовать только выборки с внутренним предсказанием в качестве эталонных выборок для внутреннего предсказания и запрещает определенные способы внутреннего предсказания, когда эталонные выборки не являются выборками с внутренним предсказанием (см. Непатентную литературу (NPL) 1).

СПИСОК ИСТОЧНИКОВ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0005]

[NPL 1] ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0006]

Здесь схема кодирования движущегося изображения в виде HEVC следующего поколения использует единицы кодирования переменной длины с множеством размеров. При этой схеме для каждой единицы кодирования можно индивидуально задать, использовать ли внутреннее предсказание либо внешнее предсказание. Соответственно, HEVC может повысить эффективность кодирования.

[0007]

Однако такие случаи, в которых используются единицы кодирования переменной длины, не допускаются при схеме ограниченного внутреннего предсказания в традиционных методиках, эффективность кодирования может быть недостаточной в таких случаях, в которых используются единицы кодирования переменной длины.

[0008]

В связи с этим цель настоящего изобретения - предоставить способ кодирования движущегося изображения, способ декодирования движущегося изображения, устройство кодирования движущегося изображения, устройство декодирования движущегося изображения и устройство кодирования и декодирования движущегося изображения, которые дают возможность повышения эффективности кодирования.

РЕШЕНИЕ ПРОБЛЕМЫ

[0009]

Чтобы достичь вышеупомянутой цели, способ декодирования движущегося изображения в соответствии с особенностью настоящего изобретения включает в себя: анализ кодированного битового потока движущегося изображения, чтобы получить разностные данные целевого блока среди множества блоков двух или более размеров; выполнение внутреннего предсказания над целевым блоком, чтобы вычислить значения предсказанных выборок целевого блока; и вычисление восстановленных выборок целевого блока путем суммирования разностных данных и значений предсказанных выборок, где при выполнении внутреннего предсказания определяется допустимость каждой из эталонных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда эталонные выборки включают в себя допустимую эталонную выборку и недопустимую эталонную выборку, внутреннее предсказание выполняется с использованием допустимой эталонной выборки, и эталонная выборка с внутренним предсказанием определяется в качестве допустимой эталонной выборки, а эталонная выборка с внешним предсказанием определяется в качестве недопустимой эталонной выборки.

[0010]

В соответствии с этим с помощью способа декодирования движущегося изображения в соответствии с особенностью настоящего изобретения, когда эталонные выборки, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, включают в себя и допустимую эталонную выборку и недопустимую эталонную выборку, внутреннее предсказание может выполняться с использованием допустимой эталонной выборки. Соответственно, с помощью способа декодирования движущегося изображения может использоваться больше допустимых эталонных выборок, посредством этого предоставляя возможность повышения эффективности кодирования.

[0011]

К тому же при анализе кодированный битовый поток движущегося изображения может дополнительно анализироваться для определения способа внутреннего предсказания, и выполнение внутреннего предсказания может дополнительно включать в себя: вычисление дополнительной выборки с использованием одной или более допустимых эталонных выборок, включающих в себя допустимую эталонную выборку, при этом дополнительная выборка является эталонной выборкой в местоположении недопустимой эталонной выборки; и вычисление предсказанных выборок целевого блока в соответствии со способом внутреннего предсказания, используя допустимую эталонную выборку и дополнительную выборку.

[0012]

В соответствии с этим с помощью способа декодирования движущегося изображения в соответствии с особенностью настоящего изобретения выборка в недопустимом местоположении эталонной выборки может генерироваться с использованием допустимых эталонных выборок. Соответственно, с помощью способа декодирования движущегося изображения может использоваться больше допустимых эталонных выборок, посредством этого предоставляя возможность повышения эффективности кодирования.

[0013]

Более того, вычисление дополнительной выборки может включать в себя: выбор одной из допустимых эталонных выборок в качестве отобранной выборки; и определение значения отобранной выборки в качестве значения дополнительной выборки.

[0014]

Более того, выбор может включать в себя: идентификацию в качестве начального местоположения эталонной выборки, местоположения допустимой эталонной выборки, найденного первым при поиске в направлении, начинающемся от местоположения нижней левой эталонной выборки и заканчивающемся в местоположении верхней правой эталонной выборки, среди местоположений всех эталонных выборок; определение, располагается ли недопустимая эталонная выборка до или после начального местоположения эталонной выборки в порядке выборок, который является таким же, как порядок выборок при поиске; выбор выборки в начальном местоположении эталонной выборки в качестве отобранной выборки, когда недопустимая эталонная выборка располагается до начального местоположения выборки; и выбор допустимой эталонной выборки в качестве отобранной выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, когда недопустимая эталонная выборка располагается после начального местоположения выборки, причем допустимая эталонная выборка располагается до и ближе всего к местоположению недопустимой эталонной выборки.

[0015]

Более того, вычисление дополнительной выборки может включать в себя: выбор допустимых эталонных выборок в качестве множества отобранных выборок; вычисление множества масштабных значений путем умножения значения каждой из отобранных выборок на предопределенный масштабный коэффициент; вычисление первого значения общей суммы, которое является общей суммой масштабных значений; вычисление второго значения общей суммы, которое является суммой первого значения общей суммы и предопределенного значения смещения; и вычисление значения дополнительной выборки путем сдвига второго значения общей суммы в сторону младших разрядов на предопределенное значение шага сдвига.

[0016]

Кроме того, внутреннее предсказание может быть внутренним DC-предсказанием.

[0017]

В соответствии с этим с помощью способа декодирования движущегося изображения в соответствии с особенностью настоящего изобретения при внутреннем DC-предсказании может использоваться больше допустимых эталонных выборок, посредством этого предоставляя возможность повышения эффективности кодирования.

[0018]

Кроме того, выполнение внутреннего предсказания может включать в себя: выбор каждой из одной или более допустимых эталонных выборок, включающих в себя допустимую эталонную выборку, в качестве отобранной выборки; задание количества отобранных выборок; выбор масштабного коэффициента, значения смещения и значения шага сдвига с использованием справочной таблицы в соответствии с количеством отобранных выборок; вычисление первого значения общей суммы, которое является общей суммой значений отобранных выборок; вычисление масштабного значения путем умножения первого значения общей суммы на выбранный масштабный коэффициент; вычисление второго значения общей суммы, которое является суммой выбранного значения смещения и масштабного значения; и формирование каждого значения всех предсказанных выборок целевого блока путем сдвига второго значения общей суммы в сторону младших разрядов на выбранное значение шага сдвига.

[0019]

К тому же выполнение внутреннего предсказания может дополнительно включать в себя выполнение внутреннего предсказания в случае, в котором предопределенное значение определяется как каждое значение всех предсказанных выборок целевого блока.

[0020]

При анализе можно дополнительно получить информацию выбора, кодированную в заголовке кодированного битового потока движущегося изображения, при этом информация выбора может указывать одно из (1) схемы ограниченного внутреннего предсказания, которая является внутренним предсказанием, и (2) схемы неограниченного внутреннего предсказания для выполнения внутреннего предсказания с использованием всех эталонных выборок без определения допустимости каждой из эталонных выборок, и при выполнении внутреннего предсказания внутреннее предсказание может выполняться с использованием одной из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания, указанной информацией выбора.

[0021]

В соответствии с этим с помощью способа декодирования движущегося изображения в соответствии с особенностью настоящего изобретения на основе информации выбора можно узнать, какая из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания используется.

[0022]

При выполнении внутреннего предсказания эталонная выборка вне целевого изображения может определяться как недопустимая эталонная выборка.

[0023]

Кроме того, при выполнении внутреннего предсказания эталонная выборка, которая не включается в ту же единицу разделения изображения, что и целевой блок, может определяться как недопустимая эталонная выборка.

[0024]

Единицей разделения изображения может быть срез.

[0025]

Единицей разделения изображения может быть облегченный срез.

[0026]

Единицей разделения изображения может быть фрагмент.

[0027]

Единицей разделения изображения может быть единица волновой параллельной обработки (WPP).

[0028]

Кроме того, способ кодирования движущегося изображения в соответствии с особенностью настоящего изобретения включает в себя: разделение исходного изображения на множество блоков двух или более размеров; выполнение внутреннего предсказания над целевым блоком среди блоков для вычисления значений предсказанных выборок; вычисление разностных данных, которые представляют разность между исходным изображением в целевом блоке и значениями предсказанных выборок; и кодирование разностных данных для генерирования кодированного битового потока движущегося изображения, где при выполнении внутреннего предсказания определяется допустимость каждой из эталонных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда эталонные выборки включают в себя допустимую эталонную выборку и недопустимую эталонную выборку, внутреннее предсказание выполняется с использованием допустимой эталонной выборки, и эталонная выборка с внутренним предсказанием определяется в качестве допустимой эталонной выборки, а эталонная выборка с внешним предсказанием определяется в качестве недопустимой эталонной выборки.

[0029]

В соответствии с этим с помощью способа кодирования движущегося изображения в соответствии с особенностью настоящего изобретения, когда эталонные выборки, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, включают в себя допустимую эталонную выборку и недопустимую эталонную выборку, внутреннее предсказание может выполняться с использованием допустимой эталонной выборки. Соответственно, с помощью способа кодирования движущегося изображения может использоваться больше допустимых эталонных выборок, посредством этого предоставляя возможность повышения эффективности кодирования.

[0030]

Следует отметить, что настоящее изобретение можно реализовать не только как такой способ кодирования движущегося изображения и такой способ декодирования движущегося изображения, но также и как устройство кодирования движущегося изображения или устройство декодирования движущегося изображения, которое использует в качестве средства характерные этапы, включенные в способ кодирования движущегося изображения или способ декодирования движущегося изображения. Кроме того, настоящее изобретение также можно реализовать как устройство кодирования и декодирования движущегося изображения, включающее в себя такое устройство кодирования движущегося изображения и такое устройство декодирования движущегося изображения.

[0031]

Кроме того, настоящее изобретение также можно реализовать как программу для побуждения компьютера исполнить характерные этапы, включенные в способ кодирования движущегося изображения или способ декодирования движущегося изображения. Совершенно очевидно, что такая программа может распространяться посредством носителя записи, такого как CD-ROM, и передающей среды, такой как Интернет.

[0032]

Кроме того, настоящее изобретение можно реализовать как полупроводниковую интегральную схему (LSI), которая реализует часть или все функции такого устройства кодирования движущегося изображения или устройства декодирования движущегося изображения, или различных устройств либо системы, включающих в себя такое устройство кодирования движущегося изображения или устройство декодирования движущегося изображения.

ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

[0033]

Как описано выше, настоящее изобретение может предоставить способ кодирования движущегося изображения, способ декодирования движущегося изображения, устройство кодирования движущегося изображения, устройство декодирования движущегося изображения и устройство кодирования и декодирования движущегося изображения, которые дают возможность повышения эффективности кодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0034]

Фиг. 1 показывает пример внутреннего предсказания из соседних эталонных выборок, когда блоки имеют одинаковый размер.

Фиг. 2 показывает пример внутреннего предсказания из соседних эталонных выборок, когда блоки имеют разные размеры.

Фиг. 3 - блок-схема последовательности операций, показывающая обработку по кодированию движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 4A показывает пример местоположения сигнала, который указывает результат выбора между схемой неограниченного внутреннего предсказания и схемой ограниченного внутреннего предсказания в потоке сжатого движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 4B показывает пример местоположения сигнала, который указывает результат выбора между схемой неограниченного внутреннего предсказания и схемой ограниченного внутреннего предсказания в потоке сжатого движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 4C показывает пример местоположения сигнала, который указывает результат выбора между схемой неограниченного внутреннего предсказания и схемой ограниченного внутреннего предсказания в потоке сжатого движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 4D показывает пример местоположения сигнала, который указывает результат выбора между схемой неограниченного внутреннего предсказания и схемой ограниченного внутреннего предсказания в потоке сжатого движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 5 - блок-схема последовательности операций, показывающая обработку по кодированию движущегося изображения с использованием схемы ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 6 - блок-схема последовательности операций, показывающая обработку по кодированию движущегося изображения с использованием схемы ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 7 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 8 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения с использованием схемы ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 9 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения с использованием схемы ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 10 - блок-схема, показывающая пример устройства кодирования движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 11 - блок-схема, показывающая пример первого блока кодирования, который использует схему ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 12 - блок-схема, показывающая пример устройства декодирования движущегося изображения в Варианте 1 осуществления настоящего изобретения.

Фиг. 13 - блок-схема, показывающая пример первого блока декодирования, который использует схему ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения.

Фиг. 14 - блок-схема последовательности операций, показывающая обработку по кодированию движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 15A - схема, показывающая пример местоположения сигнала, который указывает результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания в потоке сжатого движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 15B - схема, показывающая пример местоположения сигнала, который указывает результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания в потоке сжатого движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 15C - схема, показывающая пример местоположения сигнала, который указывает результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания в потоке сжатого движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 15D - схема, показывающая пример местоположения сигнала, который указывает результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания в потоке сжатого движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 16 - блок-схема последовательности операций, показывающая обработку по кодированию движущегося изображения с использованием схемы избирательного внутреннего DC-предсказания в Варианте 2 осуществления настоящего изобретения.

Фиг. 17 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 18 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения с использованием схемы избирательного внутреннего DC-предсказания в Варианте 2 осуществления настоящего изобретения.

Фиг. 19 - блок-схема, показывающая пример устройства кодирования движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 20 - блок-схема, показывающая пример первого блока кодирования, который использует схему избирательного внутреннего DC-предсказания в Варианте 2 осуществления настоящего изобретения.

Фиг. 21 - блок-схема, показывающая пример устройства декодирования движущегося изображения в Варианте 2 осуществления настоящего изобретения.

Фиг. 22 - блок-схема, показывающая пример первого блока декодирования, который использует схему избирательного внутреннего DC-предсказания в Варианте 2 осуществления настоящего изобретения.

Фиг. 23 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 24 показывает общую конфигурацию системы цифрового вещания.

Фиг. 25 показывает блок-схему, иллюстрирующую пример конфигурации телевизора.

Фиг. 26 показывает блок-схему, иллюстрирующую пример конфигурации блока воспроизведения/записи информации, который считывает и записывает информацию с носителя записи и на него, который является оптическим диском.

Фиг. 27 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 28A показывает пример сотового телефона.

Фиг. 28B - блок-схема, показывающая пример конфигурации сотового телефона.

Фиг. 29 иллюстрирует структуру мультиплексированных данных.

Фиг. 30 схематически показывает, как каждый поток мультиплексируется в мультиплексированные данные.

Фиг. 31 показывает подробнее, как видеопоток сохраняется в потоке пакетов PES.

Фиг. 32 показывает структуру пакетов TS и исходных пакетов в мультиплексированных данных.

Фиг. 33 показывает структуру данных PMT.

Фиг. 34 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 35 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 36 показывает этапы для идентификации видеоданных.

Фиг. 37 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущегося изображения и способа декодирования движущегося изображения в соответствии с каждым из Вариантов осуществления.

Фиг. 38 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 39 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 40 показывает пример справочной таблицы, в которой стандарты видеоданных связаны с частотами возбуждения.

Фиг. 41A - схема, показывающая пример конфигурации для совместного использования модуля блока обработки сигналов.

Фиг. 41B - схема, показывающая другой пример конфигурации для совместного использования модуля блока обработки сигналов.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0035]

Сначала идет описание проблемы, которая возникает, когда обработка, использующая схему ограниченного внутреннего предсказания, выполняется с использованием единиц кодирования переменной длины с множеством размеров.

[0036]

Фиг. 1 показывает пример обработки, использующей схему ограниченного внутреннего предсказания на целевом блоке кодирования 8×8, когда единицы кодирования переменной длины одинаковы. На чертеже блоки с внешним предсказанием заштрихованы по диагонали. В частности, верхний и верхний правый соседние блоки кодируются с использованием внешнего предсказания, тогда как левый и верхний левый соседние блоки кодируются с использованием внутреннего предсказания. Эталонные выборки, используемые для выполнения внутреннего предсказания, показаны небольшими прямоугольниками.

[0037]

Когда в этом примере используется схема ограниченного внутреннего предсказания, среди всех девяти возможных способов внутреннего предсказания (в спецификации H.264 называемых режимами внутреннего предсказания) для внутреннего предсказания 8×8 разрешено использовать три способа внутреннего предсказания, а именно Intra_8×8_Horizontal, Intra_8×8_DC и Intra_8×8_Horizontal_Up, тогда как оставшиеся способы внутреннего предсказания в пяти направлениях использовать не разрешено.

[0038]

Кроме того, схема кодирования движущегося изображения в виде HEVC следующего поколения использует множество единиц кодирования переменной длины, например двумерные целевые блоки кодирования 4×4, 8×8, 16×16, 32×32 и 64×64. При этой схеме для каждой единицы кодирования можно индивидуально задать, использовать внутреннее предсказание либо внешнее предсказание. Соответственно, эффективность кодирования HEVC повышается. Кроме того, для справки сообщается, что такое гибкое разделение единиц кодирования является выгодным по сравнению с традиционной технологией.

[0039]

Здесь возникает проблема недостаточной эффективности кодирования, когда схема ограниченного внутреннего предсказания применяется к схеме кодирования движущегося изображения, в которой используются единицы кодирования переменной длины, которые включают в себя эталонные выборки с внутренним предсказанием и с внешним предсказанием.

[0040]

Фиг. 2 показывает пример обработки, использующей схему ограниченного внутреннего предсказания, когда используются единицы кодирования переменной длины с разными размерами. В этом примере целевым блоком кодирования является блок 16×16. Верхние правые соседние блоки A и B имеют внутреннее предсказание, верхний соседний блок C имеет внешнее предсказание, верхние соседние блоки D и E имеют внутреннее предсказание, верхний левый соседний блок F имеет внешнее предсказание, левый соседний блок G имеет внутреннее предсказание, нижний левый соседний блок J имеет внутреннее предсказание, и нижние левые соседние блоки H и I имеют внешнее предсказание.

[0041]

В частности, как показано на фиг. 1, когда размер блока является неизменным, целевой блок всегда имеет один соседний блок в одном направлении (нижний левый, левый, верхний или верхний правый). С другой стороны, как показано на фиг. 2, когда размер блока является переменным, целевой блок может иметь множество соседних блоков в одном направлении. Кроме того, разные типы предсказания могут использоваться для этих блоков. Как и в этом случае, когда по меньшей мере один из блоков, соседних в одном направлении, имеет внешнее предсказание, нельзя использовать способ внутреннего предсказания, использующий эталонные выборки в одном направлении, в схеме ограниченного внутреннего предсказания. Это служит причиной случая, в котором, хотя присутствует допустимая эталонная выборка с внутренним предсказанием, допустимую эталонную выборку использовать нельзя.

[0042]

В частности, разнонаправленное внутреннее предсказание в HEVC поддерживает выбор различных способов внутреннего предсказания, использующих одну или несколько соседних эталонных выборок (указанных на чертеже небольшими прямоугольниками). Здесь, когда применяется схема ограниченного внутреннего предсказания традиционной методики H.264, нельзя использовать все способы внутреннего предсказания за исключением одного способа, который использует верхние и верхние правые эталонные выборки, из-за того, что блок C имеет внешнее предсказание.

[0043]

Кроме того, способ внутреннего DC-предсказания разрешен в соответствии со схемой ограниченного внутреннего предсказания H.264; однако все эталонные выборки из верхних соседних блоков не используются из-за наличия выборок с внутренним предсказанием и эталонных выборок с внешним предсказанием. Таким образом, значение выборки с внутренним DC-предсказанием вычисляется с использованием только эталонных выборок из левого соседнего блока. Соответственно, традиционные методики для решения падения качества из-за ошибочного внутреннего предсказания не приводят к оптимальной эффективности кодирования при наличии эталонных выборок с внутренним предсказанием и с внешним предсказанием.

[0044]

В отличие от этого в вариантах осуществления настоящего изобретения предлагаются новые способы для выполнения эластичного внутреннего (ограниченно-внутреннего) предсказания. В вариантах осуществления максимально увеличивается использование надежных эталонных выборок при выполнении внутреннего предсказания. Кроме того, последняя схема кодирования видеосигнала, например схема кодирования движущегося изображения в виде HEVC следующего поколения, использует сочетание схемы разнонаправленного внутреннего предсказания и единиц кодирования переменной длины. Варианты осуществления описывают средство для выполнения внутреннего предсказания с повышенной устойчивостью к ошибкам для таких схем кодирования движущегося изображения.

[0045]

С помощью способа кодирования движущегося изображения в соответствии с вариантами осуществления настоящего изобретения сложность вычисления поддерживается на одном уровне наряду с получением эффекта устойчивости к ошибкам, и также может выполняться эластичное внутреннее предсказание с оптимальной эффективностью. Соответственно, способ кодирования движущегося изображения может повысить эффективность кодирования.

[0046]

Нижеследующее является подробным описанием вариантов осуществления настоящего изобретения с использованием чертежей. Следует отметить, что все описанные ниже варианты осуществления показывают предпочтительные конкретные примеры настоящего изобретения. Численные значения, формы, материалы, составляющие элементы, положения размещения и конфигурация соединений составляющих элементов, этапы, порядок этапов и т.п., показанные в нижеследующих вариантах осуществления, являются всего лишь примерами и не предназначены для ограничения настоящего изобретения. Настоящее изобретение ограничивается только прилагаемой формулой изобретения. Поэтому среди составляющих элементов в нижеследующих вариантах осуществления составляющие элементы, которые не описываются в независимых пунктах формулы изобретения, которые показывают самую важную идею настоящего изобретения, описываются как элементы, составляющие более предпочтительные конфигурации, хотя такие составляющие элементы не обязательно необходимы для достижения цели настоящего изобретения.

[0047]

Варианты осуществления настоящего изобретения описывают способ кодирования движущегося изображения и способ декодирования движущегося изображения, использующие ограниченное внутреннее предсказание, в которых внутреннее предсказание изображения выполняется с использованием только выборок с внутренним предсказанием.

[0048]

Следует отметить, что по всему этому описанию изобретения термин "местоположение доступной выборки" обозначает случай, где физически присутствует выборка изображения. В одном возможном варианте осуществления настоящего изобретения выборка изображения определяется как недоступная, когда выборка располагается вне границ изображения; в противном случае выборка определяется как доступная.

[0049]

В другом возможном варианте осуществления настоящего изобретения выборка изображения определяется как недоступная, когда выборка располагается вне границ изображения или располагается в единице разделения изображения, отличной от целевой единицы разделения изображения; в противном случае выборка определяется как доступная. Термин "целевая единица разделения изображения" обозначает единицу разделения изображения, включающую в себя блок или выборку, которые должны быть кодированы или декодированы.

[0050]

Кроме того, единицей разделения изображения является, например, срез. Следует отметить, что эта единица разделения изображения может быть энтропийным срезом, облегченным срезом, фрагментом или единицей волновой параллельной обработки (WPP) в HEVC.

[0051]

Энтропийный срез и облегченный срез являются срезами, содержащими меньше информации, которая должна быть обновлена, по сравнению с традиционным срезом. В частности, при традиционных срезах всю информацию заголовка, называемую "заголовком среза", нужно обновлять для каждого среза. С другой стороны, при облегченных срезах учитывается устранение зависимости от результата обработанного непосредственно предшествующего блока, и уменьшается информация, которая должна быть обновлена.

[0052]

Фрагмент является единицей, которая представляет целевую область, указывающую порядок кодирования. В рамках этой единицы обработка выполняется для каждой единицы кодирования (LCU) в соответствии с определенным заранее порядком обработки (например, растровое сканирование).

[0053]

WPP является целевой единицей, указывающей, что зависимость порядка кодирования изменяется. Например, традиционный способ обработки в зависимости от результата обработанного непосредственно предшествующего блока можно заменить способом, использующим только результат обработки верхнего правого обработанного блока. Соответственно, можно реализовать параллельную обработку.

[0054]

Вариант 1 осуществления

Вариант 1 осуществления настоящего изобретения описывает схему ограниченного внутреннего предсказания для выполнения обработки с внутренним предсказанием, используя значения эталонных выборок. В этой схеме сначала определяется допустимость каждого местоположения эталонной выборки. Затем значение дополнительной выборки, то есть значение эталонной выборки в недопустимом местоположении эталонной выборки, вычисляется с использованием значения эталонной выборки в допустимом местоположении эталонной выборки. После этого выполняется обработка с внутренним предсказанием, используя значение допустимой эталонной выборки и значение дополнительной выборки. В варианте осуществления настоящего изобретения, когда эталонные выборки не имеют внутреннего предсказания, выборка определяется как недопустимая; в противном случае выборка определяется как допустимая. Кроме того, в варианте осуществления настоящего изобретения, когда эталонная выборка не имеет внутреннего предсказания или недоступна, выборка определяется как недопустимая; в противном случае выборка определяется как допустимая.

[0055]

Следует отметить, что нижеследующее также описывает допустимую эталонную выборку как допустимую выборку, ее значение как значение допустимой выборки, и ее местоположение как местоположение допустимой выборки. Аналогичным образом нижеследующее также описывает недопустимую эталонную выборку как недопустимую выборку, ее значение как значение недопустимой выборки и ее местоположение как местоположение недопустимой выборки.

[0056]

В этом описании изобретения термин "схема неограниченного внутреннего предсказания" используется, когда ссылаются на схему внутреннего предсказания в соответствии с традиционной методикой, которая использует значение эталонной выборки в доступном местоположении эталонной выборки без определения прежде всего допустимости доступного местоположения эталонной выборки, по сравнению со схемой ограниченного внутреннего предсказания. В частности, схема неограниченного внутреннего предсказания является схемой для выполнения внутреннего предсказания с использованием значений эталонных выборок во всех доступных местоположениях эталонных выборок независимо от того, является эталонная выборка допустимой (с внутренним предсказанием) либо недопустимой (без внутреннего предсказания).

[0057]

Фиг. 3 показывает блок-схему последовательности операций для описания обработки кодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения.

[0058]

Сначала на этапе S101 одна из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания выбирается в качестве схемы внутреннего предсказания.

[0059]

Далее на этапе S102 целевое исходное изображение разделяется на один или более блоков кодирования. Примером блока кодирования является двумерный блок, включающий в себя 32×32 выборки исходного изображения. Дополнительно на этом этапе S102 исходное изображение разделяется на множество блоков кодирования двух или более размеров.

[0060]

Далее на этапе S103 генерируется кодированный битовый поток движущегося изображения путем кодирования полученных блоков кодирования. Дополнительно на этапе S103, когда целевой блок кодируется с использованием типа внутреннего предсказания, используется схема внутреннего предсказания, выбранная на этапе S101.

[0061]

Далее на этапе S104 результат выбора между схемой ограниченного внутреннего предсказания и схемой неограниченного внутреннего предсказания, произведенного на этапе S101, кодируется в заголовке потока кодированного движущегося изображения.

[0062]

Фиг. 4A-4D показывают местоположение, в котором информация 950 выбора размещается в кодированном битовом потоке 900 движущегося изображения, сгенерированном с использованием вышеупомянутого способа кодирования движущегося изображения. Эта информация 950 выбора является информацией, указывающей, какая из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания используется в качестве схемы внутреннего предсказания.

[0063]

Как показано на фиг. 4A-4D, кодированный битовый поток 900 движущегося изображения включает в себя заголовок 901 последовательности и множество порций 902 данных в блоках изображения. Каждая из порций 902 данных в блоках изображения включает в себя заголовок 911 изображения и данные 912 изображения. Кроме того, данные 912 изображения включают в себя множество порций 913 данных в блоках срезов. Кроме того, каждая из порций 913 данных в блоках срезов включает в себя заголовок 921 среза и данные 922 среза.

[0064]

Например, информация 950 выбора включается в заголовок 901 последовательности, как показано на фиг. 4A. Как показано на фиг. 4B, информация 950 выбора может включаться в заголовок 911 изображения. Как показано на фиг. 4C, информация 950 выбора может включаться в заголовок 921 среза. Например, эта информация 950 выбора является двоичным флагом, который выборочно указывает значение "0", что указывает схему неограниченного внутреннего предсказания, и значение "1", что указывает схему ограниченного внутреннего предсказания.

[0065]

Кроме того, в показанном на фиг. 4D примере информация 950 выбора указывается одним или обоими из параметра 951 профиля и параметра 952 уровня, включенных в заголовок 901 последовательности. В частности, информацию 950 выбора можно однозначно определить с использованием справочной таблицы и одного или обоих из параметра 951 профиля и параметра 952 уровня.

[0066]

Таким образом, с помощью способа кодирования движущегося изображения в соответствии с настоящим вариантом осуществления информация 950 выбора, указывающая, какая из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания используется в качестве схемы внутреннего предсказания, кодируется в заголовке кодированного битового потока 900 движущегося изображения. Соответственно, устройство декодирования может задавать используемую схему внутреннего предсказания с использованием информации 950 выбора в заголовке.

[0067]

Нижеследующее является описанием обработки кодирования над каждым блоком с использованием схемы ограниченного внутреннего предсказания, используя блок-схемы алгоритмов из фиг. 5 и 6.

[0068]

Сначала на этапе S201 выбирается тип предсказания, используемый для целевого блока. Возможные типы предсказания включают в себя внутреннее предсказание и предсказание, не являющееся внутренним. Примером предсказания, не являющегося внутренним, является внешнее предсказание изображения с компенсацией движения (внешнее предсказание). Затем на этапе S202 определяется, какое из внутреннего предсказания и предсказания, не являющегося внутренним, выбирается в качестве типа предсказания, используемого для целевого блока.

[0069]

Когда выбирается внутреннее предсказание (Да на этапе S202), обработка переходит к этапу S203. На этапе S203 значение предсказанной выборки вычисляется путем выполнения внутреннего предсказания над целевым блоком среди множества блоков, полученных в результате разделения. В частности, определяется, являются доступные эталонные выборки допустимыми (с внутренним предсказанием) либо недопустимыми (без внутреннего предсказания), и значение предсказанной выборки вычисляется путем выполнения внутреннего предсказания с использованием допустимых выборок. Точнее говоря, определяется допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, внутреннее предсказание выполняется с использованием допустимой выборки. Следует отметить, что подробности этой обработки будут описываться ниже.

[0070]

Затем на этапе S204 внутренние разностные данные вычисляются с использованием полученного значения предсказанной выборки. В частности, вычисляются разностные данные, которые представляют разность между исходным изображением целевого блока и значением предсказанной выборки.

[0071]

С другой стороны, когда на этапе S202 определяется, что выбирается предсказание, не являющееся внутренним (Нет на этапе S202), то обработка переходит к этапу S206. На этапе S206 не являющиеся внутренними разностные данные и информация предсказания вычисляются путем выполнения предсказания, не являющегося внутренним.

[0072]

После этапа S204 или этапа S206 кодированный битовый поток движущегося изображения генерируется путем кодирования разностных данных и информации предсказания на этапе S205. Здесь информация предсказания включает в себя сигнал, указывающий выбранный тип предсказания. Когда используется внутреннее предсказание, информация предсказания дополнительно включает в себя сигнал (информацию 950 выбора), указывающий выбранный способ внутреннего предсказания. Кроме того, когда используется предсказание, не являющееся внутренним, например внешнее предсказание с компенсацией движения, информация предсказания может дополнительно включать в себя сигналы, указывающие вектор движения, индекс опорного изображения и разрешение вектора движения.

[0073]

Нижеследующее является подробным описанием обработки на вышеупомянутом этапе S203, используя фиг. 6. Этап S203, показанный на фиг. 5, включает в себя этапы S203A - S203D, показанные на фиг. 6.

[0074]

Допустимость местоположений эталонных выборок определяется на этапе S203A. В частности, определяется, являются ли эталонные выборки выборками с внутренним предсказанием (допустимые) либо выборками без внутреннего предсказания (недопустимые).

[0075]

Далее на этапе S203B значение дополнительной выборки, которое является значением эталонной выборки в местоположении недопустимой выборки, вычисляется с использованием одного или нескольких значений допустимых выборок.

[0076]

Нижеследующее является подробным описанием обработки для вычисления такого значения дополнительной выборки.

[0077]

В соответствии с вариантом осуществления настоящего изобретения значение дополнительной выборки вычисляется путем выполнения нижеописанной обработки. Сначала выбирается одно или несколько значений допустимых выборок, и каждое из отобранных значений допустимых выборок умножается на предопределенный масштабный коэффициент, посредством этого вычисляя масштабные значения. Далее получается первое значение общей суммы, то есть общая сумма множества масштабных значений, полученных путем вычисления, и предопределенное значение смещения добавляется к полученному первому значению общей суммы, посредством этого вычисляя второе значение общей суммы. Кроме того, полученное посредством этого второе значение общей суммы сдвигается в сторону младших разрядов на предопределенное значение шага сдвига, посредством этого получая значение дополнительной выборки.

[0078]

Здесь предопределенный масштабный коэффициент, значение смещения и значение шага сдвига могут определяться с использованием справочной таблицы на основе таких факторов, как число и местоположения допустимых и недопустимых выборок.

[0079]

Нижеследующее описывает пример вычисления значения дополнительной выборки, используя показанный на фиг. 2 случай в качестве примера. Значения эталонных выборок в местоположениях недопустимых выборок (12, -1), (13, -1), (14, -1) и (15, -1), показанных на фиг. 2, вычисляются путем усреднения значений эталонных выборок в (11, -1) и (16, -1). В частности, среднее значение значений допустимых выборок в двух местоположениях допустимых выборок, имеющих местоположение недопустимой выборки между ними и ближайших к местоположению недопустимой выборки, может вычисляться в качестве значения дополнительной выборки для местоположения недопустимой выборки.

[0080]

Кроме того, два значения эталонных выборок можно усреднить путем выполнения вычисления, показанного с помощью Выражения 1 ниже, с заранее установленным масштабным коэффициентом, равным 1, значением смещения, равным 1, и значением шага сдвига, равным 1.

[0081]

r(12, -1)=r(13, -1)=r(14, -1)=r(15, -1)

=(r(11, -1)+r(16, -1)+1)>>1 (Выражение 1)

[0082]

Кроме того, в качестве другого способа выбирается одно из значений допустимых выборок, и выбранное значение допустимой выборки определяется в качестве значения дополнительной выборки. Например, значение допустимой выборки в местоположении допустимой выборки (11, -1) можно скопировать в качестве каждого значения эталонной выборки в местоположениях недопустимых выборок (12, -1), (13, -1), (14, -1) и (15, -1), показанных на фиг. 2. В частности, значение допустимой выборки в местоположении ближе всего к местоположению недопустимой выборки может определяться в качестве значения дополнительной выборки для местоположения недопустимой выборки.

[0083]

В частности, например, допустимая выборка, с которой нужно сделать копию, может выбираться путем выполнения нижеописанной обработки.

[0084]

Сначала среди всех местоположений эталонных выборок местоположение допустимой выборки, обнаруженное первым при поиске в направлении, начинающемся от нижнего левого местоположения эталонной выборки и заканчивающемся в верхнем правом местоположении эталонной выборки, идентифицируется в качестве начального местоположения эталонной выборки. Далее определяется, располагается ли недопустимая выборка до или после начального местоположения эталонной выборки в порядке выборок, который является таким же, как порядок выборок при поиске.

[0085]

Когда недопустимая выборка располагается до начального местоположения выборки, выборка в начальном местоположении эталонной выборки выбирается в качестве допустимой выборки, с которой нужно сделать копию. С другой стороны, когда недопустимая выборка располагается после начального местоположения выборки, допустимая выборка до и ближе всего к местоположению недопустимой выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, выбирается в качестве допустимой выборки, с которой нужно сделать копию.

[0086]

В качестве еще одного способа предопределенное значение может просто назначаться в качестве значения дополнительной выборки. Это предопределенное значение равно, например, 128.

[0087]

Ссылаясь снова на фиг. 6, теперь приводится описание.

[0088]

После того, как значение дополнительной выборки вычисляется на этапе S203B, на этапе S203C один способ внутреннего предсказания выбирается из множества способов внутреннего предсказания, используя значение допустимой выборки и значение дополнительной выборки. Примеры способов внутреннего предсказания включают в себя различные направления внутреннего предсказания, например вертикальное направление и горизонтальное направление.

[0089]

Далее на этапе S203D, используя значение допустимой выборки и значение дополнительной выборки, значение предсказанной выборки вычисляется в соответствии со способом внутреннего предсказания, выбранным на этапе S203C. В соответствии с выбранным способом внутреннего предсказания, могут использоваться разные местоположения эталонных выборок, и может использоваться разная вычислительная обработка.

[0090]

Кроме того, в варианте осуществления настоящего изобретения этап S203D, на котором вычисляется значение предсказанной выборки, может включать в себя этап предварительной фильтрации значений эталонных выборок и этап вычисления значения предсказанной выборки с использованием значения эталонной выборки, полученного в результате предварительной фильтрации. Здесь предварительная фильтрация является обработкой фильтрации множества соседних значений эталонных выборок.

[0091]

Как описано выше, с помощью способа кодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения, когда множество эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, включает в себя допустимую выборку и недопустимую выборку, ограниченное внутреннее предсказание может выполняться с использованием допустимой выборки. Соответственно, способ кодирования движущегося изображения дает возможность использовать больше допустимых выборок, и соответственно эффективность кодирования можно повысить.

[0092]

Таким образом, с помощью способа кодирования движущегося изображения в соответствии с настоящим вариантом осуществления, наряду с получением эффекта устойчивости к ошибкам, сложность вычисления поддерживается на одном уровне, а также может выполняться эластичное внутреннее предсказание с оптимальной эффективностью. Соответственно, способ кодирования движущегося изображения может повысить эффективность кодирования.

[0093]

Нижеследующее является описанием способа декодирования движущегося изображения для декодирования кодированного битового потока движущегося изображения, сгенерированного с использованием вышеприведенного способа кодирования движущегося изображения.

[0094]

Фиг. 7 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения в Варианте 1 осуществления настоящего изобретения.

[0095]

Сначала на этапе S301 результат выбора между схемой ограниченного внутреннего предсказания и схемой неограниченного внутреннего предсказания получается путем анализа заголовка кодированного битового потока движущегося изображения.

[0096]

Далее блоки кодирования в изображении декодируются на этапе S302. При этом блок кодирования с внутренним предсказанием декодируется с использованием схемы внутреннего предсказания, показанной результатом выбора, полученным на этапе S301.

[0097]

Нижеследующее является подробным описанием обработки декодирования каждого блока с использованием схемы ограниченного внутреннего предсказания, используя блок-схему последовательности операций, показанную на фиг. 9.

[0098]

Сначала на этапе S401 тип предсказания (внутреннее предсказание или предсказание, не являющееся внутренним) у блока кодирования, который нужно обработать (в дальнейшем - целевой блок), получается путем анализа кодированного битового потока движущегося изображения.

[0099]

Далее на этапе S402 определяется, какое из внутреннего предсказания и предсказания, не являющегося внутренним, указывается типом предсказания, полученным на этапе S401.

[0100]

Когда используется внутреннее предсказание (Да на этапе S402), обработка переходит к этапу S403.

[0101]

На этапе S403 значение предсказанной выборки целевого блока вычисляется путем выполнения внутреннего предсказания над целевым блоком. В частности, определяется, являются доступные местоположения эталонных выборок допустимыми (с внутренним предсказанием) либо недопустимыми (без внутреннего предсказания), и значение предсказанной выборки вычисляется путем выполнения внутреннего предсказания с использованием местоположения эталонной выборки с внутренним предсказанием. Точнее говоря, определяется допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, внутреннее предсказание выполняется с использованием допустимой выборки. Следует отметить, что подробности этой обработки будут описываться ниже.

[0102]

Затем на этапе S404 значение восстановленной внутренней выборки вычисляется с использованием вычисленного значения предсказанной выборки и внутренних разностных данных.

[0103]

С другой стороны, когда на этапе S402 определяется, что используется предсказание, не являющееся внутренним (Нет на этапе S402), то обработка переходит к этапу S405. На этапе S405 значение восстановленной выборки вычисляется путем выполнения предсказания, не являющегося внутренним.

[0104]

Нижеследующее является подробным описанием обработки этапов S403 и S405, описанных выше, используя фиг. 9. Этап S403, показанный на фиг. 8, включает в себя этапы S403A - S403D, показанные на фиг. 9. Этап S405, показанный на фиг. 8, включает в себя этапы S405A и S405B, показанные на фиг. 9.

[0105]

На этапе S403A внутренние разностные данные и способ внутреннего предсказания целевого блока получаются путем анализа кодированного битового потока движущегося изображения.

[0106]

Далее на этапе S403B определяется допустимость местоположений эталонных выборок, необходимых для выполнения обработки с внутренним предсказанием в соответствии со способом внутреннего предсказания, полученным на этапе S403A.

[0107]

Далее на этапе S403C значение эталонной выборки (значение дополнительной выборки) в местоположении недопустимой выборки вычисляется с использованием значения допустимой выборки.

[0108]

Далее на этапе S403D значение предсказанной выборки вычисляется с использованием значения допустимой выборки и значения дополнительной выборки.

[0109]

Кроме того, когда на этапе S402 определяется, что используется предсказание, не являющееся внутренним (Нет на этапе S402), то обработка переходит к этапу S405A. На этапе S405A не являющиеся внутренними разностные данные и информация предсказания получаются путем анализа кодированного битового потока движущегося изображения. Затем на этапе S405B значение восстановленной без внутреннего предсказания выборки вычисляется с использованием не являющихся внутренними разностных данных и информации предсказания, полученной в результате анализа.

[0110]

Как описано выше, способ декодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения дает возможность сгенерировать восстановленные данные из кодированного битового потока движущегося изображения, сгенерированного с использованием описанного выше способа кодирования движущегося изображения.

[0111]

Нижеследующее является описанием устройства кодирования движущегося изображения и устройства декодирования движущегося изображения, использующих вышеописанный способ кодирования движущегося изображения и вышеописанный способ декодирования движущегося изображения.

[0112]

Сначала идет описание устройства кодирования движущегося изображения, использующего вышеописанный способ кодирования движущегося изображения.

[0113]

Фиг. 10 - блок-схема, показывающая пример устройства 100 кодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения. Устройство 100 кодирования движущегося изображения включает в себя блок 101 деления, блок 102 выбора, блок 103 переключения, первый блок 104 кодирования, второй блок 105 кодирования, блок 106 кодирования заголовка, вентильный элемент 107 и блок 108 генерирования битового потока.

[0114]

Блок 101 деления получает исходное изображение D101 и делит исходное изображение D101 на блоки D103 кодирования переменной длины.

[0115]

Блок 102 выбора выбирает одну из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания и выводит информацию D102 выбора, указывающую результат выбора.

[0116]

Блок 103 переключения отправляет блоки D103 кодирования переменной длины в первый блок 104 кодирования или второй блок 105 кодирования, используя информацию D102 выбора. В частности, когда информация D102 выбора указывает, что выбирается схема ограниченного внутреннего предсказания, блок 103 переключения выводит блоки D103 кодирования переменной длины в первый блок 104 кодирования в качестве блоков D104 кодирования переменной длины. Кроме того, когда информация D102 выбора указывает, что выбирается схема неограниченного внутреннего предсказания, блок 103 переключения выводит блоки D103 кодирования переменной длины во второй блок 105 кодирования в качестве блоков D105 кодирования переменной длины.

[0117]

Первый блок 104 кодирования генерирует кодированный битовый поток D106 путем кодирования блоков D104 кодирования переменной длины, используя ограниченное внутреннее предсказание или предсказание, не являющееся внутренним.

[0118]

Второй блок 105 кодирования генерирует кодированный битовый поток D107 путем кодирования блоков D105 кодирования переменной длины, используя неограниченное внутреннее предсказание или предсказание, не являющееся внутренним.

[0119]

В соответствии с тем, какой из кодированного битового потока D106, сгенерированного первым блоком 104 кодирования, и кодированного битового потока D107, сгенерированного вторым блоком 105 кодирования, присутствует, вентильный элемент 107 направляет текущие данные в блок 108 генерирования битового потока в качестве кодированного битового потока D108.

[0120]

Блок 106 кодирования заголовка генерирует кодированный битовый поток D109 путем кодирования информации D102 выбора.

[0121]

Блок 108 генерирования битового потока генерирует кодированный битовый поток D110 движущегося изображения путем смешивания кодированного битового потока D108 и кодированного битового потока D109.

[0122]

Фиг. 11 - блок-схема, показывающая пример первого блока 104 кодирования, который использует схему ограниченного внутреннего предсказания, в устройстве 100 кодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения. Первый блок 104 кодирования включает в себя первый блок 201 выбора, блок 202 переключения, блок 220 внутреннего предсказания, блок 207 вычисления разностных данных, вентильный элемент 208, блок 209 кодирования, блок 210 восстановления, блок 211 памяти и блок 212 не внутреннего предсказания.

[0123]

Первый блок 201 выбора получает блок D201 выборки (один из блоков D104 кодирования переменной длины), и на основе блока D201 выборки выбирает одно из внутреннего предсказания и предсказания, не являющегося внутренним, и выводит тип D202 предсказания, указывающий результат выбора. Кроме того, первый блок 201 выбора может получить информацию D215 кодирования, сохраненную относительно выборки, которая уже кодирована, и выбрать одно из внутреннего предсказания и предсказания, не являющегося внутренним, на основе полученной информации D215 кодирования. Информация D215 кодирования указывает, например, тип предсказания, параметр квантования, размер блока и т.п. Этот тип D202 предсказания используется для управления блоком 103 переключения.

[0124]

Когда выбирается внутреннее предсказание, блок 202 переключения отправляет блок D201 выборки в блок 203 определения допустимости в качестве блока D203 выборки.

[0125]

Блок 220 внутреннего предсказания вычисляет значение предсказанной выборки путем выполнения внутреннего предсказания над целевым блоком среди множества блоков, полученных в результате разделения. Кроме того, блок 220 внутреннего предсказания определяет допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, выполняет внутреннее предсказание с использованием допустимой выборки. Блок 220 внутреннего предсказания включает в себя блок 203 определения допустимости, блок 204 вычисления эталонной выборки, второй блок 205 выбора и блок 206 вычисления предсказанной выборки.

[0126]

Блок 203 определения допустимости определяет допустимость местоположения эталонной выборки с использованием блока D203 выборки и типа D214 предсказания, сохраненного относительно местоположения эталонной выборки. Затем блок 203 определения допустимости выводит данные D204, включающие в себя исходный блок D203 выборки и допустимость местоположения эталонной выборки, в блок 204 вычисления эталонной выборки.

[0127]

Блок 204 вычисления эталонной выборки вычисляет значение дополнительной выборки, которое является значением эталонной выборки в местоположении недопустимой выборки, используя данные D204 и значение D213 допустимой выборки. Блок 204 вычисления эталонной выборки выводит данные D205, включающие в себя исходный блок выборки и значение дополнительной выборки, во второй блок 205 выбора.

[0128]

Второй блок 205 выбора выбирает способ D206 внутреннего предсказания из множества способов внутреннего предсказания, используя данные D205. В качестве альтернативы второй блок 205 выбора может выбрать способ D206 внутреннего предсказания с использованием информации D215 кодирования, сохраненной относительно выборки, которая уже кодирована.

[0129]

Блок 206 вычисления предсказанной выборки вычисляет значение предсказанной выборки с использованием входных значений эталонных выборок (значение допустимой выборки и значение дополнительной выборки) на основе выбранного способа D206 внутреннего предсказания. Кроме того, блок 206 вычисления предсказанной выборки выводит данные D207, включающие в себя исходный блок выборки, выбранный способ внутреннего предсказания и вычисленное значение предсказанной выборки, в блок 207 вычисления разностных данных.

[0130]

Блок 207 вычисления разностных данных вычисляет внутренние разностные данные с использованием значения предсказанной выборки и исходного блока выборки и выводит данные D208, включающие в себя выбранный способ внутреннего предсказания и вычисленные внутренние разностные данные.

[0131]

С другой стороны, когда выбирается предсказание, не являющееся внутренним, блок 202 переключения отправляет исходный блок D201 выборки в блок 212 не внутреннего предсказания в качестве блока D216 выборки.

[0132]

Блок 212 не внутреннего предсказания генерирует данные D217, включающие в себя не являющиеся внутренними разностные данные и информацию предсказания, не являющегося внутренним, путем выполнения предсказания, не являющегося внутренним, с использованием исходного блока D216 выборки и информации D215 кодирования, сохраненной относительно выборки, которая кодирована.

[0133]

Вентильный элемент 208 отправляет доступные данные в блок 209 кодирования в качестве данных D209, в соответствии с которыми доступны данные D208 и данные D217.

[0134]

Блок 209 кодирования обрабатывает разностные данные, включенные в данные D209, а также выполняет энтропийное кодирование над входными данными, посредством этого генерируя кодированный битовый поток D210 движущегося изображения (кодированный битовый поток D106). Примеры обработки над разностными данными включают в себя обработку преобразования, обработку масштабирования и т.п. Кроме того, блок 209 кодирования выводит данные D211, включающие в себя информацию предсказания и обработанные разностные данные, в блок 210 восстановления. Здесь информация предсказания включает в себя выбранный тип предсказания, а также включает в себя выбранный способ внутреннего предсказания в случае внутреннего предсказания.

[0135]

Блок 210 восстановления вычисляет значение восстановленной выборки с использованием данных D211 и сохраненной информации D215 кодирования и сохраняет данные D212, включающие в себя значение восстановленной выборки и информацию предсказания, в блоке 211 памяти.

[0136]

Далее идет описание устройства декодирования движущегося изображения, использующего вышеописанный способ декодирования движущегося изображения.

[0137]

Фиг. 12 - блок-схема, показывающая пример устройства 300 декодирования движущегося изображения в соответствии с Вариантом 1 осуществления настоящего изобретения. Устройство 300 декодирования движущегося изображения включает в себя блок 301 анализа, блок 302 переключения, первый блок 303 декодирования, второй блок 304 декодирования, вентильный элемент 305 и блок 306 генерирования изображения.

[0138]

Блок 301 анализа получает информацию D302 выбора, которая указывает результат выбора между схемой ограниченного внутреннего предсказания и схемой неограниченного внутреннего предсказания, путем анализа заголовка кодированного битового потока D301 движущегося изображения.

[0139]

Блок 302 переключения отправляет кодированный битовый поток D301 движущегося изображения в первый блок 303 декодирования или второй блок 304 декодирования на основе выбранной схемы внутреннего предсказания, указанной информацией D302 выбора. В частности, когда схема ограниченного внутреннего предсказания указывается информацией D302 выбора, блок 302 переключения выводит кодированный битовый поток D301 движущегося изображения в первый блок 303 декодирования в качестве битового потока D303. С другой стороны, когда схема неограниченного внутреннего предсказания указывается информацией D302 выбора, блок 302 переключения выводит кодированный битовый поток D301 движущегося изображения во второй блок 304 декодирования в качестве битового потока D304.

[0140]

Первый блок 303 декодирования генерирует значения D305 восстановленных выборок в единицах блоков путем декодирования битового потока D303 с использованием ограниченного внутреннего предсказания и предсказания, не являющегося внутренним. Второй блок 304 декодирования генерирует значения D306 восстановленных выборок в единицах блоков путем декодирования битового потока D304 с использованием неограниченного внутреннего предсказания и предсказания, не являющегося внутренним.

[0141]

В соответствии с тем, какой из сигналов, указывающих значения D305 и D306 восстановленных выборок, присутствует, вентильный элемент 305 отправляет текущий сигнал в блок 306 генерирования изображения в качестве значений D307 восстановленных выборок.

[0142]

Блок 306 генерирования изображения записывает значения D307 восстановленных выборок блока в соответствующих местоположениях в изображении, которое должно быть восстановлено, посредством этого генерируя восстановленное изображение D308.

[0143]

Фиг. 13 - блок-схема, показывающая пример первого блока 303 декодирования, который использует схему ограниченного внутреннего предсказания в Варианте 1 осуществления настоящего изобретения. Первый блок 303 декодирования включает в себя первый блок 401 анализа, блок 402 переключения, второй блок 403 анализа, блок 420 внутреннего предсказания, блок 407 вычисления восстановленной выборки, первый вентильный элемент 408, второй вентильный элемент 409, блок 410 памяти и блок 411 восстановления без внутреннего предсказания.

[0144]

Первый блок 401 анализа получает информацию D402 выбора, которая указывает результат выбора между внутренним предсказанием и предсказанием, не являющимся внутренним, путем анализа кодированного битового потока D401 движущегося изображения.

[0145]

Когда результат выбора, полученный в результате анализа, указывает внутреннее предсказание, блок 402 переключения отправляет кодированный битовый поток D401 движущегося изображения во второй блок 403 анализа в качестве битового потока D403.

[0146]

Второй блок 403 анализа получает разностные данные и способ внутреннего предсказания путем анализа битового потока D403. Затем второй блок 403 анализа выводит данные D404 анализа, включающие в себя разностные данные и способ внутреннего предсказания, полученный в результате анализа.

[0147]

Блок 420 внутреннего предсказания вычисляет значение предсказанной выборки целевого блока путем выполнения внутреннего предсказания на целевом блоке. Кроме того, блок 420 внутреннего предсказания определяет допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, выполняет внутреннее предсказание с использованием допустимой выборки. Блок 420 внутреннего предсказания включает в себя блок 404 определения допустимости, блок 405 вычисления эталонной выборки и блок 406 вычисления предсказанной выборки.

[0148]

Блок 404 определения допустимости в качестве входных данных получает данные D404 анализа и тип D416 предсказания, сохраненный относительно местоположения эталонной выборки, и определяет допустимость каждого местоположения эталонной выборки, необходимого для способа внутреннего предсказания, полученного в результате анализа. Блок 404 определения допустимости выводит данные D405, включающие в себя разностные данные, способ внутреннего предсказания, полученный в результате анализа, и допустимость местоположения эталонной выборки, в блок 405 вычисления эталонной выборки.

[0149]

Блок 405 вычисления эталонной выборки вычисляет значение эталонной выборки (значение дополнительной выборки) в местоположении недопустимой выборки с использованием входных данных D405 и значения D415 допустимой выборки. Затем блок 405 вычисления эталонной выборки выводит данные D406, включающие в себя разностные данные, способ внутреннего предсказания, полученный в результате анализа, и допустимость местоположения эталонной выборки, в блок 406 вычисления предсказанной выборки.

[0150]

Блок 406 вычисления предсказанной выборки вычисляет значение предсказанной выборки в соответствии со способом внутреннего предсказания, полученным в результате анализа, используя данные D406. Затем блок 406 вычисления предсказанной выборки выводит данные D407, включающие в себя разностные данные, способ внутреннего предсказания, полученный в результате анализа, и значение предсказанной выборки, в блок 407 вычисления восстановленной выборки.

[0151]

Блок 407 вычисления восстановленной выборки вычисляет значение D408 восстановленной с внутренним предсказанием выборки, соответствующее целевому блоку кодирования, используя данные D407. Кроме того, блок 407 вычисления восстановленной выборки выводит данные D410, включающие в себя значение восстановленной с внутренним предсказанием выборки, внутреннее предсказание и способ внутреннего предсказания, полученный в результате анализа.

[0152]

С другой стороны, когда результат выбора, полученный в результате анализа, указывает предсказание, не являющееся внутренним, блок 402 переключения отправляет кодированный битовый поток D401 движущегося изображения в блок 411 восстановления без внутреннего предсказания в качестве битового потока D411.

[0153]

Блок 411 восстановления без внутреннего предсказания вычисляет значение D412 восстановленной выборки в соответствии с предсказанием, не являющимся внутренним, полученным в результате анализа, используя битовый поток D411 и информацию D417 кодирования, сохраненную относительно выборки, которая уже кодирована. Кроме того, блок 411 восстановления без внутреннего предсказания выводит данные D413, включающие в себя значение восстановленной без внутреннего предсказания выборки и информацию предсказания, не являющегося внутренним, полученную в результате анализа.

[0154]

Первый вентильный элемент 408 отправляет доступные данные в качестве восстановленной выборки D409 выходного блока из значений D408 и D412 восстановленных выборок. Аналогичным образом второй вентильный элемент 409 сохраняет доступные данные в блоке 410 памяти в качестве данных D414 среди данных D410 и данных D412.

[0155]

Вариант 2 осуществления

Вариант 2 осуществления настоящего изобретения описывает случай, где схема избирательного внутреннего DC-предсказания используется в качестве вышеупомянутой схемы ограниченного внутреннего предсказания.

[0156]

В частности, при схеме избирательного внутреннего DC-предсказания используется только значение эталонной выборки в местоположении эталонной выборки с внутренним предсказанием из местоположений множества эталонных выборок соседних кластеров. В частности, при этой схеме обработка с внутренним DC-предсказанием выполняется с учетом того, включают ли в себя соседние кластеры эталонную выборку с предсказанием, не являющимся внутренним.

[0157]

По всему этому описанию изобретения схема внутреннего DC-предсказания относится к схеме внутреннего предсказания изображения, которая использует одно значение предсказанной выборки для всех предсказанных выборок в целевом блоке кодирования. Эталонные выборки соседних кластеров относятся к группе соседних выборок, размещенных в одинаковом направлении по отношению к целевому блоку. Имеется четыре соседних с целевым блоком кластера, которые называются верхним соседним кластером, верхним правым соседним кластером, левым соседним кластером и нижним левым соседним кластером. В показанном на фиг. 2 примере эталонные выборки с (16, -1) по (31, -1), принадлежащие блокам A и B, являются эталонными выборками верхнего правого соседнего кластера. Аналогичным образом эталонные выборки с (0, -1) по (15, -1), принадлежащие блокам C, D и E, являются эталонными выборками верхнего соседнего кластера. Эталонные выборки с (-1, 0) по (-1, 15), принадлежащие блоку G, являются эталонными выборками левого соседнего кластера. Эталонные выборки с (-1, 16) по (-1, 31), принадлежащие блокам J, H и I, являются эталонными выборками нижнего левого соседнего кластера.

[0158]

Кроме того, в отличие от схемы избирательного внутреннего DC-предсказания из настоящего изобретения данное описание изобретения использует "схему неизбирательного внутреннего DC-предсказания" для отсылки к схеме внутреннего DC-предсказания по традиционной методике для выполнения обработки с внутренним DC-предсказанием, использующей значение эталонной выборки с внутренним предсказанием и значение эталонной выборки без внутреннего предсказания.

[0159]

Фиг. 14 - блок-схема последовательности операций, показывающая обработку по декодированию движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения.

[0160]

Сначала на этапе S501 одна из схемы неизбирательного внутреннего DC-предсказания и схемы избирательного внутреннего DC-предсказания выбирается в качестве схемы внутреннего DC-предсказания.

[0161]

Далее на этапе S502 целевое исходное изображение разделяется на один или более целевых блоков кодирования. Примером целевого блока кодирования является двумерный блок, включающий в себя 32×32 выборки исходного изображения.

[0162]

Далее на этапе S503 генерируется кодированный битовый поток движущегося изображения путем кодирования полученных целевых блоков кодирования. Кроме того, на этапе S503, когда целевые блоки кодируются с использованием способа внутреннего DC-предсказания, используется схема внутреннего DC-предсказания, выбранная на этапе S501.

[0163]

Наконец, на этапе S504 результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания на этапе S501 кодируется в заголовке кодированного битового потока движущегося изображения.

[0164]

Фиг. 15A-15D показывают местоположение, в котором информация 960 выбора размещается в кодированном битовом потоке 900 движущегося изображения, сгенерированном с использованием вышеупомянутого способа кодирования движущегося изображения. Информация 960 выбора является информацией, указывающей, какая из схемы неизбирательного внутреннего DC-предсказания и схемы избирательного внутреннего DC-предсказания используется в качестве схемы внутреннего DC-предсказания.

[0165]

Следует отметить, что конфигурация данных, показанная на фиг. 15A-15D, является такой же, как конфигурация, показанная на фиг. 4A-4D.

[0166]

Например, как показано на фиг. 15A, информация 960 выбора включается в заголовок 901 последовательности. Как показано на фиг. 15B, информация 960 выбора может включаться в заголовок 911 изображения. Как показано на фиг. 15C, информация 960 выбора может включаться в заголовок 921 среза. Например, эта информация 960 выбора является двоичным флагом, который выборочно показывает значение "0", указывающее схему неизбирательного внутреннего DC-предсказания, и значение "1", указывающее схему избирательного внутреннего DC-предсказания.

[0167]

Кроме того, в показанном на фиг. 15D примере информация 960 выбора указывается одним или обоими из параметра 961 профиля и параметра 962 уровня, которые включаются в заголовок 901 последовательности. В частности, информацию 960 выбора можно однозначно определить с использованием справочной таблицы и одного или обоих из параметра 961 профиля и параметра 962 уровня.

[0168]

Как описано выше, с помощью способа кодирования движущегося изображения в соответствии с настоящим вариантом осуществления информация 960 выбора, указывающая, какая из схемы избирательного внутреннего DC-предсказания и схемы неизбирательного внутреннего DC-предсказания используется в качестве схема внутреннего DC-предсказания, кодируется в заголовке кодированного битового потока 900 движущегося изображения. Таким образом, устройство декодирования может задавать используемую схему внутреннего предсказания с использованием информации 960 выбора в заголовке.

[0169]

Нижеследующее является описанием обработки кодирования каждого блока с использованием схемы избирательного внутреннего DC-предсказания, используя блок-схему последовательности операций, показанную на фиг. 16.

[0170]

Сначала на этапе S601 выбирается способ предсказания, который должен быть использован для целевого блока. Возможные способы предсказания включают в себя способ внутреннего DC-предсказания и способ DC-предсказания, не являющегося внутренним. Кроме того, способы DC-предсказания, не являющегося внутренним, включают в себя способы внутреннего предсказания помимо внутреннего DC и различные способы внешнего предсказания изображения. Затем на этапе S602 определяется, какой способ выбирается из способа внутреннего DC-предсказания и способа DC-предсказания, не являющегося внутренним.

[0171]

Когда выбирается схема внутреннего DC-предсказания (Да на этапе S602), обработка переходит к этапу S603. На этапе S603 выбираются некоторые местоположения эталонных выборок с внутренним предсказанием.

[0172]

Далее на этапе S604 значение выборки с внутренним DC-предсказанием вычисляется с использованием выбранных местоположений эталонных выборок. Затем на этапе S605 разностные данные вычисляются с использованием значения выборки с внутренним DC-предсказанием.

[0173]

В варианте осуществления схемы избирательного внутреннего DC-предсказания из настоящего изобретения все значения эталонных выборок с внутренним предсказанием выбираются из значений эталонных выборок всех соседних кластеров, чтобы вычислить значение выборки с внутренним DC-предсказанием. В показанном на фиг. 2 примере значение выборки с внутренним DC-предсказанием вычисляется с использованием всех 52 эталонных выборок, а именно с (16, -1) по (31, -1), с (0, -1) по (11, -1) и с (-1, 0) по (-1, 23).

[0174]

Следует отметить, что в другом варианте осуществления схемы избирательного внутреннего DC-предсказания значения эталонных выборок с внутренним предсказанием выбираются из верхних эталонных выборок и левых эталонных выборок, а после этого вычисляется значение выборки с внутренним DC-предсказанием. В том же примере на фиг. 2 выборка с внутренним DC-предсказанием вычисляется с использованием всех 28 эталонных выборок, а именно с (0, -1) по (11, -1) и с (-1, 0) по (-1, 15).

[0175]

В соответствии с вариантом осуществления настоящего изобретения значение предсказанной выборки вычисляется путем выполнения нижеописанной обработки.

[0176]

Сначала одна или несколько допустимых выборок выбираются в качестве отобранных выборок. Далее задается количество отобранных выборок. Далее масштабный коэффициент, значение смещения и значение шага сдвига выбираются с использованием справочной таблицы в соответствии с количеством отобранных выборок. Далее вычисляется первое значение общей суммы, то есть общая сумма значений отобранных выборок. Затем масштабное значение вычисляется путем умножения первого значения общей суммы на выбранный масштабный коэффициент. Далее вычисляется второе значение общей суммы, которое является суммой выбранного значения смещения и выбранного масштабного значения. Наконец, каждое значение всех значений предсказанных выборок целевого блока генерируется путем сдвига второго значения общей суммы в сторону младших разрядов на выбранное значение шага сдвига.

[0177]

Кроме того, в другом варианте осуществления схемы избирательного внутреннего DC-предсказания значение эталонной выборки в одном местоположении эталонной выборки, например, показанное на фиг. 2 значение эталонной выборки (0, -1), используется для всех значений выборок с внутренним DC-предсказанием в целевом блоке.

[0178]

Кроме того, в еще одном варианте осуществления схемы избирательного внутреннего DC-предсказания предопределенное постоянное значение (например, 128) используется для всех значений выборок с внутренним DC-предсказанием в целевом блоке.

[0179]

С другой стороны, когда на этапе S602 определяется, что выбирается способ DC-предсказания, не являющегося внутренним (Нет на этапе S602), то обработка переходит к этапу S607. На этапе S607 не являющиеся внутренними разностные данные и информация предсказания получаются путем выполнения обработки с DC-предсказанием, не являющимся внутренним.

[0180]

Наконец, на этапе S606 разностные данные и информация предсказания, сгенерированные на этапе S605 или S607, кодируются в кодированный битовый поток движущегося изображения. Здесь информация предсказания включает в себя сигнал, указывающий выбранный способ предсказания.

[0181]

Как описано выше, с помощью способа кодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения, когда множество эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, включает в себя допустимую выборку и недопустимую выборку, избирательное внутреннее DC-предсказание может выполняться с использованием допустимой выборки. Соответственно, с помощью способа кодирования движущегося изображения можно использовать больше допустимых выборок, и соответственно эффективность кодирования можно повысить.

[0182]

Таким образом, с помощью способа кодирования движущегося изображения в соответствии с настоящим вариантом осуществления, наряду с получением эффекта устойчивости к ошибкам, сложность вычисления поддерживается на одном уровне, а также может выполняться эластичное внутреннее предсказание с оптимальной эффективностью. Соответственно, способ кодирования движущегося изображения дает возможность повышения эффективности кодирования.

[0183]

Нижеследующее является описанием способа декодирования движущегося изображения для декодирования кодированного битового потока движущегося изображения, сгенерированного с использованием вышеприведенного способа кодирования движущегося изображения.

[0184]

Фиг. 17 - блок-схема последовательности операций для описания обработки декодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения.

[0185]

Сначала на этапе S701 результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания получается путем анализа заголовка кодированного битового потока движущегося изображения. Далее блоки кодирования в изображении декодируются на этапе S702. В то же время блоки кодирования с внутренним DC-предсказанием декодируются с использованием схемы внутреннего DC-предсказания, показанной результатом выбора, полученным на этапе S701.

[0186]

Нижеследующее является описанием обработки декодирования каждого блока с использованием схемы избирательного внутреннего DC-предсказания, используя блок-схему последовательности операций, показанную на фиг. 18.

[0187]

Сначала на этапе S801 способ предсказания для целевого блока кодирования получается путем анализа кодированного битового потока движущегося изображения. Затем на этапе S802 определяется, какой из способа внутреннего DC-предсказания и способа DC-предсказания, не являющегося внутренним, указывается схемой предсказания, полученной в результате анализа.

[0188]

Когда используется способ внутреннего DC-предсказания (Да на этапе S802), обработка переходит к этапу S803. На этапе S803 разностные данные внутреннего DC целевого блока кодирования получаются путем анализа кодированного битового потока движущегося изображения. Далее на этапе S804 выбираются некоторые местоположения эталонных выборок с внутренним предсказанием.

[0189]

Далее на этапе S805 значение выборки с внутренним DC-предсказанием вычисляется с использованием выбранных местоположений эталонных выборок. Затем на этапе S806 значение восстановленной выборки вычисляется с использованием значения выборки с внутренним DC-предсказанием и разностных данных, полученных в результате анализа.

[0190]

С другой стороны, когда используется способ DC-предсказания, не являющегося внутренним (Нет на этапе S802), обработка переходит к этапу S807. На этапе S807 разностные данные, не относящиеся к внутреннему DC, и информация предсказания получаются путем анализа кодированного битового потока движущегося изображения. Затем на этапе S808 значение восстановленной выборки вычисляется с использованием полученных в результате анализа разностных данных, не относящихся к внутреннему DC, и информации предсказания.

[0191]

Как описано выше, с помощью способа декодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения можно сгенерировать восстановленные данные из кодированного битового потока движущегося изображения, сгенерированного с использованием описанного выше способа кодирования движущегося изображения.

[0192]

Нижеследующее является описанием устройства кодирования движущегося изображения и устройства декодирования движущегося изображения, использующих вышеописанные способ кодирования движущегося изображения и способ декодирования движущегося изображения.

[0193]

Сначала идет описание устройства кодирования движущегося изображения, использующего вышеописанный способ кодирования движущегося изображения.

[0194]

Фиг. 19 - блок-схема, показывающая пример устройства 500 кодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения. Устройство 500 кодирования движущегося изображения включает в себя блок 501 деления, блок 502 выбора, блок 503 переключения, первый блок 504 кодирования, второй блок 505 кодирования, блок 506 кодирования заголовка, вентильный элемент 507 и блок 508 генерирования битового потока.

[0195]

Блок 501 деления получает исходное изображение D501 и делит полученное исходное изображение D501 на блоки D503 кодирования переменной длины.

[0196]

Блок 502 выбора выбирает одну из схемы неизбирательного внутреннего DC-предсказания и схемы избирательного внутреннего DC-предсказания и выводит информацию D502 выбора, указывающую результат выбора.

[0197]

Блок 503 переключения отправляет блоки D503 кодирования переменной длины в первый блок 504 кодирования или второй блок 505 кодирования, используя эту информацию D502 выбора. В частности, когда информация D502 выбора указывает, что выбирается схема избирательного внутреннего DC-предсказания, блок 503 переключения выводит блоки D503 кодирования переменной длины в первый блок 504 кодирования в качестве блоков D504 кодирования переменной длины. Кроме того, когда информация D502 выбора указывает, что выбирается схема неизбирательного внутреннего DC-предсказания, блок 503 переключения выводит блоки D503 кодирования переменной длины во второй блок 505 кодирования в качестве блоков D505 кодирования переменной длины.

[0198]

Первый блок 504 кодирования генерирует кодированный битовый поток D506 путем кодирования блоков D504 кодирования переменной длины, используя избирательное внутреннее DC-предсказание или DC-предсказание, не являющееся внутренним.

[0199]

Второй блок 505 кодирования генерирует кодированный битовый поток D507 путем кодирования блоков D505 кодирования переменной длины, используя неизбирательное внутреннее DC-предсказание или DC-предсказание, не являющееся внутренним.

[0200]

В соответствии с тем, какие из данных присутствуют, а именно, кодированный битовый поток D506, сгенерированный первым блоком 504 кодирования, и кодированный битовый поток D507, сгенерированный вторым блоком 505 кодирования, вентильный элемент 507 направляет текущие данные в блок 508 генерирования битового потока в качестве кодированного битового потока D508.

[0201]

Блок 506 кодирования заголовка генерирует кодированный битовый поток D509 путем кодирования информации D502 выбора.

[0202]

Блок 508 генерирования битового потока генерирует кодированный битовый поток D510 движущегося изображения путем смешивания кодированного битового потока D509 и кодированного битового потока D508.

[0203]

Фиг. 20 - блок-схема, показывающая пример первого блока 504 кодирования в устройстве 500 кодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения. Первый блок 504 кодирования включает в себя первый блок 601 выбора, блок 602 переключения, блок 620 внутреннего DC-предсказания, блок 607 вычисления разностных данных, вентильный элемент 608, блок 609 кодирования, блок 610 восстановления, блок 611 памяти и блок 612 DC-предсказания, не являющегося внутренним.

[0204]

Первый блок 601 выбора получает блок D601 выборки (один из блоков D504 кодирования переменной длины), выбирает один из способа внутреннего DC-предсказания и способа DC-предсказания, не являющегося внутренним, на основе блока D601 выборки и выводит тип D602 предсказания, указывающий результат выбора. В качестве альтернативы первый блок 601 выбора может получить информацию D615 кодирования, сохраненную относительно выборки, которая уже кодирована, и выбрать один из способа внутреннего DC-предсказания и способа DC-предсказания, не являющегося внутренним, на основе полученной информации D615 кодирования. Информация D615 кодирования указывает, например, способ предсказания, параметр квантования, размер блока и т.п. Тип D602 предсказания используется для управления блоком 602 переключения.

[0205]

Когда выбирается способ внутреннего DC-предсказания, блок 602 переключения отправляет исходный блок D601 выборки во второй блок 605 выбора в качестве блока D603 выборки.

[0206]

Блок 620 внутреннего DC-предсказания вычисляет значение предсказанной выборки путем выполнения внутреннего DC-предсказания над целевым блоком среди множества блоков, полученных в результате разделения. Кроме того, блок 620 внутреннего DC-предсказания определяет допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, выполняет внутреннее предсказание с использованием допустимой выборки. Блок 620 внутреннего DC-предсказания включает в себя второй блок 605 выбора и блок 606 вычисления предсказанной выборки.

[0207]

Второй блок 605 выбора выбирает некоторые местоположения допустимых выборок с внутренним предсказанием, используя тип D614 предсказания, сохраненный относительно местоположения эталонной выборки. Тип D614 предсказания указывает результат выбора между внутренним предсказанием и предсказанием, не являющимся внутренним. Затем второй блок 605 выбора выводит данные D606, включающие в себя исходный блок выборки и выбранные местоположения допустимых выборок, в блок 606 вычисления предсказанной выборки.

[0208]

Блок 606 вычисления предсказанной выборки вычисляет значение выборки с внутренним DC-предсказанием, используя входные данные D606 и значения D613 допустимых выборок в выбранных местоположениях допустимых выборок. Затем блок 606 вычисления предсказанной выборки выводит данные D607, включающие в себя исходный блок выборки и значение выборки с внутренним DC-предсказанием, в блок 607 вычисления разностных данных.

[0209]

Блок 607 вычисления разностных данных вычисляет данные D608, включающие в себя разностные данные внутреннего DC, используя значение выборки с внутренним DC-предсказанием и исходный блок выборки.

[0210]

С другой стороны, когда выбирается способ DC-предсказания, не являющегося внутренним, блок 602 переключения отправляет исходный блок D601 выборки в блок 612 DC-предсказания, не являющегося внутренним, в качестве блока D616 выборки.

[0211]

Блок 612 DC-предсказания, не являющегося внутренним, генерирует данные D617, включающие в себя разностные данные, не относящиеся к внутреннему DC, и информацию DC-предсказания, не являющегося внутренним, используя исходный блок D616 выборки и информацию D615 кодирования, сохраненную относительно выборки, которая уже кодирована.

[0212]

Вентильный элемент 608 отправляет доступные данные в блок 609 кодирования в качестве данных D609, в соответствии с которыми доступны данные D608 и данные D617.

[0213]

Блок 609 кодирования обрабатывает разностные данные, включенные в данные D609, а также выполняет энтропийное кодирование над входными данными, посредством этого генерируя кодированный битовый поток D610 движущегося изображения (кодированный битовый поток D506). Примеры обработки над разностными данными включают в себя обработку преобразования, обработку масштабирования и т.п. Кроме того, блок 609 кодирования выводит данные D611, включающие в себя информацию предсказания и обработанные разностные данные, в блок 610 восстановления. Здесь информация предсказания включает в себя тип предсказания целевого блока.

[0214]

Блок 610 восстановления вычисляет значение восстановленной выборки с использованием данных D611 и сохраненной информации D615 кодирования и сохраняет данные D612, включающие в себя значение восстановленной выборки и информацию предсказания, в блоке 611 памяти.

[0215]

Далее идет описание устройства декодирования движущегося изображения, использующего вышеописанный способ декодирования движущегося изображения.

[0216]

Фиг. 21 - блок-схема, показывающая пример устройства 700 декодирования движущегося изображения в соответствии с Вариантом 2 осуществления настоящего изобретения. Устройство 700 декодирования движущегося изображения включает в себя блок 701 анализа, блок 702 переключения, первый блок 703 декодирования, второй блок 704 декодирования, вентильный элемент 705 и блок 706 генерирования изображения.

[0217]

Блок 701 анализа получает информацию D702 выбора, которая указывает результат выбора между схемой неизбирательного внутреннего DC-предсказания и схемой избирательного внутреннего DC-предсказания, путем анализа заголовка кодированного битового потока D701 движущегося изображения.

[0218]

Блок 702 переключения отправляет кодированный битовый поток D701 движущегося изображения в первый блок 703 декодирования или второй блок 704 декодирования на основе выбранной схемы внутреннего DC-предсказания. В частности, когда схема избирательного внутреннего DC-предсказания указывается информацией D702 выбора, блок 702 переключения выводит кодированный битовый поток D701 движущегося изображения в первый блок 703 декодирования в качестве битового потока D703. С другой стороны, когда схема неизбирательного внутреннего DC-предсказания указывается информацией D702 выбора, блок 702 переключения выводит кодированный битовый поток D701 движущегося изображения во второй блок 704 декодирования в качестве битового потока D704.

[0219]

Первый блок 703 декодирования генерирует значения D705 восстановленных выборок в единицах блоков путем декодирования битового потока D703 с использованием избирательного внутреннего DC-предсказания и DC-предсказания, не являющегося внутренним. Второй блок 704 декодирования генерирует значения D706 восстановленных выборок в единицах блоков путем декодирования битового потока D704 с использованием неизбирательного внутреннего DC-предсказания и DC-предсказания, не являющегося внутренним.

[0220]

В соответствии с тем, какой из сигналов, указывающих значения D705 и D706 восстановленных выборок, присутствует, вентильный элемент 705 отправляет текущий сигнал в блок 706 генерирования изображения в качестве значений D707 восстановленных выборок.

[0221]

Блок 706 генерирования изображения генерирует восстановленное изображение D708 путем записи значений D707 восстановленных выборок текущего блока в соответствующие местоположения изображения, которое должно быть восстановлено.

[0222]

Фиг. 22 - блок-схема, показывающая пример первого блока 703 декодирования, который использует схему избирательного внутреннего DC-предсказания в Варианте 2 осуществления настоящего изобретения. Первый блок 703 декодирования включает в себя первый блок 801 анализа, блок 802 переключения, второй блок 803 анализа, блок 820 внутреннего DC-предсказания, блок 807 вычисления восстановленной выборки, первый вентильный элемент 808, второй вентильный элемент 809, блок 810 памяти и блок 811 восстановления без внутреннего DC-предсказания.

[0223]

Первый блок 801 анализа получает информацию D802 выбора, указывающую результат выбора между способом внутреннего DC-предсказания и способом DC-предсказания, не являющегося внутренним, путем анализа кодированного битового потока D801 движущегося изображения.

[0224]

Когда результат выбора, полученный в результате анализа, показывает способ внутреннего DC-предсказания, блок 802 переключения отправляет кодированный битовый поток D801 движущегося изображения во второй блок 803 анализа в качестве битового потока D803.

[0225]

Второй блок 803 анализа получает разностные данные D804 внутреннего DC по отношению к целевому блоку кодирования путем анализа битового потока D803.

[0226]

Блок 820 внутреннего DC-предсказания вычисляет значение предсказанной выборки путем выполнения внутреннего DC-предсказания над целевым блоком среди множества блоков, полученных в результате разделения. Кроме того, блок 820 внутреннего DC-предсказания определяет допустимость каждой из эталонных выборок, которые располагаются по меньшей мере либо непосредственно выше, либо непосредственно слева от целевого блока, и даже когда эталонные выборки включают в себя допустимую выборку и недопустимую выборку, выполняет внутреннее предсказание с использованием допустимой выборки. Блок 820 внутреннего DC-предсказания включает в себя блок 804 выбора и блок 806 вычисления предсказанной выборки.

[0227]

Блок 804 выбора выбирает некоторые местоположения допустимых выборок с внутренним предсказанием, используя тип D816 предсказания, сохраненный относительно каждого местоположения эталонной выборки. Здесь тип D816 предсказания указывает результат выбора между внутренним предсказанием и предсказанием, не являющимся внутренним. Затем блок 804 выбора выводит данные D805, включающие в себя полученные в результате анализа разностные данные D804 и выбранные местоположения допустимых выборок, в блок 806 вычисления предсказанной выборки.

[0228]

Блок 806 вычисления предсказанной выборки вычисляет значение выборки с внутренним DC-предсказанием, используя входные данные D805 и значения D815 допустимых выборок в выбранных местоположениях допустимых выборок. Затем блок 806 вычисления предсказанной выборки выводит данные D807, включающие в себя полученные в результате анализа разностные данные и значение выборки с внутренним DC-предсказанием, в блок 807 вычисления восстановленной выборки.

[0229]

Блок 807 вычисления восстановленной выборки вычисляет значение D808 восстановленной с внутренним DC-предсказанием выборки для целевого блока кодирования, используя данные D807. Кроме того, блок 807 вычисления восстановленной выборки выводит данные D810, включающие в себя значение восстановленной с внутренним предсказанием выборки и способ предсказания, полученный в результате анализа.

[0230]

С другой стороны, когда результат выбора, полученный в результате анализа, указывает способ DC-предсказания, не являющегося внутренним, блок 802 переключения отправляет кодированный битовый поток D801 движущегося изображения в блок 811 восстановления без внутреннего DC-предсказания в качестве битового потока D811.

[0231]

Блок 811 восстановления без внутреннего DC-предсказания вычисляет значение D812 восстановленной выборки в соответствии со способом DC-предсказания, не являющегося внутренним, полученным в результате анализа, используя битовый поток D811 и информацию D817 кодирования, сохраненную относительно выборки, которая уже кодирована. Кроме того, блок 811 восстановления без внутреннего DC-предсказания выводит данные D813, включающие в себя значение восстановленной без внутреннего DC-предсказания выборки и информацию DC-предсказания, не являющегося внутренним, полученную в результате анализа.

[0232]

Первый вентильный элемент 808 отправляет доступные данные среди значений D808 и D812 восстановленных выборок в качестве восстановленной выборки D809 выходного блока. Аналогичным образом второй вентильный элемент 809 сохраняет в блоке 810 памяти доступные данные среди данных D810 и данных D813 в качестве данных D814.

[0233]

Вышеприведенное является описанием способа кодирования движущегося изображения, способа декодирования движущегося изображения, устройства кодирования движущегося изображения и устройства декодирования движущегося изображения в соответствии с вариантами осуществления настоящего изобретения, и настоящее изобретение не ограничивается этими вариантами осуществления.

[0234]

Например, настоящее изобретение можно реализовать в качестве устройства кодирования и декодирования движущегося изображения, включающего в себя вышеупомянутое устройство кодирования движущегося изображения и вышеупомянутое устройство декодирования движущегося изображения.

[0235]

Кроме того, можно объединить по меньшей мере некоторые функции способа кодирования движущегося изображения, способа декодирования движущегося изображения, устройства кодирования движущегося изображения и устройства декодирования движущегося изображения в соответствии с вышеописанными вариантами осуществления и их модификациями.

[0236]

Кроме того, разделение функциональных блоков на блок-схемах является примером, и множество функциональных блоков можно реализовать как единый функциональный блок, единый функциональный блок можно разделить на множество блоков, либо некоторые функции можно передать другому функциональному блоку. К тому же одиночное оборудование или программное обеспечение может параллельно или с разделением времени обрабатывать функции множества функциональных блоков, которые обладают аналогичными функциями.

[0237]

Порядок выполнения вышеупомянутых этапов служит для иллюстрации конкретного описания настоящего изобретения и может быть порядком, отличным от вышеприведенного порядка. Кроме того, некоторые из вышеупомянутых этапов могут выполняться одновременно (параллельно) с другими этапами.

[0238]

Вариант 3 осуществления

Обработка, описанная в каждом из Вариантов осуществления, может быть просто реализована в независимой компьютерной системе путем записи на носитель записи программы для реализации конфигураций способа кодирования движущегося изображения (способа кодирования изображений) и способа декодирования движущегося изображения (способа декодирования изображений), описанных в каждом из Вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что на них можно записать программу, например, могут быть магнитным диском, оптическим диском, магнитооптическим диском, платой ИС и полупроводниковой памятью.

[0239]

Ниже будут описываться применения к способу кодирования движущегося изображения (способу кодирования изображений) и способу декодирования движущегося изображения (способу декодирования изображений), описанным в каждом из Вариантов осуществления, и к системам, их использующим. Система обладает особенностью наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений, использующее способ кодирования изображений, и устройство декодирования изображений, использующее способ декодирования изображений. Другие конфигурации в системе можно при необходимости менять в зависимости от ситуаций.

[0240]

Фиг. 23 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на соты нужного размера, и в каждой из сот размещаются базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями.

[0241]

Система ex100 предоставления контента подключается к устройствам, например компьютеру ex111, персональному цифровому помощнику (PDA) ex112, камере ex113, сотовому телефону ex114 и игровому устройству ex115, через Интернет ex101, поставщика ex102 услуг Интернета, телефонную сеть ex104, а также базовые станции ex106-ex110 соответственно.

[0242]

Однако конфигурация системы ex100 предоставления контента не ограничивается конфигурацией, показанной на фиг. 23, и допустимо сочетание, в котором соединяются любые элементы. К тому же каждое устройство может быть подключено к телефонной сети ex104 напрямую, а не через базовые станции ex106 - ex110, которые являются стационарными беспроводным станциями. Кроме того, устройства могут быть взаимосвязаны друг с другом посредством ближней беспроводной связи и других.

[0243]

Камера ex113, например цифровая видеокамера, допускает съемку видеоизображения. Камера ex116, например цифровая видеокамера, допускает съемку как неподвижных изображений, так и видеоизображения. Кроме того, сотовый телефон ex114 может быть телефоном, который соответствует любому из стандартов, например Глобальной системе мобильной связи (GSM, зарегистрированный товарный знак), множественному доступу с кодовым разделением каналов (CDMA), Широкополосному множественному доступу с кодовым разделением каналов (W-CDMA), Системе долгосрочного развития (LTE) и Высокоскоростному пакетному доступу (HSPA). В качестве альтернативы сотовый телефон ex114 может относиться к Системе персональных переносных телефонов (PHS).

[0244]

В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, что дает возможность распространения изображений передачи в прямом эфире и прочих. При таком распространении контент (например, видеоизображение музыкальной передачи в прямом эфире), снятый пользователем с использованием камеры ex113, кодируется как описано выше в каждом из Вариантов осуществления (то есть камера функционирует в качестве устройства кодирования изображений в настоящем изобретении), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет потоковое распространение данных переданного контента клиентам по их запросам. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровое устройство ex115, которые допускают декодирование вышеупомянутых кодированных данных. Каждое из устройств, которое приняло распространенные данные, декодирует и воспроизводит кодированные данные (то есть функционирует в качестве устройства декодирования изображений в настоящем изобретении).

[0245]

Записанные данные могут кодироваться камерой ex113 или сервером ex103 потоковой передачи, который передает данные, либо процессы кодирования могут распределяться между камерой ex113 и сервером ex103 потоковой передачи. Аналогичным образом, распространенные данные могут декодироваться клиентами или сервером ex103 потоковой передачи, либо процессы декодирования могут распределяться между клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видеоизображения, снятых не только камерой ex113, но также и камерой ex116, могут передаваться серверу ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, либо распределяться между ними.

[0246]

Кроме того, процессы кодирования и декодирования могут выполняться с помощью LSI ex500, обычно включенной в каждый из компьютера ex111 и устройств. LSI ex500 может конфигурироваться из одиночной микросхемы или множества микросхем. Программное обеспечение для кодирования и декодирования видеоизображения может встраиваться в некоторый тип носителя записи (например, CD-ROM, гибкий диск и жесткий диск), который считывается компьютером ex111 и другими, и процессы кодирования и декодирования могут выполняться с использованием этого программного обеспечения. Кроме того, когда сотовый телефон ex114 оборудован камерой, можно передавать данные изображения, полученные камерой. Видеоданные являются данными, кодированными LSI ex500, включенной в сотовый телефон ex114.

[0247]

Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0248]

Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном масштабе времени в системе ex100 предоставления контента, чтобы пользователь, у которого нет никакого конкретного права и оборудования, мог реализовать личную трансляцию.

[0249]

Помимо примера системы ex100 предоставления контента по меньшей мере одно из устройства кодирования движущегося изображения (устройства кодирования изображений) и устройства декодирования движущегося изображения (устройства декодирования изображений), описанных в каждом из Вариантов осуществления, может быть реализовано в системе ex200 цифрового вещания, проиллюстрированной на фиг. 24. Точнее говоря, вещательная станция ex201 сообщает или передает посредством радиоволн вещательному спутнику ex202 мультиплексированные данные, полученные путем мультиплексирования аудиоданных и прочих на видеоданные. Видеоданные являются данными, кодированными по способу кодирования движущегося изображения, описанному в каждом из Вариантов осуществления (то есть данными, кодированными устройством кодирования движущегося изображения в настоящем изобретении). При приеме мультиплексированных данных вещательный спутник ex202 передает радиоволны для транслирования. Затем домашняя антенна ex204 с функцией приема спутникового вещания принимает радиоволны. Далее устройство, например телевизор ex300 (приемник) и телевизионная приставка ex217 (STB), декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (то есть функционирует в качестве устройства декодирования изображений в настоящем изобретении).

[0250]

Кроме того, устройство ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителях ex215 записи, например DVD и BD, либо (ii) кодирует видеосигналы на носителе ex215 записи и в некоторых случаях записывает данные, полученные путем мультиплексирования аудиосигнала на кодированные данные. Устройство ex218 считывания/записи может включать в себя устройство декодирования движущегося изображения или устройство кодирования движущегося изображения, которые показаны в каждом из Вариантов осуществления. В этом случае восстановленные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой с использованием носителя ex215 записи, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования движущегося изображения в телевизионной приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутникового и/или наземного вещания, чтобы отобразить видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования движущегося изображения может быть реализовано не в телевизионной приставке, а в телевизоре ex300.

[0251]

Фиг. 25 иллюстрирует телевизор (приемник) ex300, который использует способ кодирования движущегося изображения и способ декодирования движущегося изображения, описанные в каждом из Вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные путем мультиплексирования аудиоданных на видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает трансляцию; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные для поставки их наружу блока; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и аудиоданные либо мультиплексирует видеоданные и аудиоданные, кодированные блоком ex306 обработки сигналов, в данные.

[0252]

Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки аудиосигнала и блок ex305 обработки видеосигнала, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные соответственно (которые функционируют в качестве устройства кодирования изображений и устройства декодирования изображений); и блок ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, например устройство отображения. Кроме того, телевизор ex300 включает в себя интерфейсный блок ex317, включающий в себя блок ex312 ввода операции, который принимает ввод действия пользователя. Кроме того, телевизор ex300 включает в себя блок ex310 управления, который управляет в общем каждым составляющим элементом телевизора ex300, и схему ex311 питания, которая снабжает энергией каждый из элементов. Помимо блока ex312 ввода операции интерфейсный блок ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, например устройству ex218 считывания/записи; разъем ex314 для обеспечения присоединения носителя ex216 записи, например карты SD; привод ex315, который должен быть подключен к внешнему носителю записи, например жесткому диску; и модем ex316, который должен быть подключен к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 соединяются друг с другом по синхронной шине.

[0253]

Сначала будет описываться конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные извне через антенну ex204 и прочие, и воспроизводит декодированные данные. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя CPU. Кроме того, в телевизоре ex300 блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, а блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из Вариантов осуществления. Блок ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал соответственно. Когда блок ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319 и других, чтобы сигналы воспроизводились синхронно друг с другом. Кроме того, телевизор ex300 может считывать мультиплексированные данные не путем трансляции и прочего, а с носителей ex215 и ex216 записи, например магнитного диска, оптического диска и карты SD. Далее будет описываться конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал и передает данные вовне или записывает данные на носитель записи. В телевизоре ex300 в результате действия пользователя с пультом ex220 дистанционного управления и прочими блок ex304 обработки аудиосигнала кодирует аудиосигнал, а блок ex305 обработки видеосигнала кодирует видеосигнал под управлением блока ex310 управления с использованием способа кодирования, описанного в каждом из Вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет наружу результирующий сигнал. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321 и других, чтобы сигналы воспроизводились синхронно друг с другом. Здесь буферы ex318, ex319, ex320 и ex321 могут быть многочисленными, как проиллюстрировано, или по меньшей мере один буфер может использоваться совместно в телевизоре ex300. Кроме того, данные могут храниться в буфере, чтобы можно было избежать переполнения и незаполнения системы, например, между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования.

[0254]

Кроме того, телевизор ex300 может включать в себя конфигурацию для приема аудиовизуальных входных данных от микрофона или камеры помимо конфигурации для получения аудиоданных и видеоданных из трансляции или с носителя записи, и может кодировать полученные данные. Хотя в описании телевизор ex300 может кодировать, мультиплексировать и предоставлять вовне данные, он может допускать только прием, декодирование и предоставление наружу данных, но не кодирование, мультиплексирование и предоставление данных вовне.

[0255]

Кроме того, когда устройство ex218 считывания/записи считывает или записывает мультиплексированные данные с носителя записи или на него, одно из телевизора ex300 и устройства ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и устройство ex218 считывания/записи могут распределять декодирование или кодирование.

[0256]

В качестве примера фиг. 26 иллюстрирует конфигурацию блока ex400 воспроизведения/записи информации, когда данные считываются или записываются с оптического диска или на него. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые будут описаны ниже. Оптическая головка ex401 излучает лазерное пятно на поверхность записи носителя ex215 записи, который является оптическим диском, для записи информации и обнаруживает отраженный свет от поверхности записи носителя ex215 записи для считывания информации. Блок ex402 модуляционной записи электрически управляет полупроводниковым лазером, включенным в оптическую головку ex401, и модулирует лазерное излучение в соответствии с записанными данными. Блок ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный путем электрического обнаружения отраженного света от поверхности записи с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения путем отделения составляющей сигнала, записанной на носителе ex215 записи, чтобы воспроизвести необходимую информацию. Буфер ex404 временно хранит информацию, которая должна быть записана на носитель ex215 записи, и информацию, воспроизведенную с носителя ex215 записи. Двигатель ex405 диска вращает носитель ex215 записи. Блок ex406 сервоуправления перемещает оптическую головку ex401 на заранее установленную информационную дорожку, управляя при этом вращением двигателя ex405 диска, чтобы следовать за лазерным пятном. Блок ex407 системного управления управляет в целом блоком ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком ex407 системного управления, использующим различную информацию, сохраненную в буфере ex404, и формирующим и добавляющим новую информацию по необходимости, и блоком ex402 модуляционной записи, блоком ex403 демодуляции при воспроизведении и блоком ex406 сервоуправления, которые записывают и воспроизводят информацию посредством оптической головки ex401, будучи управляемыми при этом согласованным способом. Блок ex407 системного управления включает в себя, например, микропроцессор и выполняет обработку путем побуждения компьютера выполнить программу для считывания и записи.

[0257]

Хотя в описании оптическая головка ex401 излучает лазерное пятно, она может выполнять запись с высокой плотностью, используя свет ближней зоны.

[0258]

Фиг. 27 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности записи носителя ex215 записи направляющие канавки образуются по спирали, и информационная дорожка ex230 заранее записывает адресную информацию, указывающую абсолютное положение на диске в соответствии с изменением в форме направляющих канавок. Адресная информация включает в себя информацию для определения положений блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может привести к определению положений блоков записи. Кроме того, носитель ex215 записи включает в себя область ex233 записи данных, область ex232 внутренней окружности и область ex234 внешней окружности. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней окружности и область ex234 внешней окружности, которые находятся внутри и снаружи области ex233 записи данных соответственно, предназначены для специального использования за исключением записи пользовательских данных. Блок ex400 воспроизведения/записи информации считывает и записывает кодированные аудиоданные, кодированные видеоданные или мультиплексированные данные, полученные путем мультиплексирования кодированных звуковых и видеоданных, из области ex233 записи данных в носителе ex215 записи и на нее.

[0259]

Хотя в описании в качестве примера описывается оптический диск, содержащий слой, например DVD и BD, оптический диск не ограничивается таковым и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на части, отличной от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, например, записи информации с использованием света с цветами разных длин волн в одной и той же части оптического диска и для записи информации, имеющей разные слои, с различных углов.

[0260]

Кроме того, в системе ex200 цифрового вещания автомобиль ex210, имеющий антенну ex205, может принимать данные со спутника ex202 и других и воспроизводить видеоизображение на устройстве отображения, например автомобильной навигационной системе ex211, установленной в автомобиле ex210. Здесь конфигурация автомобильной навигационной системы ex211 будет конфигурацией, например, включающей в себя приемный блок GPS из конфигурации, проиллюстрированной на фиг. 25. То же самое будет справедливо для конфигурации компьютера ex111, сотового телефона ex114 и прочих.

[0261]

Фиг. 28A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущегося изображения и способ декодирования движущегося изображения, описанные в Вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн посредством базовой станции ex110; камеру ex365, допускающую съемку подвижных и неподвижных изображений; и блок ex358 отображения, например жидкокристаллическое устройство отображения для отображения данных, например декодированного видеоизображения, снятого камерой ex365 или принятого антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: корпус, включающий в себя панель ex366 кнопок; блок ex357 вывода аудио, например динамик для вывода аудио; блок ex356 ввода аудио, например микрофон для ввода аудио; блок ex367 памяти для хранения снятого видеоизображения или неподвижных изображений, записанных аудиоданных, кодированных или декодированных данных принятого видеоизображения, неподвижных изображений, электронных писем или прочего; и разъем ex364, который является интерфейсным блоком для носителя записи, который хранит данные таким же образом, что и блок ex367 памяти.

[0262]

Далее пример конфигурации сотового телефона ex114 будет описываться со ссылкой на фиг. 28B. В сотовом телефоне ex114 главный блок ex360 управления, спроектированный для управления в целом каждым блоком корпуса, включающего в себя блок ex358 отображения, а также панель ex366 кнопок, взаимно подключается через синхронную шину ex370 к схеме ex361 питания, блоку ex362 управления вводом операции, блоку ex355 обработки видеосигнала, интерфейсному блоку ex363 камеры, блоку ex359 управления жидкокристаллическим устройством отображения (LCD), блоку ex352 модуляции/демодуляции, блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки аудиосигнала, разъему ex364 и блоку ex367 памяти.

[0263]

Когда клавиша завершения вызова или клавиша питания нажимается в результате действия пользователя, схема ex361 питания снабжает соответствующие блоки энергией от сборки батарей, чтобы активизировать сотовый телефон ex114.

[0264]

В сотовом телефоне ex114 блок ex354 обработки аудиосигнала преобразует аудиосигналы, собранные блоком ex356 ввода аудио в режиме разговора, в цифровые аудиосигналы под управлением главного блока ex360 управления, включающего CPU, ROM и RAM. Затем блок ex352 модуляции/демодуляции выполняет обработку по расширению спектра над цифровыми аудиосигналами, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350. Также в сотовом телефоне ex114 блок ex351 передачи и приема усиливает данные, принятые антенной ex350 в режиме разговора, и выполняет преобразование частоты и аналого-цифровое преобразование над данными. Затем блок ex352 модуляции/демодуляции выполняет обработку по обратному расширению спектра над данными, а блок ex354 обработки аудиосигнала преобразует их в аналоговые аудиосигналы, чтобы вывести их через блок ex357 вывода аудио.

[0265]

Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные из электронной почты, введенные путем воздействия на панель ex366 кнопок и прочие в корпусе, отправляются главному блоку ex360 управления через блок ex362 управления вводом операции. Главный блок ex360 управления побуждает блок ex352 модуляции/демодуляции выполнить обработку по расширению спектра над текстовыми данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные базовой станции ex110 через антенну ex350. Когда принимается электронная почта, над принятыми данными выполняется обработка, которая приблизительно обратна обработке для передачи электронной почты, и результирующие данные предоставляются блоку ex358 отображения.

[0266]

Когда передаются видеоизображение, неподвижные изображения или видеоизображение и аудио в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, поступившие от камеры ex365, используя способ кодирования движущегося изображения, показанный в каждом из Вариантов осуществления (то есть функционирует в качестве устройства кодирования изображений в настоящем изобретении), и передает кодированные видеоданные блоку ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время того, когда камера ex365 снимает видеоизображение, неподвижные изображения и другие, блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные блоком ex356 ввода аудио, и передает кодированные аудиоданные блоку ex353 мультиплексирования/демультиплексирования.

[0267]

Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, поступившие от блока ex355 обработки видеосигнала, и кодированные аудиоданные, поступившие от блока ex354 обработки аудиосигнала, используя предопределенный способ. Затем блок ex352 модуляции/демодуляции (схема модуляции/демодуляции) выполняет обработку по расширению спектра над мультиплексированными данными, а блок ex351 передачи и приема выполняет цифро-аналоговое преобразование и преобразование частоты над данными, чтобы передать результирующие данные через антенну ex350.

[0268]

При приеме данных видеофайла, который связан с веб-страницей и другими в режиме передачи данных, или при приеме электронной почты с прикрепленным видеоизображением и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные на битовый поток видеоданных и битовый поток аудиоданных и снабжает блок ex355 обработки видеосигнала кодированными видеоданными, а блок ex354 обработки аудиосигнала - кодированными аудиоданными посредством синхронной шины ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал с использованием способа декодирования движущегося изображения, соответствующего способу кодирования движущегося изображения, показанному в каждом из Вариантов осуществления (то есть функционирует в качестве устройства декодирования изображений в настоящем изобретении), а затем блок ex358 отображения отображает, например, видеоизображение и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, посредством блока ex359 управления LCD. Кроме того, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 вывода аудио предоставляет аудио.

[0269]

Кроме того, аналогично телевизору ex300, терминал, например сотовый телефон ex114, возможно имеет 3 типа конфигураций исполнения, включающих не только (i) передающий и приемный терминал, включающий в себя устройство кодирования и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные путем мультиплексирования аудиоданных на видеоданные, мультиплексированные данные могут быть данными, полученными путем мультиплексирования не аудиоданных, а символьных данных, имеющих отношение к видеоизображению, на видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

[0270]

По существу, способ кодирования движущегося изображения и способ декодирования движущегося изображения в каждом из Вариантов осуществления может использоваться в любом из описанных устройств и систем. Таким образом, можно получить преимущества, описанные в каждом из Вариантов осуществления.

[0271]

Кроме того, настоящее изобретение не ограничивается Вариантами осуществления, и возможны различные модификации и изменения без отклонения от объема настоящего изобретения.

[0272]

Вариант 4 осуществления

Видеоданные могут генерироваться путем переключения, по необходимости, между (i) способом кодирования движущегося изображения или устройством кодирования движущегося изображения, показанными в каждом из Вариантов осуществления, и (ii) способом кодирования движущегося изображения или устройством кодирования движущегося изображения в соответствии с другим стандартом, например MPEG-2, MPEG4-AVC и VC-1.

[0273]

Здесь, когда генерируется множество видеоданных, которые соответствуют разным стандартам, а затем декодируется, нужно выбирать способы декодирования, которые соответствуют разным стандартам. Однако, поскольку нельзя определить то, какому стандарту соответствуют каждые из множества видеоданных, которые должны быть декодированы, существует проблема в том, что нельзя выбрать подходящий способ декодирования.

[0274]

Чтобы решить эту проблему, мультиплексированные данные, полученные путем мультиплексирования аудиоданных и других на видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую, какому стандарту соответствуют видеоданные. Ниже будет описываться конкретная структура мультиплексированных данных, включающих в себя видеоданные, сгенерированные по способу кодирования движущегося изображения и с помощью устройства кодирования движущегося изображения, показанным в каждом из Вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортного потока MPEG2.

[0275]

Фиг. 29 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 29, мультиплексированные данные можно получить путем мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока демонстрационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видеоизображение и вторичное видеоизображение фильма, аудиопоток представляет первичную аудио часть и вторичную аудио часть, которая должна быть смешана с первичной аудио частью, а поток демонстрационной графики представляет субтитры фильма. Здесь первичное видеоизображение является обычным видеоизображением, которое должно быть отображено на экране, а вторичное видеоизображение является видеоизображением, которое должно быть отображено на меньшем окне в первичном видеоизображении. Кроме того, поток интерактивной графики представляет интерактивный экран, который должен быть сгенерирован путем размещения компонентов GUI на экране. Видеопоток кодируется по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения, показанным в каждом из Вариантов осуществления, либо по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения в соответствии с традиционным стандартом, например MPEG-2, MPEG4-AVC и VC-1. Аудиопоток кодируется в соответствии со стандартом, например Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD и линейной PCM.

[0276]

Каждый поток, включенный в мультиплексированные данные, идентифицируется по PID. Например, 0x1011 назначается видеопотоку, который должен быть использован для видеоизображения фильма, 0x1100-0x111F назначаются аудиопотокам, 0x1200-0x121F назначаются потокам демонстрационной графики, 0x1400-0x141F назначаются потокам интерактивной графики, 0x1B00-0x1B1F назначаются видеопотокам, которые должны быть использованы для вторичного видеоизображения фильма, и 0x1A00-0x1A1F назначаются аудиопотокам, которые должны быть использованы для вторичного видео, которое должно быть смешано с первичным аудио.

[0277]

Фиг. 30 схематически иллюстрирует то, как мультиплексируются данные. Сначала видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток ex236 пакетов PES и поток ex239 пакетов PES, и дополнительно в пакеты ex237 TS и пакеты ex240 TS соответственно. Аналогичным образом данные из потока ex241 демонстрационной графики и данные из потока ex244 интерактивной графики преобразуются в поток ex242 пакетов PES и поток ex245 пакетов PES, и дополнительно в пакеты ex243 TS и пакеты ex246 TS соответственно. Эти пакеты TS мультиплексируются в поток для получения мультиплексированных данных ex247.

[0278]

Фиг. 31 подробнее иллюстрирует то, как видеопоток сохраняется в потоке пакетов PES. Первая полоса на фиг. 31 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток пакетов PES. Как указано стрелками, обозначенными yy1, yy2, yy3 и yy4 на фиг. 31, видеопоток делится на изображения в виде I-изображений, B-изображений и P-изображений, каждое из которых является блоком видеодемонстрации, и изображения сохраняются в полезной нагрузке каждого из пакетов PES. Каждый из пакетов PES имеет заголовок PES, и заголовок PES хранит Временную отметку воспроизведения (PTS), указывающую время показа изображения, и Временную отметку декодирования (DTS), указывающую время декодирования изображения.

[0279]

Фиг. 32 иллюстрирует формат пакетов TS, которые в конечном счете должны быть записаны в мультиплексированные данные. Каждый из пакетов TS является 188-байтным пакетом фиксированной длины, включающим 4-байтный заголовок TS, содержащий информацию, например PID для идентификации потока, и 184-байтную полезную нагрузку TS для хранения данных. Пакеты PES разделяются и сохраняются в полезных нагрузках TS соответственно. Когда используется BD ROM, каждому из пакетов TS выдается 4-байтный TP_Extra_Header, соответственно приводя к 192-байтным исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит информацию, например Временную отметку поступления (ATS). ATS показывает время начала передачи, в которое каждый из пакетов TS должен быть передан в фильтр PID. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 32. Номера, увеличивающиеся от начала мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0280]

Каждый из пакетов TS, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видеоизображения, субтитров и других, но также Таблицу взаимосвязи программ (PAT), Таблицу преобразования программ (PMT) и Опорный сигнал программы (PCR). PAT показывает, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видеоизображения, аудио, субтитров и других, включенных в мультиплексированные данные, и информацию об атрибутах потоков, соответствующих PID. PMT также содержит различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы обладают информацией, например информацией управления копированием, показывающей, разрешено ли копирование мультиплексированных данных. PCR хранит временную информацию STC, соответствующую ATS, показывающей, когда пакет PCR передается декодеру, чтобы достичь синхронизации между Таймером поступления (ATC), который является осью времени ATS, и Системным таймером (STC), который является осью времени PTS и DTS.

[0281]

Фиг. 33 подробно иллюстрирует структуру данных PMT. Заголовок PMT располагается в начале PMT. Заголовок PMT описывает длину данных, включенных в PMT, и прочее. После заголовка PMT располагается множество дескрипторов, относящихся к мультиплексированным данным. В дескрипторах описывается информация, например информация управления копированием. После дескрипторов располагается множество порций информации потока, относящихся к потокам, включенным в мультиплексированные данные. Каждая порция информации потока включает в себя дескрипторы потока, описывающие информацию, например тип потока для идентификации кодека сжатия потока, PID потока и информацию об атрибутах потока (например, частоту кадров или соотношение сторон). Дескрипторы потока по числу равны количеству потоков в мультиплексированных данных.

[0282]

Когда мультиплексированные данные записываются на носитель записи и прочие, они записываются вместе с информационными файлами мультиплексированных данных.

[0283]

Каждый из информационных файлов мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на фиг. 34. Информационные файлы мультиплексированных данных находятся в однозначном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту входов.

[0284]

Как проиллюстрировано на фиг. 34, мультиплексированные данные включают в себя системную скорость, время начала воспроизведения и время окончания воспроизведения. Системная скорость указывает максимальную скорость передачи, с которой конечный декодер системы, который будет описан позже, передает мультиплексированные данные в фильтр PID. Интервалы ATS, включенных в мультиплексированные данные, устанавливаются не выше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в начале мультиплексированных данных. Интервал из одного кадра добавляется в PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается во время окончания воспроизведения.

[0285]

Как показано на фиг. 35, порция информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации атрибутов содержит разную информацию в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком демонстрационной графики или потоком интерактивной графики. Каждая порция информации атрибутов видеопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение сторон и частоту кадров порций данных изображения, которые включаются в видеопоток. Каждая порция информации атрибутов аудиопотока несет информацию, включающую то, какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопоток и какова частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера перед тем, как проигрыватель воспроизводит информацию.

[0286]

В настоящем варианте осуществления мультиплексированные данные, которые должны быть использованы, принадлежат к типу потока, включенному в PMT. Кроме того, когда мультиплексированные данные записываются на носитель записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Точнее говоря, способ кодирования движущегося изображения или устройство кодирования движущегося изображения, описанные в каждом из Вариантов осуществления, включают в себя этап или блок для назначения уникальной информации, указывающей видеоданные, сгенерированные по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения в каждом из Вариантов осуществления, типу потока, включенному в PMT, или информации атрибутов видеопотока. С помощью этой конфигурации видеоданные, сгенерированные способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, можно отличить от видеоданных, которые соответствуют другому стандарту.

[0287]

Кроме того, фиг. 36 иллюстрирует этапы способа декодирования движущегося изображения в соответствии с настоящим вариантом осуществления. На этапе exS100 тип потока, включенный в PMT, или информация атрибутов видеопотока получаются из мультиплексированных данных. Далее на этапе exS101 определяется, указывает ли тип потока или информация атрибутов видеопотока, что мультиплексированные данные генерируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения в каждом из Вариантов осуществления. Когда определяется, что тип потока или информация атрибутов видеопотока указывает, что мультиплексированные данные генерируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения в каждом из Вариантов осуществления, то на этапе exS102 выполняется декодирование по способу декодирования движущегося изображения в каждом из Вариантов осуществления. Кроме того, когда тип потока или информация об атрибутах видеопотока указывает соответствие традиционным стандартам, например MPEG-2, MPEG4-AVC и VC-1, то на этапе exS103 выполняется декодирование по способу декодирования движущегося изображения в соответствии с традиционными стандартами.

[0288]

По существу, назначение нового уникального значения типу потока или информации атрибутов видеопотока дает возможность определения, могут ли способ декодирования движущегося изображения или устройство декодирования движущегося изображения, которые описаны в каждом из Вариантов осуществления, выполнять декодирование. Даже при мультиплексированных данных, которые соответствуют другому стандарту, можно выбрать подходящий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без какой-либо ошибки. Кроме того, способ или устройство кодирования движущегося изображения либо способ или устройство декодирования движущегося изображения в настоящем варианте осуществления могут использоваться в устройствах и системах, описанных выше.

[0289]

Вариант 5 осуществления

Каждый из способа кодирования движущегося изображения, устройства кодирования движущегося изображения, способа декодирования движущегося изображения и устройства декодирования движущегося изображения в каждом из Вариантов осуществления обычно выполняется в виде интегральной схемы или Большой интегральной схемы (LSI). В качестве примера LSI фиг. 37 иллюстрирует конфигурацию LSI ex500, которая превращена в одну микросхему. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые будут описаны ниже, и эти элементы соединяются друг с другом посредством шины ex510. Схема ex505 питания активизируется путем подачи питания каждому из элементов, когда включается схема ex505 питания.

[0290]

Например, когда выполняется кодирование, LSI ex500 принимает аудиовизуальный сигнал от микрофона ex117, камеры ex113 и других посредством аудиовизуального ввода/вывода ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и блок ex512 регулировки частоты возбуждения. Принятый аудиовизуальный сигнал временно сохраняется во внешнем блоке ex511 памяти, например SDRAM. Под управлением блока ex501 управления сохраненные данные сегментируются на порции данных в соответствии с объемом и скоростью обработки для передачи их блоку ex507 обработки сигналов. Затем блок ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из Вариантов осуществления. Кроме того, блок ex507 обработки сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и ввод/вывод ex506 потока предоставляет мультиплексированные данные вовне. Предоставленные мультиплексированные данные передаются базовой станции ex107 или записываются на носители ex215 записи. Когда мультиплексируются наборы данных, данные следует временно сохранить в буфере ex508, чтобы наборы данных синхронизировались друг с другом.

[0291]

Хотя блок ex511 памяти является элементом вне LSI ex500, он может включаться в LSI ex500. Буфер ex508 не ограничивается одним буфером, а может состоять из буферов. Кроме того, LSI ex500 можно превратить в одну микросхему или множество микросхем.

[0292]

Кроме того, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 регулировки частоты возбуждения, конфигурация блока ex501 управления не ограничивается таковой. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение другого CPU в блок ex507 обработки сигналов может повысить скорость обработки. Кроме того, в качестве другого примера CPU ex502 может работать в качестве блока ex507 обработки сигналов или быть его частью, и, например, может включать в себя блок обработки аудиосигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.

[0293]

Используемым здесь наименованием является LSI, но она также может называться системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0294]

Кроме того, способы достижения интеграции не ограничиваются LSI, и специальная схема или универсальный процессор и т.д. также могут обеспечить интеграцию. С той же целью может использоваться программируемая пользователем вентильная матрица (FPGA), которую можно запрограммировать после производства LSI, или реконфигурируемый процессор, который допускает реконфигурацию соединения или конфигурацию LSI.

[0295]

В будущем, с развитием полупроводниковой технологии совершенно новая технология может заменить LSI. Функциональные блоки можно интегрировать с использованием такой технологии. Есть вероятность, что настоящее изобретение применяется к биотехнологии.

Вариант 6 осуществления

[0296]

Когда декодируются видеоданные, сгенерированные по способу кодирования движущегося изображения или с помощью устройства кодирования движущегося изображения, описанным в каждом из Вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, объем обработки скорее всего увеличивается. Таким образом, LSI ex500 должен быть настроен на частоту возбуждения выше, чем у CPU ex502, который должен быть использован, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, имеется проблема, что увеличивается энергопотребление.

[0297]

Чтобы решить эту проблему, устройство декодирования движущегося изображения, например телевизор ex300 и LSI ex500, конфигурируется для определения, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения в соответствии с определенным стандартом. Фиг. 38 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения, когда видеоданные генерируются способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает инструкцию блоку ex801 декодирующей обработки, который выполняет способ декодирования движущегося изображения, описанный в каждом из Вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, чем у видеоданных, сгенерированных способом кодирования движущегося изображения или устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления. Затем блок ex803 переключения частоты возбуждения дает инструкцию блоку ex802 декодирующей обработки, который соответствует традиционному стандарту, декодировать видеоданные.

[0298]

Точнее говоря, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 регулировки частоты возбуждения на фиг. 37. Здесь каждый из блока ex801 декодирующей обработки, который выполняет способ декодирования движущегося изображения, описанный в каждом из Вариантов осуществления, и блока ex802 декодирующей обработки, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на фиг. 37. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 регулировки частоты возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. Кроме того, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в Варианте 4 осуществления, скорее всего используется для идентификации видеоданных. Идентификационная информация не ограничивается описанной в Варианте 4 осуществления, а может быть любой информацией при условии, что эта информация указывает, какому стандарту соответствуют видеоданные. Например, когда на основе внешнего сигнала для определения, что видеоданные используются для телевидения или диска и т.д., можно определить, какому стандарту соответствуют видеоданные, определение можно выполнять на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, справочной таблицы, в которой стандарты видеоданных связаны с частотами возбуждения, как показано на фиг. 40. Частота возбуждения может выбираться путем сохранения справочной таблицы в буфере ex508 и во внутреннем запоминающем устройстве LSI, и при обращении к справочной таблице с помощью CPU ex502.

[0299]

Фиг. 39 иллюстрирует этапы для выполнения способа в настоящем варианте осуществления. Сначала на этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе exS201 на основе идентификационной информации CPU ex502 определяет, генерируются ли видеоданные с помощью способа кодирования и устройства кодирования, описанных в каждом из Вариантов осуществления. Когда видеоданные генерируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, на Этапе exS202 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в более высокую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, на этапе exS203 CPU ex502 передает блоку ex512 регулировки частоты возбуждения сигнал для установки частоты возбуждения в меньшую частоту возбуждения. Затем блок ex512 регулировки частоты возбуждения устанавливает частоту возбуждения в меньшую частоту возбуждения, нежели в случае, где видеоданные генерируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления.

[0300]

Кроме того, вместе с переключением частот возбуждения можно усилить эффект экономии энергии путем изменения напряжения, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500. Например, когда частота возбуждения устанавливается ниже, напряжение, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается в напряжение ниже, чем в случае, где частота возбуждения устанавливается выше.

[0301]

Кроме того, в качестве способа для настройки частоты возбуждения, когда объем обработки для декодирования больше, частоту возбуждения можно установить выше, а когда объем обработки для декодирования меньше, частоту возбуждения можно установить ниже. Таким образом, способ настройки не ограничивается способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG4-AVC больше объема обработки для декодирования видеоданных, сгенерированных способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, частота возбуждения скорее всего устанавливается в обратном порядке к описанной выше установке.

[0302]

Кроме того, способ для установки частоты возбуждения не ограничивается способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные генерируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, напряжение, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, напряжение, которое должно быть подано на LSI ex500 или устройство, включающее в себя LSI ex500, скорее всего устанавливается ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные генерируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, приведение в действие CPU ex502, скорее всего, не должно быть приостановлено. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, приведение в действие CPU ex502, скорее всего, приостанавливается в заданный момент, потому что у CPU ex502 есть избыточная производительность обработки. Даже когда идентификационная информация указывает, что видеоданные генерируются способом кодирования движущегося изображения и устройством кодирования движущегося изображения, описанными в каждом из Вариантов осуществления, в случае, где у CPU ex502 есть избыточная производительность обработки, приведение в действие CPU ex502 скорее всего приостанавливается в заданный момент. В таком случае время приостановки, скорее всего, устанавливается короче, нежели в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1.

[0303]

Соответственно, можно усилить эффект экономии энергии путем переключения между частотами возбуждения в соответствии со стандартом, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, приводится в действие с использованием батареи, время работы от батарей можно продлить вместе с эффектом экономии энергии.

[0304]

Вариант 7 осуществления

Имеются случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, например телевизору и мобильному телефону. Чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов в LSI ex500 должен соответствовать разным стандартам. Однако возникают проблемы увеличения масштаба схемы LSI ex500 и увеличения стоимости с отдельным использованием блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.

[0305]

Чтобы решить эту проблему, представляется конфигурация, в которой блок декодирующей обработки для реализации способа декодирования движущегося изображения, описанного в каждом из Вариантов осуществления, и блок декодирующей обработки, который соответствует традиционному стандарту, например MPEG-2, MPEG4-AVC и VC-1, частично используются совместно. Ex900 на фиг. 41A показывает пример этой конфигурации. Например, способ декодирования движущегося изображения, описанный в каждом из Вариантов осуществления, и способ декодирования движущегося изображения, который соответствует MPEG4-AVC, имеют отчасти общие подробности обработки, например энтропийное кодирование, обратное квантование, фильтрацию уменьшения блочности и предсказание с компенсацией движения. Подробности обработки, которая должна разделяться, скорее всего включают в себя использование блока ex902 декодирующей обработки, который соответствует MPEG4-AVC. В отличие от этого специализированный блок ex901 декодирующей обработки скорее всего используется для другой обработки, уникальной для настоящего изобретения. Поскольку настоящее изобретение отличается, в частности, обработкой с внутренним предсказанием, то для обработки с внутренним предсказанием используется, например, специализированный блок ex901 декодирующей обработки. В противном случае блок декодирующей обработки, скорее всего, совместно используется для одного из энтропийного кодирования, обратного квантования, фильтрации уменьшения блочности и компенсации движения, или для всей обработки. Блок декодирующей обработки для реализации способа декодирования движущегося изображения, описанного в каждом из Вариантов осуществления, может совместно использоваться для обработки, которую нужно распределить, а специализированный блок декодирующей обработки может использоваться для обработки, уникальной для обработки в MPEG4-AVC.

[0306]

Кроме того, ex1000 на фиг. 41B показывает другой пример, в котором обработка частично распределяется. Этот пример использует конфигурацию, включающую специализированный блок ex1001 декодирующей обработки, который поддерживает обработку, уникальную для настоящего изобретения, специализированный блок ex1002 декодирующей обработки, который поддерживает обработку, уникальную для другого традиционного стандарта, и блок ex1003 декодирующей обработки, который поддерживает обработку, которая должна быть распределена между способом декодирования движущегося изображения в настоящем изобретении и традиционным способом декодирования движущегося изображения. Здесь специализированные блоки ex1001 и ex1002 декодирующей обработки не обязательно являются специализированными для обработки по настоящему изобретению и обработки по традиционному стандарту соответственно, а могут быть блоками, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована с помощью LSI ex500.

[0307]

По существу, уменьшение масштаба схемы LSI и сокращение затрат возможны путем совместного использования блока декодирующей обработки для обработки, которая должна быть распределена между способом декодирования движущегося изображения в настоящем изобретении и способом декодирования движущегося изображения в соответствии с традиционным стандартом.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0308]

Настоящее изобретение достигает результатов повышения эффективности кодирования в полной мере и может использоваться для различных целей, например хранения, передачи и взаимодействия. Например, настоящее изобретение может использоваться для устройств отображения информации с высоким разрешением и устройств генерирования изображений с высоким разрешением, таких как телевизоры, устройства записи цифрового видео, автомобильные навигаторы, сотовые телефоны, цифровые фотоаппараты и цифровые видеокамеры, и соответственно обладает высокой доступностью.

СПИСОК ССЫЛОК

[0309]

100, 500 Устройство кодирования движущегося изображения

101, 501 Блок деления

102, 502, 804 Блок выбора

103, 202, 302, 402, 503, 602, 702, 802 Блок переключения

104, 504 Первый блок кодирования

105, 505 Второй блок кодирования

106, 506 Блок кодирования заголовка

107, 208, 305, 507, 608, 705 Вентильный элемент

108, 508 Блок генерирования битового потока

201, 601 Первый блок выбора

203, 404 Блок определения допустимости

204, 405 Блок вычисления эталонной выборки

205, 605 Второй блок выбора

206, 406, 606, 806 Блок вычисления предсказанной выборки

207, 607 Блок вычисления разностных данных

209, 609 Блок кодирования

210, 610 Блок восстановления

211, 410, 611, 810 Блок памяти

212 Блок не внутреннего предсказания

220, 420 Блок внутреннего предсказания

300, 700 Устройство декодирования движущегося изображения

301, 701 Блок анализа

303, 703 Первый блок декодирования

304, 704 Второй блок декодирования

306, 706 Блок генерирования изображения

401, 801 Первый блок анализа

403, 803 Второй блок анализа

407, 807 Блок вычисления восстановленной выборки

408, 808 Первый вентильный элемент

409, 809 Второй вентильный элемент

411 Блок восстановления без внутреннего предсказания

612 Блок DC-предсказания, не являющегося внутренним

620, 820 Блок внутреннего DC-предсказания

811 Блок восстановления без внутреннего DC-предсказания

900 Кодированный битовый поток движущегося изображения

901 Заголовок последовательности

902, 913 Данные

911 Заголовок изображения

912 Данные изображения

921 Заголовок среза

922 Данные среза

950, 960 Информация выбора

951, 961 Параметр профиля

952, 962 Параметр уровня

D101, D501 Исходное изображение

D102, D302, D402, D502, D702, D802 Информация выбора

D103, D104, D105, D503, D504, D505 Блок кодирования переменной длины

D106, D107, D108, D109, D506, D507, D508, D509 Кодированный битовый поток

D110, D210, D301, D401, D510, D610, D701, D801 Кодированный битовый поток движущегося изображения

D201, D203, D216, D601, D603, D616 Блок выборки

D202, D214, D416, D602, D614, D816 Тип предсказания

D204, D205, D207, D208, D209, D211, D212, D217, D405, D406, D407, D410, D413, D414, D606, D607, D608, D609, D611, D612, D617, D805, D807, D810, D813, D814 Данные

D206 Способ внутреннего предсказания

D213, D415, D613, D815 Значение допустимой выборки

D215, D417, D615, D817 Информация кодирования

D303, D304, D403, D411, D703, D704, D803, D811 Битовый поток

D305, D306, D307, D408, D412, D705, D706, D707, D808, D812 Значение восстановленной выборки

D308, D708 Восстановленное изображение

D404 Данные анализа

D409, D809 Восстановленная выборка

D804 Разностные данные

Изобретение относится к области кодирования и декодирования движущегося изображения. Технический результат - повышение эффективности кодирования. Способ декодирования движущегося изображения в соответствии с настоящим изобретением включает в себя: выполнение внутреннего предсказания над целевым блоком, чтобы вычислить значения предсказанных выборок целевого блока (S403); и вычисление восстановленных выборок целевого блока путем суммирования разностных данных и значений предсказанных выборок целевого блока (S404), где при выполнении внутреннего предсказания определяется допустимость каждой из эталонных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда эталонные выборки включают в себя допустимую эталонную выборку и недопустимую эталонную выборку, внутреннее предсказание выполняется с использованием допустимой эталонной выборки, и эталонная выборка с внутренним предсказанием определяется в качестве допустимой эталонной выборки, а эталонная выборка с внешним предсказанием определяется в качестве недопустимой эталонной выборки. 5 н. и 11 з.п. ф-лы, 49 ил.

1. Способ декодирования движущегося изображения, содержащий этапы, на которых:
анализируют кодированный битовый поток движущегося изображения, чтобы получить разностные данные целевого блока из множества блоков двух или более размеров;
выполняют внутреннее предсказание над целевым блоком, чтобы вычислить значения предсказанных выборок целевого блока; и
вычисляют восстановленные выборки целевого блока путем суммирования разностных данных и значений предсказанных выборок,
где при упомянутом выполнении внутреннего предсказания
определяют допустимость каждой из опорных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда опорные выборки включают в себя и допустимую опорную выборку, и недопустимую опорную выборку, внутреннее предсказание выполняют с использованием допустимой опорной выборки, и
опорную выборку с внутренним предсказанием определяют в качестве допустимой опорной выборки, а опорную выборку с внешним предсказанием определяют в качестве недопустимой опорной выборки,
в котором при упомянутом анализе кодированный битовый поток движущегося изображения дополнительно анализируется для определения способа внутреннего предсказания, и
упомянутое выполнение внутреннего предсказания дополнительно включает в себя этапы, на которых:
вычисляют дополнительную выборку с использованием одной или более допустимых опорных выборок, включающих в себя допустимую опорную выборку, при этом дополнительная выборка является опорной выборкой в местоположении недопустимой опорной выборки; и
вычисляют предсказанные выборки целевого блока в соответствии со способом внутреннего предсказания, используя допустимую опорную выборку и дополнительную выборку,
в котором упомянутое вычисление дополнительной выборки включает в себя этапы, на которых:
выбирают одну из допустимых опорных выборок в качестве выбранной выборки; и
определяют значение выбранной выборки в качестве значения дополнительной выборки,
в котором упомянутый выбор включает в себя этапы, на которых:
идентифицируют в качестве начального местоположения опорной выборки местоположение допустимой опорной выборки, найденной первой при поиске в направлении, начинающемся от местоположения нижней левой опорной выборки и заканчивающемся в местоположении верхней правой опорной выборки, среди местоположений всех опорных выборок;
определяют, располагается ли недопустимая опорная выборка до или после начального местоположения опорной выборки в порядке выборок, который является таким же, как порядок выборок при поиске;
выбирают выборку в начальном местоположении опорной выборки в качестве выбранной выборки, когда недопустимая опорная выборка располагается до начального местоположения опорной выборки; и
выбирают допустимую опорную выборку в качестве выбранной выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, когда недопустимая опорная выборка располагается после начального местоположения опорной выборки, причем допустимая опорная выборка располагается до и ближе всего к местоположению недопустимой опорной выборки.

2. Способ декодирования движущегося изображения по п. 1,
в котором упомянутое вычисление дополнительной выборки включает в себя этапы, на которых:
выбирают допустимые опорные выборки в качестве множества выбранных выборок;
вычисляют множество масштабных значений путем умножения значения каждой из выбранных выборок на предопределенный масштабный коэффициент;
вычисляют первое значение общей суммы, которое является общей суммой масштабных значений;
вычисляют второе значение общей суммы, которое является суммой первого значения общей суммы и предопределенного значения смещения; и
вычисляют значение дополнительной выборки путем сдвига второго значения общей суммы в сторону младших разрядов на предопределенное значение шага сдвига.

3. Способ декодирования движущегося изображения по п. 1,
в котором внутреннее предсказание является внутренним DC-предсказанием.

4. Способ декодирования движущегося изображения по п. 3,
в котором упомянутое выполнение внутреннего предсказания включает в себя этапы, на которых:
выбирают каждую из одной или более допустимых опорных выборок, включающих в себя допустимую опорную выборку, в качестве выбранной выборки;
задают количество выбранных выборок;
выбирают масштабный коэффициент, значение смещения и значение шага сдвига с использованием справочной таблицы в соответствии с количеством выбранных выборок;
вычисляют первое значение общей суммы, которое является общей суммой значений выбранных выборок;
вычисляют масштабное значение путем умножения первого значения общей суммы на выбранный масштабный коэффициент;
вычисляют второе значение общей суммы, которое является суммой выбранного значения смещения и масштабного значения; и
генерируют каждое значение всех предсказанных выборок целевого блока путем сдвига второго значения общей суммы в сторону младших разрядов на выбранное значение шага сдвига.

5. Способ декодирования движущегося изображения по п. 3,
в котором упомянутое выполнение внутреннего предсказания дополнительно включает в себя выполнение внутреннего предсказания в случае, в котором предопределенное значение определяется как каждое значение всех предсказанных выборок целевого блока.

6. Способ декодирования движущегося изображения по любому из пп. 1-5, в котором при упомянутом анализе дополнительно получается информация выбора, кодированная в заголовке кодированного битового потока движущегося изображения,
при этом информация выбора указывает одно из (1) схемы ограниченного внутреннего предсказания, которая является внутренним предсказанием, и (2) схемы неограниченного внутреннего предсказания для выполнения внутреннего предсказания с использованием всех опорных выборок без определения допустимости каждой из опорных выборок, и
при упомянутом выполнении внутреннего предсказания внутреннее предсказание выполняется с использованием одной из схемы ограниченного внутреннего предсказания и схемы неограниченного внутреннего предсказания, указанной информацией выбора.

7. Способ декодирования движущегося изображения по любому из пп. 1-5,
в котором при упомянутом выполнении внутреннего предсказания опорная выборка вне целевого изображения определяется как недопустимая опорная выборка.

8. Способ декодирования движущегося изображения по любому из пп. 1-5,
в котором при упомянутом выполнении внутреннего предсказания опорная выборка, которая не включается в ту же единицу разделения изображения, что и целевой блок, определяется как недопустимая опорная выборка.

9. Способ декодирования движущегося изображения по п. 8,
в котором единицей разделения изображения является срез.

10. Способ декодирования движущегося изображения по п. 8,
в котором единицей разделения изображения является облегченный срез.

11. Способ декодирования движущегося изображения по п. 8,
в котором единицей разделения изображения является фрагмент.

12. Способ декодирования движущегося изображения по п. 8,
в котором единицей разделения изображения является единица волновой параллельной обработки (WPP).

13. Способ кодирования движущегося изображения, содержащий этапы, на которых:
разделяют исходное изображение на множество блоков двух или более размеров;
выполняют внутреннее предсказание над целевым блоком из упомянутых блоков для вычисления значений предсказанных выборок;
вычисляют разностные данные, которые представляют разность между исходным изображением в целевом блоке и значениями предсказанных выборок; и
кодируют разностные данные для генерирования кодированного битового потока движущегося изображения,
где при упомянутом выполнении внутреннего предсказания
определяют допустимость каждой из опорных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда опорные выборки включают в себя допустимую опорную выборку и недопустимую опорную выборку, внутреннее предсказание выполняют с использованием допустимой опорной выборки, и
опорную выборку с внутренним предсказанием определяют в качестве допустимой опорной выборки, а опорную выборку с внешним предсказанием определяют в качестве недопустимой опорной выборки,
при этом в упомянутом способе кодированный битовый поток движущегося изображения анализируют для определения способа внутреннего предсказания, и
упомянутое выполнение внутреннего предсказания дополнительно включает в себя этапы, на которых:
вычисляют дополнительную выборку с использованием одной или более допустимых опорных выборок, включающих в себя допустимую опорную выборку, при этом дополнительная выборка является опорной выборкой в местоположении недопустимой опорной выборки; и
вычисляют предсказанные выборки целевого блока в соответствии со способом внутреннего предсказания, используя допустимую опорную выборку и дополнительную выборку,
в котором упомянутое вычисление дополнительной выборки включает в себя этапы, на которых:
выбирают одну из допустимых опорных выборок в качестве выбранной выборки; и
определяют значение выбранной выборки в качестве значения дополнительной выборки,
в котором упомянутый выбор включает в себя этапы, на которых:
идентифицируют в качестве начального местоположения опорной выборки местоположение допустимой опорной выборки, найденной первой при поиске в направлении, начинающемся от местоположения нижней левой опорной выборки и заканчивающемся в местоположении верхней правой опорной выборки, среди местоположений всех опорных выборок;
определяют, располагается ли недопустимая опорная выборка до или после начального местоположения опорной выборки в порядке выборок, который является таким же, как порядок выборок при поиске;
выбирают выборку в начальном местоположении опорной выборки в качестве выбранной выборки, когда недопустимая опорная выборка располагается до начального местоположения опорной выборки; и
выбирают допустимую опорную выборку в качестве выбранной выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, когда недопустимая опорная выборка располагается после начального местоположения опорной выборки, причем допустимая опорная выборка располагается до и ближе всего к местоположению недопустимой опорной выборки.

14. Устройство декодирования движущегося изображения, содержащее:
блок анализа, сконфигурированный для анализа кодированного битового потока движущегося изображения, чтобы получить разностные данные целевого блока из множества блоков двух или более размеров;
блок внутреннего предсказания, сконфигурированный для выполнения внутреннего предсказания над целевым блоком, чтобы вычислить значения предсказанных выборок целевого блока; и
блок вычисления восстановленной выборки, сконфигурированный для вычисления восстановленных выборок целевого блока путем суммирования разностных данных и значений предсказанных выборок,
при этом упомянутый блок внутреннего предсказания сконфигурирован для
определения допустимости каждой из опорных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда опорные выборки включают в себя и допустимую опорную выборку и недопустимую опорную выборку, выполнения внутреннего предсказания с использованием допустимой опорной выборки, и
определения опорной выборки с внутренним предсказанием в качестве допустимой опорной выборки, и определения опорной выборки с внешним предсказанием в качестве недопустимой опорной выборки,
при этом упомянутый блок анализа сконфигурирован для дополнительного анализа кодированного битового потока движущегося изображения для определения способа внутреннего предсказания, и
упомянутый блок внутреннего предсказания дополнительно сконфигурирован для:
вычисления дополнительной выборки с использованием одной или более допустимых опорных выборок, включающих в себя допустимую опорную выборку, при этом дополнительная выборка является опорной выборкой в местоположении недопустимой опорной выборки; и
вычисления предсказанных выборок целевого блока в соответствии со способом внутреннего предсказания, используя допустимую опорную выборку и дополнительную выборку,
при этом упомянутое вычисление дополнительной выборки включает в себя:
выбор одной из допустимых опорных выборок в качестве выбранной выборки; и
определение значения выбранной выборки в качестве значения дополнительной выборки,
при этом упомянутый выбор включает в себя:
идентификацию в качестве начального местоположения опорной выборки местоположения допустимой опорной выборки, найденной первой при поиске в направлении, начинающемся от местоположения нижней левой опорной выборки и заканчивающемся в местоположении верхней правой опорной выборки, среди местоположений всех опорных выборок;
определение, располагается ли недопустимая опорная выборка до или после начального местоположения опорной выборки в порядке выборок, который является таким же, как порядок выборок при поиске;
выбор выборки в начальном местоположении опорной выборки в качестве выбранной выборки, когда недопустимая опорная выборка располагается до начального местоположения опорной выборки; и
выбор допустимой опорной выборки в качестве выбранной выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, когда недопустимая опорная выборка располагается после начального местоположения опорной выборки, причем допустимая опорная выборка располагается до и ближе всего к местоположению недопустимой опорной выборки.

15. Устройство кодирования движущегося изображения,
содержащее:
блок деления, сконфигурированный для разделения исходного изображения на множество блоков двух или более размеров;
блок внутреннего предсказания, сконфигурированный для выполнения внутреннего предсказания над целевым блоком из упомянутых блоков, чтобы вычислить значения предсказанных выборок;
блок вычисления разностных данных, сконфигурированный для вычисления разностных данных, которые представляют разность между исходным изображением в целевом блоке и значениями предсказанных выборок; и
блок кодирования, сконфигурированный для кодирования разностных данных, чтобы сгенерировать кодированный битовый поток движущегося изображения,
при этом упомянутый блок внутреннего предсказания сконфигурирован для
определения допустимости каждой из опорных выборок, которые располагаются либо непосредственно выше, либо непосредственно слева от целевого блока, и когда опорные выборки включают в себя и допустимую опорную выборку и недопустимую опорную выборку, выполнения внутреннего предсказания с использованием допустимой опорной выборки, и
определения опорной выборки с внутренним предсказанием в качестве допустимой опорной выборки, и определения опорной выборки с внешним предсказанием в качестве недопустимой опорной выборки,
при этом упомянутое устройство сконфигурировано для анализа
кодированного битового потока движущегося изображения для определения способа внутреннего предсказания, и
упомянутый блок внутреннего предсказания дополнительно сконфигурирован для:
вычисления дополнительной выборки с использованием одной или более допустимых опорных выборок, включающих в себя допустимую опорную выборку, при этом дополнительная выборка является опорной выборкой в местоположении недопустимой опорной выборки; и
вычисления предсказанных выборок целевого блока в соответствии со способом внутреннего предсказания, используя допустимую опорную выборку и дополнительную выборку,
при этом упомянутое вычисление дополнительной выборки включает в себя:
выбор одной из допустимых опорных выборок в качестве выбранной выборки; и
определение значения выбранной выборки в качестве значения дополнительной выборки,
при этом упомянутый выбор включает в себя:
идентификацию в качестве начального местоположения опорной выборки местоположения допустимой опорной выборки, найденной первой при поиске в направлении, начинающемся от местоположения нижней левой опорной выборки и заканчивающемся в местоположении верхней правой опорной выборки, среди местоположений всех опорных выборок;
определение, располагается ли недопустимая опорная выборка до или после начального местоположения опорной выборки в порядке выборок, который является таким же, как порядок выборок при поиске;
выбор выборки в начальном местоположении опорной выборки в качестве выбранной выборки, когда недопустимая опорная выборка располагается до начального местоположения опорной выборки; и
выбор допустимой опорной выборки в качестве выбранной выборки в соответствии с порядком выборок, который является таким же, как порядок выборок при поиске, когда недопустимая опорная выборка располагается после начального местоположения опорной выборки, причем допустимая опорная выборка располагается до и ближе всего к местоположению недопустимой опорной выборки.

16. Устройство кодирования и декодирования движущегося изображения, содержащее:
устройство кодирования движущегося изображения по п. 15; и
устройство декодирования движущегося изображения по п. 14.