УСТРОЙСТВО ПРОГНОЗИРУЮЩЕГО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ ПРОГНОЗИРУЮЩЕГО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2020 года по МПК H04N19/577 H04N19/52 

Область техники, к которой относится изобретение

[0001] Варианты осуществления настоящего изобретения относятся к устройству прогнозирующего кодирования изображений, способу прогнозирующего кодирования изображений, программе прогнозирующего кодирования изображений, устройству прогнозирующего декодирования изображений, способу прогнозирующего декодирования изображений и программе прогнозирующего декодирования изображений, а более конкретно - к устройству прогнозирующего кодирования изображений, способу прогнозирующего кодирования изображений, программе прогнозирующего кодирования изображений, устройству прогнозирующего декодирования изображений, способу прогнозирующего декодирования изображений и программе прогнозирующего декодирования изображений для того, чтобы формировать прогнозированный сигнал целевого блока, с использованием информации движения соседних блоков.

Уровень техники

[0002] Технологии кодирования со сжатием используются для эффективной передачи и хранения неподвижных изображений и видеоданных. Технологии, заданные в MPEG-1-4 и ITU (международный союз по телекоммуникациям) H.261-H.264, обычно используются для видеоданных.

[0003] В этих технологиях кодирования изображение в качестве цели кодирования сегментируется на множество блоков, и затем выполняются процесс кодирования и процесс декодирования на основе блоков. При внутрикадровом прогнозирующем кодировании прогнозированный сигнал формируется с использованием восстановленного сигнала изображений (или восстановленного сигнала данных сжатых изображений) соседней области, присутствующей в изображении, идентичном изображению целевого блока, и затем кодируется разностный сигнал разности между прогнозированным сигналом и пиксельным сигналом целевого блока. При межкадровом прогнозирующем кодировании прогнозированный сигнал формируется с компенсацией движения в отношении восстановленного сигнала изображений соседней области, присутствующей в изображении, отличающемся от целевого блока, и кодируется разностный сигнал разности между прогнозированным сигналом и сигналом целевого блока.

[0004] Например, внутрикадровое прогнозирующее кодирование по H.264 использует способ формирования прогнозированного сигнала посредством экстраполяции ранее воспроизведенных пиксельных значений области, смежной с блоком, служащим в качестве цели кодирования в предварительно определенных направлениях. Фиг.17 является принципиальной схемой для пояснения способа внутрикадрового прогнозирования, используемого в ITU H.264. В (A) по фиг.17, целевой блок 802 является блоком, служащим в качестве цели кодирования, и группа 801 пикселей, состоящая из пикселей A-M, смежных с границей целевого блока 802, является соседней областью, которая является сигналом изображений, ранее воспроизведенным при предыдущей обработке.

[0005] При прогнозировании, показанном в (A) по фиг.17, прогнозированный сигнал формируется посредством идущей вниз группы 801 пикселей в качестве соседних пикселей, расположенных непосредственно выше целевого блока 802. При прогнозировании, показанном в (B) по фиг.17, прогнозированный сигнал формируется посредством идущих вправо ранее воспроизведенных пикселей (I-L), расположенных слева от целевого блока 804. На предмет конкретных способов для формирования прогнозированного сигнала следует обратиться, например, к патентному документу 1. Разность вычисляется между каждым из девяти прогнозированных сигналов, сформированных посредством способов, показанных в (A)-(I) по фиг.17, вышеописанным способом, и сравнивается пиксельный сигнал целевого блока и этих полученных разностей, чтобы выбирать вариант, чтобы предоставлять минимальную разность, в качестве оптимального прогнозированного сигнала.

Как описано выше, прогнозированный сигнал может быть сформирован посредством экстраполяции пикселей. Вышеприведенный контент описывается в нижеуказанном патентном документе 1.

[0006] При обычном межкадровом прогнозирующем кодировании прогнозированный сигнал формируется посредством способа поиска в восстановленных изображениях на предмет сигнала, аналогичного пиксельному сигналу целевого блока. Затем выполняется кодирование вектора движения в качестве величины пространственного смещения между целевым блоком и областью, состоящей из обнаруженного сигнала и остаточного сигнала разности между пиксельным сигналом целевого блока и прогнозированным сигналом. Технология поиска на предмет вектора движения для каждого блока, как описано выше, называется поблочным сопоставлением.

[0007] Фиг.16 является принципиальной схемой для пояснения процесса поблочного сопоставления. Ниже описывается процедура формирования прогнозированного сигнала для примера целевого блока 702 в целевом изображении 701 кодирования. Изображение 703 является восстановленным изображением, и область 704 в восстановленном изображении является областью, расположенной пространственно в позиции, идентичной позиции целевого блока 702. При поблочном сопоставлении задается диапазон 705 поиска, который включает в себя область 704. Область 706 с сигналом для того, чтобы минимизировать сумму абсолютных разностей из пиксельного сигнала целевого блока 702, обнаруживается из этого диапазона поиска. Сигнал этой области 706 определяется как прогнозированный сигнал, и величина смещения из области 704 в область 706 обнаруживается в качестве вектора 707 движения. Также часто используется способ подготовки множества опорных изображений, выбора опорного изображения, которое должно применяться к поблочному сопоставлению для каждого целевого блока, и обнаружения информации выбора опорных изображений. В некоторых случаях в H.264 множество типов прогнозирования различных размеров блоков подготавливается для кодирования вектора движения, чтобы приспосабливаться к изменениям локальных признаков изображений. Типы прогнозирования H.264 описываются, например, в патентном документе 2.

[0008] При кодировании со сжатием видеоданных порядок кодирования изображений (кадров или полей) может быть необязательным. По этой причине существует три типа технологий, связанных с порядком кодирования при межкадровом прогнозировании, чтобы формировать прогнозированный сигнал в отношении восстановленных изображений. Первая технология является прямым прогнозированием для того, чтобы формировать прогнозированный сигнал в отношении предыдущего восстановленного изображения в порядке отображения, вторая технология является обратным прогнозированием для того, чтобы формировать прогнозированный сигнал в отношении будущего восстановленного изображения в порядке отображения, и третья технология является двунаправленным прогнозированием для того, чтобы выполнять как прямое прогнозирование, так и обратное прогнозирование и усреднять два прогнозированных сигнала. Типы межкадровых прогнозирований описываются, например, в патентном документе 3.

[0009] В H.264 третья технология выполняется с использованием двух списков опорных изображений, состоящих из множества восстановленных изображений в качестве вариантов для опорного изображения. Более конкретно поблочное сопоставление выполняется с использованием множества опорных изображений, зарегистрированных в каждом списке опорных изображений для того, чтобы обнаруживать две области, соответствующие области 706, и усредняются два прогнозированных сигнала, обнаруженные таким образом.

[0010] Пример списков опорных изображений описывается с помощью фиг.5 и 6. В (A) по фиг.5 изображение 505 указывает целевое изображение кодирования, а изображения 501-504 указывают восстановленные изображения. Каждое изображение (картинка) идентифицируется посредством номера кадра (frame_num). Идентификационные данные List0 и List1 списка опорных изображений в (A) по фиг.6 указывают два списка опорных изображений, и в этом примере четыре опорных изображения регистрируются в каждом из двух списков опорных изображений. Каждое опорное изображение идентифицируется посредством опорного индекса (ref_idx).

[0011] Восстановленные изображения, которые могут быть зарегистрированы в списках опорных изображений, являются по существу необязательными. Аналогично таблице 521, показанной в (A) по фиг.6, все опорные изображения, зарегистрированные в двух списках опорных изображений, могут быть предыдущими восстановленными изображениями. Поскольку два прогнозированных сигнала являются прямыми прогнозированными сигналами в этом случае, технология прогнозирования, чтобы усреднять два прогнозированных сигнала, называется бипрогнозирующим прогнозированием вместо двунаправленного прогнозирования.

[0012] При бипрогнозирующем прогнозировании необходимо кодировать две комбинации (информацию движения) векторов движения и опорных индексов. Следовательно, чтобы снижать число битов, существует технология выполнения бипрогнозирующего прогнозирования с использованием информации движения, идентифицированной посредством List0, и информации движения, идентифицированной посредством List1, из информации движения соседних блоков.

Список библиографических ссылок

Патентные документы

[0013] Патентный документ 1. Патент США номер 6765964

Патентный документ 2. Патент США номер 7003035

Патентный документ 3. Патент США номер 6259739

Сущность изобретения

Техническая задача

[0014] Бипрогнозирующее прогнозирование заключает в себе усреднение двух аналогичных прогнозированных сигналов, посредством чего шум в прогнозированных сигналах может эффективнее удаляться посредством эффекта сглаживания. С этой целью эффективно получать два сигнала с векторами движения, немного отличающимися от идентичного опорного изображения. В традиционных способах бипрогнозирующего прогнозирования с использованием информации движения соседних блоков, тем не менее, выбор информации движения, которая должна быть использована при формировании двух прогнозированных сигналов, ограничивается посредством списков опорных изображений. Вследствие этого ограничения, даже если набор из двух фрагментов информации движения соседних блоков включает в себя векторы движения близких значений на основе идентичного опорного изображения, они не могут быть выбраны.

[0015] В данном документе предполагается, что когда блок 400 на фиг.7 является целевым блоком кодирования, и блоки 401-403 являются соседними блоками для целевого блока, каждый из трех соседних блоков имеет два фрагмента информации движения, идентифицированные посредством List0 и List1. Согласно технологии предшествующего уровня техники, два прогнозированных сигнала формируются посредством выбора одного из трех фрагментов информации движения, идентифицированных посредством List0, и одного из трех фрагментов информации движения, идентифицированных посредством List1, которые являются информацией движения трех соседних блоков. В общем, число битов, необходимое для опорного индекса ref_idx, становится меньшим, когда опорный индекс ref_idx равен "0"; поэтому зачастую имеет место то, что все опорные индексы ref_idx в информации движения соседних блоков равны 0. В случае если опорный индекс равен "0", использование списков (521) опорных изображений в (A) по фиг.6 приводит к получению двух прогнозированных сигналов из опорного изображения с номером кадра (frame_num) "3" и из опорного изображения с номером кадра "2" соответственно. В этом случае достижение высокого эффекта сглаживания является неосуществимым.

[0016] В качестве другого примера предположим ситуацию, в которой два списка опорных изображений состоят из различных опорных изображений. В случае, как показано в (B) по фиг.5, если изображение 510, идентифицированное посредством номера кадра "3", является целевым изображением кодирования, при этом изображения 507, 508, 509 и 511, идентифицированные посредством номеров кадров "0", "1", "2" и "4" соответственно, являются восстановленными изображениями, и если списки опорных изображений являются списками 522, показанными в (B) по фиг.6, два прогнозированных сигнала формируются из различных опорных изображений. В этом случае достижение высокого эффекта сглаживания также является неосуществимым.

[0017] Следовательно, существуют потребность в устройстве прогнозирующего кодирования изображений, способе прогнозирующего кодирования изображений, программе прогнозирующего кодирования изображений, устройстве прогнозирующего декодирования изображений, способе прогнозирующего декодирования изображений и программе прогнозирующего декодирования изображений, допускающих подавление шума прогнозированных сигналов.

Решение задачи

[0018] Аспект настоящего изобретения относится к прогнозирующему кодированию изображений.

[0019] Устройство прогнозирующего кодирования изображений согласно аспекту настоящего изобретения является устройством прогнозирующего кодирования изображений, содержащим: средство сегментации на области, которое сегментирует входное изображение на множество областей; средство формирования прогнозированных сигналов, которое определяет информацию движения для получения пиксельного сигнала, имеющего высокую корреляцию с пиксельным сигналом целевой области цели кодирования из множества областей, сегментированных посредством средства сегментации на области, из восстановленного изображения, и которое формирует прогнозированный сигнал целевой области из восстановленного изображения на основе информации движения; средство записи информации движения, которое сохраняет информацию движения; средство формирования остаточных сигналов, которое формирует остаточный сигнал разности между прогнозированным сигналом целевой области и пиксельным сигналом целевой области; средство кодирования остаточных сигналов, которое кодирует остаточный сигнал, сформированный посредством средства формирования остаточных сигналов; средство восстановления остаточных сигналов, которое декодирует кодированные данные, сформированные посредством средства кодирования остаточных сигналов, чтобы формировать восстановленный остаточный сигнал; средство суммирования, которое суммирует прогнозированный сигнал с восстановленным остаточным сигналом, чтобы формировать восстановленный пиксельный сигнал целевой области; и средство записи изображений, которое сохраняет восстановленный пиксельный сигнал, сформированный посредством средства суммирования, в качестве части восстановленного изображения, при этом средство формирования прогнозированных сигналов содержит: средство извлечения информации движения, которое извлекает один или более наборов информации движения из нескольких фрагментов информации движения, сохраненной в средстве записи информации движения, причем каждый из одного или более наборов информации движения состоит из двух фрагментов информации движения, в которых любые из составляющих элементов отличаются по значению; средство выбора информации прогнозирования движения, которое выбирает набор информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области из одного или более наборов информации движения и которое управляет хранением двух фрагментов информации движения, включенной в выбранный набор в средстве записи информации движения; и средство компенсации движения, которое комбинирует два сигнала, полученных из восстановленного изображения, на основе двух фрагментов информации движения в выбранном наборе, чтобы формировать прогнозированный сигнал целевой области.

[0020] Способ прогнозирующего кодирования изображений согласно аспекту настоящего изобретения является способом прогнозирующего кодирования изображений, содержащим: сегментацию входного изображения на множество областей; формирование прогнозированного сигнала целевой области цели кодирования из множества областей, причем упомянутое формирование включает в себя определение информации движения для получения пиксельного сигнала, имеющего высокую корреляцию с пиксельным сигналом целевой области из восстановленного изображения, и формирование прогнозированного сигнала из восстановленного изображения на основе информации движения; сохранение информации движения с помощью средства записи информации движения; формирование остаточного сигнала разности между прогнозированным сигналом целевой области и пиксельным сигналом целевой области; кодирование остаточного сигнала; декодирование кодированных данных, сформированных во время упомянутого кодирования остаточного сигнала, чтобы формировать восстановленный остаточный сигнал; суммирование прогнозированного сигнала с восстановленным остаточным сигналом, чтобы формировать восстановленный пиксельный сигнал целевой области; и сохранение восстановленного пиксельного сигнала в качестве части восстановленного изображения посредством средства записи изображений, при этом этап формирования прогнозированного сигнала содержит: извлечение одного или более наборов информации движения из нескольких фрагментов информации движения, сохраненных в средстве записи информации движения, состоящих из двух фрагментов информации движения, в которых любые из составляющих элементов отличаются по значению; выбор, из одного или более наборов информации движения, набора информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, и управление хранением двух фрагментов информации движения в выбранном наборе в средстве записи информации движения; и комбинирование двух сигналов, полученных из восстановленного изображения на основе двух фрагментов информации движения в выбранном наборе, чтобы формировать прогнозированный сигнал целевой области.

[0021] Программа прогнозирующего кодирования изображений согласно аспекту настоящего изобретения осуществляет функцию компьютера в качестве средства сегментации на области, средства формирования прогнозированных сигналов, средства записи информации движения, средства формирования остаточных сигналов, средства кодирования остаточных сигналов, средства восстановления остаточных сигналов, средства суммирования и средства записи изображений. Средство формирования прогнозированных сигналов содержит средство извлечения информации движения, средство выбора информации прогнозирования и средство компенсации движения.

[0022] Прогнозирующее кодирование изображений согласно аспекту настоящего изобретения разрешает выбор двух фрагментов информации движения, в которых любой составляющий элемент отличается по значению, без ограничения посредством списков опорных изображений. Как результат, эффект сглаживания может достигаться при формировании прогнозированного сигнала.

[0023] В варианте осуществления прогнозирующее кодирование изображений может иметь следующую конфигурацию: средство записи изображений сохраняет множество восстановленных изображений, каждый фрагмент информации движения содержит информацию для того, чтобы идентифицировать восстановленное изображение и вектор движения, восстановленные изображения, сохраненные в средстве записи изображений, идентифицируются с использованием соответствующих номеров кадров при кодировании восстановленных изображений, и извлеченный набор информации движения является набором информации движения, включающим в себя два фрагмента информации движения, имеющие идентичный номер кадра восстановленного изображения и различные значения векторов движения.

[0024] В варианте осуществления прогнозирующее кодирование изображений может иметь следующую конфигурацию: средство записи изображений сохраняет множество восстановленных изображений, множество восстановленных изображений, сохраненных в средстве записи изображений, идентифицируются с использованием двух списков опорных изображений, состоящих из одного или более восстановленных изображений, каждый фрагмент информации движения содержит информацию для того, чтобы идентифицировать два списка опорных изображений и вектор движения, и извлеченный набор информации движения является набором информации движения, включающим в себя два фрагмента информации движения, имеющие идентичную информацию для того, чтобы идентифицировать списки опорных изображений и различные значения векторов движения.

[0025] В варианте осуществления прогнозирующее кодирование изображений может иметь следующую конфигурацию: набор информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, выбирается из нескольких фрагментов информации движения, ассоциированной с областью, соседней с целевой областью.

[0026] В варианте осуществления прогнозирующее кодирование изображений может иметь следующую конфигурацию: кодируется информация для того, чтобы указывать выбранный набор информации движения, состоящий из двух фрагментов информации движения.

[0027] Другой аспект настоящего изобретения относится к прогнозирующему декодированию изображений.

[0028] Устройство прогнозирующего декодирования изображений согласно другому аспекту настоящего изобретения является устройством прогнозирующего декодирования изображений, содержащим: средство анализа данных, которое извлекает кодированные данные информации движения для формирования прогнозированного сигнала целевой области цели декодирования из множества областей в данных изображений и кодированные данные остаточного сигнала из сжатых данных; средство записи информации движения, которое сохраняет информацию движения; средство компенсации движения, которое формирует прогнозированный сигнал целевой области на основе информации движения; средство декодирования остаточных сигналов, которое декодирует остаточный сигнал целевой области из кодированных данных остаточного сигнала; средство записи изображений, которое суммирует прогнозированный сигнал с декодированным остаточным сигналом, чтобы восстанавливать пиксельный сигнал целевой области, и которое сохраняет восстановленный пиксельный сигнал в качестве части восстановленного изображения; средство извлечения информации движения, которое извлекает, из нескольких фрагментов информации движения, сохраненной в средстве записи информации движения, один или более наборов информации движения, состоящих из двух фрагментов информации движения, в которых любые из составляющих элементов отличаются по значению; и средство определения информации движения, которое определяет набор информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, из одного или более извлеченных наборов информации движения, и которое управляет хранением двух фрагментов информации движения в определенном наборе в средстве записи информации движения, при этом средство компенсации движения комбинирует два сигнала, полученных из восстановленного изображения, на основе двух фрагментов информации движения в определенном наборе, чтобы формировать прогнозированный сигнал целевой области.

[0029] Способ прогнозирующего декодирования изображений согласно другому аспекту настоящего изобретения является способом прогнозирующего декодирования изображений, содержащим: извлечение кодированных данных информации движения для формирования прогнозированного сигнала целевой области цели декодирования из множества областей в данных изображений и кодированных данных остаточного сигнала из сжатых данных; сохранение информации движения с помощью средства записи информации движения; формирование прогнозированного сигнала целевой области на основе информации движения; восстановление декодированного остаточного сигнала целевой области из кодированных данных остаточного сигнала; суммирование прогнозированного сигнала с декодированным остаточным сигналом, чтобы восстанавливать пиксельный сигнал целевой области, и сохранение восстановленного пиксельного сигнала в качестве части восстановленного изображения с помощью средства записи изображений; извлечение одного или более наборов информации движения из нескольких фрагментов информации движения, сохраненных в средстве записи информации движения, причем каждый из одного или более наборов информации движения состоит из двух фрагментов информации движения, в которых любые из составляющих элементов отличаются по значению; и определение набора информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, из извлеченных наборов информации движения и управление хранением двух фрагментов информации движения в определенном наборе в средстве записи информации движения, при этом этап формирования прогнозированного сигнала содержит комбинирование двух сигналов, полученных из восстановленного изображения на основе двух фрагментов информации движения в определенном наборе, чтобы формировать прогнозированный сигнал целевой области.

[0030] Программа прогнозирующего декодирования изображений согласно другому аспекту настоящего изобретения осуществляет функцию компьютера в качестве средства анализа данных, средства записи информации движения, средства компенсации движения, средства восстановления остаточных сигналов, средства записи изображений, средства извлечения информации движения и средства определения информации движения.

[0031] Прогнозирующее декодирование изображений согласно аспекту настоящего изобретения дает возможность восстановления изображения из сжатых данных, сформированных посредством прогнозирующего кодирования изображений вышеуказанного аспекта. В этом восстановленном изображении может быть уменьшен шум.

[0032] В варианте осуществления прогнозирующее декодирование изображений может иметь следующую конфигурацию: оно содержит извлечение кодированных данных информации индикации, причем кодированные данные извлекаются из нескольких фрагментов информации движения, сохраненной в средстве записи информации движения, чтобы идентифицировать один набор информации движения, состоящий из двух фрагментов информации движения, в которых любые из составляющих элементов отличаются по значению, инструктирование средству декодирования информации прогнозирования декодировать информацию индикации и извлечение набора информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, из одного или более наборов информации движения, извлекаемых посредством средства извлечения информации движения, на основе декодированной информации индикации.

[0033] В варианте осуществления прогнозирующее декодирование изображений может иметь следующую конфигурацию: средство записи изображений сохраняет множество восстановленных изображений, информация движения содержит информацию для того, чтобы идентифицировать множество восстановленных изображений и векторов движения, множество восстановленных изображений, сохраненных в средстве записи изображений, идентифицируется с использованием соответствующих номеров кадров при декодировании соответствующих восстановленных изображений, и извлеченный набор информации движения является набором информации движения, включающим в себя два фрагмента информации движения, имеющие идентичный номер кадра восстановленного изображения и различные значения векторов движения.

[0034] В варианте осуществления прогнозирующее декодирование изображений может иметь следующую конфигурацию: средство записи изображений сохраняет множество восстановленных изображений, множество восстановленных изображений, сохраненных в средстве записи изображений, идентифицируются с использованием двух списков опорных изображений, состоящих из одного или более восстановленных изображений, каждый фрагмент информации движения сконфигурирован с возможностью содержать информацию для того, чтобы идентифицировать два списка опорных изображений и вектор движения, и извлеченный набор информации движения является набором информации движения, включающим в себя два фрагмента информации движения, имеющие идентичную информацию для того, чтобы идентифицировать списки опорных изображений, и различные значения векторов движения.

[0035] В варианте осуществления прогнозирующее декодирование изображений может иметь следующую конфигурацию: набор информации движения, который должен быть использован при формировании прогнозированного сигнала целевой области, извлекается из нескольких фрагментов информации движения, ассоциированной с областью, соседней с целевой областью.

Преимущества изобретения

[0036] Как описано выше, несколько аспектов настоящего изобретения предоставляют устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программу прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программу прогнозирующего декодирования изображений, допускающие подавление шума прогнозированного сигнала.

Краткое описание чертежей

[0037] Фиг.1 является чертежом, показывающим конфигурацию устройства прогнозирующего кодирования изображений согласно варианту осуществления.

Фиг.2 является чертежом, показывающим конфигурацию узла формирования прогнозированных сигналов, показанного на фиг.1.

Фиг.3 является блок-схемой последовательности операций способа, показывающей процесс узла извлечения информации движения, показанного на фиг.2.

Фиг.4 является принципиальной схемой для пояснения примера технологии для выбора одного фрагмента варианта информации прогнозирования из варианта информации прогнозирования движения (комбинации двух фрагментов информации движения) с использованием соседних пикселей для целевого блока.

Фиг.5 является принципиальной схемой для пояснения примеров порядков кодирования изображений.

Фиг.6 является чертежом для пояснения примеров списков опорных изображений.

Фиг.7 является чертежом для пояснения примеров соседних блоков.

Фиг.8 является чертежом для пояснения других примеров соседних блоков.

Фиг.9 является блок-схемой последовательности операций способа, показывающей процедуру способа прогнозирующего кодирования изображений согласно варианту осуществления.

Фиг.10 является чертежом, показывающим конфигурацию устройства прогнозирующего декодирования изображений согласно варианту осуществления.

Фиг.11 является блок-схемой последовательности операций способа, показывающей процедуру способа прогнозирующего декодирования изображений согласно варианту осуществления.

Фиг.12 является чертежом, показывающим конфигурацию программы для инструктирования компьютеру выполнять способ прогнозирующего кодирования изображений согласно варианту осуществления.

Фиг.13 является чертежом, показывающим конфигурацию программы для инструктирования компьютеру выполнять способ прогнозирующего декодирования изображений согласно варианту осуществления.

Фиг.14 является чертежом, показывающим аппаратную конфигурацию компьютера для выполнения программы, записанной на носителе записи.

Фиг.15 является видом в перспективе компьютера для выполнения программы, сохраненной на носителе записи.

Фиг.16 является схематичным чертежом для пояснения процесса оценки движения при межкадровом прогнозировании.

Фиг.17 является принципиальной схемой для пояснения традиционного способа внутрикадрового прогнозирования.

Подробное описание вариантов осуществления

[0038] Некоторые варианты осуществления подробно описываются ниже со ссылкой на чертежи. На чертежах идентичные или эквивалентные части обозначаются посредством идентичных ссылок с номерами без избыточного описания. В настоящем описании изобретения "кадры", "картинки" и "изображения" (501-511 на фиг.5) означают одно и то же.

[0039] Фиг.1 является чертежом, показывающим конфигурацию устройства прогнозирующего кодирования изображений согласно варианту осуществления. Устройство 100 прогнозирующего кодирования изображений, показанное на фиг.1, содержит входной терминал 101, узел 102 сегментации на блоки, узел 103 формирования прогнозированных сигналов, запоминающее устройство 104 кадров, узел 105 вычитания, узел 106 преобразования, узел 107 квантования, узел 108 обратного квантования, узел 109 обратного преобразования, узел 110 суммирования, узел 111 кодирования квантованных коэффициентов преобразования, выходной терминал 112, запоминающее устройство 113 информации прогнозирования и узел 114 кодирования информации прогнозирования. В варианте осуществления узел 106 преобразования и узел 107 квантования функционируют в качестве средства кодирования остаточных сигналов, узел 108 обратного квантования и узел 109 обратного преобразования функционируют в качестве средства восстановления остаточных сигналов, и запоминающее устройство информации прогнозирования выступает в качестве средства записи информации движения. Следует отметить, что запоминающее устройство 113 информации прогнозирования может быть включено в узел 103 формирования прогнозированных сигналов. В варианте осуществления узел 111 кодирования квантованных коэффициентов преобразования также может функционировать в качестве части средства кодирования остаточных сигналов, и в этом случае элемент, который декодирует данные, сформированные посредством узла 111 кодирования квантованных коэффициентов преобразования, и выводит декодированные данные в узел 108 обратного квантования, составляет часть средства восстановления остаточных сигналов.

[0040] Входной терминал 101 является терминалом, который реализует ввод сигнала видеопоследовательности, состоящей из множества изображений.

[0041] Узел 102 сегментации на блоки сегментирует каждое изображение цели кодирования, представленное посредством сигнала, вводимого из входного терминала 101, на множество областей. В варианте осуществления целевое изображение кодирования может быть сегментировано на множество блоков, состоящих из 8×8 пикселей. Эти области или блоки являются целевыми областями или целевыми блоками, к которым ниже применяется нижеописанная обработка. Размер и форма блоков не ограничены этим примером. Блоки различных размеров могут смешиваться в каждом изображении.

[0042] Узел 103 формирования прогнозированных сигналов обнаруживает информацию движения, необходимую для формирования прогнозированного сигнала каждого прогнозного блока в целевом блоке, и формирует прогнозированный сигнал. Отсутствуют конкретные ограничения на способ формирования прогнозированного сигнала, но он может представлять собой межкадровое прогнозирование или внутрикадровое прогнозирование, как описано в разделе области техники (хотя внутрикадровое прогнозирование не иллюстрируется). В варианте осуществления информация движения может быть обнаружена посредством поблочного сопоставления, показанного на фиг.16. При поблочном сопоставлении прогнозированный сигнал, чтобы минимизировать сумму абсолютных разностей от исходного сигнала (пиксельного сигнала) целевого блока, обнаруживается из восстановленного изображения, полученного через линию L104.

[0043] В варианте осуществления информация движения может содержать вектор движения, идентификационные данные списка опорных изображений (List0 и List1 на фиг.5) и опорный индекс (ref_idx на фиг.5).

[0044] Когда каждый список опорных изображений состоит из множества опорных изображений, как показано на фиг.6, опорный индекс обнаруживается одновременно с вектором движения, чтобы указывать, какое опорное изображение является целью вектора движения в информации движения. Когда используется бипрогнозирующее прогнозирование, тип прогнозирования (прямое/обратное/двунаправленное) также определяется одновременно. Когда тип прогнозирования является прямым прогнозированием, обнаруживается информация движения с идентификационными данными списка опорных изображений List0; когда тип прогнозирования является обратным прогнозированием, обнаруживается информация движения с идентификационными данными списка опорных изображений List1. В случае бипрогнозирующего прогнозирования обнаруживаются два фрагмента информации движения, идентифицированные посредством List0 и List1. Восстановленные изображения, зарегистрированные в списках опорных изображений, показанных на фиг.6, могут быть автоматически определены в соответствии с предварительно определенным правилом или информацией для того, указывать то, что восстановленные изображения, зарегистрированные в списках опорных изображений, могут быть явно кодированы в единицах кадров или в единицах последовательностей. В варианте осуществления номера кадров могут быть использованы в качестве информации, как показано на фиг.5 и 6.

[0045] Снова ссылаясь на фиг.1, информация движения и тип прогнозирования выводятся через линию L103c и через линию L103b в запоминающее устройство 113 информации прогнозирования и в узел 114 кодирования информации прогнозирования соответственно.

[0046] Запоминающее устройство 113 информации прогнозирования сохраняет входную информацию движения и тип прогнозирования.

[0047] Узел 114 кодирования информации прогнозирования энтропийно кодирует информацию движения целевого блока кодирования и выводит кодированные данные через линию L114 в выходной терминал 112. Отсутствуют конкретные ограничения на способ энтропийного кодирования, но он может представлять собой арифметическое кодирование, кодирование на основе кода переменной длины и т.п.

[0048] Прогнозированный сигнал, сформированный посредством узла 103 формирования прогнозированных сигналов, выводится через линию L103a в узел 105 вычитания и в узел 110 суммирования.

[0049] Узел 105 вычитания вычитает прогнозированный сигнал целевого блока, вводимый через линию L103a, из пиксельного сигнала целевого блока, чтобы формировать остаточный сигнал. Узел 105 вычитания выводит остаточный сигнал через линию L105 в узел 106 преобразования.

[0050] Узел 106 преобразования выполняет дискретное косинусное преобразование входного остаточного сигнала, чтобы формировать коэффициенты преобразования. Узел 107 квантования квантует коэффициенты преобразования, сформированные посредством узла 106 преобразования, чтобы формировать квантованные коэффициенты преобразования. Узел 111 кодирования квантованных коэффициентов преобразования энтропийно кодирует квантованные коэффициенты преобразования, сформированные посредством узла 107 квантования. Кодированные данные, сформированные посредством узла 111 кодирования квантованных коэффициентов преобразования, выводятся через линию L111 в выходной терминал 112. Отсутствуют конкретные ограничения на способ энтропийного кодирования в узле 111 кодирования квантованных коэффициентов преобразования, но он может представлять собой арифметическое кодирование, кодирование на основе кода переменной длины и т.п.

[0051] Выходной терминал 112 совместно выводит информацию, принимаемую из узла 114 кодирования информации прогнозирования, и информацию из узла 111 кодирования квантованных коэффициентов преобразования наружу.

[0052] Узел 108 обратного квантования выполняет обратное квантование квантованных коэффициентов преобразования, сформированных посредством узла 107 квантования, чтобы формировать коэффициенты преобразования. Узел 109 обратного преобразования применяет обратное дискретное косинусное преобразование к коэффициентам преобразования, сформированным посредством узла 108 обратного квантования, чтобы восстанавливать остаточный сигнал. Узел 110 суммирования суммирует восстановленный остаточный сигнал с вводом прогнозированного сигнала, предоставляемым через линию L103a, чтобы формировать восстановленный пиксельный сигнал целевого блока кодирования, и сохраняет восстановленный пиксельный сигнал в запоминающее устройство 104 кадров. Также можно приспосабливать другие процессы преобразования, заменяющие процессы узла 106 преобразования и узла 109 обратного преобразования. Также следует отметить, что узел 106 преобразования и узел 109 обратного преобразования не всегда важны. Таким образом, восстановленный пиксельный сигнал целевого блока кодирования сохраняется в качестве части опорного изображения или восстановленного изображения в запоминающем устройстве 104 кадров так, что он используется для формирования прогнозированного сигнала последующего целевого блока кодирования.

[0053] В варианте осуществления узел 103 формирования прогнозированных сигналов также может формировать прогнозированный сигнал целевого блока посредством использования информации движения, ассоциированной с блоками, соседними с целевым блоком (соседними блоками). Информация движения, ассоциированная с соседним блоком, является информацией движения, используемой при формировании прогнозированного сигнала, когда соседний блок является целью кодирования. Информация движения, ассоциированная с соседними блоками, сохраняется в запоминающем устройстве 113 информации прогнозирования. Для каждого блока информация для того, чтобы указывать то, что прогнозированный сигнал сформирован посредством использования информации движения, ассоциированной с соседними блоками, или информация для того, чтобы указывать то, что прогнозированный сигнал сформирован посредством использования вектора движения, обнаруженного посредством поблочного сопоставления, может быть включена в кодированном состоянии в сжатые данные.

[0054] Теперь рассмотрим случай, в котором прогнозированный сигнал целевого блока формируется посредством бипрогнозирующего прогнозирования. Он описывается ниже с использованием примера (A) на фиг.7. Соседние блоки являются двумя блоками 401 и 402, соседними с целевым блоком 400, которые находятся непосредственно слева и непосредственно выше целевого блока 400, и информация движения, ассоциированная с этими блоками, используется для прогнозирования. В этом случае, если тип прогнозирования, ассоциированный с двумя соседними блоками, является бипрогнозирующим прогнозированием, до четырех фрагментов информации движения могут использоваться для формирования прогнозированного сигнала целевого блока. Узел 103 формирования прогнозированных сигналов выбирает два фрагмента информации движения, имеющие различные значения векторов движения или различные значения номеров кадров опорных изображений, из четырех фрагментов информации движения в качестве вариантов (четырех фрагментов варианта информации движения). Номер кадра (frame_num) опорного изображения может быть идентифицирован посредством комбинации идентификационных данных списка опорных изображений (List0 или List1) и опорного индекса (ref_idex). Затем два прогнозированных сигнала получаются из запоминающего устройства 104 кадров на основе соответствующих фрагментов информации движения, и два прогнозированных сигнала усредняются в единицах пикселей, чтобы получать прогнозированный сигнал. Если два прогнозированных сигнала похожи друг на друга, производительность прогнозирования повышается посредством эффекта устранения шумов вследствие сглаживания.

[0055] Узел 114 кодирования информации прогнозирования кодирует информацию (информацию индикации), чтобы идентифицировать два фрагмента информации движения, используемой при формировании прогнозированного сигнала целевого блока, из четырех фрагментов варианта информации движения вместо информации движения. Следовательно, прогнозированный сигнал может быть сформирован в числе битов, которое меньше числа битов кодированных данных, полученных посредством кодирования информации движения. Информация индикации может быть двумя фрагментами информации индикации, чтобы идентифицировать соответствующие фрагменты варианта информации движения, или может быть фрагментом информации индикации, чтобы идентифицировать комбинацию двух фрагментов варианта информации движения.

[0056] Запоминающее устройство 113 информации прогнозирования сохраняет два фрагмента информации движения, фактически используемой при формировании прогнозированного сигнала целевого блока, в качестве информации движения, ассоциированной с целевым блоком. Два фрагмента информации движения могут быть сохранены как есть, но поскольку существующие процессы прогнозирующего кодирования и декодирования изображений имеют такое ограничение, что они обращаются к двум спискам опорных изображений List0 и List1, два фрагмента информации движения могут быть сохранены, как описано ниже.

[0057] А именно, когда два фрагмента информации движения имеют идентичные идентификационные данные списка опорных изображений, идентификационные данные списка опорных изображений в двух фрагментах информации движения могут быть модифицированы в соответствии с предварительно определенным правилом. Например, из двух фрагментов информации движения идентификационные данные списка опорных изображений одного фрагмента информации движения с меньшим опорным индексом (ref_idx) назначаются List0, а идентификационные данные списка опорных изображений другого фрагмента информации движения назначаются List1.

[0058] Когда два фрагмента информации движения также имеют идентичный опорный индекс, идентификационные данные списка опорных изображений одного фрагмента информации движения с вектором движения, имеющим меньшую сумму абсолютных значений его соответствующих компонентов, назначаются List0, а идентификационные данные списка опорных изображений другого фрагмента информации движения назначаются List1.

[0059] Если это назначение приводит к обращению к номеру кадра, отличающемуся от номера кадра до назначения, опорный индекс (ref_idx) может быть модифицирован таким образом, что он предоставляет ссылку на номер кадра перед назначением.

[0060] Если два списка опорных изображений не включают в себя идентичные номера кадров, как показано в (B) по фиг.6, информация движения может управляться с использованием списков (523) опорных изображений, расширенных так, что они включают в себя идентичные номера кадров, как показано в (C) по фиг.6. Расширенные списки опорных изображений могут быть использованы напрямую в случае, если прогнозированный сигнал целевого блока формируется с использованием информации движения, ассоциированной с соседними блоками. Поскольку номера кадров записываются, они также являются применимыми к случаям, в которых вектор движения масштабируется согласно расстоянию во временном направлении между изображениями (например, каждый векторный компонент увеличивается в два раза, когда вектор движения для цели изображения 504 в (A) по фиг.5 преобразуется в вектор движения для цели изображения 503). Поскольку способы хранения вектора движения, описанные в данном документе, могут быть преобразованы между собой, любой из способов хранения может применяться без влияния на результат кодирования.

[0061] Дополнительно подробно описывается обработка узла 103 формирования прогнозированных сигналов. Фиг.2 является чертежом, показывающим конфигурацию узла 103 формирования прогнозированных сигналов согласно варианту осуществления. Как показано на фиг.2, узел 103 формирования прогнозированных сигналов содержит узел 121 извлечения информации движения, узел 122 выбора информации прогнозирования движения и узел 123 компенсации движения. На этом чертеже опускается часть обнаружения движения посредством традиционного поблочного сопоставления.

[0062] Когда оба из типов прогнозирования блоков непосредственно выше и непосредственно слева, используемых в качестве соседних блоков, являются бипрогнозирующим прогнозированием, узел 121 извлечения информации движения сравнивает четыре фрагмента информации движения, ассоциированной с этими соседними блоками. Узел 121 извлечения информации движения задает информацию движения, имеющую значение любого из элементов, составляющих информацию движения, которые представляют собой вектор движения, идентификационные данные списка опорных изображений и опорный индекс, отличное от значения других трех фрагментов информации движения, в качестве варианта информации движения, применимого к прогнозированию целевого блока. Если существует два или более фрагмента информации движения с идентичным значением вектора движения и идентичным значением номера кадра опорного изображения (номер кадра опорного изображения может быть идентифицирован посредством комбинации списка опорных изображений и опорного индекса), один из них задается как вариант информации движения. Затем узел 121 извлечения информации движения извлекает набор любых двух фрагментов варианта информации движения в качестве варианта информации бипрогнозирующего прогнозирования. В этом случае могут извлекаться до шести фрагментов варианта информации бипрогнозирующего прогнозирования. В случаях, если, по меньшей мере, один из блоков непосредственно выше и непосредственно слева относительно целевого блока используется в качестве соседнего блока, и если прогнозирование является бипрогнозирующим прогнозированием, комбинированные шаблоны двух фрагментов информации движения в числе, не меньшем шаблонов, описанных ниже, могут извлекаться из соседних блоков. А именно, комбинированные шаблоны заключаются в следующем.

(1) 2 шаблона: в случаях, если используются два фрагмента информации движения блока (402) непосредственно выше или блока (401) непосредственно слева.

(2) 4 шаблона: в случаях, если используется один фрагмент информации движения блока (402) непосредственно выше и один фрагмент информации движения блока (401) непосредственно слева, и если списки опорных изображений в выбранных двух фрагментах информации движения отличаются.

(3) 2 шаблона: в случаях, если используется один фрагмент информации движения блока (402) непосредственно выше и один фрагмент информации движения блока (401) непосредственно слева, и если списки опорных изображений в выбранных двух фрагментах информации движения являются идентичными.

[0063] Фиг.3 показывает блок-схему последовательности операций способа обработки, выполняемой посредством узла 121 извлечения информации движения. Во-первых, на этапе S301 задается число N соседних блоков, которые должны быть использованы при прогнозировании целевого блока, и текущий номер n соседнего блока задается равным "0". Например, n=0 задается для блока 401, и n=1 для блока 402. Кроме того, число L фрагментов варианта информации движения инициализируется равным 0. Затем информация движения и тип прогнозирования n-ного блока получаются из запоминающего устройства 113 информации прогнозирования (этап S302). После этого число M фрагментов информации движения, ассоциированной с n-ным соседним блоком, задается на основе типа прогнозирования (этап S303).

[0064] Затем m-тая информация движения n-ного соседнего блока сравнивается с L фрагментов варианта информации движения (этап S304). Если все фрагменты варианта информации движения отличаются от информации движения цели сравнения, или если L=0, обработка переходит к этапу S305. На этапе S305 m-тая информация движения n-ного соседнего блока суммируется с вариантом информации движения, и значению L присваивается приращение 1.

После этого обработка переходит к этапу S306.

[0065] Если этап S304 приводит к нахождению той же информации, что и m-тая информация движения в варианте информации движения, обработка переходит к этапу S306. На этапе S304, если значения двух векторов движения при сравнении являются идентичными, и если номера кадров, соответствующие двум наборам опорных индексов и идентификационных данных списка опорных изображений при сравнении являются идентичными, информация движения определяется как идентичная даже при разности списков опорных изображений. Причина этого заключается в том, что когда векторы движения двух фрагментов информации движения и их номера кадров опорных изображений являются идентичными, прогнозированные сигналы, сформированные из этих фрагментов информации движения, становятся совпадающими.

[0066] На этапе S306 значению m присваивается приращение 1. На следующем этапе S307 определяется то, завершены или нет процессы этапов S304-S306 для всех фрагментов информации движения, ассоциированной с n-ным соседним блоком; если они завершены, обработка переходит к этапу S308; если они не завершены, обработка возвращается к этапу S304.

[0067] На этапе S308 значению числа n соседнего блока присваивается приращение 1. Затем на этапе S309 определяется то, завершена или нет обработка для всех соседних блоков. Если она завершена, обработка переходит к этапу S310; если она не завершена, обработка возвращается к этапу S302.

[0068] В завершение на этапе S310 каждый набор из двух фрагментов информации движения, имеющей различные значения векторов движения или различные значения номеров кадров опорных изображений (номер кадра каждого опорного изображения может быть идентифицирован посредством комбинации списка опорных изображений и опорного индекса), извлекаются из L фрагментов варианта информации движения и задаются как вариант информации бипрогнозирующего прогнозирования.

[0069] Относительно информации движения, из которой узел 121 извлечения информации движения использует соседние блоки, она может быть предварительно определена как для стороны кодирования, так и для стороны декодирования. Кроме того, информация для того, чтобы указывать информацию движения, из которой узел 121 извлечения информации движения использует соседние блоки, может быть передана в кодированном состоянии на сторону декодирования.

[0070] Узел 122 выбора информации прогнозирования движения выбирает оптимальный фрагмент из варианта информации бипрогнозирующего прогнозирования, вводимого через линию L121 из узла 121 извлечения информации движения. В частности, он выбирает вариант информации бипрогнозирующего прогнозирования, чтобы минимизировать сумму абсолютных разностей между "сигналом, получаемым в качестве среднего двух сигналов, полученных через линию L104 из запоминающего устройства 104 кадров на основе двух фрагментов варианта информации движения" и "пиксельным сигналом целевого блока, полученным через линию L102". Затем информация индикации, чтобы идентифицировать выбранный вариант информации бипрогнозирующего прогнозирования или идентифицировать два фрагмента варианта информации движения, составляющие выбранный вариант информации бипрогнозирующего прогнозирования, выводится через линию L103b в узел кодирования информации прогнозирования.

[0071] Кроме того, узел 122 выбора информации прогнозирования движения выводит выбранные два фрагмента информации движения через линию L103c в запоминающее устройство 113 информации прогнозирования так, чтобы сохранять информацию, и выводит информацию через линию L122 в узел 123 компенсации движения. Узел 123 компенсации движения усредняет два восстановленных пиксельных сигнала, извлеченные из восстановленных изображений, полученных через линию L104, на основе двух входных фрагментов информации движения, чтобы формировать прогнозированный сигнал, и выводит прогнозированный сигнал через линию L103a в узел 105 вычитания и в узел 110 суммирования.

[0072] Отсутствуют конкретные ограничения на технологию выбора одного оптимального фрагмента варианта информации бипрогнозирующего прогнозирования в узле 122 выбора информации прогнозирования движения. Например, как показано на фиг.4, вместо пиксельного сигнала целевого блока 461 в целевом изображении 451 кодирования, может быть использована восстановленная область (462) Г-образной формы, соседняя с блоком 461. Поскольку область 462 является восстановленной областью, устройство декодирования также может использовать ее. Как показано на чертеже, прогнозная область (472), соответствующая области 462, может быть получена из опорного изображения 452 на основе одного фрагмента информации 473 движения. Для каждого фрагмента варианта информации бипрогнозирующего прогнозирования области Г-образной формы могут быть получены из двух фрагментов варианта информации движения, и их сигналы усредняются, чтобы находить такой вариант информации бипрогнозирующего прогнозирования, чтобы минимизировать сумму абсолютных разностей от области 462. Эта технология дает возможность устройству декодирования выбирать вариант информации бипрогнозирующего прогнозирования, идентичный варианту, выбранному посредством устройства кодирования, и тем самым предоставляет преимущество исключения необходимости передачи информации индикации.

[0073] Таким образом, прогнозированный сигнал с небольшой разностью от исходного сигнала формируется из информации движения, ассоциированной с блоками, соседними с целевым блоком, и выбираются два фрагмента информации движения, имеющие различные значения векторов движения или различные значения номеров кадров опорных изображений (номер кадра каждого опорного изображения может быть идентифицирован посредством комбинации списка опорных изображений и опорного индекса), посредством чего бипрогнозирующее прогнозирование целевого блока может быть реализовано без передачи информации движения. Поскольку информация движения содержит информацию для того, чтобы идентифицировать список опорных изображений, становится целесообразным выполнять бипрогнозирующее прогнозирование с использованием информации движения с идентичным списком опорных изображений. Следовательно, даже если опорные изображения в двух списках опорных изображений полностью отличаются, бипрогнозирующее прогнозирование может быть выполнено с использованием векторов движения идентичного опорного изображения. Например, когда бипрогнозирующее прогнозирование с двумя аналогичными сигналами выполняется с использованием векторов движения идентичного опорного изображения, может ожидаться повышение производительности прогнозирования на основе эффекта сглаживания.

[0074] Фиг.9 является блок-схемой последовательности операций способа, показывающей процедуру способа прогнозирующего кодирования изображений согласно варианту осуществления. Во-первых, узел 102 сегментации на блоки сегментирует входное изображение на блоки кодирования 8×8 (входное изображение может быть сегментировано с любым другим размером или формой блока, либо блоки различных размеров могут смешиваться в изображении).

[0075] Затем узел 121 извлечения информации движения получает информацию движения, ассоциированную с блоками, соседними с целевым блоком цели кодирования, из запоминающего устройства 113 информации прогнозирования, и извлекает информацию движения, имеющую значение любого из составляющих элементов, отличное от значения другой информации движения, в качестве варианта информации движения, применимого к прогнозированию целевого блока. Затем набор любых двух фрагментов варианта информации движения извлекается в качестве варианта информации бипрогнозирующего прогнозирования (этап S300). Подробности этого этапа S300 уже описаны со ссылкой на фиг.3.

[0076] Затем узел 122 выбора информации прогнозирования движения выбирает фрагмент, который должен быть использован при формировании прогнозированного сигнала целевого блока, из нескольких фрагментов варианта информации бипрогнозирующего прогнозирования. Затем узел 122 выбора информации прогнозирования движения определяет информацию индикации, чтобы идентифицировать выбранный фрагмент варианта информации бипрогнозирующего прогнозирования или идентифицировать два фрагмента варианта информации движения, составляющие выбранный фрагмент варианта информации бипрогнозирующего прогнозирования (этап S320). На следующем этапе S101 выбранные два фрагмента информации движения сохраняются в запоминающем устройстве 113 информации прогнозирования, и узел 114 кодирования информации прогнозирования кодирует информацию индикации.

[0077] Затем на этапе S102 узел 123 компенсации движения получает пиксельные сигналы из двух восстановленных изображений, полученных из запоминающего устройства 104 кадров, на основе выбранной информации движения и усредняет эти пиксельные сигналы, чтобы формировать прогнозированный сигнал целевого блока. В технологии прогнозирования без использования информации движения соседних блоков, информация движения обнаруживается посредством поблочного сопоставления, описанного на фиг.16, и прогнозированный сигнал целевого блока формируется на основе информации движения. Узел 114 кодирования информации прогнозирования кодирует информацию движения и информацию для переключения двух технологий прогнозирования. Информация движения сохраняется в запоминающем устройстве 113 информации прогнозирования.

[0078] Затем остаточный сигнал, указывающий разность между пиксельным сигналом целевого блока кодирования и прогнозированным сигналом, преобразуется и кодируется посредством узла 106 преобразования, узла 107 квантования и узла 111 кодирования квантованных коэффициентов преобразования (этап S103). Кодированные данные информации индикации и квантованных коэффициентов преобразования выводятся через выходной терминал 112 (этап S104).

[0079] После этих процессов или параллельно с этими процессами, кодированный остаточный сигнал декодируется посредством узла 108 обратного квантования и узла 109 обратного преобразования для прогнозирующего кодирования последующего целевого блока кодирования. Затем узел 110 суммирования суммирует декодированный остаточный сигнал с прогнозированным сигналом, чтобы восстанавливать сигнал целевого блока кодирования. Восстановленный сигнал сохраняется в качестве опорного изображения (восстановленного сигнала изображений) в запоминающем устройстве 104 кадров (этап S105). Если обработка не завершена для всех целевых блоков кодирования, обработка возвращается к этапу S101, чтобы выполнять обработку для следующего целевого блока кодирования. Если обработка завершена для всех целевых блоков кодирования, обработка прекращается (этап S106).

[0080] Затем описывается устройство прогнозирующего декодирования изображений согласно варианту осуществления. Фиг.10 является блок-схемой, показывающей устройство прогнозирующего декодирования изображений согласно варианту осуществления. Устройство 200 прогнозирующего декодирования изображений, показанное на фиг.10, содержит входной терминал 201, узел 202 анализа данных, узел 203 обратного квантования, узел 204 обратного преобразования, узел 205 суммирования, выходной терминал 206, узел 207 декодирования квантованных коэффициентов преобразования, узел 208 декодирования информации прогнозирования, запоминающее устройство 104 кадров, узел 209 определения информации движения, узел 121 извлечения информации движения, запоминающее устройство 113 информации прогнозирования и узел 126 компенсации движения. Узел 203 обратного квантования и узел 204 обратного преобразования функционируют в качестве средства декодирования остаточных сигналов, а запоминающее устройство 113 информации прогнозирования выступает в качестве средства записи информации движения. Средство декодирования посредством узла 203 обратного квантования и узла 204 обратного преобразования может быть любым средством, помимо означенных, в других вариантах осуществления. Кроме того, узел 204 обратного преобразования может исключаться в других вариантах осуществления.

[0081] Входной терминал 201 реализует ввод сжатых данных, подвергнутых кодированию со сжатием посредством вышеуказанного способа прогнозирующего кодирования изображений. Эти сжатые данные содержат, для каждого из блоков, кодированные данные, полученные посредством энтропийного кодирования квантованных коэффициентов преобразования, сформированных посредством преобразования и квантования остаточного сигнала, кодированных данных информации прогнозирования, т.е. кодированные данные информации движения для формирования прогнозированного сигнала блока или информацию индикации, чтобы идентифицировать информацию движения, которая должна быть использована при формировании прогнозированного сигнала целевого блока декодирования, из информации движения, ассоциированной с соседними блоками, и кодированных данных информации, чтобы указывать то, какая из информации движения и информации индикации кодируется.

[0082] Узел 202 анализа данных анализирует сжатые данные, вводимые во входной терминал 201, разделяет сжатые данные на кодированные данные квантованных коэффициентов преобразования и кодированные данные информации прогнозирования, для целевого блока декодирования и выводит эти кодированные данные через линию L202a и через линию L202b в узел 207 декодирования квантованных коэффициентов преобразования и в узел 208 декодирования информации прогнозирования соответственно.

[0083] Узел 208 декодирования информации прогнозирования энтропийно декодирует кодированные данные информации движения или информации индикации. Декодированная информация движения отправляется через линию L208 в узел 209 определения информации движения и затем выводится без изменения через линию L207a и линию L207b в узел 126 компенсации движения и запоминающее устройство 113 информации прогнозирования. Запоминающее устройство 113 информации прогнозирования сохраняет информацию движения, и узел 126 компенсации движения получает пиксельный сигнал из восстановленного изображения, полученного из запоминающего устройства 104 кадров, на основе информации движения, и формирует прогнозированный сигнал каждого прогнозного блока в целевом блоке декодирования с использованием пиксельного сигнала. Сформированный прогнозированный сигнал выводится через линию L126 в узел 205 суммирования.

[0084] С другой стороны, когда узел 208 декодирования информации прогнозирования энтропийно декодирует кодированные данные информации индикации, работает узел 121 извлечения информации движения. Узел 121 извлечения информации движения, как подробно описано со ссылкой на фиг.3, получает информацию движения, ассоциированную с блоками, соседними с целевым блоком декодирования, из запоминающего устройства 113 информации прогнозирования и извлекает информацию, имеющую различные значения любого из составляющих элементов, в качестве варианта информации движения, применимого к прогнозированию целевого блока декодирования. Затем узел 121 извлечения информации движения извлекает набор любых двух фрагментов варианта информации движения в качестве варианта информации бипрогнозирующего прогнозирования и выводит вариант информации бипрогнозирующего прогнозирования через линию L121 в узел 209 определения информации движения.

[0085] Узел 209 определения информации движения выбирает один фрагмент варианта информации бипрогнозирующего прогнозирования, идентифицированного посредством информации индикации, вводимой через линию L208, из нескольких фрагментов ввода варианта информации бипрогнозирующего прогнозирования через линию L121. Два фрагмента информации движения, составляющие выбранный вариант информации бипрогнозирующего прогнозирования, выводятся через линию L207a и через линию L207b в узел 126 компенсации движения и в запоминающее устройство 113 информации прогнозирования. Запоминающее устройство 113 информации прогнозирования сохраняет информацию движения, и узел 126 компенсации движения получает пиксельные сигналы из восстановленных изображений, полученных из запоминающего устройства 104 кадров, на основе двух фрагментов информации движения, и формирует прогнозированный сигнал каждого прогнозного блока в целевом блоке декодирования с использованием пиксельных сигналов. Сформированный прогнозированный сигнал выводится через L126 в узел 205 суммирования.

[0086] Узел 207 декодирования квантованных коэффициентов преобразования энтропийно декодирует кодированные данные квантованных коэффициентов преобразования остаточного сигнала в целевом блоке кодирования и выводит восстановленные квантованные коэффициенты преобразования через линию L207 в узел 203 обратного квантования.

[0087] Узел 203 обратного квантования выполняет обратное квантование квантованных коэффициентов преобразования целевого блока декодирования, вводимого через линию L207, чтобы формировать коэффициенты преобразования. Узел 204 обратного преобразования выполняет обратное дискретное косинусное преобразование коэффициентов преобразования, чтобы восстанавливать остаточный сигнал.

[0088] Узел 205 суммирования суммирует прогнозированный сигнал, сформированный посредством узла 103 формирования прогнозированных сигналов, с остаточным сигналом, восстановленным посредством узла 203 обратного квантования и узла 204 обратного преобразования, чтобы формировать декодированный пиксельный сигнал целевого блока декодирования. Декодированный пиксельный сигнал выводится через линию L205 в выходной терминал 206 и запоминающее устройство 104 кадров. Выходной терминал 206 выводит восстановленное изображение, включающее в себя декодированный пиксельный сигнал, наружу (например, на дисплей).

[0089] Запоминающее устройство 104 кадров сохраняет в качестве опорного изображения восстановленное изображение, выводимое из узла 205 суммирования, которое используется в качестве опорного восстановленного изображения для следующего процесса декодирования.

[0090] Способ прогнозирующего декодирования изображений согласно варианту осуществления описывается ниже со ссылкой на фиг.11. Во-первых, сжатые данные вводятся через входной терминал 201 (этап S201). Затем узел 202 анализа данных выполняет анализ данных сжатых данных и извлекает кодированные данные информации движения для формирования прогнозированного сигнала блока или информации индикации, чтобы идентифицировать информацию движения, используемую при формировании прогнозированного сигнала целевого блока декодирования, из информации движения, ассоциированной с соседними блоками, кодированные данные информации, чтобы указывать то, что из информации движения и информации индикации кодируется, а также кодированные данные квантованных коэффициентов преобразования. Кодированные данные информации движения или кодированные данные информации индикации декодируются посредством узла 208 декодирования информации прогнозирования.

[0091] Когда информация движения восстанавливается, узел 126 компенсации движения формирует прогнозированный сигнал целевого блока декодирования на основе восстановленной информации движения. Восстановленная информация движения сохраняется в запоминающем устройстве 113 информации прогнозирования.

[0092] Когда информация индикации восстанавливается, узел 121 извлечения информации движения получает информацию движения соседних блоков из запоминающего устройства 113 информации прогнозирования. Узел 121 извлечения информации движения может получать информацию движения из предварительно определенных соседних блоков. Информация движения может быть получена из соседних блоков на основе информации, передаваемой из стороны кодирования.

[0093] Затем узел 121 извлечения информации движения, как подробно показано на фиг.3, извлекает информацию движения, в которой любые из составляющих элементов отличаются по значению, из полученных фрагментов информации движения, в качестве варианта информации движения, применимого к прогнозированию целевого блока декодирования. Затем узел 121 извлечения информации движения извлекает набор любых двух фрагментов варианта информации движения в качестве варианта информации бипрогнозирующего прогнозирования (этап S300).

[0094] Затем узел 209 определения информации движения выбирает один фрагмент информации бипрогнозирующего прогнозирования из извлеченных фрагментов варианта информации бипрогнозирующего прогнозирования с использованием восстановленной информации индикации, чтобы восстанавливать два фрагмента информации движения (этап S203).

[0095] После этого узел 126 компенсации движения формирует прогнозированный сигнал целевого блока декодирования на основе восстановленных двух фрагментов информации движения и сохраняет два фрагмента информации движения в запоминающее устройство информации прогнозирования (S207).

[0096] Затем квантованные коэффициенты преобразования, декодированные посредством узла 207 декодирования квантованных коэффициентов преобразования, обратно квантуются посредством узла 203 обратного квантования, и узел 204 обратного преобразования дополнительно применяет обратное преобразование к выводу из узла 203 обратного квантования, чтобы формировать декодированный остаточный сигнал (S208).

[0097] Затем сформированный прогнозированный сигнал суммируется с декодированным остаточным сигналом, чтобы формировать декодированный сигнал, и этот декодированный сигнал сохраняется в запоминающем устройстве 104 кадров для декодирования следующего целевого блока декодирования (этап S209). После этого, когда определение на этапе S210 приводит к определению того, что существуют следующие сжатые данные, процессы S202-S209 повторяются (S210), тем самым обрабатывая все данные до конца.

[0098] Фиг.12 является чертежом, показывающим конфигурацию программы для инструктирования компьютеру выполнять способ прогнозирующего кодирования изображений согласно варианту осуществления. Программа P100 прогнозирующего кодирования изображений содержит модуль P101 сегментации на блоки, модуль P103 формирования прогнозированных сигналов, модуль P104 хранения, модуль P105 вычитания, модуль P106 преобразования, модуль P107 квантования, модуль P108 обратного квантования, модуль P109 обратного преобразования, модуль P110 суммирования, модуль P111 кодирования квантованных коэффициентов преобразования, модуль P113 хранения информации прогнозирования и модуль P114 кодирования информации прогнозирования. Модуль P103 формирования прогнозированных сигналов включает в себя модуль P121 извлечения информации движения, модуль P122 выбора информации прогнозирования движения и модуль P123 компенсации движения.

[0099] Функции, которые инструктируют выполнять компьютеру модуль P101 сегментации на блоки, модуль P103 формирования прогнозированных сигналов, модуль P104 хранения, модуль P105 вычитания, модуль P106 преобразования, модуль P107 квантования, модуль P108 обратного квантования, модуль P109 обратного преобразования, модуль P110 суммирования, модуль P111 кодирования квантованных коэффициентов преобразования, модуль P113 хранения информации прогнозирования, модуль P114 кодирования информации прогнозирования, модуль P121 извлечения информации движения, модуль P122 выбора информации прогнозирования движения и модуль P123 компенсации движения, являются идентичными соответствующим функциям узла 102 сегментации на блоки, узла 103 формирования прогнозированных сигналов, запоминающего устройства 104 кадров, узла 105 вычитания, узла 106 преобразования, узла 107 квантования, узла 108 обратного квантования, узла 109 обратного преобразования, узла 110 суммирования, узла 111 кодирования квантованных коэффициентов преобразования, запоминающего устройства 113 информации прогнозирования, узла 114 кодирования информации прогнозирования, узла 121 извлечения информации движения, узла 122 выбора информации прогнозирования движения и узла 123 компенсации движения.

[0100] Фиг.13 является чертежом, показывающим конфигурацию программы для инструктирования компьютеру выполнять способ прогнозирующего декодирования изображений согласно варианту осуществления. Программа P200 прогнозирующего декодирования изображений содержит модуль P201 анализа данных, модуль P202 декодирования информации прогнозирования, модуль P121 извлечения информации движения, модуль P203 определения информации движения, модуль P205 хранения информации прогнозирования, модуль P126 компенсации движения, модуль P206 декодирования квантованных коэффициентов преобразования, модуль P207 обратного квантования, модуль P208 обратного преобразования, модуль P209 суммирования и модуль P104 хранения.

[0101] Функции, которые инструктируют выполнять компьютеру модуль P201 анализа данных, модуль P202 декодирования информации прогнозирования, модуль P121 извлечения информации движения, модуль P203 определения информации движения, модуль P205 хранения информации прогнозирования, модуль P126 компенсации движения, модуль P206 декодирования квантованных коэффициентов преобразования, модуль P207 обратного квантования, модуль P208 обратного преобразования, модуль P209 суммирования и модуль P104 хранения, являются идентичными соответствующим функциям узла 202 анализа данных, узла 208 декодирования информации прогнозирования, узла 121 извлечения информации движения, узла 209 определения информации движения, запоминающего устройства 113 информации прогнозирования, узла 126 компенсации движения, узла 207 декодирования квантованных коэффициентов преобразования, узла 203 обратного квантования, узла 204 обратного преобразования, узла 205 суммирования и запоминающего устройства 104 кадров.

[0102] Программа P100 прогнозирующего кодирования изображений или программа P200 прогнозирующего декодирования изображений, сконфигурированные так, как описано выше, сохраняются на носителе 10 записи и выполняются посредством компьютера, описанного ниже.

[0103] Фиг.14 является схемой, показывающей аппаратную конфигурацию компьютера для выполнения программы, записанной на носителе записи, а фиг.15 является видом в перспективе компьютера для выполнения программы, сохраненной на носителе записи. Оборудование, которое выполняет программу, записанную на носителе записи, не ограничено компьютерами, а может представлять собой DVD-проигрыватель, абонентскую приставку, сотовый телефон и т.п., содержащий CPU и выполненный с возможностью выполнять обработку и управление на основе программного обеспечения.

[0104] Как показано на фиг.14, компьютер 30 содержит устройство 12 считывания, к примеру, узел накопителя на гибких дисках, узел накопителя на CD-ROM или узел накопителя на DVD, оперативное запоминающее устройство (RAM) 14, в котором постоянно размещается операционная система, запоминающее устройство 16, сохраняющее программу, сохраненную на носителе 10 записи, устройство 18 монитора, такое как дисплей, мышь 20 и клавиатура 22 в качестве устройств ввода, устройство 24 связи для передачи/приема данных и других и CPU 26, чтобы управлять выполнением программы. Когда носитель 10 записи вставляется в устройство 12 считывания, компьютер 30 становится доступным для программы P100 прогнозирующего кодирования изображений или программы P200 прогнозирующего декодирования изображений, сохраненной на носителе 10 записи, через устройство 12 считывания, и становится способным работать в качестве устройства 100 прогнозирующего кодирования изображений или устройства 200 прогнозирующего декодирования изображений на основе программы P100 прогнозирующего кодирования изображений или программы P200 прогнозирующего декодирования изображений.

[0105] Как показано на фиг.15, программа прогнозирующего кодирования изображений и программа прогнозирующего декодирования изображений могут быть программами, предоставляемыми в форме компьютерного сигнала 40 данных, накладываемого на несущую через сеть. В этом случае компьютер 30 может сохранять программу прогнозирующего кодирования изображений или программу прогнозирующего декодирования изображений, принимаемую посредством устройства 24 связи, в запоминающее устройство 16 и выполнять программу прогнозирующего кодирования изображений или программу прогнозирующего декодирования изображений.

[0106] Различные варианты осуществления описаны выше, но следует отметить, что настоящее изобретение дополнительно может включать в себя модификации, как описано ниже.

[0107] Варианты для информации движения

В вышеописанном варианте осуществления информация движения состоит из вектора движения, идентификационных данных списка опорных изображений (List0 и List1 на фиг.5) и опорного индекса (ref_idx на фиг.5), но информация движения может быть сконфигурирована посредством замены идентификационных данных списка опорных изображений и опорного индекса на номер кадра. Причина этого заключается в том, что результат и преимущества, идентичные результату и преимуществам вышеописанного варианта осуществления с использованием информации движения, ассоциированной с соседними блоками, могут достигаться посредством использования номеров кадров.

[0108] Ограничения на вариант информации двунаправленного движения

В вышеописанном варианте осуществления узел извлечения информации движения использует все комбинации варианта информации движения в качестве варианта информации двунаправленного движения, но только наборы информации движения, удовлетворяющие нижеприведенным условиям, могут приспосабливаться в качестве варианта информации двунаправленного движения.

1) Только блоки непосредственно выше и непосредственно слева относительно целевого блока.

2) Два фрагмента информации движения, чтобы указывать идентичное опорное изображение.

3) Два вектора движения, которые не являются идентичными, но имеют близкие значения (разность абсолютных значений которых меньше определенного значения). А именно, вектор движения (MVXa, MVYa) блока непосредственно выше и вектор движения (MVXb, MVYb) блока непосредственно слева удовлетворяют следующим двум отношениям:

(|MVXa-MVXb|!=0)||(|MVYa-MVYb|!=0); и

(|MVXa-MVXb|<=N) && (|MVYa-MVYb|<=N) (где N является небольшим значением).

Если отсутствуют варианты информации двунаправленного движения, удовлетворяющие условиям, другой процесс прогнозирования может быть использован без передачи информации индикации.

[0109] Число вариантов информации двунаправленного движения может быть обозначено в единицах кадров или в единицах блоков, и информация для того, чтобы указывать обозначенное число, может быть включена в сжатые данные. Кроме того, информация для того, чтобы указывать такое применение ограничений на вариант информации двунаправленного движения, может быть кодирована в единицах кадров.

[0110] Идентификационные данные информации индикации

При определении идентификационных данных информации индикации очередность по приоритету блока (401) непосредственно слева и блока (402) непосредственно выше может быть определена с использованием информации движения вышеуказанного правого блока (404 на фиг.8) относительно целевого блока (400 на фиг.8). Если вектор движения блока непосредственно выше (MVXa, MVYa), вектор движения блока непосредственно слева (MVXb, MVYb) и вектор движения вышеуказанного левого блока (MVXc, MVYc) удовлетворяют отношению |MVXa-MVXc|+|MVYa-MVYc|<|MVXb-MVXc|+|MVYb-MVYc|, информации движения блока непосредственно слева присваиваются идентификационные данные с меньшим числом битов. Если отношение не удовлетворяется, информации движения блока непосредственно выше присваиваются идентификационные данные с меньшим числом битов. Когда более высокий приоритет присваивается информации движения соседнего блока, предположительно имеющего более высокую корреляцию с целевым блоком, таким образом, может быть уменьшено число битов информации индикации.

[0111] Извлечение и выбор варианта вектора движения

В вышеописанном варианте осуществления извлечение и выбор варианта вектора движения выполняются для горизонтальных и вертикальных компонентов вектора движения совместно, но извлечение и выбор варианта вектора движения могут быть по отдельности выполнены для горизонтального компонента и вертикального компонента вектора движения. В вышеописанном варианте осуществления один вектор движения соседнего блока задан как вариант вектора движения, но также можно задавать в качестве варианта вектора движения среднее двух векторов движения или вектор движения, масштабированный согласно расстоянию во временном направлении между изображениями (например, каждый векторный компонент увеличивается в два раза, когда вектор движения для цели изображения 504 в (A) по фиг.5 преобразуется в вектор движения для цели изображения 503).

[0112] Тип прогнозирования

В вышеописанном варианте осуществления тип прогнозирования для обоих из двух соседних блоков является бипрогнозирующим прогнозированием, но настоящее изобретение также может применяться к случаям, в которых один из них является прямым или обратным прогнозированием. В таких случаях, извлекаются до трех фрагментов варианта информации бипрогнозирующего прогнозирования. В этих случаях, комбинированные шаблоны двух фрагментов информации движения в числе, не меньшем шаблонов, описанных ниже, могут извлекаться из соседних блоков. А именно, комбинированные шаблоны заключаются в следующем:

(1) 1 шаблон: в случаях, если приспосабливаются два фрагмента информации движения блока (402) непосредственно выше или блока (401) непосредственно слева;

(2) 1 шаблон: в случаях, если используется один фрагмент информации движения блока (402) непосредственно выше и один фрагмент информации движения блока (401) непосредственно слева, и если списки опорных изображений относительно двух фрагментов информации движения отличаются;

(3) 1 шаблон: в случаях, если используется один фрагмент информации движения блока (402) непосредственно выше и один фрагмент информации движения блока (401) непосредственно слева, и если списки опорных изображений относительно двух фрагментов информации движения являются идентичными.

[0113] Кроме того, оба из двух соседних блоков могут быть прямым или обратным прогнозированием, или один из них может быть прямым прогнозированием, а другой - обратным прогнозированием.

[0114] Число соседних блоков

Отсутствуют конкретные ограничения на число соседних блоков, применимых к прогнозированию целевого блока. Аналогично (B) по фиг.7, три блока 401-403 могут быть использованы в качестве соседних блоков. Также можно использовать информацию движения, ассоциированную с блоком предыдущего кадра. Если соседние блоки (401-405) дополнительно сегментируются, как показано на фиг.8, информация движения, ассоциированная с такими меньшими блоками, может быть включена в вариант информации движения. Также можно использовать информацию движения блока, который не является смежным с целевым блоком.

[0115] N-прогнозирующее прогнозирование

В вышеописанном варианте осуществления способ прогнозирования целевого блока, выполняемого с использованием информации движения, ассоциированной с соседними блоками, является бипрогнозирующим прогнозированием, но способ прогнозирования не обязательно должен быть ограничен им и может быть унипрогнозирующим прогнозированием или трипрогнозирующим прогнозированием. В этом случае этап S310 на фиг.3 может быть сконфигурирован с возможностью извлекать варианты информации N-прогнозирующего прогнозирования и выбирать один из них. N фрагментов информации движения может быть сохранено в этом случае, но в случае, если N равняется трем или больше, информация движения, которая должна быть сохранена, может быть ограничена двумя, посредством опорных индексов или значений векторов движения.

[0116] Узел преобразования и узел обратного преобразования

Процесс преобразования остаточного сигнала может быть выполнен при фиксированном размере блока, или процесс преобразования может быть выполнен посредством дополнительной сегментации целевой области согласно частичной области.

[0117] Цветовой сигнал

В описании вышеописанного варианта осуществления нет конкретного описания в отношении цветового формата, но процесс формирования прогнозированных сигналов может быть выполнен отдельно от сигнала яркости для цветового сигнала или цветоразностного сигнала. Обработка также может быть выполнена синхронно с обработкой сигнала яркости.

[0118] Настоящее изобретение подробно описано выше на основе некоторых вариантов осуществления. Тем не менее, следует отметить, что настоящее изобретение никоим образом не ограничивается вышеописанными вариантами осуществления. Настоящее изобретение может быть модифицировано множеством способов без отступления от объема и сущности изобретения.

Список позиционных обозначений

[0119] 100 - устройство прогнозирующего кодирования изображений; 101 - входной терминал; 102 - узел сегментации на блоки; 103 - узел формирования прогнозированных сигналов; 104 - запоминающее устройство кадров; 105 - узел вычитания; 106 - узел преобразования; 107 - узел квантования; 108 - узел обратного квантования; 109 - узел обратного преобразования; 110 - узел суммирования; 111 - узел кодирования квантованных коэффициентов преобразования; 112 - выходной терминал; 113 - запоминающее устройство информации прогнозирования; 114 - узел кодирования информации прогнозирования; 121 - узел извлечения информации движения; 122 - узел выбора информации прогнозирования движения; 123 - узел компенсации движения; 201 - входной терминал; 202 - узел анализа данных; 203 - узел обратного квантования; 204 - узел обратного преобразования; 205 - узел суммирования; 206 - выходной терминал; 207 - узел декодирования квантованных коэффициентов преобразования; 208 - узел декодирования информации прогнозирования; 209 - узел определения информации движения.

Изобретение относится к области прогнозирующего кодирования и декодирования изображений. Техническим результатом является подавление шума прогнозированных сигналов. Предложенные при прогнозирующем декодировании изображений один или более наборов информации движения извлекаются из нескольких фрагментов информации движения, сохраненной в средстве записи информации движения. Каждый из одного или более наборов информации включает в себя два фрагмента информации движения, в которых любые из составляющих элементов отличаются по значению. Прогнозированный сигнал целевой области в изображении формируется посредством компенсации движения с использованием двух фрагментов информации движения в наборе информации движения, выбранном из одного или более наборов информации движения. Два фрагмента информации движения в выбранном наборе информации движения сохраняются в средстве записи информации движения и используются для формирования прогнозированного сигнала другой области. 2 н.п. ф-лы, 17 ил.

1. Устройство прогнозирующего декодирования изображений, содержащее:

средство анализа данных, выполненное с возможностью извлекать кодированные данные информации индикации и кодированные данные остаточного сигнала из сжатых данных, причем кодированные данные информации индикации идентифицируют набор информации движения, используемый для формирования прогнозированного сигнала целевой области цели декодирования из множества областей на изображении, из множества фрагментов информации движения, ассоциированных с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию, и информации движения, ассоциированной с областью в предыдущем декодированном кадре;

средство декодирования информации прогнозирования, выполненное с возможностью декодировать кодированные данные информации индикации, чтобы восстанавливать информацию индикации;

средство извлечения информации движения, выполненное с возможностью извлекать один или более наборов информации движения из множества фрагментов информации движения, сохраненной в запоминающем устройстве, причем каждый из одного или более наборов информации движения включает в себя два фрагмента информации движения, между которыми соответствующие номера кадров, идентифицированные с помощью соответствующих идентификационных данных списка опорных изображений и соответствующего индекса опорного изображения, отличаются друг от друга или между которыми соответствующие векторы движения отличаются друг от друга;

средство определения информации движения, выполненное с возможностью определять, из извлеченного одного или более наборов информации движения, набор информации движения, подлежащий использованию при формировании прогнозированного сигнала целевой области на основании информации индикации;

средство компенсации движения, выполненное с возможностью формировать прогнозированный сигнал целевой области посредством комбинирования двух сигналов, полученных из восстановленных изображений, сохраненных в запоминающем устройстве, на основе набора информации движения из информации движения, ассоциированной с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию, и информации движения, ассоциированной с областью в декодированном предыдущем кадре, или двух фрагментов информации движения, ассоциированной с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию;

средство записи информации движения, выполненное с возможностью сохранять информацию движения, использованную для формирования прогнозированного сигнала целевой области, в запоминающем устройстве;

средство восстановления остаточного сигнала, выполненное с возможностью восстановления остаточного сигнала целевой области из кодированных данных остаточного сигнала;

средство записи изображений, выполненное с возможностью восстанавливать пиксельный сигнал целевой области на основе прогнозированного сигнала и восстановленного остаточного сигнала; и сохранять восстановленный пиксельный сигнал в качестве части восстановленного изображения.

2. Способ прогнозирующего декодирования изображений, содержащий этапы, на которых:

извлекают кодированные данные информации индикации и кодированные данные остаточного сигнала из сжатых данных, причем кодированные данные информации индикации идентифицируют набор информации движения, используемый для формирования прогнозированного сигнала целевой области цели декодирования из множества областей на изображении, из множества фрагментов информации движения, ассоциированных с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию, и информации движения, ассоциированной с областью в предыдущем декодированном кадре;

декодируют кодированные данные информации индикации, чтобы восстанавливать информацию индикации;

извлекают один или более наборов информации движения из множества фрагментов информации движения, сохраненной в запоминающем устройстве, причем каждый из одного или более наборов информации движения включает в себя два фрагмента информации движения, между которыми соответствующие номера кадров, идентифицированные с помощью соответствующих идентификационных данных списка опорных изображений и соответствующего индекса опорного изображения, отличаются друг от друга, или между которыми соответствующие вектора движения отличаются друг от друга;

определяют из извлеченного одного или более наборов информации движения набор информации движения, подлежащий использованию при формировании прогнозированного сигнала целевой области на основании информации индикации;

формируют прогнозированный сигнал целевой области посредством комбинирования двух сигналов, полученных из восстановленных изображений, сохраненных в запоминающем устройстве, на основе набора информации движения из информации движения, ассоциированной с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию, и информации движения, ассоциированной с областью в декодированном предыдущем кадре, или двух фрагментов информации движения, ассоциированной с соседними областями, соседними с целевой областью в кадре, подлежащем декодированию;

сохраняют информацию движения, использованную для формирования прогнозированного сигнала целевой области, в запоминающем устройстве;

восстанавливают остаточный сигнал целевой области из кодированных данных остаточного сигнала;

восстанавливают пиксельный сигнал целевой области на основе прогнозированного сигнала и восстановленного остаточного сигнала и

сохраняют восстановленный пиксельный сигнал в качестве части восстановленного изображения.