СПОСОБ ВЫБОРА ОПОРНОГО ИЗОБРАЖЕНИЯ Российский патент 2008 года по МПК H04N7/24 G06T7/20 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области кодирования и декодирования движущегося изображения.

Предшествующий уровень техники

Системы кодирования движущегося изображения компенсируют движение, используя информацию о векторе движения. В случае системы кодирования движущегося изображения, в которой используется множество опорных изображений, для компенсации движения необходима информация об индексе опорного изображения, а также информация о векторе движения. Индекс опорного изображения представляет собой значение, используемое для различения множества опорных изображений между собой. Кодер передает индекс опорного изображения на декодер. Декодер выбирает опорное изображение, указанное индексом опорного изображения, и осуществляет компенсацию движения с использованием выбранного опорного изображения.

Обычно методы развертки видеоизображения делятся на метод прогрессивной развертки и метод чересстрочной развертки. В случае прогрессивной развертки видеоизображение одного кадра состоит из данных, которые выбираются в одно и то же время. В случае чересстрочной развертки видеоизображение одного кадра состоит из данных, которые выбираются в разные моменты времени, и выборки построчно чередуются.

Чересстрочное видеоизображение кадра обычно делится на два поля, называемых верхним полем и нижним полем. При чересстрочной развертке один кадр делится на два видеоизображения полей. При такой детализации видеоизображение обрабатывают исходя из единицы изображения. Кадр или поле можно отнести к изображению.

Предлагается три способа кодирования движущегося изображения с чересстрочной разверткой. Первый способ кодирования представляет собой способ кодирования изображения типа "поле", при котором осуществляют процесс кодирования, рассматривая каждое поле как независимое изображение на уровне изображения или сегмента. Второй способ кодирования представляет собой способ кодирования изображения типа "кадр", при котором осуществляют процесс кодирования после объединения двух полей в один кадр на уровне изображения или сегмента. Третий способ кодирования представляет собой способ кодирования изображения типа "кадр" с макроблоком кадра/поля, при котором осуществляют процесс кодирования путем объединения двух полей в один кадр и выбора режима кадра или режима поля на уровне макроблока.

В третьем способе кодирования два смежных по вертикали макроблока связывают в пару и кодирование осуществляют в единице из пары макроблоков. На фиг.1 номера, присвоенные макроблокам в парах, указывают адреса макроблоков, используемые для различения макроблоков между собой.

Здесь макроблок кадра представляет собой макроблок, кодируемый как верхний и нижний макроблоки из пары макроблоков в единицах кадра. Другими словами, каждый макроблок кодируют в единицах кадра после объединения двух полей в один кадр.

Между тем, макроблок поля представляет собой макроблок, который кодируют как верхний и нижний макроблоки пар макроблоков в единицах поля. Пару макроблоков делят на компоненты верхнего и нижнего полей и каждое поле кодируют независимо. В то же время пары макроблоков переупорядочивают таким образом, что верхний и нижний макроблоки могут содержать, соответственно, только компонент верхнего поля или только компонент нижнего поля. Верхний макроблок называется макроблоком верхнего поля, а нижний макроблок называется макроблоком нижнего поля.

Опорный буфер для хранения множества опорных изображений конфигурируют в единицах кадра. При кодировании изображения типа "кадр" все опорные изображения рассматриваются как единицы кадра, в котором два поля объединены в один кадр, а одно изображение из опорных изображений типа "кадр" используют для компенсации движения. Соответственно, значения присваиваются индексам опорных изображений в единицах кадра.

Индекс опорного изображения для Р-кадра получают посредством сортировки всех опорных кадров в порядке, обратном порядку кодирования, и затем последовательного назначения индекса с шагом возрастания, равным единице, отсортированным опорным кадрам. Индекс опорного изображения для В-кадра классифицируется по перечню 0 или перечню 1 (перечень 0 - перечень индексов, присвоенных опорным кадрам, хранящимся в буфере опорных кадров, используемых при межкадровом предсказании Р-кадров, SP-кадров и В-кадров, перечень 1 - перечень индексов, присвоенных опорным кадрам, хранящимся в буфере опорных кадров, используемых при межкадровом предсказании только В-кадров, согласно международному стандарту Н.264 (MPEG-4, раздел 10) - примеч. перевод.) и определяется на основе порядка отображения опорных кадров.

Прежде всего в случае перечня 0 для опорных кадров индексы назначают в обратном порядке относительно опорных кадров, отображаемых с отставанием от В-кадра, а затем остальные индексы назначают в порядке отображения опорных кадров, отображаемых с опережением В-кадра. В случае перечня 1 для опорных кадров, в отличие от перечня 0 для опорных кадров, индексы назначают в порядке отображения опорных кадров, отображаемым с опережением В-кадра, а затем остальные индексы назначают в обратном порядке относительно опорных кадров, отображаемых с отставанием от В-кадра. На фиг.2 показан индекс опорного изображения для Р-кадра, когда размер опорного буфера равен 5, а на фиг.3 показаны перечни 0 и 1 индексов опорных изображений для В-кадра.

При кодировании изображений типа "поле" поля всех опорных изображений считаются независимыми изображениями, причем одно из изображений опорных полей используется для компенсации движения. Соответственно, значения присваиваются индексам опорных изображений в единицах поля. В то же время опорные поля объединяют в единицу кадра и затем индексы опорных изображений в каждом поле Р-кадра сортируют в порядке, обратном по отношению к порядку кодирования кадра. Затем значения индексов с шагом возрастания, равным единице, поочередно присваивают опорным полям в порядке от опорного поля с четностью, равной четности текущего изображения, до опорного поля с четностью, отличной от четности текущего изображения, при последовательном обходе отсортированных опорных кадров.

Кроме того, в случае перечней 0 и 1 индексов опорных изображений для каждого поля В-кадра все опорные поля объединяют в единицы кадра, а затем опорные кадры сортируют таким же способом, как и в способе определения индекса опорного изображения для В-кадра. После этого индексы, возрастающие на единицу, поочередно присваивают опорным полям в порядке от опорного поля с четностью, равной четности текущего изображения, и до опорного поля с четностью, отличной от четности текущего изображения, при последовательном обходе отсортированных опорных кадров.

На фиг.4 показаны индексы опорных изображений верхнего и нижнего полей Р-кадра, когда размер опорного буфера равен 5, а на фиг.5 показаны перечни 0 и 1 индексов опорных изображений для верхнего и нижнего полей В-кадра, которые можно использовать в качестве опорных.

В целях повышения эффективности кодирования система кодирования движущегося изображения с использованием множества опорных изображений обеспечивает функцию переупорядочения индексов опорных изображений перед декодированием изображения или сегмента. Индексы опорных изображений произвольно переупорядочивают так, чтобы повысить эффективность кодирования после определения первоначального индекса опорного изображения для изображений типа "кадр" и поля. На фиг.6 показан результат определения первоначального индекса опорного изображения для Р-кадра и произвольного переупорядочения индексов в соответствии с указанным выше методом.

Когда система кодирования движущегося изображения с использованием множества опорных изображений кодирует движущееся изображение с чересстрочной разверткой в изображение типа "кадр", имеющее макроблоки кадра/поля, все опорные изображения для макроблока кадра рассматриваются как единица кадра, и одно из опорных изображений типа "кадр" должно использоваться для компенсации движения. Кроме того, все опорные изображения для макроблока поля считаются независимыми изображениями, и одно из опорных изображений типа "поле" должно использоваться для компенсации движения.

Соответственно, при кодировании изображения типа "кадр" с выбором режимов кодирования кадра/поля на уровне макроблока необходимо назначить значения индексу опорного изображения в единице кадра или единице поля в соответствии с режимом кодирования каждого макроблока.

Сущность изобретения

Пример осуществления настоящего изобретения обеспечивает информацию об опорном изображении, используемом для компенсации движения путем определения индекса опорного изображения по-разному, в соответствии с режимом кодирования макроблока, когда движущееся изображение с чересстрочной разверткой кодируют с изображением типа "кадр", имеющим макроблоки кадра/поля в системе кодирования движущегося изображения с использованием множества опорных изображений.

В одном примере осуществления настоящего изобретения способ выбора опорного изображения для обработки макроблока поля включает выбор, по меньшей мере, одного опорного изображения, для обработки макроблока поля, по меньшей мере, из одного перечня опорных изображений, в котором используется информация об индексе опорного изображения. Здесь каждое выбранное, по меньшей мере, одно опорное изображение является полем. Например, опорное поле может быть верхним полем или нижним полем.

В другом примере осуществления настоящего изобретения указанный способ может дополнительно включать в себя обработку макроблока поля с использованием, по меньшей мере, одного выбранного опорного изображения.

Еще в одном примере осуществления настоящего изобретения указанный способ может включать формирование, по меньшей мере, одного перечня опорных изображений. Например, операция формирования может включать инициализацию, по меньшей мере, одного перечня опорных изображений и переупорядочение, по меньшей мере, одного перечня опорных изображений.

В другом примере осуществления настоящего изобретения, если информация об индексе опорного изображения представляет собой четный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет такую же четность поля, как и макроблок поля.

В еще одном примере осуществления настоящего изобретения, если информация об индексе опорного изображении представляет собой нечетный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет четность поля, отличную от четности макроблока поля.

В примере осуществления настоящего изобретения способ выбора опорного изображения для обработки макроблока поля включает выбор, по меньшей мере, одного опорного изображения для обработки макроблока поля, по меньшей мере, из одного перечня опорных изображений, в котором используется информация об индексе опорного изображения. Здесь каждое, по меньшей мере, одно выбранное опорное изображение является полем, причем четность выбранного, по меньшей мере, одного опорного поля может быть основана на четности макроблока поля и на информации об индексе опорного изображения.

Краткое описание чертежей

Прилагаемые чертежи, которые включены для лучшего понимания настоящего изобретения и составляют неотъемлемую часть настоящего описания, иллюстрируют примеры осуществления изобретения и вместе с описанием служат для объяснения принципов настоящего изобретения.

На чертежах:

на фиг.1 показана пара макроблоков в изображении типа "кадр", имеющем обычный макроблок кадра/поля;

на фиг.2 показаны индексы опорных изображений Р-кадра при кодировании в системе кодирования движущегося изображения в соответствии с известным техническим решением;

на фиг.3 показаны перечни 0 и 1 индексов опорных изображений В-кадра при кодировании в системе кодирования движущегося изображения в соответствии с известным техническим решением;

на фиг.4 показаны индексы опорных изображений при кодировании верхнего и нижнего полей Р-кадра в системе кодирования движущегося изображения в соответствии с известным техническим решением;

фиг.5 иллюстрирует перечни 0 и 1 индексов опорных изображений при кодировании верхнего и нижнего полей В-кадра в системе кодирования движущегося изображения в соответствии с известным техническим решением;

на фиг.6 показаны индексы опорных изображений, переупорядоченных при кодировании Р-кадра в системе кодирования движущегося изображения в соответствии с известным техническим решением;

на фиг.7 показаны индексы опорных изображений Р-кадра и В-кадра, имеющих макроблоки кадра, в системе кодирования движущегося изображения в соответствии с настоящим изобретением;

на фиг.8 показаны индексы опорных изображений Р-кадра и В-кадра, имеющих макроблок поля, в системе кодирования движущегося изображения в соответствии с примером осуществления настоящего изобретения (случай 1);

на фиг.9 показаны индексы опорных изображений Р-кадра и В-кадра, имеющих макроблоки поля, в системе кодирования движущегося изображения в соответствии с другим примером осуществления настоящего изобретения (случай 2);

на фиг.10 показаны индексы опорных изображений Р-кадра, имеющего макроблоки поля, в системе кодирования движущегося изображения в соответствии еще с одним примером осуществления настоящего изобретения (случай 3);

на фиг.11 показаны индексы опорных изображений В-кадра, имеющего макроблоки поля, в системе кодирования движущегося изображения в соответствии с другим примером осуществления настоящего изобретения (случай 3); и

на фиг.12 показаны индексы опорных изображений Р-кадра и В-кадра, имеющих макроблоки поля, в системе кодирования движущегося изображения в соответствии с еще одним примером осуществления настоящего изобретения (случай 4).

Подробное описание предпочтительных примеров осуществления настоящего изобретения

Ниже будут подробно описаны наглядные примеры осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.

Как утверждалось ранее, системы кодирования движущегося изображения компенсируют движение, используя информацию о векторе движения. В случае системы кодирования движущегося изображения, в которой используется множество опорных изображений, для компенсации движения используется информация об индексах опорных изображений, а также информация о векторах движения. Индекс опорного изображения представляет собой значение, которое используется для различения множества опорных изображений между собой. Кодер передает индекс опорного изображения на декодер. Декодер выбирает опорное изображение, указанное индексом опорного изображения, и, используя выбранное опорное изображение, осуществляет компенсацию движения.

При кодировании движущегося изображения с чересстрочной разверткой в изображение типа "кадр", имеющее макроблоки кадра/поля, система кодирования движущегося изображения, в которой используется множество опорных изображений, осуществляет компенсацию движения из опорного кадра с целью кодирования кадра в макроблоке кадра. Другими словами, опорные изображения могут рассматриваться в качестве единицы кадра. Однако система кодирования движущегося изображения осуществляет компенсацию движения из опорного поля с целью кодирования поля в макроблоках поля. Другими словами, опорные изображения могут рассматриваться в качестве единицы поля.

Соответственно, для изображений типа "кадр", имеющих макроблок кадра/поля, используются индексы, имеющие различную структуру на уровне макроблока. Например, в макроблоке кадра используется индекс опорного изображения единицы кадра, а в макроблоке поля используется индекс опорного изображения единицы поля. Следует иметь в виду, что индексы опорных изображений могут быть переупорядочены на уровне изображения или сегмента.

Следовательно, в изображении типа "кадр", имеющем макроблоки изображения/поля, должно учитываться опорное изображение в единице кадра на уровне изображения или сегмента, и должны быть переупорядоченные индексы опорных изображений единицы кадра. Индекс опорного изображения можно определить в соответствии с режимом кодирования макроблока на основе индексов опорного изображения единицы кадра на уровне макроблока.

В настоящем изобретении обеспечивается пример осуществления способа определения индексов опорных изображений в изображении типа "кадр", имеющем макроблоки кадра/поля. Указанный способ включает в себя процесс определения индексов опорных изображений на уровне изображения (или сегмента) и процесс определения индексов опорных изображений на уровне макроблока.

[1] Определение (или инициализация) индексов опорных изображений на уровне изображения (или сегмента).

Опорные изображения могут рассматриваться в единице кадра на уровне изображения или сегмента, а индексы опорных изображений единицы кадра вычисляются.

В способе определения индекса опорного изображения для Р-кадра опорные изображения сортируют в порядке, обратном порядку кодирования, а индексы назначают при последовательном обходе отсортированных опорных кадров.

Индексы опорных изображений для В-кадра определяются на основе порядка отображения опорных кадров. Прежде всего, в случае перечня 0 для опорных кадров индексы назначают в обратном порядке относительно опорных кадров, отображаемых с отставанием от В-кадра, а остальные индексы назначают в порядке отображения опорных кадров, отображаемых с опережением В-кадра.

В случае перечня 1 для опорных кадров, в отличие от перечня 0 для опорных кадров, индексы назначают в порядке отображения опорных кадров, которые по порядку отображения выше В-кадра, а остальные индексы назначают в обратном порядке по отношению к опорным кадрам, которые по порядку отображения ниже В-кадра.

В этом и другом примере осуществления, описанном ниже, в целях повышения эффективности кодирования система кодирования движущегося изображения с использованием множества опорных изображений может обеспечить функцию переупорядочения индексов опорных изображений перед декодированием изображения или сегмента. Индексы опорных изображений произвольно переупорядочивают так, чтобы повысить эффективность кодирования после определения первоначального индекса опорного изображения для изображений типа "кадр" и "поле". При переупорядочении опорных индексов изображений в целях повышения эффективности кодирования могут быть переупорядочены индексы опорных изображений единицы кадра.

[2] Определение (или переупорядочение) индекса опорного изображения на уровне макроблока

Индекс опорного изображения модифицируют в соответствии с режимом кодирования макроблока при осуществлении кодирования в единице пары макроблоков по отношению к индексам опорных изображений единицы кадра, полученным на уровне изображения (сегмента). Этот процесс будет описан ниже.

[2.1] Случай макроблока кадра

Поскольку компенсация движения может быть применена к макроблокам кадра из опорного изображения, индексом опорного изображения может быть индекс единицы кадра. Соответственно, используются индексы опорных изображений единицы кадра, полученные на уровне изображения (или сегмента).

Опорный кадр, сохраненный в опорном буфере, можно сконфигурировать с парой полей, имеющих четности (например, верхнего и нижнего полей), противоположные одна другой. На фиг.7 показаны индексы опорных изображений для макроблока кадра в Р-кадре и В-кадре, когда размер опорного буфера равен 5.

[2.2] Случай макроблока поля

Поскольку компенсация движения может быть применена к макроблокам поля из опорного поля, индекс опорного изображения может быть индексом единицы поля. В этом случае пара полей, имеющих противоположные четности, также присутствует в опорном буфере. Соответственно, каждый опорный кадр делится на два поля при последовательном обходе опорного кадра в соответствии с индексами опорных изображений единицы кадра, получаемыми на уровне изображения (или сегмента). Затем индексы опорных изображений заново назначают каждому полю. Индексы опорных изображений для двух полей каждого опорного кадра назначают разными способами (Случаи с 1 по 4).

(Случай 1)

Независимо от того, относится ли макроблок текущего поля к макроблокам верхнего и нижнего полей, нижний индекс назначают верхнему опорному полю, а верхний индекс назначают нижнему опорному полю при последовательном обходе опорных кадров в порядке индексов опорных изображений, полученных на уровне изображения (или сегмента).

Другими словами, индексы верхнего и нижнего опорных полей могут быть заданы следующими выражениями.

Индекс верхнего опорного поля=2×индекс изображения опорного кадра

Индекс нижнего опорного поля=2×индекс изображения опорного кадра+1

На фиг.8 показаны индексы опорных изображений для макроблоков полей Р-кадра и В-кадра.

(Случай 2)

Независимо от того, относится ли макроблок текущего поля к макроблокам верхнего и нижнего полей, нижний индекс назначают нижнему опорному полю, а верхний индекс назначают верхнему опорному полю при последовательном обходе опорных кадров в порядке индексов опорных изображений, полученных на уровне изображения (или сегмента).

Другими словами, индексы верхнего и нижнего опорных полей могут быть заданы следующими выражениями.

Индекс верхнего опорного поля=2×индекс изображения опорного изображения+1

Индекс нижнего опорного поля=2×индекс изображения опорного изображения

На фиг.9 показаны индексы опорных кадров для макроблоков полей Р-кадра и В-кадра.

(Случай 3)

Индексы, возрастающие с шагом в единицу, поочередно назначаются опорным полям, начиная с опорного поля, имеющего четность, равную четности текущего поля, до опорного поля, имеющего четность, отличную от четности текущего поля, при последовательном обходе опорных кадров в соответствии с порядком индексов опорных изображений уровня изображения (или сегмента). На фиг.10 и 11 показаны индексы опорных изображений для макроблоков полей Р-кадра и В-кадра.

(Случай 4)

Независимо от того, относится ли макроблок текущего поля к макроблокам верхнего и нижнего полей, нижний индекс назначают опорному полю, близкому по времени к текущему полю, а верхний индекс назначают опорному полю, отдаленному по времени от текущего поля, при последовательном обходе опорных кадров в порядке индексов опорных изображений уровня изображения (или сегмента).

Другими словами, индексы опорных полей могут быть заданы следующими выражениями.

Индекс опорного поля, близкого к текущему полю=2×индекс изображения опорного изображения

Индекс опорного поля, удаленного от текущего поля=2×индекс изображения опорного изображения+1

На фиг.12 показаны индексы опорных изображений для макроблока поля Р-кадра и В-кадра.

Хотя настоящее изобретение описано и проиллюстрировано здесь со ссылкой на наглядные примеры его осуществления, специалистам в данной области техники будет очевидно, что в настоящем изобретении могут быть сделаны различные изменения и модификации, без отступления от его сущности и объема. Таким образом, подразумевается, что настоящее изобретение охватывает модификации и изменения.

В соответствии со способом кодирования движущегося изображения, согласно, по меньшей мере, одному примеру осуществления настоящего изобретения, когда система кодирования движущегося изображения с использованием множества опорных изображений кодирует движущееся изображение с чересстрочной разверткой в изображение типа "кадр", имеющее макроблоки кадра/поля, система кодирования движущегося изображения эффективно обеспечивает информацию об опорном изображении, используемую для компенсации движения, посредством различно определяемых индексов опорных изображений в соответствии с режимами кодирования макроблоков.

Изобретение относится к области кодирования и декодирования движущегося изображения. Техническим результатом является повышение эффективности кодирования движущегося изображения с использованием множества опорных изображений, достигаемым за счет того, что способ выбора опорного изображения для обработки макроблока поля содержит: определение, по меньшей мере, одного перечня опорных изображений путем использования порядка отображения, при этом, по меньшей мере, один перечень опорных изображений имеет информацию об индексах опорных изображений; выбор, по меньшей мере, одного опорного изображения для обработки макроблока поля, по меньшей мере, из одного перечня опорных изображений, путем использования информации об индексах опорных изображений, причем, по меньшей мере, одно выбранное опорное изображение является полем, а четность, по меньшей мере, одного выбранного опорного поля основана на четности макроблока поля текущего изображения и информации об индексе опорного изображения; при этом, если информация об индексе опорного изображения представляет собой четный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет ту же четность поля, что и макроблок поля, а если информация об индексе опорного изображения представляет собой нечетный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет четность поля, отличную от четности макроблока поля. 4 з.п. ф-лы, 12 ил.

1. Способ выбора опорного изображения для обработки макроблока поля, содержащий: определение, по меньшей мере, одного перечня опорных изображений путем использования порядка отображения, при этом, по меньшей мере, один перечень опорных изображений имеет информацию об индексах опорных изображений; выбор, по меньшей мере, одного опорного изображения для обработки макроблока поля, по меньшей мере, из одного перечня опорных изображений путем использования информации об индексах опорных изображений, причем, по меньшей мере, одно выбранное опорное изображение является полем, а четность, по меньшей мере, одного выбранного опорного поля основана на четности макроблока поля текущего изображения и информации об индексе опорного изображения; при этом, если информация об индексе опорного изображения представляет собой четный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет ту же четность поля, что и макроблок поля, а если информация об индексе опорного изображения представляет собой нечетный номер индекса, то, по меньшей мере, одно выбранное опорное поле имеет четность поля, отличную от четности макроблока поля.2. Способ по п.1, в котором, если информация об индексе опорного изображения представляет собой четный номер индекса и макроблок поля текущего изображения является макроблоком верхнего поля, то, по меньшей мере, одно выбранное опорное поле является верхним полем.3. Способ по п.1, в котором, если информация об индексе опорного изображения представляет собой четный номер индекса и макроблок поля текущего изображения является макроблоком нижнего поля, то, по меньшей мере, одно выбранное опорное поле является нижним полем.4. Способ по п.1, в котором, если информация об индексе опорного изображения представляет собой нечетный номер индекса и макроблок поля текущего изображения является макроблоком верхнего поля, то, по меньшей мере, одно выбранное опорное поле является нижним полем.5. Способ по п.1, в котором, если информация об индексе опорного изображения представляет собой нечетный номер индекса и макроблок поля текущего изображения является макроблоком нижнего поля, то, по меньшей мере, одно выбранное опорное поле является верхним полем.