СПОСОБ ОПРЕДЕЛЕНИЯ ПРЕДСКАЗЫВАЕМОГО ВЕКТОРА ДВИЖЕНИЯ Российский патент 2007 года по МПК H04N7/46 G06T7/20 

ПРЕДПОСЫЛКИ К СОЗДАНИЮ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретение

Настоящее изобретение относится к системе кодирования движущегося изображения и, в частности, к способу определения предсказываемого вектора движения путем определения вектора движения, используемого в операции осреднения, когда блок, соседний с кодируемым блоком, имеет множество векторов движения, для получения предсказываемого вектора движения (PMV - prediction motion vector) кодируемого блока с использованием информации о векторах движения соседних блоков и повышения эффективности кодирования.

Описание предшествующего уровня техники

Обычно для сокращения числа битов, используемых при передаче информации о движении, кодер вместо того, чтобы направить вектор движения (MV) непосредственно в декодер, выбирает осредненное значение векторов движения трех соседних блоков с помощью операции осреднения, принимает полученное осредненное значение в качестве предсказываемого вектора движения PMV, определяет разность MVD между MV и PMV (т.е. MVD=MV-PMV) и передает полученную разность MVD в декодер.

После этого декодер определяет вектор движения MV, получая предсказываемый вектор движения PMV таким же образом, что и кодер и прибавляя переданное значение MVD к полученному значению PMV.

На чертеже блок Е - это блок, подлежащий кодированию (или декодированию), а блоки А, В и С - блоки, которые соседствуют с блоком Е. Обозначив векторы движения соседних блоков А, В и С соответственно как MV_A, MV_B и MV_C, можно получить предсказываемый вектор движения PMV блока Е посредством операции осреднения по формуле

PMV = медиана {MV_A, MV_B, MV_C}

Блок D, представленный на чертеже, является блоком, который используется вместо блока С, когда блок С находится за пределами кадра. При условии, что только один из трех блоков: А, В и С или А, В и D, относится к тому же самому опорному кадру, к которому относится блок Е, вектор движения MV такого блока будет использоваться в качестве предсказываемого вектора движения PMV. Этот способ передачи информации о движении применяется ко всем кадрам независимо от их типов.

С другой стороны, В-кадр имеет пять типов режима предсказания: режим предсказания вперед, режим обратного предсказания, режим двунаправленного предсказания, режим прямого предсказания и режим внутрикадрового предсказания. Обычно соседний блок в режиме предсказания вперед имеет один вектор движения MVFW, полученный по предыдущему опорному кадру с индексом ref_idx_fwd, а соседний блок в режиме обратного предсказания имеет один вектор движения MVBW, полученный по последующему опорному кадру с индексом ref_idx_bwd.

В режиме двунаправленного предсказания В-кадра предсказание допускается по разным или одинаковым направлениям, например вперед/вперед, назад/назад и вперед/назад. Каждый опорный кадр использует индекс ref_idx_fwd или ref_idx_bwd независимо от его направления (вперед или назад), а каждый вектор движения имеет обозначение MVFW или MVBW также независимо от его направления. (Причина заключается в том, что предварительно определенные «синтаксические структуры» используются такими, какие есть. Для представления синтаксических структур можно использовать ref_idx_10 или ref_idx_11 для обозначения каждого индекса, а mv_list0 или mv_list1 - для обозначения каждого вектора движения). Режим прямого предсказания В-кадра представляет собой такой режим предсказания, при котором информация о движении не передается в декодер, а векторы движения MVf и MVb и опорные кадры получают из декодера. Тот факт, что полученные векторы движения обозначаются MVf и MVb независимо от их направления, говорит о сходстве режима прямого предсказания с режимом двунаправленного предсказания.

При обычном способе определения предсказываемого вектора движения PMV для В-кадра предсказываемый вектор движения вперед блока Е получают путем выделения только векторов движения вперед для соседних блоков и осуществления операции осреднения выделенных векторов движения вперед. Если у одного из соседних блоков нет вектора движения вперед, его вектор движения принимают равным 0, а операцию осреднения осуществляют при данном условии. Аналогичным образом этот способ применяют и для предсказываемого вектора обратного движения блока Е с тем, чтобы использовать только векторы обратного движения соседних блоков. Если один из соседних блоков находится в режиме внутрикадрового предсказания, его вектор движения принимают равным 0, данный соседний блок полагают относящимся к опорному кадру, отличному от того, к которому относится блок Е, и предсказываемый вектор движения PMV получают при таком условии.

Однако, как отмечалось выше, в режиме двунаправленного предсказания В-кадра предсказание допускается как с разных направлений, так и с одинаковых направлений, например вперед/вперед, назад/назад, а также вперед/назад, каждый опорный кадр использует индекс ref_idx_fwd или ref_idx_bwd независимо от его направления (вперед или назад), а каждый вектор движения аналогичным образом обозначается MVFW или MVBW независимо от его направления. Вследствие этого есть необходимость выделить способ определения предсказываемого вектора движения PMV при наличии соседнего блока, имеющего два вектора движения.

Если соседний блок находится в режиме двунаправленного (или прямого) предсказания, векторы его движения MVFW и MVBW (или MVf и MVb) могут иметь как одинаковые направления, например, вперед/вперед или назад/назад, так и разные направления, например вперед/назад. Данная информация о направлении векторов движения не может быть определена только по синтаксическим структурам 'MVFW' и 'MVBW' векторов движения или только по индексам опорных кадров 'ref_idx_fwd' и 'ref_idx-bwd'. Обычный способ определения вектора PMV для В-кадра не дает точного описания данной проблемы, вследствие чего возникает большая путаница.

Например, если соседний блок находится в режиме двунаправленного предсказания с двумя векторами движения, имеющими направления вперед/вперед, обычный способ определения вектора PMV не дает четкого ответа относительно того, использовать ли оба или только один из двух векторов движения для определения предсказываемого вектора движения вперед PMV блока Е.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Таким образом, настоящее изобретение создано в связи с указанными проблемами, и поэтому целью настоящего изобретения является обеспечение способа присваивания информации о направлении опорным кадрам и способа определения направлений опорных кадров, в котором однозначную информацию, позволяющую получить информацию о направлении векторов движения, присваивают каждому опорному кадру, в результате чего может быть получена информация относительно направления от каждого соседнего блока на каждый опорный кадр.

Другой целью настоящего изобретения является создание способа определения предсказываемого вектора движения путем определения вектора движения, используемого в операции осреднения, когда блок, соседний с кодируемым блоком, имеет множество векторов движения, для получения предсказываемого вектора движения PMV кодируемого блока с использованием информации о векторах движения соседних блоков, и повышения эффективности кодирования.

Согласно одному аспекту настоящего изобретения указанные и другие цели могут быть достигнуты путем присваивания информации о направлении опорному кадру в качестве признака данного опорного кадра с тем, чтобы давать информацию о направлении опорного кадра, на который указывает индекс опорного кадра.

Предпочтительно, чтобы информация о направлении, указывающая на порядок отображения каждого опорного кадра, могла быть представлена в виде значения порядкового номера кадра (РОС - picture order count).

Согласно другому аспекту настоящего изобретения предлагается способ определения направлений опорных кадров, указанных соответствующими индексами опорных кадров, включающий совокупность операций получения информации о порядке отображения для каждого опорного кадра, сравнения полученной информации о порядке отображения с информацией о порядке отображения блока, кодируемого в текущий момент, и определения направления (вперед или назад) каждого опорного кадра по отношению к кодируемому в текущий момент блоку.

Предпочтительно, чтобы информация о порядке отображения каждого опорного кадра могла быть получена по значению порядкового номера кадра (РОС).

Согласно еще одному аспекту настоящего изобретения предлагается способ определения предсказываемого вектора движения (PMV) кодируемого блока путем выполнения операции осреднения с использованием векторов движения соседних блоков, содержащий следующие шаги: а) если соседние блоки имеют векторы движения, получают информацию о направлении опорных кадров, указанных векторами движения соседних блоков, и b) выбирают один из векторов движения соседних блоков с обращением к полученной информации о направлении и осуществляют операцию осреднения выбранных векторов движения для получения предсказываемого вектора движения кодируемого блока.

Предпочтительно шаг а) может включать операцию определения информации о направлении векторов движения путем сравнения информации о порядке отображения опорных кадров, указанных векторами движения соседних блоков, с информацией о порядке отображения кодируемого блока.

При условии, что один из соседних блоков имеет два вектора движения разного направления, шаг b) предпочтительно может включать операцию выбора одного из двух векторов движения, имеющего одно направление с предсказываемым вектором движения, а операцию осреднения осуществляют с использованием выбранного вектора движения для получения предсказываемого вектора движения.

В другом случае шаг b) может включать, при условии, что один из соседних блоков имеет два вектора движения с одинаковыми направлениями, отличающимися от направления предсказываемого вектора движения, операцию присваивания двум векторам движения значения 0, исходя из того, что соседний блок относится к опорному кадру, отличному от того, к которому относится кодируемый блок, а операцию осреднения осуществляют с использованием нулевого движения для получения предсказываемого вектора движения.

Кроме того, при условии, что один из соседних блоков имеет два вектора движения MV1 и MV2 с одинаковыми направлениями, совпадающими с направлением предсказываемого вектора движения, и оба вектора движения MV1 и MV2 относятся к одному и тому же опорному кадру, шаг b) может включать шаг b-1), заключающийся в выборе одного из двух векторов движения MV1 и MV2 и осуществлении операции осреднения с использованием выбранного вектора движения для получения предсказываемого вектора движения.

Более предпочтительно шаг b-1) может включать шаг b-2), заключающийся в выборе из двух векторов движения MV1 и MV2 ранее декодированного вектора или имеющего тот же режим (режим MV1 или режим MV2), что и предсказываемый вектор движения, и осуществлении операции осреднения с использованием выбранного вектора движения для получения предсказываемого вектора движения. В данном случае, вектор движения, имеющий одинаковый режим, означает вектор движения, имеющий такую же транскрипцию, что и та, которой обозначен предсказываемый вектор движения.

В другом случае при условии, что один из соседних блоков имеет два вектора движения MV1 и MV2 с одинаковыми направлениями, которые совпадают с направлением предсказываемого вектора движения, и только один из векторов движения MV1 и MV2 относится к опорному кадру, к которому относится и кодируемый блок, шаг b) может включать осуществление выбора одного из векторов движения MV1 и MV2, относящегося к опорному кадру, к которому относится кодируемый блок, и осуществление операции осреднения с использованием выбранного вектора движения для получения предсказываемого вектора движения.

При условии, что один из соседних блоков имеет два вектора движения MV1 и MV2 с одинаковыми направлениями, которые совпадают с направлением предсказываемого вектора движения, при этом ни один из векторов движения MV1 и MV2 не относится к опорному кадру, к которому относится кодируемый блок, и оба они относятся к разным опорным кадрам, шаг b) может заключаться в выборе из векторов MV1 и MV2 того вектора, который относится к опорному кадру, ближайшему к тому опорному кадру, к которому относится кодируемый блок, или к опорному кадру, который является ближайшим к кодируемому в текущий момент кадру, и осуществлении операции осреднения с использованием выбранного вектора движения для получения предсказываемого вектора движения.

При условии, что один из соседних блоков имеет один вектор движения с направлением, отличным от направления предсказываемого вектора движения, шаг b) может заключаться в присвоении вектору движения соседнего блока значения 0, исходя из того, что соседний блок относится к опорному кадру, отличному от того, к которому относится кодируемый блок, и осуществлении операции осреднения с использованием нулевого движения соседнего блока для получения предсказываемого вектора движения.

При условии, что один из соседних блоков имеет один вектор движения того же направления, что и предсказываемый вектор движения, шаг b) может включать осуществление операции осреднения с использованием вектора движения соседнего блока для получения предсказываемого вектора движения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Указанные и другие цели, признаки и преимущества настоящего изобретения становятся более очевидными из последующего подробного описания, приводимого со ссылками на прилагаемый чертеж, который показывает определение предсказываемого вектора движения блока Е с использованием векторов движения соседних блоков А, В и С.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ПРИМЕРОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Если блок, соседний с блоком, подлежащим кодированию, находится в режиме двунаправленного предсказания (или режиме прямого предсказания), векторы движения MVFW и MVBW (или MVf и MVb) указанных блоков могут иметь одинаковые направления, например вперед/вперед и назад/назад, или разные направления, например вперед/назад. Данная информация о направлении векторов движения не может быть определена, исходя только из синтаксических структур векторов движения 'MVFW и 'MVBW или индексов опорных кадров 'ref_idx_fwd' и 'ref_idx_bwd'. Поэтому есть необходимость в получении информации о направлении путем обращения к различной однозначной информации, содержащейся в опорных кадрах.

Настоящее изобретение предлагает способ получения информации о направлении векторов движения путем сравнения информации о порядке отображения опорных кадров и определения предсказываемого вектора движения PMV на основе полученной информации о направлении.

Далее следуют подробные описания предпочтительных примеров осуществления настоящего изобретения со ссылками на прилагаемый чертеж.

1. РАСПОЗНАВАНИЕ НАПРАВЛЕНИЙ ВЕКТОРА ДВИЖЕНИЯ ПУТЕМ СРАВНЕНИЯ ИНФОРМАЦИИ О ПОРЯДКЕ ОТОБРАЖЕНИЯ

Информация о направлении векторов движения соседних блоков должна быть получена до определения предсказываемого вектора движения PMV кодируемого блока. Затем на основе информации о направлении векторов движения соответствующих соседних блоков определяют, следует ли учитывать векторы движения соседних блоков в операции осреднения.

Обычно, если соседний блок находится в режиме предсказания вперед или назад с одним вектором движения, направление этого вектора движения может быть определено по индексу опорного кадра. Однако в случае, когда соседний блок находится в режиме двунаправленного или прямого предсказания с двумя векторами движения, невозможно распознать действительные направления опорных кадров, указываемых индексами опорных кадров.

Причина этого заключается в следующем. Декодер системы кодирования движущихся изображений, позволяющий использовать множество опорных кадров и В-кадр в качестве точки отсчета, не может оценить информацию о направлении только по индексам опорных кадров, поскольку не может точно получить номера последующих и предыдущих опорных кадров для В-кадра, подлежащего декодированию в текущий момент, даже если он и может распознать связь между порядком индексации вперед/назад, используемым по умолчанию, и относительным порядком индексации вперед/назад по информации о переназначении, передаваемой кодером.

В настоящем изобретении предлагается, чтобы опорный кадр, указываемый индексом опорного кадра, включал и однозначную информацию, указывающую его порядок отображения для распознавания его направления. Этот порядок отображения представлен в виде значения порядкового номера кадра (РОС). В результате направление каждого вектора движения может быть легко опознано путем сравнения порядка отображения каждого опорного кадра, указываемого каждым индексом опорного кадра, с порядком отображения В-кадра, кодируемого в текущий момент.

2. ОПЕРАЦИЯ ОСРЕДНЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ ПРЕДСКАЗЫВАЕМОГО ВЕКТОРА ДВИЖЕНИЯ, КОГДА СОСЕДНИЙ БЛОК НАХОДИТСЯ В РЕЖИМЕ ДВУНАПРАВЛЕННОГО ИЛИ ПРЯМОГО ПРЕДСКАЗАНИЯ

Если блок, соседний с кодируемым блоком, находится в режиме двунаправленного или прямого предсказания, то он имеет два вектора движения. Из этих векторов движения тот, который имеет такое же направление, что и предсказываемый вектор движения PMV кодируемого блока, должен быть использован в операции осреднения. Далее приводится подробное описание эффективного способа определения предсказываемого вектора движения PMV, предлагаемого в настоящем изобретении. Для удобства описания кодируемый блок обозначен буквой Е, соседние блоки - буквами А, В, С и D, а два вектора движения каждого соседнего блока обозначены как MV1 и MV2 в соответствии с чертежом.

2.1 ПРИМЕР, КОГДА ДВА ВЕКТОРА ДВИЖЕНИЯ СОСЕДНЕГО БЛОКА ИМЕЮТ РАЗНЫЕ НАПРАВЛЕНИЯ

Выбирают вектор движения, имеющий то же направление, что и предсказываемый вектор движения PMV кодируемого блока, а затем определяют предсказываемый вектор движения PMV с помощью операции осреднения.

Другими словами, вектор движения вперед выбирают для определения PMV по предсказываемому вектору движения вперед для блока Е, а вектор движения назад выбирают для определения PMV по предсказываемому вектору движения назад для блока Е. Затем с помощью операции осреднения получают предсказываемый вектор движения PMV каждого направления.

2.2 ПРИМЕР, КОГДА ДВА ВЕКТОРА ДВИЖЕНИЯ СОСЕДНЕГО БЛОКА ИМЕЮТ ОДИНАКОВЫЕ НАПРАВЛЕНИЯ, СОВПАДАЮЩИЕ С НАПРАВЛЕНИЕМ ПРЕДСКАЗЫВАЕМОГО ВЕКТОРА ДВИЖЕНИЯ PMV

Прежде всего определяют, относятся ли два вектора движения MV1 и MV2 соседнего блока к опорному кадру, к которому относятся и блок Е, подлежащий кодированию.

Если оба вектора движения MV1 и MV2 относятся к одному и тому же опорному кадру, выбирают один из них (например, вектор движения, ранее декодированный, или вектор движения, находящийся в том же самом режиме (режиме MV1 или MV2), что и предсказываемый вектор движения) и используют его в операции осреднения для определения предсказываемого вектора движения PMV. В данном случае вектор движения, находящийся в том же режиме, означает вектор движения, имеющий такую же транскрипцию, как та, которая указывает предсказываемый вектор движения. Кроме того, опорный кадр, указываемый векторами движения MV1 и MV2, может быть тем же или другим, нежели тот, который указан кодируемым блоком Е.

Если только один из векторов движения MV1 и MV2 относится к опорному кадру, указанному блоком Е, то его используют в операции осреднения для определения предсказываемого вектора движения PMV.

Если ни один из векторов движения MV1 и MV2 не относится к опорному кадру блока Е, а оба они относятся к различным опорным кадрам, то выбирают тот из них, который относится к опорному кадру, расположенному ближе всего к опорному кадру, указываемому блоком Е, или к тому опорному кадру, который является ближайшим к кодируемому в текущий момент кадру, и используют его в операции осреднения для определения предсказываемого вектора движения PMV.

2.3 ПРИМЕР, КОГДА ДВА ВЕКТОРА ДВИЖЕНИЯ СОСЕДНЕГО БЛОКА ИМЕЮТ ОДИНАКОВЫЕ НАПРАВЛЕНИЯ, КОТОРЫЕ ОТЛИЧАЮТСЯ ОТ НАПРАВЛЕНИЯ ПРЕДСКАЗЫВАЕМОГО ВЕКТОРА ДВИЖЕНИЯ PMV

Два вектора движения MV1 и MV2 соседнего блока принимают равными 0, полагают соседний блок относящимся к опорному кадру, отличному от опорного кадра, указываемому блоком Е, а предсказываемый вектор движения PMV кодируемого блока получают путем операции осреднения с использованием нулевого движения.

Таким образом, когда соседний блок имеет два вектора движения, по порядкам отображения соответствующих опорных кадров распознают направления векторов движения и определяют, совпадают ли они с направлением предсказываемого вектора движения PMV, что позволяет таким образом получить величину PMV, имеющую большее приближение к MV. Это приводит к уменьшению разности между векторами движения MVD (= MV-PMV), которую направляют в декодер, и, в свою очередь, к уменьшению количества битов, передаваемых в декодер. Соответственно, может быть повышена общая эффективность кодирования.

С другой стороны, в случае, когда соседний блок имеет один вектор движения, информацию о направлении вектора движения получают на основе порядка отображения соответствующего опорного кадра. Если направление вектора движения не совпадает с направлением предсказываемого вектора движения, вектор движения принимают равным 0, соседний блок полагают относящимся к опорному кадру, отличному от опорного кадра, который указывается кодируемым блоком, а предсказываемый вектор движения определяют путем операции осреднения с использованием нулевого движения.

Далее, в том случае, когда соседний блок имеет один вектор движения, информацию о векторе движения получают на основе порядка отображения соответствующего опорного кадра. Если направление вектора движения совпадает с направлением предсказываемого вектора движения, вектор движения используют в операции осреднения для определения предсказываемого вектора движения.

Как следует из вышеприведенного описания, настоящее изобретение обеспечивает способ присваивания информации о направлении опорным кадрам и способ определения направлений опорных кадров, в которых информацию о порядке отображения, позволяющую получать информацию о направлении векторов движения, присваивают каждому опорному кадру. Таким образом, может быть получена информация о направлении от кодируемого в текущий момент блока к каждому опорному кадру.

Далее настоящее изобретение обеспечивает способ определения предсказываемого вектора движения путем определения вектора движения, используемого в операции осреднения, когда блок, соседний с кодируемым блоком, имеет два вектора движения, обусловленных режимом двунаправленного предсказания или режимом прямого предсказания В-кадра. В результате предсказываемый вектор движения (PMV) кодируемого блока может быть предсказан с использованием информации о векторах движения соседних блоков и таким образом может быть повышена эффективность кодирования.

Хотя предпочтительные примеры осуществления настоящего изобретения приведены с иллюстративной целью, специалисты в данной области техники отдадут должное возможности различных доработок, добавлений и замен без отступления от сущности и объема изобретения, как это раскрыто в прилагаемой формуле изобретения.

Изобретение относится к системе кодирования движущегося изображения и, в частности, к способу определения предсказываемого вектора движения блока изображения в В-кадре в процессе декодирования движущегося изображения, в котором получают, по меньшей мере, один вектор движения для одного, по меньшей мере, блока, иного, чем текущий блок, при этом упомянутый один, по меньшей мере, блок относится к одному, по меньшей мере, опорному кадру в ряду опорных кадров, предсказывают вектор движения для текущего блока по полученному одному, по меньшей мере, вектору движения, причем операция предсказания включает также операцию сравнения значения порядкового номера кадра для В-кадра со значением порядкового номера одного, по меньшей мере, опорного кадра, при этом вектор движения для текущего блока и упомянутый один, по меньшей мере, вектор движения являются векторами движения вперед. 2 н. и 12 з.п. ф-лы, 1 ил.

1. Способ предсказания вектора движения для текущего блока В-кадра в режиме прямого предсказания, содержащий:

получение, по меньшей мере, одного вектора движения для одного, по меньшей мере, блока, иного, чем текущий блок, при этом упомянутый один, по меньшей мере, блок относится к одному, по меньшей мере, опорному кадру в ряду опорных кадров; и

предсказание вектора движения для текущего блока по полученному одному, по меньшей мере, вектору движения;

причем операция предсказания включает также операцию сравнения значения порядкового номера кадра для В-кадра со значением порядкового номера одного, по меньшей мере, опорного кадра, при этом вектор движения для текущего блока и упомянутый один, по меньшей мере, вектор движения являются векторами движения вперед.

получение, по меньшей мере, одного вектора движения для одного, по меньшей мере, блока, иного, чем текущий блок, при этом упомянутый один, по меньшей мере, блок относится к одному, по меньшей мере, опорному кадру; и

предсказание вектора движения для текущего блока по полученному одному, по меньшей мере, вектору движения,

отличающийся тем, что в нем

осуществляют сравнение значения порядкового номера кадра для В-кадра со значением порядкового номера одного, по меньшей мере, опорного кадра, чтобы предсказать вектор движения для текущего блока, при этом вектор движения для текущего блока и полученный один, по меньшей мере, вектор движения имеют одинаковое направление.