СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ОЦИФРОВАННОГО ИЗОБРАЖЕНИЯ Российский патент 2003 года по МПК G06T9/00 H04N7/30 

Кодирование видеосигналов в соответствии со стандартами кодирования изображения Н. 261, Н.263, MPEG1 и MPEG2 базируется на блочно-ориентированном дискретном косинусном преобразовании (DCT). Эти способы используют, в общем, принцип основанного на блоках кодирования изображения.

Другим подходом к кодированию изображения является так называемый принцип основанного на объектах кодирования изображения. При основанном на объектах кодировании изображения производится сегментирование образцов изображения в соответствии с выступающими в сцене объектами и отдельное кодирование этих объектов.

На фиг. 2 в общих чертах представлено устройство для кодирования и декодирования изображения.

На фиг. 2 представлена камера К, с помощью которой фотографируются изображения. Камера К может, например, быть любой аналоговой камерой К, которая фотографирует изображения сцены, и изображения либо оцифровываются в камере, либо также в аналоговом виде передаются к первому вычислительному устройству R1, в котором затем либо обрабатываются оцифрованные изображения В, либо аналоговые изображения преобразуются в оцифрованные изображения В и обрабатываются оцифрованные изображения В.

Камера К может быть цифровой камерой К, с помощью которой снимаются непосредственно оцифрованные изображения В и подводятся к первому вычислительному устройству R1 для дальнейшей обработки.

Первое вычислительное устройство R1 также может быть оборудовано как самостоятельное устройство, с помощью которого проводятся описываемые в дальнейшем технологические операции, например, как самостоятельная компьютерная плата, которая установлена в вычислительном устройстве.

Под первым вычислительным устройством R1 в общем следует понимать любое устройство, которое может проводить обработку сигналов изображения в соответствии с нижеописанным способом, например, также мобильное оконечное устройство (мобильный телефон).

Первое вычислительное устройство R1 имеет процессорный блок Р, с помощью которого проводятся описываемые в дальнейшем технологические операции кодирования или декодирование изображения. Процессорный блок Р связан, например, через шину BU с запоминающим устройством SP, в котором запоминаются данные изображения.

Вообще, описываемые в дальнейшем способы могут быть реализованы как в математическом обеспечении, так и в аппаратурном обеспечении или также частично в математическом обеспечении и частично в аппаратурном обеспечении.

После проведенного кодирования изображения в первом вычислительном устройстве R1 и после передачи сжатых данных изображения через передающую среду ко второму вычислительному устройству R2 во втором вычислительном устройстве R2 проводится декодирование изображения.

Второе вычислительное устройство R2 может иметь ту же структуру, что и первое вычислительное устройство R1, следовательно, запоминающее устройство SP, которое через шину BU связано с процессорным блоком Р.

На фиг.3 в более детальном виде представлено возможное устройство в виде принципиальной схемы для кодирования или же для декодирования изображения, которое может использоваться в рамках основанного на блоках и отчасти, как объясняется ниже, в рамках основанного на объектах кодирования изображения.

При основанном на блоках способе кодирования изображения оцифрованное изображение В разделяется на обычно квадратные блоки размером 8х8 точек изображения ВР или 16х16 точек изображения ВР и подводится к устройству для кодирования изображения.

Одной точке изображения обычно однозначно соответствует закодированная информация, например яркостная информация (значения яркости) или цветовая информация (значения цветности).

При основанном на блоках способе кодирования изображения делается различие между различными режимами кодирования изображения.

При так называемом режиме внутреннего кодирования изображения, смотря по обстоятельствам, кодируется и передается все изображение с полной, соответствующей точкам изображения информацией кодирования (I-изображение).

При так называемом режиме взаимного кодирования изображения, смотря по обстоятельствам, кодируется и передается только разностная видеоинформация двух следующих по времени одно за другим изображений (изображение Р, изображение В).

Для переключения между режимом внутреннего кодирования изображения и режимом взаимного кодирования изображений предусмотрены два коммутаторных устройства SE. Для проведения режима взаимного кодирования изображений предусмотрено устройство вычитания S, в котором образуется разность видеоинформации двух следующих одно за другим изображений В. Все кодирование изображения управляется устройством управления кодированием изображения ST. Подлежащие кодированию разностные блоки изображения ВВ, смотря по обстоятельствам, подводятся к устройству кодирования с преобразованием DCT, в котором к соответствующей точкам изображения информации кодирования применяется кодирование с преобразованием, например дискретное косинусное преобразование (DCT).

Вообще, может проводиться, однако, любое другое кодирование с преобразованием, например дискретное синусное преобразование или также дискретное Фурье-преобразование.

Образованные за счет кодирования с преобразованием спектральные коэффициенты квантуются в устройстве квантования Q и подводятся к мультиплексору кодирования изображения (не представленному), например, для канального кодирования и/или энтропийного кодирования. Во внутреннем цикле реконструкции квантованные спектральные коэффициенты квантуются инверсно в инверсном устройстве квантования IQ и подвергаются инверсному кодированию с преобразованием в устройстве инверсного кодирования с трансформацией IDCT.

Далее в случае взаимного кодирования изображений в сумматоре АЕ добавляется к этому видеоинформация соответствующего, предшествующего по времени изображения. Реконструированные таким образом изображения запоминаются в запоминающем устройстве изображения SP. В запоминающем устройстве изображения SP для упрощенного изображения символически представлен блок для компенсации движения МС.

Далее предусмотрен фильтр с регулируемой обратной связью (кольцевой фильтр LF), который связан с запоминающим устройством SP, а также с устройством вычитания S.

К мультиплексору кодирования изображения дополнительно к подлежащим передаче данным изображения подводится флаг режима р, с помощью которого, смотря по обстоятельствам, задается, проводилось ли внутреннее или взаимное кодирование изображения.

Далее индексы квантования q для спектральных коэффициентов подводятся к мультиплексору кодирования изображения.

Также вектор движения v присваивается, смотря по обстоятельствам, блоку изображения и/или макроблоку, который содержит, например, 4 блока изображения, и подводится к мультиплексору кодирования изображения.

Далее предусмотрено информационное сообщение f для активации или же деактивации фильтра с регулируемой обратной связью LF.

После передачи информации изображения через передающую среду во втором вычислительном устройстве R2 может проводиться декодирование передаваемых данных. Для этого во втором вычислительном устройстве R2 предусмотрено устройство декодирования изображения, которое, например, имеет структуру цикла реконструкции представленной на фиг.2 конфигурации.

При основанном на объекте способе кодирования изображения каждый объект изображения прежде всего разлагается на блоки постоянной величины, например, также 8х8 точек изображения. После этого разложения часть результирующих блоков изображения полностью находится в пределах объекта изображения ВО. Эта ситуация представлена на фиг.4. Изображение В содержит минимально один объект изображения ВО, который обрамляется кромкой объекта ОК объекта изображения ВО. Далее представлены блоки изображения ВВ с 8х8 точками изображения ВР. Блоки изображения ВВ, которые, по меньшей мере, содержат часть кромки объекта ОК, обозначаются в дальнейшем как блоки краевого изображения RBB.

Блоки изображения ВВ, которые после разложения полностью находятся в объекте изображения ВО, могут кодироваться, руководствуясь вышеназванным основанным на блоках способом кодирования изображения с обычным основанным на блоках дискретным косинусным преобразованием. Блоки краевого изображения RBB все же частично заполнены информацией изображения и должны кодироваться особым способом.

Для кодирования блоков краевого изображения RBB существуют до сих пор два основных подхода.

Из документа [1] известно, что видеоинформацию объекта изображения ВО в пределах блока краевого изображения RBB следует дополнить подходящим способом экстраполяции информации кодирования до поверхности полного блока краевого изображения RBB. Этот принцип действий называется сопряжением. Дополненная поверхность затем кодируется обычным двухмерным дискретным косинусным преобразованием.

Альтернативно к этому из документов [1] и [2] известно, что данный объект изображения ВО преобразуется раздельно по строкам и столбцам. Этот принцип действий называется согласованным с формой кодированием с преобразованием, в конкретном случае применения DCT называется согласованным с формой DCT. Присвоенные объекту изображения ВО коэффициенты DCT определяются таким образом, что те точки изображения ВР блока краевого изображения RBB, которые не принадлежат к объекту изображения ВО, отфильтровываются. К остающимся точкам изображения ВР затем применяется прежде всего построчное преобразование, длина которого соответствует числу остающихся точек изображения в этой строке. Результирующие коэффициенты выравниваются горизонтально и затем подвергаются дальнейшему одномерному DCT в вертикальном направлении с соответствующей длиной. При этом применяется один и тот же метод как для внутреннего кодирования изображения, так и для взаимного кодирования изображений.

Известный способ адаптивного к форме кодирования с преобразованием, которое описано выше, имеет по сравнению с другими недостаток, заключающийся в том, что достигается только относительно плохой коэффициент сжатия подлежащих уплотнению данных изображения при изображениях с предсказательными ошибками.

Известное положение для кодирования изображений с предсказательными ошибками при согласованном с формой кодировании с преобразованием исходит из матрицы преобразования со следующей структурой:

При этом значение справедливо для случая р=0 и γ=1 для всех других случаев.

С помощью N обозначается размер подлежащего преобразованию вектора изображения, в котором содержались преобразованные точки изображения.

С помощью обозначается матрица преобразования размером NхN.

С помощью р, k обозначаются индексы р, k ∈ [0, N-1].

По известному принципу действия согласованное с формой РСТ сегмента изображения определяется тем, что прежде всего вертикально преобразуется каждый столбец сегмента в соответствии с положением

и после этого такое же положение (2) применяется к результирующим данным в горизонтальном направлении. Положение согласно формуле (2) все же не является оптимальным для кодирования изображений с предсказательными ошибками.

Таким образом, в основе изобретения лежит задача предоставить способ для кодирования и декодирования изображения и устройства для кодирования и декодирования изображения, с помощью которых достигается согласованное с формой кодирование с преобразованием с улучшенным коэффициентом сжатия для данных изображения.

Задача решается способом в соответствии с п.1 формулы изобретения, способом в соответствии с п.5 формулы изобретения и посредством устройства в соответствии с п.11 формулы изобретения.

При способе в соответствии с п.1 формулы изобретения для кодирования оцифрованного изображения В точки изображения ВР объекта изображения ВО кодируются с помощью измененного согласованного с формой кодирования с преобразованием.

"Новое" согласованное с формой кодирование с преобразованием проводится таким образом, что энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной зоне примерно равна энергии сигнала информации кодирования преобразованных точек изображения в частотной зоне.

Другими словами это означает, что согласованное с формой кодирование с преобразованием ортонормируется.

Предпочтительным у этого принципа действия является, в частности, то, что ошибка квантования при последующем квантовании получающихся за счет преобразования спектральных коэффициентов распределяется равномерно по всем точкам изображения ВР и ошибка квантования имеет то же среднее значение, что и в случае нормального блока изображения 8х8.

Этот способ подходит по сравнению с другими для кодирования блоков краевого изображения сегмента изображения.

В целом способ приводит к явно улучшенной эффективности кодирования, т. е. при равной скорости данных возрастает достижимое качество изображения. Как описывается ниже, по сравнению с известным способом без дополнительных затрат машинного времени может достигаться существенно улучшенное отношение мощности сигнал/шум почти на дБ.

При способе в соответствии с п.5 формулы изобретения при декодировании производится инверсное согласованное с формой кодирование с преобразованием, причем снова энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала информации кодирования преобразованных точек изображения в частотной области.

Этот способ также имеет соответствующие выше представленные преимущества для кодирования изображения.

При устройстве в соответствии с п.11 формулы изобретения для проведения способа предусмотрено устройство кодирования с преобразованием для согласованного с формой кодирования с преобразованием точек изображения и/или устройство декодирования с преобразованием для инверсного согласованного с формой кодирования с преобразованием. Устройство кодирования с преобразованием или же устройство декодирования с преобразованием выполнено таким образом, что энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала информации кодирования преобразованных точек изображения в частотной области.

Также для устройства справедливы описанные выше преимущества "нового" кодирования с преобразованием.

Содержащие преимущества усовершенствования изобретения получаются из зависимых пунктов формулы изобретения.

В усовершенствовании способа преимущественным является то, что коэффициенты преобразования подлежащих преобразованию точек изображения формируются в соответствии со следующим положением:

причем с помощью N обозначается размер подлежащего преобразованию вектора изображения, в котором содержались преобразованные точки изображения,
- обозначается матрица преобразования размером NхN,
- р, k индексы обозначаются с помощью р, k ∈ [0, N-1].

Как видно в положении (3), значительное улучшение достигается лишь за счет различного масштабирования положения преобразования по сравнению с известным принципом действия.

Далее преимущественным в усовершенствовании является то, что "новое" согласованное с формой кодирование с преобразованием проводится лишь в режиме взаимного кодирования изображений. В режиме внутреннего кодирования изображения проводится в этом усовершенствовании известное согласованное с формой кодирование с преобразованием.

Вышеописанные усовершенствования способа для кодирования изображения предусмотрены также как усовершенствования для кодирования изображения, при положении для инверсного кодирования с преобразованием с соответствующим инверсным положением.

Усовершенствования способа также являются преимущественными для оформления блока кодирования с преобразованием устройства для кодирования изображения.

Точно так же представленные в связи со способом усовершенствования кодирования с преобразованием предусмотрены также для устройства кодирования изображения, причем, смотря по обстоятельствам, устройство кодирования с преобразованием выполнено таким образом, что реализуются соответствующие усовершенствования.

Как способы, так и устройства особенно выгодно могут использоваться при согласованном с формой кодировании с преобразованием для блоков краевого изображения при основанном на объекте кодировании изображения.

На фигурах представлен пример исполнения изобретения, который подробнее объясняется ниже.

Фиг. 1 - схема последовательности операций, на которой отдельные технологические операции представлены символьно;
фиг. 2 - обычное устройство для кодирования изображения с камерой, двумя вычислительными устройствами и средой передачи;
фиг. 3 - эскиз обычного устройства для основанного на блоках кодирования изображения;
фиг. 4 - символьно представление изображения с объектом изображения и блоками изображения и блоками краевого изображения.

В рамках основанного на объекте кодирования изображения происходит сегментирование оцифрованного изображения B в соответствии с выступающими в сцене объектами изображения ВО и отдельное кодирование объектов изображения ВО.

Для этого каждый объект изображения ВО обычно прежде всего разлагается на блоки изображения ВВ постоянного размера, например, 8х8 точек изображения ВР. После разложения часть результирующих блоков изображения ВВ полностью находится в пределах объекта изображения ВО. Эти блоки ВВ в свете цитированного, выше объясненного способа кодируются с помощью обычного основанного на блоках кодирования с преобразованием.

Как описано выше, блоки краевого изображения RBB все же заполняются только частично информацией изображения и должны кодироваться особым способом.

При способе в первом вычислительном устройстве R1 преимущественно блоки краевого изображения RBB в первой операции 101 подводятся к устройству кодирования с преобразованием DCT. Первое вычислительное устройство R1 выполнено таким образом, что могут проводиться представленные символически на фиг. 3 модули.

Во второй операции 102 для каждого блока краевого изображения RBB для информации кодирования точек изображения ВР соответствующего блока краевого изображения RBB формируются коэффициенты преобразования подлежащих преобразованию точек изображения в соответствии со следующим положением:

причем с помощью N обозначается размер подлежащего преобразованию вектора изображения, в котором содержались преобразованные точки изображения,
- обозначается матрица преобразования размером NхN,
- р, k индексы обозначаются с помощью р, k ∈ [0, N-1].

Наглядно обозначает положение для кодирования с преобразованием (3), что энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной области равна энергии сигнала информации кодирования преобразованных точек изображения в частотной области.

В качестве согласованного с формой кодирования с преобразованием преимущественно применяется согласованное с формой дискретное косинусное преобразование.

Положение (3) преимущественно используется для кодирования с преобразованием, когда кодирование изображения происходит в режиме взаимного кодирования изображений.

Когда кодирование изображения происходит в режиме внутреннего кодирования изображения, преимущественно образуются коэффициенты преобразования преобразованных точек изображения в соответствии со следующим положением:

После передачи кодированной информации изображения (операция 105), т.е. после квантования (операция 103), смотря по обстоятельствам, энтропийного кодирования (операция 104) передаваемых данных изображения, например, в соответствии с описанным в [1] способом, через среду передачи во втором вычислительном устройстве R2 проводится декодирование изображения.

При декодировании изображения в первой операции 106 проводится энтропийное декодирование и во второй операции 107 инверсное квантование квантованных спектральных коэффициентов. Спектральные коэффициенты далее подводятся для инверсного согласованного с формой кодирования с преобразованием (IDCT). В соответствии со способом для кодирования изображения снова для декодирования изображения проводится согласованное с формой кодирование с преобразованием таким образом, что энергия сигнала информации кодирования преобразованных точек изображения в частотной области примерно равна энергии сигнала информации кодирования точек изображения в местной области.

Для инверсного согласованного с формой кодирования с преобразованием точки изображения образуются из коэффициентов спектрального преобразования в соответствии со следующим положением (операция 108):

причем с помощью N обозначается размер подлежащего преобразованию вектора изображения, в котором содержались преобразованные точки изображения,
- обозначается матрица преобразования размером NхN,
- р, k индексы обозначаются с помощью р, k ∈ [0, N-1],
- с помощью ()^- обозначается инверсия матрицы.

Инверсное согласованное с формой кодирование с преобразованием в соответствии с положением (4) проводится преимущественно в рамках кодирования изображения в режиме взаимного кодирования изображений.

В режиме внутреннего кодирования изображения проводится преимущественно согласованное с формой инверсное кодирование с преобразованием в соответствии со следующим положением:

У устройства для кодирования изображения предусмотрено устройство кодирования с преобразованием DCT для согласованного с формой кодирования с преобразованием точек изображения ВР. Устройство кодирования с преобразованием DCT выполнено таким образом, что энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала информации кодирования преобразованных точек изображения в частотной области.

Устройство кодирования с преобразованием выполнено преимущественно таким образом, что представленные в рамках способа для кодирования изображения технологические операции реализованы в устройстве кодирования с преобразованием DCT. Способ, само собой разумеется, в устройстве может быть реализован также в математическом обеспечении, которое обрабатывается процессором Р.

То же самое справедливо для устройства декодирования изображения, которое имеет инверсное устройство кодирования с преобразованием IDCT. Соответственно инверсное устройство кодирования с преобразованием IDCT выполнено таким образом, что технологические операции для декодирования изображения реализованы, в частности, для инверсного согласованного с формой кодирования с преобразованием.

Как способ, так и устройства преимущественно могут применяться к блокам краевого изображения RBB объектов изображения ВО оцифрованного изображения В.

Наглядно способ означает измененное масштабирование положения преобразования, причем энергия сигнала информации кодирования точек изображения в местной области равна энергии сигнала информации кодирования точек изображения в частотной области.

Для изобретения несущественно, каким образом преобразованные точки изображения, т.е. спектральные коэффициенты, применяются дальше в рамках кодирования изображения, т.е. тип квантования, энтропийного кодирования или же канального кодирования.

Источники информации
1. ISO/IEC JTC1/SC29/WG11, MPEG-4 Video verification model Version 5.0 Doc.N1469, Nov. 19996, S. 55-59.

2. T. Sikora und В. Makai, Shape adaptive DCT for generic coding of video, IEEE Transactions on circuits and systems for video technology, Vol. 5, S. 59-62, Feb. 1995.

Изобретения относятся к кодированию изображения, основанному на сегментировании образцов изображения в соответствии с объектами. Предлагаются согласованное с формой кодирование с преобразованием и инверсное согласованное с формой кодирование с преобразованием, при которых энергия сигнала информации кодирования подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала информации кодирования преобразованных точек изображения в частотной области. Технический эффект, достигаемый при осуществлении изображения, состоит в том, что согласованное с формой кодирования с преобразованием обеспечивает улучшение коэффициента сжатия для данных изображений. 3 с. и 9 з.п. ф-лы, 4 ил.

1. Способ кодирования изображения в цифровой форме, которое содержит объекты с любым количеством точек, отличающийся тем, что точки изображения кодируют с помощью согласованного с формой преобразования, причем согласованное с формой преобразование происходит таким образом, что энергия сигнала подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала преобразованных точек изображения в частотной области. 2. Способ по п.1, отличающийся тем, что коэффициенты преобразования преобразованных точек изображения образуют по следующему правилу:

где N - величина подлежащего преобразованию вектора изображения, в котором содержатся преобразованные точки изображения;
обозначается матрица преобразования размером N•N;
р, k индексы обозначаются с помощью р, k, ε [0, N-1]. 3. Способ по одному из пп. 1 и 2, отличающийся тем, что кодирование изображения происходит либо в режиме внутреннего кодирования, либо в режиме взаимного кодирования, согласованное с формой преобразование проводится только в режиме взаимного кодирования, при этом в режиме внутреннего кодирования проводится второе согласованное с формой преобразование, отличное от первого согласованного с формой преобразования. 4. Способ по п.3, отличающийся тем, что в качестве второго согласованного с формой преобразования применяется согласованное с формой дискретное косинусное преобразование. 5. Способ декодирования изображения в цифровой форме, которое содержит объекты с произвольным числом точек, отличающийся тем, что точки изображения декодируют с помощью инверсного согласованного с формой преобразования, причем согласованное с формой преобразование проводится таким образом, что энергия сигнала подлежащих преобразованию точек изображения в местной области примерно равна энергии сигнала преобразованных точек изображения в частотной области. 6. Способ по одному из пп.1-5, отличающийся тем, что в качестве согласованного с формой преобразования применяется вариант согласованного с формой дискретного косинусного преобразования. 7. Способ по п.5 или 6, отличающийся тем, что преобразованные точки изображения образуют из коэффициентов преобразования по следующему правилу:

где N - размер подлежащего преобразованию вектора изображения, в котором содержится преобразованные точки изображения;
- матрица преобразования размером N•N;
p, k индексы обозначаются с помощью р, k, ε[0,N-1];
с помощью ( )^-1 обозначается инверсия матрицы. 8. Способ по одному из пп. 5-7, отличающийся тем, что декодирование изображения проводится либо в режиме внутреннего декодирования, либо в режиме взаимного декодирования, согласованное с формой преобразования проводится только в режиме взаимного декодирования, при этом в режиме внутреннего декодирования проводится второе согласованное с формой преобразования, отличное от первого согласованного с формой преобразования. 9. Способ по п.8, отличающийся тем, что в качестве второго согласованного с формой преобразования применяется согласованное с формой дискретное косинусное преобразование. 10. Способ по одному из пп.1-9, отличающийся тем, что согласованное с формой преобразование применяется только к блокам краевого изображения. 11. Устройство для проведения способа по пп.1-4, отличающееся тем, что устройство преобразования предусмотрено для согласованного с формой преобразования точек изображения. 12. Устройство для проведения способа по пп.5-9, отличающееся тем, что устройство преобразования предусмотрено для инверсного согласованного с формой преобразования точек изображения.