Область техники, к которой относится изобретение
Способы и устройства, соответствующие настоящему изобретению, относятся к кодированию видеосигналов и, более конкретно, к кодированию видеоинформации, которое уменьшает объем вычислений, требуемых для основанного на многоуровневости алгоритма прогрессивной точной масштабируемости по качеству (Progressive Fine Granular Scalability, PFGS).
Уровень техники
С развитием технологии передачи информации, в том числе, Интернета, увеличился объем мультимедийных услуг, содержащих различные виды информации, такой как текст, видео-, аудиоинформация и так далее. Мультимедийные данные требуют большой емкости носителей данных и широкой полосы пропускания для передачи, поскольку объем мультимедийных данных обычно большой. Соответственно, для передачи мультимедийных данных, в том числе текста, видео- и аудиоинформации, способ кодирования со сжатием является необходимостью.
Основной принцип сжатия данных заключается в исключении избыточности данных. Данные могут быть сжаты посредством удаления пространственной избыточности, при которой в изображении повторяется один и тот же цвет или объект, временной избыточности, при которой между соседними кадрами движущегося изображения имеются лишь небольшие изменения или в аудиоинформации повторяется один и тот же звук, или психической визуальной избыточности, учитывающей особенности человеческого зрения и ограниченное восприятие высокой частоты. При обычном видеокодировании временная избыточность удаляется с помощью временной фильтрации, основанной на компенсации движения, а пространственная избыточность удаляется пространственным преобразованием.
Чтобы передать мультимедийные данные, созданные после удаления избыточности данных, требуются средства связи. Различные типы средств связи для мультимедийных данных имеют различные характеристики. Используемые в настоящее время средства связи имеют различные скорости передачи. Например, сеть ультраскоростной связи может передавать данные со скоростью нескольких десятков мегабит в секунду, в то время как сеть мобильной связи имеет скорость передачи 384 килобит в секунду. Для поддержки средств связи, обладающих различными скоростями передачи, или для передачи мультимедийных данных в мультимедийной среде могут быть пригодны способы кодирования данных, обладающие масштабируемостью.
Масштабируемость указывает на способность частично декодировать единый сжатый поток битов. Масштабируемость содержит пространственную масштабируемость, указывающую видеоразрешение, масштабируемость по отношению "сигнал/шум" (SNR), указывающую уровень качества видеоинформации, и временную масштабируемость, указывающую скорость передачи кадров.
Работа по стандартизации для реализации многоуровневой масштабируемости, основанной на технологии Scalable Extension H.264 (в дальнейшем, будет упоминаться как "H.264 SE"), ведется в настоящее время совместной видеогруппой (JVT) MPEG (группа экспертов по кинематографии) и ITU (Международное Телекоммуникационное Общество). Для поддержки масштабируемости по отношению "сигнал/шум" (SNR) группой JVT внедряются существующие технологии точной масштабируемости по качеству (Fine Granular Scalability, FGS).
На фиг.1 показана схема для объяснения традиционного способа FGS. Кодек на основе FGS выполняет кодирование путем деления потока битов видеоинформации на основной уровень и уровень FGS. В настоящем описании знак верхнего штриха (') используется для обозначения восстановленного изображения, полученного после квантования/инверсного квантования. Более конкретно, блок PB, спрогнозированный заранее из блока MB' в восстановленном левом кадре 11 основного уровня, и блока NB' в восстановленном правом кадре 12 основного уровня, используя вектор движения, вычитается из блока О в исходном текущем кадре 12, для получения разностного блока RB. Таким образом, разностный блок RB может быть определен уравнением (1):
Разностный блок RВ квантуется с помощью шага квантования QPВ (RBQ) основного уровня и затем инверсно квантуется, чтобы получить восстановленный разностный блок RВ'. Разность между неквантованным разностным блоком RВ и восстановленным разностным блоком RВ', блок Δ, соответствующий разности, квантуется с размером шага квантования QPF, по размеру меньшим, чем шаг квантования основного уровня QPВ (коэффициент сжатия уменьшается по мере уменьшения размера шага квантования). Квантованный блок Δ обозначается как ΔQ. Квантованный разностный блок RB Q разности на основном уровне и квантованный блок ΔQ на уровне FGS, в конечном счете, передаются в декодер.
На фиг.2 показана схема для объяснения работы традиционного способа прогрессивной точной масштабируемости по качеству (PFGS). Обычный способ FGS использует восстановленную разность RВ' квантованного основного уровня для уменьшения объема данных на уровне FGS. Со ссылкой на фиг.2, способ PFGS использует тот факт, что качество левого и правого опорных кадров на уровне FGS также улучшается с помощью способа FGS. То есть, способ PFGS содержит вычисление нового разностного RF, использующего заново обновленные левый опорный кадр 21 и правый опорный кадр 23 и квантование разности между новым разностным блоком RF и квантованным блоком RF' основного уровня, улучшая, таким образом, характеристики кодирования. Новый разностный блок RF определяется уравнением (2):
где MF' и NF' соответственно обозначают области в восстановленных левом опорном кадре 21 и правом опорном кадре 23 на уровне FGS согласно соответствующим векторам движения.
Способ PFGS обладает преимуществом перед способом FGS, заключающимся в том, что объем данных на уровне FGS может быть уменьшен благодаря высокому качеству левого и правого опорных кадров. Поскольку уровень FGS также требует отдельной компенсации движения, объем вычислений увеличивается. То есть, хотя способ PFGS улучшил характеристики по сравнению с обычным способом FGS, он требует большого объема вычислений, поскольку компенсация движения выполняется для каждого уровня FGS, чтобы создавать прогнозированный сигнал и разностный сигнал между прогнозированным сигналом и исходным сигналом. Недавно разработанные видеокодеки интерполируют сигнал изображения для компенсации движения с точностью 1/2 или 1/4 пиксела. Когда компенсация движения выполняется с точностью 1/4 пиксела, должно создаваться изображение с размером, соответствующим четырехкратной разрешающей способности первоначального изображения.
Сущность изобретения
Техническая проблема
Способ SE по стандарту H.264 использует шестиполюсный фильтр в качестве фильтра интерполяции с 1/2 пиксела, который обладает значительной сложностью вычислений, требуя большого объема вычислений для компенсации движения. Это усложняет процессы кодирования и декодирования, требуя, таким образом, повышенных ресурсов системы. В частности, этот недостаток может быть наиболее проблематичен в полевых условиях, требующих кодирования и декодирования в реальном времени, таких как прямое радиовещание или видеоконференция.
Техническое решение
Настоящее изобретение обеспечивает способ и устройство для сокращения объема вычислений, требующихся для компенсации движения при сохранении характеристик алгоритма прогрессивной точной масштабируемости по качеству (PFGS).
Согласно аспекту настоящего изобретения, обеспечивается способ видеокодирования, поддерживающий FGS, способ видеокодирования, содержащий этапы, на которых получают прогнозированное изображение для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, проводят квантование разности между текущим кадром и прогнозированным изображением, проводят инверсное квантование квантованной разности и создают восстановленное изображение для текущего кадра, выполняя компенсацию движения на эталонном кадре уровня FGS и эталонном кадре основного уровня, используя оцененный вектор движения, вычисляют разность между эталонным кадром уровня FGS с компенсированным движением и эталонным кадром основного уровня с компенсированным движением, вычитают восстановленное изображение для текущего кадра и вычисленные разности от текущего кадра и кодируют результат вычитания.
Согласно другому аспекту настоящего изобретения, обеспечивается способ видеокодирования, поддерживающий FGS, способ видеокодирования, содержащий этапы, на которых получают прогнозированное изображение текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, выполняют квантование разности между текущим кадром и прогнозированным изображением, выполняют инверсное квантование квантованной разности и создают восстановленное изображение для текущего кадра, выполняют компенсацию движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя оцененный вектор движения, и создают прогнозированный кадр для уровня FGS и прогнозированный кадр для основного уровня, соответственно, вычисляют разность между прогнозированным кадром для уровня FGS и прогнозированным кадром для основного уровня, вычитают восстановленное изображение и разность из текущего кадра и кодируют результат вычитания.
Согласно еще одному аспекту настоящего изобретения, обеспечивается способ видеокодирования, поддерживающий FGS, способ видеокодирования, содержащий получение прогнозированного изображения для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, выполняют квантование разности между текущим кадром и прогнозированным изображением, выполняют инверсное квантование квантованной разности и создают восстановленное изображение для текущего кадра, вычисляют разность между опорным кадром для уровня FGS и опорным кадром для основного уровня, выполняют компенсацию движения на разности, используя оценочный вектор движения, вычитают восстановленное изображение и результат компенсированного движения из текущего кадра и кодируют результат вычитания.
Согласно еще одному другому аспекту настоящего изобретения, обеспечивают способ видеокодирования, поддерживающий алгоритм точной масштабируемости по качеству (FGS), способ видеокодирования, содержащий этапы получения прогнозированного изображения для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, выполняют компенсацию движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя вектор движения с более низкой точностью, чем точность оцененного вектора движения, вычисляют разность между опорным кадром уровня FGS с компенсированным движением и опорным кадром основного уровня, вычитают прогнозированное изображение из текущего кадра и кодируют результат вычитания.
Согласно еще одному другому аспекту настоящего изобретения, обеспечивают способ видеокодирования, поддерживающий FGS, способ видеокодирования, содержащий этапы, на которых получают прогнозированное изображение для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, выполняют компенсацию движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя вектор движения с более низкой точностью, чем точность оцененного вектора движения, и создают прогнозированный кадр для уровня FGS и прогнозированный кадр для основного уровня, соответственно, вычисляют разность между прогнозированным кадром для уровня FGS и прогнозированным кадром для основного уровня, вычитают прогнозированное изображение и вычисленную разность из текущего кадра и кодируют результат вычитания.
Согласно еще одному другому аспекту настоящего изобретения, обеспечивается способ видеокодирования, поддерживающий FGS, способ видеокодирования, содержащий этапы, на которых получают прогнозированное изображение для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, вычисляют разность между опорным кадром уровня FGS и опорным кадром основного уровня, выполняют компенсацию движения на разности, используя вектор движения с более низкой точностью, чем точность оцененного вектора движения, вычитают восстановленное изображение и результат компенсированного движения текущего кадра и кодируют результат вычитания.
Согласно другому аспекту настоящего изобретения, обеспечивается способ видеодекодирования, поддерживающий FGS, способ видеодекодирования, содержащий этапы, на которых извлекают данные текстуры основного уровня и данные текстуры уровня FGS и векторы движения из входного потока битов, восстановление кадра основного уровня из данных текстуры основного уровня, выполнение компенсации движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя векторы движения, вычисляют разность между опорным кадром уровня FGS с компенсированным движением и опорным кадром основного уровня с компенсированным движением и складывают вместе кадр основного уровня, данные текстуры уровня FGS и разность.
Согласно другому аспекту настоящего изобретения, обеспечивается видеокодер на основе FGS, содержащий элемент, получающий прогнозированное изображение для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, элемент, выполняющий квантование разности между текущим кадром и прогнозированным изображением, инверсное квантование квантованной разности и создание восстановленного изображения для текущего кадра, элемент, выполняющий компенсацию движения на опорном кадре уровня FGS и опорном кадре основного уровня, используя оцененный вектор движения, элемент, вычисляющий разность между опорным кадром уровня FGS с компенсированным движением и опорным кадром основного уровня с компенсированным движением, элемент, вычитающий восстановленное изображение и разность из текущего кадра, и элемент, кодирующий результат вычитания.
Согласно еще одному дополнительному аспекту настоящего изобретения, обеспечивается видеодекодер на основе FGS, видеодекодер, содержащий элемент, извлекающий данные текстуры основного уровня, данные текстуры уровня FGS и векторы движения из входного потока битов, элемент, восстанавливающий кадр основного уровня из данных текстуры основного уровня, элемент, выполняющий компенсацию движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя вектор движения, и создающий прогнозированный кадр уровня FGS и прогнозированный кадр основного уровня, элемент, вычисляющий разность между прогнозированным кадром уровня FGS и прогнозированным кадром основного уровня, и элемент, складывающий вместе данные текстуры, восстановленный кадр основного уровня и разность.
Описание чертежей
Вышеупомянутые и другие аспекты настоящего изобретения станут более ясными при подробном описании примеров вариантов его осуществления со ссылкой на прилагаемые чертежи, на которых:
Фиг.1 - схема для объяснения обычного способа FGS.
Фиг.2 - схема для объяснения обычного способа прогрессивной PFGS.
Фиг.3 - схема для объяснения быстрой прогрессивной точной масштабируемости по качеству (PFGS) в соответствии с примером варианта осуществления настоящего изобретения.
Фиг.4 - блок-схема видеокодера в соответствии с примером варианта осуществления настоящего изобретения.
Фиг.5 - блок-схема видеокодера согласно другому примеру варианта осуществления настоящего изобретения.
Фиг.6 и 7 - блок-схемы видеокодеров в соответствии с дополнительным примером варианта осуществления настоящего изобретения.
Фиг.8 - блок-схема видеокодера в соответствии с примером варианта осуществления настоящего изобретения.
Фиг.9 - блок-схема видеодекодера согласно другому примеру варианта осуществления настоящего изобретения.
Фиг.10 и 11 - блок-схемы видеодекодеров в соответствии с дополнительным примером варианта осуществления настоящего изобретения.
Фиг.12 - блок-схема системы для выполнения процесса кодирования или декодирования в соответствии с примером варианта осуществления настоящего изобретения.
Описание предпочтительных вариантов осуществления изобретения
Настоящее изобретение теперь будет описано более подробно со ссылкой на сопроводительные чертежи, на которых показаны примеры вариантов осуществления изобретения.
Преимущества и признаки настоящего изобретения и способы его осуществления могут стать более понятны при рассмотрении последующего подробного описания примеров вариантов осуществления и сопроводительных чертежей. Настоящее изобретение может, однако, быть реализовано во многих различных формах и не должно истолковываться как ограничивающееся изложенными здесь примерами вариантов осуществления. Скорее, эти примеры вариантов осуществления представлены в этом описании для того, чтобы это описание было всесторонним и законченным и полностью раскрывало концепцию изобретения для тех, кто являются специалистами в данной области техники, и настоящее изобретение будет определяться только прилагаемой формулой изобретения. Одни и те же номера относятся к одним и тем же элементам по всему описанию.
На фиг.3 показана схема PFGS, соответствующая первому примеру варианта осуществления настоящего изобретения.
Со ссылкой на фиг.3, как и на фиг.2, Δ на уровне FGS будет квантоваться в соответствии с алгоритмом PFGS и определяется простым уравнением (3):
RF определяется приведенным выше уравнением (2), и RB' определяется уравнением (4):
где O' является изображением, восстановленным путем квантования первоначального изображения O с размером шага квантования основного уровня QPВ и последующего инверсного квантования квантованного изображения.
Подстановка уравнений (2) и (4) в уравнение (3) дает уравнение (5):
Со ссылкой на фиг.3, ΔМ и ΔN обозначают разность между левыми опорными кадрами МF' и МВ' на основном уровне и на уровне FGS и разность между правыми опорными кадрами NF' и NB' на основном уровне и на уровне FGS, соответственно, и определяются уравнениями (6):
Путем подстановки уравнения (6) в уравнение (5), Δ может быть определена уравнением (7):
Как видно из уравнения (7), кодер может получить Δ путем вычитания восстановленного изображения O' основного уровня, полученного квантованием исходного изображения O с шагом квантования основного уровня размером QPВ и последующего инверсного квантования квантованного изображения и среднего значения разностей между каждым из опорных кадров основного уровня и опорных кадров уровня FGS и первоначальным изображением O, то есть (ΔМ + ΔN)/2. Декодер восстанавливает исходное изображение O путем сложения изображения О' основного уровня, Δ и среднего значения разностей между опорным кадром основного уровня и опорным кадром уровня FGS.
В обычном алгоритме PFGS компенсация движения выполняется, используя вектор движения с точностью одного пиксела или части пиксела (1/2 пиксела или 1/4 пиксела), полученный при оценке движения. В последнее время, чтобы увеличивать эффективность сжатия, оценка движения и компенсация обычно выполняются с различными точностями, выраженными в пикселах, такими как точность полпиксела или точность четверть пиксела. В обычном алгоритме PFGS прогнозированное изображение, созданное путем компенсации движения с точностью, например, 1/4 пиксела, упаковывается в целочисленные пикселы. Затем квантование выполняется на разности между первоначальным изображением и прогнозированным изображением. В этом случае, упаковка является процессом восстановления 4-x кратного интерполированного опорного изображения в изображение первоначального размера, выполняя оценку движения с точностью 1/4 пиксела. Например, в течение упаковочного процесса может быть выбран один из каждых четырех пикселов.
Однако, данные Δ на FGS уровне, которые должны квантоваться для быстрого PFGS согласно настоящему изобретению, как определено уравнением (7), которые приводят к малой эффективности сжатия, не должны подвергаться оценке движения с высокой пиксельной точностью. Оценка движения и компенсация применяются только к третьему члену (ΔМ + ΔN)/2 в правой стороне уравнения (7). Однако, поскольку третий член представляется как разности между опорными кадрами на промежуточном уровне, выполнение оценки движения и компенсации с высокой пиксельной точностью не дает высокой эффективности. То есть, поскольку результирующее разностное изображение между изображением на основном уровне с компенсированным движением с заранее определенной пиксельной точностью и изображением на уровне расширения с компенсированным движением с пиксельной точностью нечувствительно к пиксельной точности, быстрый алгоритм PFGS позволяет производить оценку движения и компенсацию с более низкой пиксельной точностью, чем обычный PFGS.
Согласно второму примеру варианта осуществления, Δ в уравнении (5) в первом примере варианта осуществления может быть также представлена как разность между прогнозированными сигналами PF и PВ, как показано в уравнении (8). PF и PВ равны (МF' + NF')/2 и (МВ' + N
Первый и второй примеры варианта осуществления отличаются друг от друга следующим образом. В первом примере варианта осуществления, разности ΔМ и ΔN между опорными изображениями уровня FGS и опорными изображениями основного уровня сначала вычисляются и затем делятся на 2. Во втором примере варианта осуществления разность PF-PВ между прогнозированным изображением PF уровня FGS и прогнозированным изображением PВ основного уровня вычисляется после вычисления прогнозированных изображений PF и PВ на этих двух уровнях. То есть, хотя быстрые алгоритмы PFGS, соответствующие первому и второму примерам вариантов осуществления, реализуются разными способами, может быть получен один и тот же результат вычисления (Δ).
Как в первом, так и во втором примерах вариантов осуществления, сначала выполняется компенсация движения, а затем вычисляется разность между изображениями. В третьем примере варианта осуществления настоящего изобретения, сначала может вычисляться разность между опорными изображениями на различных уровнях, а затем выполняться компенсация движения. Таким образом, в соответствии с третьим примером варианта осуществления настоящего изобретения, поскольку компенсация движения выполняется для разности, заполнение на границах мало влияет на результирующее изображение. Таким образом, процесс заполнения на границах может быть пропущен. Заполнение на границах является процессом дублирования пиксел, расположенных в непосредственной близости от границ, учитывая, что во время оценки движения совпадение блоков на границе кадра ограничивается.
В третьем примере варианта осуществления настоящего изобретения, разность Δ может быть определена уравнением (9):
где mc(.) означает функцию для выполнения компенсации движения.
В то время, как обычный PFGS используется для выполнения прямого прогнозирования (оценка движения и компенсация) для вычисления RF или RB, определяемых уравнением (3), быстрые алгоритмы PFGS, соответствующие примерам с первого по третий вариантов осуществления настоящего изобретения, используются для вычисления разности между прогнозированными изображениями или прогнозирования разности между опорными изображениями. Таким образом, характеристики быстрых PFGS настоящего изобретения лишь немного затрагиваются или являются нечувствительными к интерполяции, используемой для повышения пиксельной точности вектора движения.
Таким образом, интерполяция с четвертью или половиной пиксела может быть пропущена. Кроме того, вместо полупиксельного интерполяционного фильтра, используемого в стандарте H.264 и требующего большого объема вычислений, может использоваться билинейный фильтр, требующий меньшего объема вычислений. Например, билинейный фильтр может применяться к третьим членам в правых частях уравнений (7)-(9). Это может уменьшить ухудшение характеристик по сравнению с тем, когда билинейный фильтр непосредственно применяется к прогнозированному сигналу для получения RF и RB как в обычном алгоритме PFGS.
Принцип действия с первого по третий примеров вариантов осуществления настоящего изобретения основан на уравнении (3). Другими словами, реализация этих примеров вариантов осуществления начинается с допущения, что разность между разностью RF уровня FGS и разностью RB основного уровня должна быть кодированной. Однако, когда разность, полученная от уровня FGS, очень мала, то есть, когда временная корреляция очень близкая, вышеупомянутые быстрые алгоритмы PFGS, соответствующие первым трем примерам вариантов осуществления, могут значительно ухудшать характеристики кодирования. В этом случае, кодирование только разности, полученной от уровня FGS, то есть, RF в уравнении (3), может предложить лучшие характеристики кодирования. То есть, согласно четвертому примеру варианта осуществления настоящего изобретения, уравнения (7)-(9) могут быть преобразованы в уравнения (10)-(12), соответственно:
В уравнениях (10)-(12) восстановленное изображение O' основного уровня заменяется прогнозированным изображением PВ для изображения основного уровня. Конечно, интерполяция может не применяться к третьим членам в правой части уравнений (10)-(12), или для интерполяции может использоваться билинейный фильтр, требующий меньшего объема вычислений.
Прогнозированное изображение PВ, встречающееся дважды в уравнении (11), не обязательно является одним и тем же. Оцененный вектор движения может использоваться во время компенсации движения для создания прогнозированного изображения PВ во втором члене. С другой стороны, для создания PВ и PF в третьем члене во время компенсации движения могут использоваться вектор движения с точностью, более низкой, чем у оцененного вектора движения, или фильтр, требующий меньшего объема вычислений (например, билинейный фильтр).
Алгоритм PFGS, в котором текущий кадр восстанавливается, используя оба восстановленные левый и правый опорные кадры, страдает от ошибки, вызванной дрейфом, когда ухудшение качества изображения как в левом, так и в правом опорных кадрах кумулятивно отражается в текущем кадре. Ошибка дрейфа может быть уменьшена с помощью технологии прогнозирования с пропусканием, использующей прогнозированное изображение, созданное взвешенной суммой прогнозированного изображения, полученного от обоих опорных кадров, и прогнозированного изображения, полученного от основного уровня.
Согласно технологии прогнозирования с пропусканием, используемой в обычном PFGS, кодируемое на уровне FGS, выражается уравнением (13):
Уравнение (13) может быть преобразовано в уравнение (14) в соответствии с пятым примером варианта осуществления настоящего изобретения:
Чтобы получить уравнение (14), весовой коэффициент α может применяться только к разности (PF - PB) между прогнозированными изображениями в уравнении (11). Таким образом, настоящее изобретение может также применяться к технологии прогнозирования с пропусканием. То есть, интерполяция может быть пропущена или интерполяция может быть применена к разности (PF - PB), используя билинейный фильтр, требующий меньший объем вычислений. В последнем случае, результат интерполяции умножается на весовой коэффициент α.
На фиг.4 показана блок-схема видеокодера 100, соответствующая первому примеру варианта осуществления настоящего изобретения.
Хотя изобретение описывается в отношении каждого блока как основного модуля оценки движения со ссылкой на фиг.1-3, быстрый алгоритм PFGS далее будет описан в отношении каждого кадра, содержащего блок. Для последовательности изложения, идентификатор блока обозначается для "F" нижним индексом, указывающим кадр. Например, кадр, содержащий блок с маркировкой RB, обозначается как FRB. И конечно, верхний штрих (') используется, чтобы обозначить восстановленные данные, полученные после квантования/инверсного квантования.
Текущий кадр Fо подается в устройство 105 оценки движения, вычитающее устройство 115 и устройство 170 вычисления разности.
Устройство 105 оценки движения выполняет оценку движения для текущего кадра Fо, используя соседние кадры, чтобы получить векторы движения MV. Соседние кадры, которые упоминаются во время оценки движения, в дальнейшем здесь называются "опорные кадры". Алгоритм согласования блоков (BMA) обычно используется для оценки движения заданного блока. В BMA заданный блок перемещается в пределах зоны поиска в опорном кадре с точностью до пиксела или доли пиксела и смещение с минимальной ошибкой определяется как вектор движения. Хотя для оценки движения используется движущийся блок фиксированного размера, оценка движения может делаться, используя технологию иерархического согласования блоков переменного размера (HVSBM).
Когда оценка движения выполняется с точностью до долей пиксела, опорные кадры должны быть укрупнены или интерполированы до заранее определенной разрешающей способности. Например, когда оценка движения выполняется с точностями 1/2 и 1/4 пиксела, опорные кадры должны быть видоизменены или интерполированы с коэффициентом два и четыре, соответственно.
Когда кодер 100 имеет структуру кодека с разомкнутым контуром, кадры FM и FN, граничащие с оригиналом, используются как опорные кадры. Когда кодер 100 имеет структуру кодека с замкнутым контуром, восстановленные соседние кадры FMB'и FNB' на основном уровне используются как опорные кадры. Хотя здесь принимается, что кодер 100 имеет структуру кодека с замкнутым контуром, кодер 100 может иметь структуру кодека с разомкнутым контуром.
Векторы движения MV, вычисленные устройством 105 оценки движения, передаются в компенсатор 110 движения. Компенсатор 110 движения выполняет компенсацию движения на опорных кадрах FMB'и FNB', используя векторы движения MV, и создает прогнозированный кадр FPB для текущего кадра. Когда используется двунаправленное прогнозирование, прогнозированное изображение может быть рассчитано как среднее значение опорных кадров с компенсированным движением. Когда используется однонаправленное прогнозирование, прогнозированное изображение может быть тем же самым, что и опорный кадр с компенсированным движением. Хотя здесь далее предполагается, что оценка движения и компенсация используют двунаправленные опорные кадры, специалистам в данной области техники должно быть очевидно, что настоящее изобретение может использовать однонаправленный опорный кадр.
Вычитающее устройство 115 вычисляет разность FRB между прогнозированным изображением и текущим изображением для передачи на преобразователь 120.
Преобразователь 120 выполняет пространственное преобразование разности FRB, чтобы создать коэффициент преобразования FRB T. Способ пространственного преобразования может содержать дискретное косинусное преобразование (DCT), или импульсное преобразование. Конкретно, коэффициенты DCT могут быть созданы в случае, когда используется DCT, и импульсные коэффициенты могут быть созданы в случае, когда разрешено импульсное преобразование.
Устройство 125 квантования применяет квантование к коэффициенту преобразования FRB T. Квантование означает процесс выражения коэффициентов преобразования, сформированных среди произвольных реальных значений с помощью дискретных значений, и согласование дискретных значений с индексами, соответствующими заранее определенной таблице квантования. Например, устройство 125 квантования может разделить реально оцененный коэффициент преобразования на шаг квантования с заранее определенным размером и округлить результирующее значение до ближайшего целого числа. В целом, размер шага квантования основного уровня больше, чем размер шага квантования уровня FGS.
Результат квантования, то есть, коэффициент квантования FRB Q, полученный устройством 125 квантования, подается на блок 150 статистического кодирования и устройство 130 инверсного квантования.
Устройство 130 инверсного квантования осуществляет квантование коэффициента квантования FRB Q. Инверсное квантование означает процесс инверсного квантования для восстановления значений, совпадающих с индексами, созданными во время квантования, используя тот же самый шаг квантования, который использовался при квантовании.
Инверсный преобразователь 135 принимает результат инверсного квантования и выполняет инверсное преобразование принятого результата. Инверсное пространственное преобразование может быть, например, инверсным DCT или инверсным импульсным преобразованием, выполненным в порядке, обратном тому, в котором преобразование было выполнено преобразователем 120. Сумматор 140 складывает инверсно преобразованный результат с прогнозированным изображением FPB, полученным от компенсатора 110 движения, чтобы создать восстановленное изображение.
В буфере 145 хранится результат сложения, принятый от сумматора 140. В буфере 145 хранится восстановленное изображение Fо' для текущего кадра, а также предварительно восстановленные опорные кадры FMB'и FNB' основного уровня.
Преобразователь 155 вектора движения изменяет точность принятого вектора движения MV. Например, вектор движения MV с точностью 1/4 пиксела может иметь значение 0, 0,25, 0,5 или 0,75. Как описано выше, в соответствии с примерами вариантов осуществления настоящего изобретения, существует небольшое различие в характеристиках кодирования, когда компенсация движения на уровне FGS выполняется для вектора движения MV с более низкой пиксельной точностью, чем на основном уровне. Таким образом, преобразователь 155 вектора движения преобразует вектор движения MV с точностью 1/4 пиксела в вектор движения MV1 с пиксельной точностью, более низкой, чем точность в 1/4 пиксела, такой как 1/2 пиксела или 1 пиксел. Такая процедура преобразования может быть выполнена простым отбрасыванием или округлением десятичной части пиксельной точности для первоначального вектора движения.
Буфер 165 временно хранит эталонные кадры FMF', FNF' уровня FGS. Хотя на чертеже это не показано, восстановленные кадры FMF' иFNF' уровня FGS или первоначальный кадр, соседний с текущим кадром, могут использоваться в качестве опорных кадров уровня FGS.
Компенсатор 160 движения использует преобразованный вектор движения MV1 для выполнения компенсации движения на восстановленных опорных кадрах FMB'и FNB' основного уровня, принятых от буфера 145, и восстановленных опорных кадрах FMF' и FNF' уровня FGS, принятых от буфера 165, и обеспечивает передачу кадров с компенсированным движением mc(FMB'), mc(FNB'), mc(FMF') и mc(FNF') в устройство 170 вычисления разности. FMF' и FNF' означают опорные предыдущий и последующий кадры на уровне FGS, соответственно. FMB'и FNB' означают опорные предыдущий и последующий кадры на основном уровне, соответственно.
Когда для компенсации движения требуется интерполяция, компенсатор 160 движения может использовать фильтр с другим типом интерполяции, чем фильтр, используемый для устройства 105 оценки движения или компенсатора 110 движения. Когда, например, используется вектор движения MV1 с точностью 1/2 пиксела, билинейный фильтр, требующий малого объема вычислений, может использоваться для интерполяции вместо шестиполюсного фильтра, используемого в стандарте H.264. Поскольку разность между кадром основного уровня с компенсированным движением и кадром уровня FGS с компенсированным движением вычисляется после интерполяции, процесс интерполяции мало влияет на эффективность сжатия.
Устройство 170 вычисления разности вычисляет разность между опорным кадром mc(FMF'), mc(FNF') уровня FGS с компенсированным движением и опорным кадром mc(FMB'), mc(FNB') основного уровня с компенсированным движением. То есть, устройство 170 вычисления разности вычисляет ΔМ = mc(FMF') - mc(FMB') и ΔN = mc(FNF') - mc(FNB'). Конечно, когда используется однонаправленный опорный кадр, может быть вычислена только одна разность.
Затем, устройство 170 вычисления разности вычисляет среднее значение разностей ΔМ и ΔN и вычитает восстановленное изображение Fо' и среднее значение разностей ΔМ и Δ для текущего кадра Fо. Когда используется однонаправленный опорный кадр, процесс вычисления среднего значения не требуется.
Результат вычитания FΔ, полученный устройством 170 вычисления разности, подвергается пространственному преобразованию преобразователем 175 и затем квантуется устройством 180 квантования. Квантованный результат FΔ Q передается на блок 150 статистического кодирования. Размер шага квантования, используемый устройством 180 квантования, обычно меньше того, который используется в устройстве 125 квантования.
Модуль 150 статистического кодирования без потерь кодирует вектор движения MV, оцененный устройством 105 оценки движения, коэффициент квантования FRB Q, принятый от устройства 125 квантования, и квантованный результат FΔ Q, принятый от устройства 180 квантования, в поток битов. Существует множество способов кодирования без потерь, в том числе, арифметическое кодирование, кодирование с переменной длиной и т.п.
Альтернативно, хотя это не показано на чертеже, видеокодер, соответствующий второму примеру варианта осуществления настоящего изобретения, может иметь ту же самую конфигурацию и работать как видеокодер 100, показанный на фиг. 4, за исключением устройства вычисления разности.
То есть, устройство вычисления разности в соответствии со вторым примером варианта осуществления настоящего изобретения создает прогнозированный кадр для каждого уровня перед вычислением разности между кадрами на различных уровнях. Другими словами, устройство вычисления разности создает прогнозированный кадр уровня FGS и прогнозированный кадр основного уровня, используя опорный кадр уровня FGS с компенсированным движением и опорный кадр основного уровня с компенсированным движением. Прогнозированный кадр может быть рассчитан простым усреднением двух опорных кадров с компенсированным движением. Конечно, когда используется однонаправленное прогнозирование, кадр с компенсированным движением может быть самим прогнозированным кадром.
Устройство вычисления разности затем вычисляет разность между прогнозированными кадрами и вычитает восстановленное изображение и вычисленную разность из текущего кадра.
На фиг.5 показана блок-схема видеокодера 300, соответствующего третьему примеру варианта осуществления настоящего изобретения. Со ссылкой на фиг.5, в то время как в первом и втором примерах вариантов осуществления разность между опорным изображением основного уровня и опорным изображением уровня FGS вычисляется после выполнения компенсации движения, показанный видеокодер 300 выполняет компенсацию движения после вычисления разности между опорными кадрами на этих двух уровнях. Во избежание повторного объяснения, приведенное далее описание сосредоточит внимание на отличительных признаках между первым и вторым примерами вариантов осуществления.
Вычитающее устройство 390 вычитает восстановленные опорные кадры FMB'и FNB' основного уровня, которые приняты от буфера 345, из опорных кадров FMF' и FNF' уровня FGS, которые приняты от буфера 365, и обеспечивает передачу результатов вычитания FMF' - FMB'и FNF' - FNB' на компенсатор движения 360. Когда используется однонаправленный опорный кадр, существует только одна разность.
Компенсатор 360 движения использует измененный вектор движения MV1, принятый от преобразователя 355 вектора движения, для выполнения компенсации движения на разностях FMF' - FMB'и FNF' - FNB' между опорным кадром уровня FGS и опорным кадром основного уровня, принятыми от вычитающего устройства 390. Когда во время компенсации движения используется вектор движения MV1 с точностью 1/2 пиксела, для интерполяции может использоваться билинейный фильтр, требующий небольшого объема вычислений, вместо шестиполюсного фильтра, используемого в стандарте H.264. Как описано выше, интерполяция мало влияет на эффективность сжатия.
Устройство 370 вычисления разности вычисляет среднее значение между разностями (FMF'-FMB')и (FNF'-FNB') компенсированного движения и вычитает восстановленное изображение Fо' и среднее значение из текущего кадра Fо. Когда используется однонаправленный опорный кадр, процесс усреднения не требуется.
На фиг.6 и 7 показаны блок-схемы примеров видеокодеров 400 и 600, соответствующих четвертому примеру варианта осуществления настоящего изобретения. Обращаясь сначала к фиг.6, в отличие от первого примера варианта осуществления, показанного на фиг.4, устройство 470 вычисления разности в видеокодере 400 примера варианта осуществления вычитает прогнозированный кадр FPB основного уровня вместо восстановленного кадра Fо' основного уровня из текущего кадра Fо.
Видеокодеры 400 и 600 четвертого примера варианта осуществления, показанные на фиг.6 и 7, соответствуют фиг.4 и 5, показывающим видеокодеры 100 и 300 первого и третьего примеров вариантов осуществления. Обращаясь сначала к фиг.6, устройство 470 вычисления разности вычитает прогнозированное изображение FPB основного уровня, принятое от компенсатора 410 движения, вместо восстановленного изображения Fо' основного уровня, из текущего кадра. Таким образом, устройство 470 вычисления разности вычитает прогнозированное изображение FPB и среднее значение разностей ΔМ и ΔN из текущего кадра Fо, чтобы получить результат вычитания FΔ.
Точно так же, со ссылкой на фиг.7, устройство 670 вычисления разности вычитает прогнозированное изображение FPB и среднее значение разностей компенсированного движения mc(FMF' - FMB')и mc(FNF' - FNB') из текущего кадра Fо, чтобы получить результат вычитания FΔ.
Пример видеокодера, соответствующего четвертому примеру варианта осуществления, совпадающего со вторым примером варианта осуществления (не показан), может иметь ту же самую конфигурацию и выполнять ту же самую операцию, как показано на фиг.6, за исключением операции, выполняемой устройством 470 вычисления разности. В видеокодере четвертого примера варианта осуществления, соответствующего второму примеру варианта осуществления, устройство 470 вычисления разности создает прогнозированный кадр FPB уровня FGS и прогнозированный кадр FBF основного уровня, используя опорный кадр mc(FMF'), mc(FNF') с компенсированным движением уровня FGS и опорный кадр mc(FMB'), mc(FNB') с компенсированным движением основного уровня, соответственно. Устройство 470 вычисления разности также вычисляет разность FPF - FPB между прогнозированными кадрами FPF и FPB и вычитает восстановленное изображение Fо' и разность FPF - FPB из текущего кадра F, чтобы получить результат вычитания FΔ.
Если применяется прогнозирование с пропусканием, устройство вычисления разности 470 умножает весовой коэффициент α на разность FPF - FPB и вычитает восстановленное изображение Fо' и произведение (α × (FPF - FPB) из текущего кадра Fо, чтобы получить результат вычитания FΔ.
На фиг.8 показана блок-схема видеодекодера 700, соответствующая первому примеру варианта осуществления настоящего изобретения. Со ссылкой на фиг.8, блок 701 статистического декодирования без потерь декодирует входящий поток битов, чтобы извлечь данные текстуры FPB Q основного уровня, данные текстуры FΔ Q уровня FGS и векторы движения MV. Декодирование без потерь является инверсным процессом кодирования без потерь.
Данные текстуры FPB Q основного уровня и данные текстуры FΔ Q уровня FGS подаются на устройства 705 и 745 инверсного квантования, соответственно, и векторы движения MV подаются на компенсатор 720 движения и преобразователь 730 вектора движения.
Устройство 705 инверсного квантования применяет инверсное квантование к данным текстуры FPB Q основного уровня, принятым от блока 701 статистического декодирования. Инверсное квантование выполняется в порядке, обратном порядку квантования, выполненному преобразователем, чтобы восстановить значения, совпадающие с индексами, созданными во время квантования в соответствии с заранее определенным шагом квантования, используемым при квантовании.
Инверсный преобразователь 710 выполняет инверсное преобразование инверсного квантованного результата. Инверсное преобразование выполняется в порядке, обратном порядку преобразования, выполненному преобразователем. Конкретно, может использоваться инверсное DCT-преобразование или инверсное импульсное преобразование.
Восстановленная разность FRB' подается на сумматор 715.
Компенсатор 720 движения выполняет компенсацию движения на предварительно восстановленных опорных кадрах FMB'и FNB' основного уровня, хранящихся в буфере 725, используя извлеченные векторы движения MV для создания прогнозированного изображения FPB, которое затем посылается на сумматор 715.
Когда используется двунаправленное прогнозирование, прогнозированное изображение FPB вычисляется путем усреднения опорных кадров с компенсированным движением. При использовании однонаправленного прогнозирования, прогнозированное изображение FPB получается как опорный кадр с компенсированным движением.
Сумматор 715 складывает входные кадры FRB и FPB, чтобы получить на выходе восстановленное изображение Fо', которое затем сохраняется в буфере 725.
Инверсное устройство 745 квантования применяет инверсное квантование к данным текстуры FΔ Q уровня FGS, а инверсный преобразователь 750 выполняет инверсное преобразование инверсно квантованного результата FΔ Т, чтобы получить восстановленный кадр FΔ (FΔ'), который затем подается на устройство 755 восстановления кадров.
Преобразователь 730 вектора движения понижает точность извлеченного вектора движения MV. Например, вектор движения MV с точностью 1/4 пиксела может иметь точность 0, 0,25, 0,5 или 0,75 пиксела. Преобразователь 730 вектора движения изменяет вектор движения MV с точностью 1/4 пиксела в вектор движения MV1 с точностью, меньшей, чем 1/4 пиксела, такой как 1/2 пиксела или 1 пиксел.
Компенсатор 735 движения использует измененный вектор движения MV1, чтобы выполнить компенсацию движения на восстановленных опорных кадрах FMB'и FNB основного уровня, принятых от буфера 725, и на восстановленных опорных кадрах FMF' и FNF' уровня FGS, принятых от буфера 740, и подает кадр mc(FMB'), mc(FNB') основного уровня с компенсированным движением и кадр mc(FMF'), mc(FNF') уровня FGS с компенсированным движением на устройство 755 восстановления кадров.
Когда вектор движения MV с точностью, например, 1/2 пиксела используется во время компенсации движения, билинейный фильтр, требующий небольшого объема вычислений, может использоваться для интерполяции вместо шестиполюсного фильтра, используемого в стандарте H.264. Процесс интерполяции мало влияет на эффективность сжатия.
Устройство 755 восстановления кадров вычисляет разность ΔМ между опорными кадрами с компенсированным движением уровня FGS и основного уровня mc(FMF') и mc(FMB'), то есть ΔМ = mc(FMF') - mc(FMB') и разность между опорными кадрами с компенсированным движением уровня FGS и основного уровня mc(FNF') и mc(FNB'), то есть, ΔN = mc(FNF') - mc(FNB'). Конечно, когда используется однонаправленный опорный кадр, может быть вычислена только одна разность.
Устройство 755 восстановления кадров также вычисляет среднее значение разностей ΔМ и ΔN и складывает среднее значение, FΔ', и восстановленное изображение Fо' основного уровня, чтобы создать восстановленное изображение FOF' уровня FGS. Когда используется однонаправленный опорный кадр, процесс усреднения не требуется.
Буфер 740 затем хранит восстановленное изображение FOF'. Конечно, предварительно восстановленные изображения FMF' и FBF' могут быть сохранены в буфере 740.
Альтернативно, видеодекодер, соответствующий второму примеру варианта осуществления настоящего изобретения, может иметь ту же самую конфигурацию и выполнять ту же самую операцию, как показано на фиг. 8, за исключением операции, выполняемой устройством восстановления кадров. То есть, устройство восстановления кадров, соответствующее второму примеру варианта осуществления, создает прогнозированный кадр для каждого уровня перед вычислением разности между кадрами на этих двух уровнях. То есть, можно сказать, что устройство восстановления кадров создает прогнозированный кадр на уровне FGS и прогнозированный кадр на основном уровне, используя опорные кадры уровня FGS с компенсированным движением и кадры основного уровня с компенсированным движением. Прогнозированные кадры могут быть созданы простым усреднением двух опорных кадров с компенсированным движением. Конечно, когда используется однонаправленное прогнозирование, прогнозированный кадр является самим кадром с компенсированным движением.
Устройство восстановления кадров затем вычисляет разность между прогнозированными кадрами и складывает вместе данные текстуры, восстановленный кадр основного уровня и разность.
На фиг.9 показана блок-схема видеодекодера 900, соответствующая третьему примеру варианта осуществления настоящего изобретения. Со ссылкой на фиг.9, в отличие от первого и второго примеров вариантов осуществления, в которых компенсация движения выполняется до вычисления разности между опорным изображением уровня FGS и опорным изображением основного уровня, видеодекодер 900 выполняет компенсацию движения после вычисления разности между опорными кадрами на этих двух уровнях. Во избежание повторного объяснения, последующее описание сосредоточит внимание на отличительных признаках первого примера варианта осуществления, показанного на фиг.4.
Вычитающее устройство 960 вычитает восстановленные опорные кадры FMB'и FNB' основного уровня, принятые от буфера 925 из опорных кадров FMF', FNF' уровня FGS, и подает результаты вычитания FMF' - FMB' и FNF' - FNB' на компенсатор 935 движения. Когда используется однонаправленный опорный кадр, существует только одна разность.
Компенсатор 935 движения использует измененный вектор движения MV1, принятый от преобразователя 930 вектора движения, чтобы выполнить компенсацию движения на разностях FMF' - FMB' и FNF' - FNB' между опорными кадрами на уровне FGS и на основном уровне, принятыми от вычитающего устройства 960. Когда во время компенсации движения используется вектор движения MV1 с точностью 1/2, для интерполяции может использоваться билинейный фильтр, требующий малого объема вычислений, вместо шестиполюсного фильтра, используемого в стандарте H.264. Как описано выше, интерполяция мало влияет на эффективность сжатия.
Устройство 955 восстановления кадров вычисляет среднее значение разностей компенсированного движения, то есть, среднее значение между mc(FMF' - FMB')и mc(FNF' - FNB') и складывает с вычисленным средним значением, FΔ', принятым от инверсного преобразователя 950, и восстановленным изображением Fо' основного уровня. При использовании однонаправленного опорного кадра процесс усреднения не требуется.
На фиг.10 и 11 показаны блок-схемы примеров видеодекодеров 1000 и 1200, соответствующих четвертому примеру варианта осуществления настоящего изобретения.
Со ссылкой на фиг.10 и 11, соответствующую фиг.8 и 9, показывающих видеодекодеры 700 и 900, соответствующие первому и третьему примерам вариантов осуществления, устройства 1055 и 1255 восстановления кадров прибавляют прогнозированный кадр FPB основного уровня вместо восстановленного кадра Fо' основного уровня.
Видеодекодеры 1000 и 1200 четвертого примера варианта осуществления, показанного на фиг.10 и 11, соответствуют декодерам первого и третьего примеров вариантов осуществления, показанных на фиг.8 и 9, соответственно.
Со ссылкой сначала на фиг.10, соответствующую фиг.8, компенсатор 1020 движения подает опорное изображение FPB основного уровня на устройство 1055 восстановления кадров вместо восстановленного изображения Fо'. Таким образом, устройство 470 восстановления кадров складывает вместе FΔ', полученный от инверсного преобразователя 1050, прогнозированное изображение FPB основного уровня и среднее значение разностей ΔМ и ΔN для получения восстановленного изображения FOF' основного уровня.
Точно так же, со ссылкой на фиг.11, устройство 1255 восстановления файлов складывает вместе FΔ', принятый от инверсного преобразователя 1250, прогнозированное изображение FPB основного уровня, принятое от компенсатора 1220 движения, и среднее значение разностей mc(FMF' - FMB')и mc(FNF' - FNB') с компенсированным движением, чтобы получить восстановленное изображение FOF' основного уровня.
Между тем, видеодекодер четвертого примера варианта осуществления, соответствующий видеодекодеру второго примера варианта осуществления (не показан), может иметь ту же самую конфигурацию и выполнять ту же самую операцию, как показано на фиг.8, за исключением операции, выполняемой устройством 1255 восстановления кадров. В видеодекодере четвертого примера варианта осуществления, соответствующего второму примеру варианта осуществления, устройство 1255 восстановления кадров создает прогнозированный кадр FPF уровня FGS и прогнозированный кадр FBF основного уровня, используя опорные кадры mc(FMF') и mc(FNF') уровня FGS с компенсированным движением и опорные кадры mc(FMB'), mc(FNB') основного уровня с компенсированным движением. Устройство 1255 восстановления кадров также вычисляет разность FPF-FPB между прогнозированным кадром FP уровня FGS и прогнозированным кадром FPB основного уровня и складывает с Fо', принятым от инверсного преобразователя 1250, прогнозированным изображением FPB, принятым от компенсатора 1220 движения, и разностью FPF-FPB, чтобы получить восстановленное изображение FOF'.
При применении прогнозирования с пропусканием (пятый пример варианта осуществления) устройство 1255 восстановления кадров умножает весовой коэффициент α на разность FPF-FPB промежуточного слоя и складывает вместе FΔ'Fо' произведение α x (FPF-FPB), чтобы получить FOF'.
На фиг.12 показана блок-схема системы для выполнения процесса кодирования или декодирования, используя видеокодер 100, 300, 400, 600 или видеодекодер 700, 900, 1000, 1200 в соответствии с примером вариантов осуществления настоящего изобретения. Система может быть телевизором, компьютерной приставкой к телевизору (STB), настольным компьютером, ноутбуком или портативным компьютером, специализированным карманным компьютером (PDA), устройством хранения видеоинформации или изображений (например, видеомагнитофон или устройство цифровой видеозаписи). Система может быть комбинацией устройств, перечисленных выше, или другим устройством, содержащим их в себе. Кроме того, система может быть комбинацией вышеупомянутых устройств или одним из устройств, которое содержит в себе часть другого устройства из перечисленных. Система содержит, по меньшей мере, один источник 1310 видеосигнала, по меньшей мере, один модуль 1320 ввода-вывода, процессор 1340, запоминающее устройство 1350 и дисплейный блок 1330.
Источник 1310 видеосигнала может быть телевизионным приемником, видеомагнитофоном или другим устройством, хранящим видеоинформацию. Источник 1310 видеосигнала может означать, по меньшей мере, одно сетевое подключение для приема видеоинформации или изображения от сервера, использующего Интернет, глобальную сеть (WAN), локальную сеть (LAN), территориальную радиовещательную систему, кабельную сеть, сеть спутниковых связей, радиосеть, телефонную сеть или подобное. Кроме того, источник 1310 видеосигнала может быть комбинацией сетей или одной сетью, содержащей часть другой сети среди сетей.
Устройство 1320 ввода-вывода, процессор 1340 и запоминающее устройство 1350 связываются друг с другом через среду 1360 связи. Среда 1360 связи может быть шиной связи, сетью связи или, по меньшей мере, одной внутренней схемой связи. Входные видеоданные, принятые от источника 1310 видеосигнала, могут быть обработаны процессором 1340, используя, по меньшей мере, одну программу, которая хранится в запоминающем устройстве 1350 и может быть выполнена процессором 1340, чтобы создать выходные видеоданные, подаваемые на дисплейный блок 1330.
В частности, программа, хранящаяся в запоминающем устройстве 1350, содержит в себе масштабируемый на импульсной основе кодек, выполняющий способ настоящего изобретения. Кодек может храниться в запоминающем устройстве 1350, может считываться с носителя данных, такого как постоянное запоминающее устройство на компакт-диске (CD-ROM) или дискета, или может быть загружен с заранее определенного сервера через множество сетей.
Промышленная применимость
Как описано выше, настоящее изобретение обеспечивает видеокодирование, которое может значительно снизить объем вычислений, требующихся для осуществления алгоритма PFGS. Поскольку, согласно настоящему изобретению, процесс декодирования изменяется в соответствии с процессом видеокодирования, настоящее изобретение может применяться к стандартизированному документу H.264 SE.
Хоты настоящее изобретение было показано и описано, в частности, со ссылкой на примеры его вариантов осуществления, специалистам в данной области техники должно быть понятно, что в форме и деталях в нем могут быть сделаны различные изменения без отхода от объема и сущности настоящего изобретения, как они определяются приведенной ниже формулой изобретения.
Изобретение относится к кодированию видеосигналов. Техническим результатом является снижение объема вычислений, требуемых для многоуровневого алгоритма прогрессивной точной масштабируемости по качеству (PFGS). Предложен способ видеокодирования, поддерживающий алгоритм точной масштабируемости по качеству (FGS), включающий: получение прогнозированного изображения для текущего кадра, используя вектор движения, оцененный с заранее определенной точностью, квантование разности между текущим кадром и прогнозированным изображением, инверсное квантование квантованной разности и создание восстановленного изображения текущего кадра, выполнение компенсации движения на опорном кадре уровня FGS и на опорном кадре основного уровня, используя оцененный вектор движения, вычисление разности между опорным кадром уровня FGS с компенсированным движением и опорным кадром основного уровня с компенсированным движением, вычитание восстановленного изображения из текущего кадра и вычисленного остатка из текущего кадра и кодирование результата вычитания. 14 н. и 35 з.п. ф-лы, 12 ил.
| US 6614936 B1, 02.09.2003 | |||
| WO 03101116 A1, 04.12.2003 | |||
| US 2002037046 A1, 28.03.2002 | |||
| RU 2001123542 A, 27.06.2003 | |||
| V.D | |||
| SCHAAR M | |||
| AND RADHA H | |||
| Adaptive motion-compensation fine-granular-scalability (AMC-FGS) for wireless video | |||
| IEEE Transactions on circuits and systems for video technology | |||
| Способ гальванического снятия позолоты с серебряных изделий без заметного изменения их формы | 1923 |
|
SU12A1 |
| WANG Q | |||
| et al | |||
| Optimal | |||
