ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу кодирования многоракурсных изображений и к устройству для кодирования изображений, сфотографированных множеством камер, которые фотографируют конкретный объект, а также к способу декодирования многоракурсных изображений и к устройству для декодирования закодированных данных, которые были закодированы с использованием этого способа кодирования многоракурсных изображений, а также к программе кодирования многоракурсных изображений, используемой для реализации этого способа кодирования многоракурсных изображений, и к программе декодирования многоракурсных изображений, используемой для реализации этого способа декодирования многоракурсных изображений.
Эта заявка испрашивает приоритет по заявке на патент Японии № 2009-38786, поданной 23 февраля 2009 г., содержание которой включено сюда путем ссылки.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Термин "многоракурсные изображения" относится к множеству изображений, полученных путем фотографирования одного и того же объекта и фона с использованием множества камер, тогда как термин "многоракурсные движущиеся изображения" (то есть, "многоракурсные видеоизображения") относится к полученным таким способом движущимся изображениям.
В качестве технологий для общего использования при кодировании движущихся изображений и при кодировании многоракурсных движущихся изображений были предложены следующие технологии: компенсированное предсказание движения и компенсированное предсказание рассогласования.
Компенсированное предсказание движения представляет собой способ, который также используется в разработанных за последние годы международных стандартах для форматов кодирования движущихся изображений, типичным примером которых является стандарт H.264. В этом способе компенсируют движение объекта между целевым кадром кодирования и опорным кадром, который уже был закодирован, для получения разности между кадрами для сигнала изображения, и кодируют только этот разностный сигнал (см. непатентный документ 1).
В отличие от этого при компенсированном предсказании рассогласования кодирование может быть выполнено в виде разностей между кадрами между получаемыми сигналами изображения путем компенсации рассогласований различия в объекте с использованием в качестве опорного кадра того кадра, который сфотографирован иной камерой (см. непатентный документ 2).
Используемый здесь термин "рассогласование" ("disparity") относится к различиям в местоположениях на плоскостях изображения у камер, размещенных в различных местах, где спроецировано одно и то же место на объекте. При компенсированном предсказании рассогласования это представлено двумерными векторами, а затем закодировано. Как показано на чертеже Фиг. 9, поскольку рассогласования представляют собой информацию, создание которой зависит от местоположения камеры и от расстояния от камеры (то есть, глубины), то существует способ, известный как предсказание с синтезированием ракурса (предсказание с интерполяцией ракурса), в котором используют этот принцип.
При предсказании с синтезированием ракурса (предсказании с интерполяцией ракурса) существует способ, в котором глубину объекта оценивают с использованием информации о местоположении камеры и теории триангуляции для многоракурсного видео, полученного на стороне, выполняющей кодирование, или на стороне, выполняющей декодирование, и целевые кадры кодирования синтезируют (то есть, интерполируют) с использованием этой оцененной информации о глубине для создания предсказанного изображения (см. патентный документ 1 и непатентный документ 3). Следует отметить следующее: если глубину оценивают на стороне, выполняющей кодирование, то необходимо закодировать используемую глубину.
При предсказании, в котором используют изображения, сфотографированные с использованием этих отдельных камер, если существуют индивидуальные различия между откликами элементов формирования изображения в камере, или если в каждой камере выполнена регулировка усиления или гамма-коррекция, или если установочные параметры для глубины резкости или апертуры и т.п. являются различными в каждой камере, или если имеется зависящее от направления влияние освещения сцены и т.п., то эффективность кодирования ухудшается. Причина этого состоит в том, что предсказание выполняют при том условии, что освещение и цвет объекта являются одинаковыми в обоих кадрах: в целевом кадре кодирования и в опорном кадре.
В настоящее время в качестве способов для решения задач, связанных с изменениями освещения и цвета объекта, исследуют такие способы, как, например, компенсация освещения и цветокоррекция. В этих способах за счет использования опорного кадра, освещение и цвет которого были скорректированы, в качестве кадра, используемого для предсказания, можно ограничить величину кодируемой невязки предсказания до минимума.
В стандарте H.264 принято предсказание с весовыми коэффициентами, в котором в качестве корректирующей модели используют линейную функцию (см. непатентный документ 1), тогда как в непатентном документе 3 предложен способ, в котором коррекцию выполняют с использованием таблицы цветов.
[Документы предшествующего уровня техники]
[Патентный документ 1]
Выложенная заявка на патент Японии (JP-A) № 2007-036800, имеющая название “Video coding method, video decoding method, video coding program, video decoding program, and computer readable recording medium on which these programs are recorded”
[Непатентный Документ 1]
Рекомендации, разработанные сектором по стандартизации Международного союза электросвязи: ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002, (pp.10-13, pp.62-73)
[Непатентный Документ 2]
Хидеаки Кимата (Hideaki Kimata) и Масаки Китахара (Masaki Kitahara), "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004.
[Непатентный Документ 3]
K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, и Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ЗАДАЧА, РЕШАЕМАЯ ИЗОБРЕТЕНИЕМ
Когда выполняют кодирование с использованием вышеупомянутой компенсации освещения и цветокоррекции, то существуют две следующие задачи.
Первой задачей является предотвращение увеличения объема кода, что является следствием добавления параметров для компенсации освещения и цветокоррекции и т.п. Поскольку при обычном компенсированном предсказании рассогласования и предсказании с синтезированием (интерполяцией) ракурса возникает необходимость выполнять кодирование параметров для компенсации освещения и цветокоррекции и т.п., кодирование которых раньше не требовалось, то имеет место ухудшение производительности кодирования.
Второй задачей является повышение точности коррекции. Поскольку в случае обесцвечивания и применения вспышки при обычном кодировании движущихся изображений весь экран изменяется одинаково, то можно выполнить удовлетворительную компенсацию освещения и цветокоррекцию и т.п. с использованием одного параметра коррекции. Однако несовпадения (то есть, различия по освещению и цвету), вызванные тем, что объект не является полностью диффузным отражателем, или тем, что глубина резкости и фокус не является полностью совпадающими в каждой камере, не зависят от сцены, а зависят от самого объекта. Вследствие этого при коррекции, которая основана на одном параметре коррекции, имеют место случаи, когда в зависимости от объекта несовпадение увеличивается.
Для решения этой задачи может быть рассмотрен способ, в котором используют множество параметров коррекции для борьбы с несовпадением в каждом отдельном объекте. Однако если используют этот способ, то в дополнение к объему кода, необходимого для кодирования множества параметров коррекции, также необходимо выполнять кодирование информации, указывающей, какой именно параметр коррекции следует использовать в каждой области изображения. В результате объем кода еще больше увеличивается, и первая задача не может быть решена.
Настоящее изобретение было придумано с учетом описанного выше положения дел, и его задачей является создание новой технологии кодирования и декодирования многоракурсных изображений, которая обеспечивает очень эффективное кодирование даже для многоракурсных изображений (то есть, многоракурсных неподвижных изображений и движущихся изображений), при котором происходит генерация локализованного несовпадения освещения и цвета между камерами и которая также обеспечивает сокращение объема кода, необходимого каждый раз, когда используют это новое кодирование.
СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ
[1] Основная техническая идея, на которой основано настоящее изобретение
Для решения описанных выше задач в настоящем изобретении были разработаны следующие средства для тех случаев, когда целевой кадр кодирования-декодирования сначала разделяют на области, а затем выполняют кодирование и декодирование многоракурсных изображений в каждой области.
Сначала определяют информацию о глубине для фотографируемого объекта в целевой области обработки. Затем в области, смежной с целевой областью обработки, где кодирование (декодирование) уже было закончено, из информации о глубине определяют группу элементов изображения, в которой был сфотографирован тот же самый объект, что и в целевой области обработки, и задают ее в качестве группы элементов изображения, взятых в качестве образцов. Затем создают изображение с синтезированием ракурса для элементов изображения, содержащихся в этой группе элементов изображения, взятых в качестве образцов, и также создают изображение с синтезированием ракурса для элементов изображения, содержащихся в целевой области обработки. Затем производят оценку параметров коррекции для коррекции несовпадения по освещению и цвету, исходя из изображения с синтезированием ракурса и из декодированного изображения в группе элементов изображения, взятых в качестве образцов. Затем путем коррекции изображения с синтезированием ракурса, созданного для целевой области обработки, с использованием оцененных параметров коррекции, создают предсказанное изображение, которое следует использовать для кодирования (декодирования) сигналов изображения в целевой области обработки.
В случае обычного способа, в котором параметры коррекции вычисляют путем сравнения целевого кадра кодирования, с опорным кадром, необходимо выполнять кодирование параметров коррекции, поскольку целевой кадр кодирования не может быть получен стороной, выполняющей декодирование.
В отличие от этого в настоящем изобретении параметры коррекции вычисляют путем сравнения сигналов изображения уже кодированных/декодированных областей целевого кадра кодирования/декодирования с информацией из изображения с синтезированием ракурса, созданного с использованием опорного кадра. Поскольку они могут быть получены стороной, выполняющей декодирование, то необходимость в кодировании параметров коррекции отсутствует. То есть, посредством настоящего изобретения можно решить задачу увеличивающегося объема кода.
Кроме того, поскольку кодирование представляет собой способ, в котором входные сигналы преобразовывают настолько правильно, насколько это возможно, то можно полагать, что сигналы изображения, которые уже были закодированы/декодированы, являются, по существу, теми же самыми, что и сигналы целевого изображения кодирования. То есть, параметры коррекции, вычисленные посредством настоящего изобретения, могут сделать синтезированное изображение чрезвычайно близким к целевому изображению кодирования, и невязка предсказания, которая должна быть закодирована, может быть значительно уменьшена.
Кроме того, в настоящем изобретении оценку параметров коррекции производят с использованием информации о смежных областях, где был сфотографирован тот же самый объект, что и объект, сфотографированный в целевой области обработки. Посредством этого можно скорректировать освещение и цвет, которые зависят от объекта. Следует отметить следующее: поскольку в этом определении объекта используют информацию о глубине, которая необходима при создании изображения с синтезированием ракурса, то отсутствует необходимость кодирования и передачи дополнительной информации.
При описанном выше кодировании/декодировании многоракурсных изображений путем сравнения степени рассогласования информации о глубине в целевой области обработки с заданным пороговым значением можно определить, было ли сфотографировано множество объектов в целевой области обработки или нет. Если множество объектов было сфотографировано, то для каждого объекта определяют информацию о глубине и группы элементов изображения, взятых в качестве образцов, и оценивают параметры коррекции. Следует отметить следующее: путем обработки объектов, в которых количество элементов изображения в целевой области обработки является меньшим, чем фиксированное количество элементов изображения вместе с другими объектами, можно предотвратить какое-либо увеличение объема вычислений.
Кроме того, в описанном выше кодировании/декодировании многоракурсных изображений модели коррекции, которых существует множество (то есть, количество параметров коррекции), изменяют на основании количества элементов изображения в группе элементов изображения, взятых в качестве образцов.
[2] Структура настоящего изобретения
Ниже будет приведено описание структуры устройства кодирования многоракурсных изображений и устройства декодирования многоракурсных изображений из настоящего изобретения.
[2-1] Структура устройства кодирования многоракурсных изображений из настоящего изобретения
Устройство кодирования многоракурсных изображений из настоящего изобретения представляет собой устройство, которое выполняет кодирование многоракурсных изображений (то есть, статических изображений и движущихся изображений, сфотографированных с множества точек съемки) путем разделения входного изображения объекта, который сфотографирован первой камерой, на множество целевых областей кодирования, и путем выполнения кодирования с предсказанием для каждой из целевых областей кодирования с использованием изображения с синтезированием ракурса, которое синтезировано исходя из информации о глубине для входного изображения и из уже закодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, и которое включает в себя: (1) блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области кодирования; (2) блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже закодированной области, смежной с целевой областью кодирования, и информации о репрезентативной глубине, определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области кодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов; (3) блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету; (4) блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области кодирования для создания скорректированного изображения с синтезированием ракурса; (5) блок кодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, кодирует сигнал изображения для целевого изображения кодирования для создания закодированных данных; и (6) блок декодирования изображений, который декодирует закодированные данные для создания декодированного изображения для целевой области кодирования.
Устройство кодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (7) блоком определения объекта, который разделяет элементы изображения в целевой области кодирования на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации. В этом случае блок задания репрезентативной глубины также может задавать информацию о репрезентативной глубине для каждой группы, определенной блоком определения объекта, блок задания группы элементов изображения, взятых в качестве образцов, также может задавать группу элементов изображения, взятых в качестве образцов, для каждой группы, определенной блоком определения объекта, блок оценки параметров коррекции также может выполнять оценку параметров коррекции для каждой группы, определенной блоком определения объекта, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса для каждой группы, определенной блоком определения объекта.
Кроме того, устройство кодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (8) блоком выбора модели коррекции, который выбирает модель коррекции для коррекции изображения с синтезированием ракурса для целевой области кодирования в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов. В этом случае блок оценки параметров коррекции также может выполнять оценку параметров коррекции для модели коррекции, выбранной блоком выбора модели коррекции, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса с использованием модели коррекции, выбранной блоком выбора модели коррекции.
Способ кодирования многоракурсных изображений из настоящего изобретения, который реализован в результате выполнения каждым из описанных выше устройств обработки соответствующих ему этапов, также может быть реализован посредством компьютерной программы. Эту компьютерную программу предоставляют записанной на подходящем считываемом посредством компьютера носителе записи или предоставляют через сеть. Когда необходимо применить настоящее изобретение, то компьютерную программу устанавливают на компьютере, и настоящее изобретение реализовано тогда, когда компьютерная программа функционирует в блоке управления, которым является, например, центральный процессор (ЦП).
[2-2] Структура устройства декодирования многоракурсных изображений из настоящего изобретения
Устройство декодирования многоракурсных изображений из настоящего изобретения представляет собой устройство, которое выполняет декодирование закодированных данных для многоракурсных изображений (то есть, статических изображений и движущихся изображений, сфотографированных с множества точек съемки) путем разделения целевого изображения декодирования объекта, который сфотографирован первой камерой, на множество целевых областей декодирования, и путем выполнения декодирования с предсказанием для каждой из целевых областей декодирования с использованием изображения с синтезированием ракурса, которое синтезировано исходя из информации о глубине для целевого изображения декодирования, и из уже декодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, и которое включает в себя: (1) блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области декодирования; (2) блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже декодированной области, смежной с целевой областью декодирования, и информации о репрезентативной глубине, определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области декодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов; (3) блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету; (4) блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области декодирования, для создания скорректированного изображения с синтезированием ракурса; и (5) блок декодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, декодирует сигнал изображения для целевого изображения декодирования.
Устройство декодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (6) блоком определения объекта, который разделяет элементы изображения в целевой области декодирования на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации. В этом случае блока задания репрезентативной глубины также может задавать информацию о репрезентативной глубине для каждой группы, определенной блоком определения объекта, блок задания группы элементов изображения, взятых в качестве образцов, также может задавать группу элементов изображения, взятых в качестве образцов, для каждой группы, определенной блоком определения объекта, блок оценки параметров коррекции также может выполнять оценку параметров коррекции для каждой группы, определенной блоком определения объекта, и блок коррекции изображений с синтезированием ракурса также может выполнять коррекцию изображения с синтезированием ракурса для каждой группы, определенной блоком определения объекта.
Устройство декодирования многоракурсных изображений согласно одному из вариантов осуществления настоящего изобретения также может быть дополнительно снабжено (7) блоком выбора модели коррекции, который выбирает модель коррекции для коррекции изображения с синтезированием ракурса для целевой области декодирования, в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов. В этом случае блок оценки параметров коррекции выполняет оценку параметров коррекции для модели коррекции, выбранной блоком выбора модели коррекции, и блок коррекции изображений с синтезированием ракурса выполняет коррекцию изображения с синтезированием ракурса с использованием модели коррекции, выбранной блоком выбора модели коррекции.
Способ декодирования многоракурсных изображений из настоящего изобретения, который реализован в результате выполнения каждым из описанных выше устройств обработки соответствующих ему этапов, также может быть реализован посредством компьютерной программы. Эту компьютерную программу предоставляют записанной на подходящем считываемом посредством компьютера носителе записи или предоставляют через сеть. Когда необходимо применить настоящее изобретение, то компьютерную программу устанавливают на компьютере, и настоящее изобретение реализовано тогда, когда компьютерная программа функционирует в блоке управления, которым является, например, центральный процессор (ЦП).
Положительный эффект настоящего изобретения
Согласно настоящему изобретению невязка предсказания может быть уменьшена даже в тех случаях, когда имеет место локальное несовпадение по освещению и цвету между камерами, поскольку параметры коррекции определяют для каждого объекта по отдельности и локально. Соответственно, может быть достигнуто высокоэффективное кодирование и декодирование многоракурсных изображений и многоракурсных движущихся изображений.
Кроме того, согласно настоящему изобретению, поскольку параметры коррекции определяют таким образом, что отсутствует необходимость в дополнительном кодировании/декодировании, то может быть значительно уменьшен объем кода, необходимый при выполнении этого кодирования и декодирования многоракурсных изображений и многоракурсных движущихся изображений.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На чертеже Фиг. 1 изображена блок-схема, на которой показано устройство кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.
На чертеже Фиг. 2 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.
На чертеже Фиг. 3 изображена схема последовательности этапов, на которой показаны подробности обработки, выполняемой устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.
На чертеже Фиг. 4 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения.
На чертеже Фиг. 5 изображена блок-схема, на которой показано устройство декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.
На чертеже Фиг. 6 изображена схема последовательности этапов, на которой показана обработка, выполняемая устройством декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.
На чертеже Фиг. 7 изображена схема последовательности этапов, на которой показаны подробности обработки, выполняемой устройством декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения.
На чертеже Фиг. 8 изображена блок-схема, на которой показан блок создания параметра коррекции из первого и второго вариантов осуществления настоящего изобретения.
На чертеже Фиг. 9 показан режим компенсированного предсказания рассогласования.
ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Теперь будет приведено подробное описание настоящего изобретения со ссылкой на чертежи, на которых проиллюстрированы варианты осуществления настоящего изобретения.
Следует отметить, что в приведенном ниже описании сигналы изображения и информация о глубине (заданная для каждого элемента изображения) для объектов, сфотографированных в элементах изображения в этом местоположении, показаны с добавлением информации о местоположении (а именно, значений координат или индекса, который может быть поставлен в соответствие значениям координат), заключенной в квадратные скобки, обозначенные символом [], к видеоизображениям (то есть, к кадрам) и к информации о глубине.
[1] Устройство кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения
Структура устройства 100 кодирования многоракурсных видеоизображений согласно первому варианту осуществления настоящего изобретения показана на чертеже Фиг. 1.
Как показано на чертеже Фиг. 1, в устройстве 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения блок 101 ввода целевых изображений кодирования принимает вводимые изображения (то есть, кадры) объекта или сцены, сфотографированных первой камерой, в качестве целевого объекта кодирования. Запоминающее устройство 102 для целевых изображений кодирования обеспечивает хранение целевых кадров кодирования, которые введены из блока 101 ввода целевых изображений кодирования. Сохраненные целевые кадры кодирования подают в блок 109 кодирования изображений.
Блок 103 ввода изображений с синтезированием ракурса принимает введенные изображения с синтезированием ракурса для целевых изображений кодирования. Изображения с синтезированием ракурса были сгенерированы с использованием уже закодированных изображений, на которых один и тот же объект или одна и та же сцена были сфотографированы вторыми камерами, расположенными в иных местах, чем первая камера. Запоминающее устройство 104 для изображений с синтезированием ракурса обеспечивает хранение изображений с синтезированием ракурса, введенных из блока 103 ввода изображений с синтезированием ракурса. Сохраненные изображения с синтезированием ракурса подают в блок 107 создания параметров коррекции и в блок 108 коррекции изображений с синтезированием ракурса.
Блок 105 ввода информации о глубине принимает введенную информацию о глубине для целевых кадров кодирования. Запоминающее устройство 106 для хранения информации о глубине обеспечивает хранение информации о глубине, введенной из блока 105 ввода информации о глубине. Сохраненную информацию о глубине подают в блок 107 создания параметров коррекции.
Блок 107 создания параметров коррекции производит оценку параметров коррекции с использованием изображений с синтезированием ракурса, информации о глубине и декодированных изображений, используемых в периферийных участках целевой области кодирования, и с использованием информации о глубине, используемой в целевой области кодирования. Блок 108 коррекции изображений с синтезированием ракурса выполняет коррекцию изображений с синтезированием ракурса целевой области кодирования с использованием оцененных параметров коррекции.
Блок 109 кодирования изображений кодирует сигналы изображения целевой области кодирования с использованием скорректированных изображений с синтезированием ракурса в качестве сигналов предсказания. Блок 110 декодирования изображений декодирует закодированные сигналы изображения. Запоминающее устройство 111 для декодированных изображений обеспечивает хранение изображений, декодированных блоком 109 кодирования изображений. Декодированные изображения, сохраненные в запоминающем устройстве 111 для декодированных изображений, подают в блок 107 создания параметров коррекции.
Как показано на чертеже Фиг. 8, блок 107 создания параметров коррекции имеет блок 107a определения объекта, в который подают информацию о глубине из запоминающего устройства 106 для хранения информации о глубине, блок 107b задания репрезентативной глубины и блок 107c задания группы элементов изображения, взятых в качестве образцов, которые соединены в этой последовательности с расположенной далее по ходу стороной блока 107a определения объекта. Блок 107d выбора модели коррекции и блок 107e оценки параметров коррекции соединены в этой последовательности с расположенной далее по ходу стороной блока задания 107c группы элементов изображения, взятых в качестве образцов. Декодированные изображения из запоминающего устройства 111 для декодированных изображений и изображения с синтезированием ракурса из запоминающего устройства 104 для изображений с синтезированием ракурса подают в блок 107e оценки параметров коррекции и производят оценку параметров коррекции с использованием поданных декодированных изображений, и изображения с синтезированием ракурса подают в блок 108 коррекции изображений с синтезированием ракурса.
На чертеже Фиг. 2 показана схема последовательности этапов обработки, выполняемых устройством 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения, которое имеет описанную выше структуру.
Теперь будет приведено подробное описание обработки, выполняемой устройством 100 кодирования многоракурсных видеоизображений из данного варианта осуществления изобретения в соответствии с этой последовательностью этапов обработки.
Сначала кадр Org, который намечен для кодирования, вводят посредством блока 101 ввода целевых изображений кодирования и сохраняют в запоминающем устройстве 102 для целевых изображений кодирования. Изображение с синтезированием ракурса Synth для целевого кадра Org кодирования вводят посредством блока 103 ввода изображений с синтезированием ракурса и сохраняют в запоминающем устройстве 104 для изображений с синтезированием ракурса. Информацию Depth о глубине для целевого кадра Org кодирования вводят посредством блока 105 ввода информации о глубине и сохраняют в запоминающем устройстве 106 для хранения информации о глубине [этап A1].
Вводимое изображение с синтезированием ракурса и вводимая информация о глубине являются теми же самыми, что и те, которые получены в устройстве декодирования. Причина этого состоит в том, что за счет использования той же самой информации, что и информация, полученная в устройстве декодирования, может быть подавлена генерации шумов кодирования, таких как, например, дрейф. Однако, если генерация таких шумов кодирования является допустимой, то на вход также может быть подана исходная информация о предварительном кодировании.
Следует отметить, что информация о глубине предоставлена извне устройства 100 кодирования многоракурсных видеоизображений, однако, как описано в непатентном документе 3, информация о глубине также может быть получена путем ее оценки из уже закодированных кадров с других камер. Соответственно, отсутствует необходимость передачи информации о глубине со стороны, производящей передачу, стороне, производящей прием. Изображение с синтезированием ракурса генерируют с использованием уже закодированных кадров с иных камер, чем первая камера, и информации о глубине.
Затем целевой кадр кодирования разделяют на множество целевых областей кодирования, и блок 109 кодирования изображений кодирует сигнал изображения для целевого кадра кодирования, с коррекцией изображения с синтезированием ракурса для каждой из этих областей [этапы A2-A15].
То есть, если индекс блока, обрабатываемого при кодировании, выражен как blk, и если общее количество всех блоков, обрабатываемых при кодировании, выражено как numBlks, то после того как было установлено исходное значение blk, равное 0 [этап A2], последующие этапы [A3-A13] повторяют с добавлением 1 к blk [этап A14] до тех пор, пока значение blk не достигнет numBlks [этап A15].
При обработке, которую повторяют для каждого блока, обрабатываемого при кодировании, устройство 100 кодирования сначала определяет группу N blk элементов изображения из уже закодированных областей, которые являются периферийными для блока blk (то есть, целевую область кодирования) [этап A3].
Для этих периферийных областей могут использоваться единичные блоки различных типов, например, блоки, обрабатываемые при кодировании, которые являются смежными с блоком blk, или смежные элементы изображения и т.п. Несмотря на то что для периферийных областей может использоваться множество определений, необходимо использовать то же самое определение, что и определение, используемое на стороне, выполняющей декодирование.
Затем блок 107a определения объекта из блока 107 создания параметров коррекции группирует элементы изображения из блока blk с использованием информации о глубине, предоставленной для каждого элемента изображения, в качестве опорной информации [этап A4 определения объекта].
Индекс каждой полученной в результате этого группы выражен как obj, количество групп выражено как numObjs, а элементы изображения, принадлежащие к группе obj, выражены как C obj.
Для этого этапа группирования может быть использован любой способ, однако необходимо, чтобы использовался тот же самый способ, который используют на стороне, выполняющей декодирование. Самым простым способом группирования является способ, в котором вычисляют степень рассогласования информации о глубине для элементов изображения из блока blk, и если ее значение является равным или меньшим, чем пороговое значение, то все элементы изображения задают как одну группу, а если это значение превышает пороговое значение, то в качестве границы задают среднее значение от значений глубины, и элементы изображения разделяют на две группы. В этом случае, как только значения степени рассогласования информации о глубине для элементов изображения в каждой группе становятся равными или меньшими, чем конкретное пороговое значение, группирование завершают.
Более сложным способом группирования является способ, в котором сначала полагают, что каждый элемент изображения образует одну группу. Затем, когда любые две группы объединяют вместе, то это объединение выполняют последовательно, начиная с групп, в которых имеет место наименьшее увеличение степени рассогласования информации о глубине для элементов изображения из группы. В этом случае группирование завершают в том случае, если завершают создание группы, в которой степень рассогласования превышает конкретное пороговое значение, вне зависимости от того, какие именно две конкретные группы объединяют вместе.
Следует отметить следующее: поскольку объем вычислений растет при увеличении количества групп, то также возможно, чтобы максимальное количество групп было определено заранее. За счет завершения этапа группирования в тот момент, когда количество групп достигает этого максимального значения, или за счет определения заранее минимального количества элементов изображения, которые должны содержаться в одной группе, для того чтобы не создавались небольшие группы, можно предотвратить увеличение количества групп. Если размер блока равен 16×16 элементам изображения, который является типичным размером блока, представляющего собой один-единичный элемент для кодирования изображения, то, как правило, редко встречается ситуация, когда в одном и том же блоке сфотографировано большое количество объектов. Соответственно, может быть достигнуто очень точное группирование даже в том случае, если максимальное количество групп равно двум.
После того как этап группирования завершен, создают предсказанное изображение Pred путем коррекции изображения с синтезированием ракурса для каждого элемента изображения из каждой группы [этапы A5-A11].
То есть, после того как было установлено исходное значение индекса obj группы, равное 0 [этап A5], выполняют этапы [A6-A8], при которых в блоке 107 создания параметров коррекции производят оценку параметров коррекции с приращением obj на 1 [этап A10] для коррекции изображения с синтезированием ракурса до тех пор, пока значение obj не достигнет numObjs [этап A11]. Наряду с этими этапами в блоке 108 коррекции изображений с синтезированием ракурса выполняют этап [A9] для создания предсказанного изображения путем коррекции изображений с синтезированием ракурса для элементов изображения, содержащихся в группе obj, с использованием оцененных параметров предсказания.
При обработке для оценки параметра коррекции сначала, на основании информации о глубине, определяют группу N blk,obj элементов изображения (то есть, группу элементов изображения, взятых в качестве образцов), в которой сфотографирован тот же самый объект, что и в группе obj, и который содержится в группе N blk элементов изображения в уже закодированных областях, являющихся периферийными для блока blk (то есть, целевую область кодирования) [этап A6 задания репрезентативной глубины и задания группы элементов изображения, взятых в качестве образцов].
В частности, при этой обработке сначала в блоке 107b задания репрезентативной глубины определяют значение D
obj репрезентативной глубины для группы obj (этап задания репрезентативной глубины). Для определения значения D
obj репрезентативной глубины может быть использован любой способ при условии, что из информации о глубине для элементов C
obj изображения в группе obj может быть определено одно значение глубины. Однако необходимо использовать ту же самую обработку, что и обработка, используемая на стороне декодера. Например, может использоваться среднее значение или медиана и т.п. В том случае, когда используются средние значения, значение D
obj репрезентативной глубины
может быть выражено приведенной ниже Формулой (1). Следует отметить, что обозначение 
указывает количество элементов изображения в наборе.
Следует отметить, что в некоторых способах группирования, в которых элементы изображения разделяют на несколько групп с использованием информации о глубине в качестве опорной информации на этапе A4 определения объекта, в качестве части этих способов определяют элементы изображения и/или информацию о глубине, которые характеризуют каждую группу. Если используют способ этого типа, то информацию о глубине для элемента изображения используют как репрезентативную для группы в этот момент времени, и также в качестве значений репрезентативной глубины может быть использована информация о глубине, указывающая группу. В этом случае обработку на этапе задания репрезентативной глубины выполняют одновременно с этапом A4 определения объекта. Распространение сродства является одним из самых известных способов, в которых принятие решения относительно представителя группы и обработку по группированию выполняют одновременно. Подробности этого способа описаны в публикации “Clustering by Passing Messages Between Data Points”, B. J. Frey and D. Dueck, Science 2007, Vol. 315(5814): pp. 972-976.
Когда таким образом было определено значение D obj репрезентативной глубины, то затем в блоке 107c задания группы элементов изображения, взятых в качестве образцов, определяют группу N blk,obj элементов изображения (то есть, группу элементов изображения, взятых в качестве образцов), в которой сфотографирован тот же самый объект, что и в группе obj, и которая представляет собой подмножество группы N blk (этап задания группы элементов изображения, взятых в качестве образцов). Как показано посредством приведенной ниже формулы (2), группа N blk,obj может быть задана путем выбора тех элементов изображения, где абсолютная разность между значением ее глубины и значением репрезентативной глубины является меньшей, чем заданное пороговое значение thSameObj.
После того как была определена группа N blk,obj, блок 107d выбора модели коррекции производит выбор модели коррекции из заданных моделей коррекции на основании количества элементов изображения в этой группе [этап A7 выбора модели коррекции].
Может быть подготовлено несколько моделей коррекции, однако, необходимо, чтобы на стороне, выполняющей декодирование, также была подготовлена та же самая модель коррекции, и также необходимо использовать те же самые критерии для принятия решения о режиме коррекции, который следует использовать. Кроме того, если была подготовлена только одна модель коррекции, то этот этап может быть опущен.
Обработка для создания предсказанного изображения путем коррекции изображения с синтезированием ракурса, которую выполняют на этапе 9A (описанной ниже), может быть выражена как функция, которая имеет на входе изображение с синтезированием ракурса и выводит предсказанное изображение. Термин "модель коррекции" относится к модели функции, используемой в этот момент времени. Ею может являться, например, коррекция на основании смещения (offset), коррекция с использованием линейной функции, или обработка посредством двумерного линейного фильтра, имеющего длину отвода, равную k. Когда элемент изображения, подлежащий коррекции, обозначен как p, они могут быть выражены, соответственно, приведенными ниже формулами с формулы (3) по формулу (5).
Типичными примерами коррекции, основанной на обработке посредством линейного фильтра, является коррекция, основанная на смещении, и коррекция с использованием линейной функции. Следует отметить следующее: не обязательно, чтобы обработка для коррекции являлась линейной обработкой, и также возможно использование нелинейного фильтра при условии, что возможна оценка параметров коррекции. Примером способа нелинейной коррекции является гамма-коррекция. Гамма-коррекция может быть выражена приведенной ниже Формулой (6)
В примерах этих моделей коррекции смещение (offset), (α, β), ({F i,j}, o), и (γ, a, b), соответственно, образуют параметры коррекции. То есть, количество параметров коррекции изменяется в зависимости от модели коррекции.
При увеличении количества параметров коррекции становится возможным выполнять более точную коррекцию, однако, для принятия решения о выборе этих параметров коррекции необходимо, чтобы количество образцов было равным или большим, чем количество параметров коррекции. Как описано ниже, поскольку этот образец формирует изображение с синтезированием ракурса и декодированное изображение типовых элементов изображения, содержащихся в вышеописанной группе N blk,obj, то путем принятия решения о выборе модели коррекции в соответствии с количеством элементов изображения из группы N blk,obj становится возможным сделать коррекции точными. Следует отметить, что использование максимально возможного количества выборок при оценке параметров коррекции обеспечивает возможность более надежной оценки параметров коррекции. Соответственно, желательно выбирать модель коррекции так, чтобы обеспечить достаточную надежность.
После того как была выбрана одна модель коррекции, в блоке 107e оценки параметров коррекции в качестве образцов берут изображение с синтезированием ракурса Synth и декодированное изображение Dec для элементов изображения, взятых в качестве образцов, которые содержатся в группе N blk,obj, и производят оценку параметров коррекции по выбранной модели коррекции [этап A8 оценки параметров коррекции].
При выполняемой здесь оценке параметров коррекции предполагают, что значение до коррекции и идеальное скорректированное значение представляют собой, соответственно, изображение с синтезированием ракурса и декодированное изображение. Затем определяют параметры коррекции так, чтобы минимизировать сумму ошибок для всех элементов изображения в группе N blk,obj между идеальным значением и значением, которое является результатом коррекции с использованием модели коррекции, для каждого элемента изображения.
Например, если для коррекции используется линейная обработка, то параметры коррекции могут быть выбраны с использованием метода наименьших квадратов. То есть, когда М обозначает коррекцию, то оценка может быть выполнена путем минимизации значения, выраженного приведенной ниже Формулой (7).
То есть, параметры коррекции можно определить путем решения системы уравнений, в которой частная производная формулы (7) относительно каждого параметра коррекции равна 0.
После того как была произведена оценка параметров коррекции, в блоке 108 коррекции изображений с синтезированием ракурса создают предсказанное изображение Pred для группы obj из блока blk путем коррекции изображения с синтезированием ракурса Synth для группы obj из блока blk с использованием параметров коррекции, [этап A9 коррекции изображения с синтезированием ракурса].
В частности, как показано в последовательности этапов обработки на чертеже Фиг. 3, обработку для создания этого предсказанного изображения Pred выполняют для каждого элемента изображения. Здесь, в последовательности этапов обработки, показанной на чертеже Фиг. 3, pix обозначает информацию, идентифицирующую элемент изображения, а numPix blk,obj обозначает количество элементов изображения в группе obj из блока blk.
Например, в случае коррекции, которую выполняют с использованием значений смещения, предсказанное изображение Pred создают согласно описанной выше формуле (3).
Описан пример, в котором для создания этого предсказанного изображения Pred в качестве способа коррекции (то есть, модели коррекции) выполняют коррекцию согласно формуле (3) с использованием значений смещения. Как показано на чертеже Фиг. 4, на этапе A8 оценки параметров коррекции в качестве модели коррекции составляют уравнение преобразования для элементов изображения путем оценки смещения, когда в качестве In взяты значения элементов изображения изображений с синтезированием ракурса для одного и того же объекта, присутствующего в периферийных областях, которые уже были закодированы, а в качестве Out взяты значения элементов изображения декодированных изображений этого объекта. Затем, на этапе S9 выполняют обработку для генерации предсказанного изображения для группы obj из блока blk путем подстановки значений элементов изображения изображения с синтезированием ракурса из группы obj из блока blk в In составленного уравнения преобразования.
После того как создание предсказанного изображения для блока blk завершено, в блоке 109 кодирования изображений выполняют кодирование целевого кадра Org кодирования, из блока blk [этап A12 кодирования изображения], причем в качестве сигнала предсказания используют предсказанное изображение Pred, созданное на этапе A9.
На этом этапе A12 кодирования отсутствуют какие-либо ограничения на то, какой именно способ кодирования можно использовать, однако, в типичном способе кодирования, таком как, например, способ кодирования согласно стандарту H.264, кодирование выполняют путем применения дискретного косинусного преобразования (DCT) - дискретизации - преобразования в двоичную форму - статистического кодирования к разности между Org и Pred.
Поток битов, являющийся результатом кодирования, образует выходной сигнал устройства 100 кодирования многоракурсных видеоизображений. Кроме того, поток битов, являющийся результатом кодирования, декодируют посредством блока 110 декодирования изображений для каждого блока, и декодированное изображение Dec, которое является результатом, полученным при декодировании, сохраняют в запоминающем устройстве 111 для декодированных изображений для его использования для оценки параметров коррекции в других блоках [этап A13 декодирования изображения].
Таким образом, даже в тех случаях, когда, в соответствии с объектом, возникают локализованные несовпадения по освещению и цвету между камерами, устройство 100 кодирования многоракурсных видеоизображений, которое создано так, как показано на чертеже Фиг. 1, определяет параметры коррекции таким образом, чтобы противодействовать этим несовпадениям локализованным образом в соответствии с объектом, что позволяет кодировать многоракурсные видеоизображения с высоким уровнем производительности. Кроме того, во избежание какого-либо увеличения объема кода это устройство 100 кодирования многоракурсных видеоизображений определяет эти параметры коррекции таким образом, что отсутствует необходимость кодирования/декодирования полученных параметров коррекции, при этом многоракурсные видеоизображения кодируют с локальным освещением и с локальной цветокоррекцией.
В данном варианте осуществления изобретения был описан случай, в котором сигнал изображения из блока blk кодируют с использованием изображений с синтезированием ракурса, что является существенно важным, однако предсказание с использованием изображений с синтезированием ракурса, описанных в данном варианте осуществления изобретения, также может использоваться в качестве лишь одного режима предсказания из множества режимов предсказания.
[2] Устройство декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения
Структура устройства 200 декодирования многоракурсных видеоизображений согласно второму варианту осуществления настоящего изобретения показана на чертеже Фиг. 5.
Как показано на чертеже Фиг. 5, в устройстве 200 декодирования многоракурсных видеоизображений из данного варианта осуществления изобретения блок 201 ввода закодированных данных принимает закодированные данные изображения (то есть, кадров) объекта или сцены, сфотографированных первой камерой, в качестве целевого объекта декодирования. Запоминающее устройство 202 для закодированных данных обеспечивает хранение закодированных данных, введенных из блока 201 ввода закодированных данных. Сохраненные закодированные данные подают в блок 209 декодирования изображений.
Блок 203 ввода изображений с синтезированием ракурса принимает введенные изображения с синтезированием ракурса для целевых изображений декодирования. Изображения с синтезированием ракурса были сгенерированы с использованием уже декодированных изображений, на которых один и тот же объект или одна и та же сцена были сфотографированы вторыми камерами, расположенными в иных местах, чем первая камера. Запоминающее устройство 204 для изображений с синтезированием ракурса обеспечивает хранение изображений с синтезированием ракурса, введенных из блока 203 ввода изображений с синтезированием ракурса. Сохраненные изображения с синтезированием ракурса подают в блок 207 создания параметров коррекции и в блок 208 коррекции изображений с синтезированием ракурса.
Блок 205 ввода информации о глубине принимает введенную информацию о глубине для целевых кадров декодирования. Запоминающее устройство 206 для хранения информации о глубине обеспечивает хранение информации о глубине, введенной из блока 205 ввода информации о глубине. Сохраненную информацию о глубине подают в блок 207 создания параметров коррекции.
Блок 207 создания параметров коррекции производит оценку параметров коррекции с использованием изображений с синтезированием ракурса, информации о глубине и декодированных изображений, используемых в периферийных участках целевой области декодирования, и с использованием информации о глубине, используемой в целевой области декодирования. Блок 208 коррекции изображений с синтезированием ракурса выполняет коррекцию изображений с синтезированием ракурса целевой области декодирования с использованием оцененных параметров коррекции.
Блок 209 декодирования изображений декодирует сигналы изображения целевой области декодирования с использованием скорректированных изображений с синтезированием ракурса в качестве сигналов предсказания. (10) Запоминающее устройство 210 для декодированных изображений обеспечивает хранение изображений, декодированных блоком 209 декодирования изображений.
Как показано на чертеже Фиг. 8, блок 207 создания параметров коррекции имеет блок 207a определения объекта, в который подают информацию о глубине из запоминающего устройства 206 для хранения информации о глубине, блок 207b задания репрезентативной глубины и блок 207c задания группы элементов изображения, взятых в качестве образцов, которые соединены в этой последовательности с расположенной далее по ходу стороной блока 207a определения объекта. Блок 207d выбора модели коррекции и блок 207e оценки параметров коррекции соединены в этой последовательности с расположенной далее по ходу стороной блока 207c задания группы элементов изображения, взятых в качестве образцов. Декодированные изображения из запоминающего устройства 210 для декодированных изображений и изображения с синтезированием ракурса из запоминающего устройства 204 для изображений с синтезированием ракурса подают в блок 207e оценки параметров коррекции, и производят оценку параметров коррекции с использованием поданных декодированных изображений и изображения с синтезированием ракурса подают в блок 208 коррекции изображений с синтезированием ракурса.
На чертеже Фиг. 6 показана схема последовательности этапов обработки, выполняемых устройством 200 декодирования многоракурсных видеоизображений из второго варианта осуществления изобретения, которое имеет описанную выше структуру.
Теперь будет приведено подробное описание обработки, выполняемой устройством 200 декодирования многоракурсных видеоизображений из данного варианта осуществления изобретения в соответствии с этой последовательностью этапов обработки.
Сначала закодированные данные для целевого кадра декодирования вводят посредством блока 201 ввода данных для декодирования и сохраняют в запоминающем устройстве 202 для закодированных данных. Изображение с синтезированием ракурса Synth для целевого кадра декодирования вводят посредством блока 203 ввода изображений с синтезированием ракурса и сохраняют в запоминающем устройстве 204 для изображений с синтезированием ракурса. Информацию Depth о глубине для целевого кадра декодирования вводят посредством блока 205 ввода информации о глубине и сохраняют в запоминающем устройстве 206 для хранения информации о глубине [этап B1].
Вводимое изображение с синтезированием ракурса и вводимая информация о глубине являются теми же самыми, что и те, которые получены в устройстве кодирования. Причина этого состоит в том, что, что за счет использования той же самой информации, что и информация, полученная в устройстве кодирования, может быть подавлена генерации шумов кодирования, таких как, например, дрейф. Однако если генерация таких шумов кодирования является допустимой, то на вход также может быть подана иная информация, чем та, которая получена посредством устройства кодирования.
Следует отметить, что информация о глубине предоставлена извне устройства 200 декодирования многоракурсных видеоизображений, однако, как описано в непатентном документе 3, информация о глубине также может быть получена путем ее оценки из уже декодированных кадров с других камер. Соответственно, отсутствует необходимость передачи информации о глубине со стороны, производящей передачу, стороне, производящей прием. Изображение с синтезированием ракурса генерируют с использованием уже декодированных кадров с иных камер, чем первая камера, и информации о глубине.
Затем целевой кадр декодирования разделяют на множество целевых областей декодирования, и блок 209 декодирования изображений декодирует сигнал изображения для целевого кадра декодирования с коррекцией изображения с синтезированием ракурса для каждой из этих областей [этапы B2-B14].
То есть, если индекс блока, обрабатываемого при декодировании, выражен как blk, и если общее количество всех блоков, обрабатываемых при декодировании, выражено как numBlks, то после того как было установлено исходное значение blk, равное 0 [этап B2], последующие этапы [B3-B12] повторяют с добавлением 1 к blk [этап B13] до тех пор, пока значение blk не достигнет numBlks [этап B14].
При обработке, которую повторяют для каждого блока, обрабатываемого при декодировании, устройство 200 декодирования сначала определяет группу N blk элементов изображения из уже декодированных областей, которые являются периферийными для блока blk (то есть, целевую область декодирования) [этап B3].
Для этих периферийных областей могут использоваться единичные блоки различных типов, например, блоки, обрабатываемые при декодировании, которые являются смежными с блоком blk, или смежные элементы изображения и т.п. Несмотря на то что для периферийных областей может использоваться множество определений, необходимо использовать то же самое определение, что и определение, используемое на стороне, выполняющей кодирование.
Затем блок 207a определения объекта из блока 207 создания параметров коррекции группирует элементы изображения из блока blk с использованием информации о глубине, предоставленной для каждого элемента изображения, в качестве опорной информации [этап B4 определения объекта].
Индекс каждой полученной в результате этого группы выражен как obj, количество групп выражено как numObjs, а элементы изображения, принадлежащие к группе obj, выражены как C obj. Выполняемая здесь обработка является той же самой, что и обработка, выполняемая на этапе A4 определения объекта из первого варианта осуществления изобретения.
После того как этап группирования завершен, создают предсказанное изображение Pred путем коррекции изображения с синтезированием ракурса для каждого элемента изображения из каждой группы [этапы B5-B11].
То есть, после того как было установлено исходное значение индекса obj группы, равное 0 [этап B5], выполняют этапы [B6-B8], при которых в блоке 207 создания параметров коррекции производят оценку параметров коррекции с приращением obj на 1 [этап B10] для коррекции изображения с синтезированием ракурса до тех пор, пока значение obj не достигнет numObjs [этап B11]. Наряду с этими этапами в блоке 208 коррекции изображений с синтезированием ракурса выполняют этап [B9] для создания предсказанного изображения путем коррекции изображений с синтезированием ракурса для элементов изображения, содержащихся в группе obj, с использованием оцененных параметров предсказания.
Обработка на этом этапе B9 является той же самой, что и обработка, выполняемая на этапе A9 из первого варианта осуществления изобретения, и, как показано в последовательности этапов обработки на чертеже Фиг. 7, ее выполняют для каждого элемента изображения. Здесь, в последовательности этапов обработки, показанной на чертеже Фиг. 7, pix обозначает информацию, идентифицирующую элемент изображения, а numPix blk,obj обозначает количество элементов изображения в группе obj из блока blk. Этапы [B6-B8] оценки параметров коррекции, выполняемые блоком 207b задания репрезентативной глубины, блоком 207c задания группы элементов изображения, взятых в качестве образцов, блоком 207d выбора модели коррекции и блоком 207e оценки параметров коррекции, являются теми же самыми, что и этапы A6-A8 из первого варианта осуществления изобретения.
После того как создание предсказанного изображения для блока blk завершено, в блоке 209 декодирования изображений выполняют декодирование целевого изображения Dec декодирования из блока blk [этап B12], причем в качестве сигнала предсказания используют предсказанное изображение Pred, созданное на этапе B9.
Необходимо, чтобы выполняемая здесь обработка для декодирования соответствовала способу, используемому при создании закодированных данных. Например, если кодирование было выполнено с использованием стандарта H.264, то обработку для декодирования выполняют путем добавления сигнала предсказания в сигнал невязки, который декодируют путем применения статистического декодирования, мультиплексирования значений, обратной дискретизации и обратного дискретного косинусного преобразования (DCT).
Декодированное изображение, являющееся результатом декодирования, образует выходной сигнал устройства 200 декодирования многоракурсных видеоизображений, и его сохраняют в запоминающем устройстве 210 для декодированных изображений для его использования для оценки параметров коррекции в других блоках.
Таким образом, устройство декодирования 200 многоракурсных видеоизображений, имеющее описанную выше структуру, которое показано на чертеже Фиг. 5, декодирует закодированные данные для декодирования многоракурсных видеоизображений, созданных устройством 100 кодирования многоракурсных видеоизображений, которое показано на чертеже Фиг. 1.
В данном варианте осуществления изобретения был описан случай, в котором блок blk закодирован с использованием изображений с синтезированием ракурса, что является существенно важным. Даже в тех случаях, когда закодированные данные декодируют с использованием в качестве одного из множества существующих режимов предсказания того режима предсказания, в котором используют изображения с синтезированием ракурса, при использовании этого режима предсказания изображения декодируют исключительно в соответствии с описанной выше последовательностью этапов обработки, тогда как при использовании других режимов предсказания декодирование изображений может быть выполнено с использованием обычного способа декодирования, который соответствует этому режиму предсказания (то есть, одному из этих других режимов предсказания).
В описанных выше первом и втором вариантах осуществления изобретения коррекции выполняют во всех блоках, однако, также можно использовать структуру, в которой выбор того, можно ли выполнять коррекцию или нет, осуществляют путем кодирования одного бита информации в виде флага в каждом блоке.
Кроме того, также существует способ, в котором вместо кодирования бита информации в виде флага измеряют надежность параметров коррекции, а затем на основании степени надежности производят выбор того, следует ли выполнять коррекцию или нет.
В частности, после того как на этапе A8 и на этапе B8 были определены параметры коррекции, может быть вычислено значение, которое выражает реализуемость и эффективность коррекции, например, с использованием приведенных ниже формул с формулы (8) по формулу (10). Блок 108 и 208 коррекции изображений с синтезированием ракурса выполняет коррекцию изображения с синтезированием ракурса на этапе A9 и на этапе B9 и выводит его в качестве предсказанных изображений только в том случае, когда вычисленное значение превышает заданное пороговое значение, тогда как во всех других случаях в качестве предсказанного изображения выводят изображение с синтезированием ракурса без коррекций.
Первый член в формуле (8) указывает сумму абсолютных разностей между декодированным изображением Dec и изображением с синтезированием ракурса Synth, в то время как второй член указывает сумму абсолютных разностей между декодированным изображением Dec и предсказанным изображением Pred. То есть, формула (8) показывает, насколько уменьшилась сумма абсолютных разностей между истинным значением и предсказанным значением в результате коррекции. Кроме того, первый член в формуле (9) указывает квадрат суммы разностей между декодированным изображением Dec и изображением с синтезированием ракурса Synth, в то время как второй член указывает квадрат суммы разностей между декодированным изображением Dec и предсказанным изображением Pred. То есть, формула (9) показывает, насколько уменьшилась сумма квадратов разностей между истинным значением и предсказанным значением в результате коррекции. Формула (10) показывает реализуемость модели коррекции по выборкам. Поскольку здесь все эти значения определены с использованием значений не из блока, являющегося целевым объектом обработки, а из областей, являющихся периферийными для него, то необходимо выполнять кодирование только лишь тех пороговых значений, которые используются универсально, а затем предоставлять их стороне, выполняющей декодирование.
Следует отметить, что в данном варианте осуществления изобретения была описана обработка, выполняемая для кодирования или декодирования одного кадра с одной камеры, однако, путем повторения этой обработки для каждого кадра может быть выполнено кодирование или декодирование многоракурсных видеоизображений. Кроме того, путем повторения этой обработки для каждой камеры может быть выполнено кодирование или декодирование многоракурсных видеоизображений с множества камер.
Описанная выше обработка также может быть выполнена посредством компьютера и программно реализованной программы, и такая программа может быть представлена записанной на считываемом посредством компьютера носителе записи или может быть представлена через сеть.
Кроме того, в описанных выше вариантах осуществления изобретения описание сконцентрировано на устройстве кодирования многоракурсных видеоизображений и на устройстве декодирования многоракурсных видеоизображений, однако способ кодирования многоракурсных видеоизображений из настоящего изобретения может быть реализован посредством этапов, которые соответствуют этапам, выполняемым каждым узлом этого устройства кодирования многоракурсных видеоизображений. Таким же самым образом способ декодирования многоракурсных видеоизображений из настоящего изобретения может быть реализован посредством этапов, которые соответствуют этапам, выполняемым каждым узлом этого устройства декодирования многоракурсных видеоизображений.
Несмотря на то что выше были описаны и проиллюстрированы предпочтительные варианты осуществления настоящего изобретения следует понимать, что они приведены в качестве примеров настоящего изобретения, и что их не следует истолковывать как ограничивающие признаки. Могут быть произведены добавления, пропуски, замены признаков и другие видоизменения, не выходя за пределы сущности или объема настоящего изобретения. Соответственно, настоящее изобретение не следует рассматривать как ограниченное приведенным выше описанием, и оно ограничено только лишь объемом прилагаемой формулы изобретения.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Настоящее изобретение может быть применено для технологий кодирования многоракурсных изображений. За счет применения настоящего изобретения можно достичь очень эффективного кодирования и декодирования многоракурсных изображений и многоракурсных видеоизображений, в которых имеются локальные и зависящие от объекта несовпадения по освещению и цвету между камерами, и оно способно значительно уменьшить объем кода, необходимый в тех случаях, когда используется это новое изобретение.
Позиционные обозначения
100 - устройство кодирования многоракурсных видеоизображений
101 - блок ввода целевых изображений кодирования
102 - запоминающее устройство для целевых изображений кодирования
103 - блок ввода изображений с синтезированием ракурса
104 - запоминающее устройство для изображений с синтезированием ракурса
105 - блок ввода информации о глубине
106 - запоминающее устройство для хранения информации о глубине
107 - блок создания параметров коррекции
108 - блок коррекции изображений с синтезированием ракурса
109 - блок кодирования изображений
110 - блок декодирования изображений
111 - запоминающее устройство для декодированных изображений
200 - устройство декодирования многоракурсных видеоизображений
201 - блок ввода закодированных данных
202 - запоминающее устройство для закодированных данных
203 - блок ввода изображений с синтезированием ракурса
204 - запоминающее устройство для изображений с синтезированием ракурса
205 - блок ввода информации о глубине
206 - запоминающее устройство для хранения информации о глубине
207 - блок создания параметров коррекции
208 - блок коррекции изображений с синтезированием ракурса
209 - блок декодирования изображений
210 - запоминающее устройство для декодированных изображений.
Изобретение относится к кодированию/декодированию многоракурсных изображений. Техническим результатом является эффективное кодирование для многоракурсных изображений, при котором происходит генерация локализованного несовпадения освещения и цвета между камерами и также обеспечивается сокращение объема кода. Предложено сначала получать информацию о глубине для объекта, сфотографированного в области, подвергаемой обработке, далее определяют группу элементов изображения в уже закодированной области и задают ее как группу элементов изображения, взятых в качестве образцов. Затем генерируют изображение с синтезированием ракурса для элементов изображения, включенных в состав группы элементов изображения, взятых в качестве образцов, и эту область подвергают обработке и производят оценку параметров коррекции для коррекции несовпадений по освещению и цвету в группе элементов изображения, взятых в качестве образцов из изображения с синтезированием ракурса и из декодированного изображения. Затем генерируют предсказанное изображение путем коррекции изображения с синтезированием ракурса для области, подвергаемой обработке, с использованием оцененных параметров коррекции. 6 н. и 4 з.п. ф-лы, 9 ил.
1. Способ кодирования многоракурсных изображений, в котором входное изображение объекта, который сфотографирован первой камерой, разделяют на множество целевых областей кодирования и выполняют кодирование с предсказанием для каждой из целевых областей кодирования, с использованием изображения с синтезированием ракурса, которое синтезировано из информации о глубине для входного изображения и из уже закодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, содержащий следующие этапы:
этап задания репрезентативной глубины, при котором задают информацию о репрезентативной глубине для объекта, сфотографированного в целевой области кодирования;
этап задания группы элементов изображения, взятых в качестве образцов, на котором на основании информации о глубине для уже закодированной области, смежной с целевой областью кодирования, и информации о репрезентативной глубине определяют группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области кодирования, и задают ее в качестве группы элементов изображения, взятых в качестве образцов;
этап оценки параметров коррекции, на котором на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивают параметры коррекции для коррекции несовпадений по освещению и цвету;
этап коррекции изображения с синтезированием ракурса, на котором, используя параметры коррекции, выполняют коррекцию изображения с синтезированием ракурса для целевой области кодирования, создавая таким образом скорректированное изображение с синтезированием ракурса;
этап кодирования изображения, на котором, используя скорректированное изображение с синтезированием ракурса, выполняют кодирование сигнала изображения для целевого изображения кодирования, создавая таким образом закодированные данные; и
этап декодирования изображения, на котором выполняют декодирование закодированных данных, создавая таким образом декодированное изображение для целевой области кодирования.
2. Способ кодирования многоракурсных изображений по п. 1, в котором
предусмотрено наличие этапа определения объекта, на котором элементы изображения в целевой области кодирования разделяют на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации, и
на этапе задания репрезентативной глубины информацию о репрезентативной глубине задают для каждой группы, определенной на этапе определения объекта,
на этапе задания группы элементов изображения, взятых в качестве образцов, группу элементов изображения, взятых в
качестве образцов, задают для каждой группы, определенной на этапе определения объекта,
на этапе оценки параметров коррекции параметры коррекции оценивают для каждой группы, определенной на этапе определения объекта, и
на этапе коррекции изображения с синтезированием ракурса коррекцию изображения с синтезированием ракурса выполняют для каждой группы, определенной на этапе определения объекта.
3. Способ кодирования многоракурсных изображений по п. 1 или 2, в котором
предусмотрено наличие этапа выбора модели коррекции, на котором выбирают модель коррекции для коррекции изображения с синтезированием ракурса для целевой области кодирования в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов, и
на этапе оценки параметров коррекции параметры коррекции оценивают для модели коррекции, выбранной на этапе выбора модели коррекции, и
на этапе коррекции изображения с синтезированием ракурса коррекцию изображения с синтезированием ракурса выполняют с использованием модели коррекции, выбранной на этапе выбора модели коррекции.
4. Способ декодирования многоракурсных изображений, в котором целевое изображение декодирования объекта, который сфотографирован первой камерой, разделяют на множество целевых областей декодирования и выполняют декодирование с предсказанием для каждой из целевых областей декодирования с использованием изображения с синтезированием ракурса, которое синтезировано из информации о глубине для целевого изображения декодирования, и из уже декодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, содержащий следующие этапы:
этап задания репрезентативной глубины, на котором задают информацию о репрезентативной глубине для объекта, сфотографированного в целевой области декодирования;
этап задания группы элементов изображения, взятых в качестве образцов, на котором на основании информации о глубине для уже декодированной области, смежной с целевой областью декодирования, и информации о репрезентативной глубине определяют группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области декодирования, и задают ее в качестве группы элементов изображения, взятых в качестве образцов;
этап оценки параметров коррекции, на котором на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивают параметры коррекции для коррекции несовпадений по освещению и цвету;
этап коррекции изображения с синтезированием ракурса, на котором, используя параметры коррекции, выполняют коррекцию изображения с синтезированием ракурса для целевой области декодирования, создавая таким образом скорректированное изображение с синтезированием ракурса; и
этап декодирования изображения, на котором, используя скорректированное изображение с синтезированием ракурса, выполняют декодирование сигнала изображения для целевого изображения декодирования.
5. Способ декодирования многоракурсных изображений по п. 4, в котором
предусмотрено наличие этапа определения объекта, на котором элементы изображения в целевой области декодирования разделяют на одну или на несколько групп с использованием информации о глубине для соответствующих элементов изображения в качестве опорной информации, и
на этапе задания репрезентативной глубины информацию о репрезентативной глубине задают для каждой группы, определенной на этапе определения объекта,
на этапе задания группы элементов изображения, взятых в качестве образцов, группу элементов изображения, взятых в качестве образцов, задают для каждой группы, определенной на этапе определения объекта,
на этапе оценки параметров коррекции параметры коррекции оценивают для каждой группы, определенной на этапе определения объекта, и
на этапе коррекции изображения с синтезированием ракурса коррекцию изображения с синтезированием ракурса выполняют для каждой группы, определенной на этапе определения объекта.
6. Способ декодирования многоракурсных изображений по п. или 5, в котором предусмотрено наличие этапа выбора модели коррекции, на котором выбирают модель коррекции для коррекции изображения с синтезированием ракурса для целевой области декодирования в соответствии с количеством элементов изображения в группе элементов изображения, взятых в качестве образцов, и
на этапе оценки параметров коррекции параметры коррекции оценивают для модели коррекции, выбранной на этапе выбора модели коррекции, и
на этапе коррекции изображения с синтезированием ракурса коррекцию изображения с синтезированием ракурса выполняют с использованием модели коррекции, выбранной на этапе выбора модели коррекции.
7. Устройство кодирования многоракурсных изображений, которое выполняет кодирование многоракурсных изображений путем разделения входного изображения объекта, который сфотографирован первой камерой, на множество целевых областей кодирования, и путем выполнения кодирования с предсказанием для каждой из целевых областей кодирования с использованием изображения с синтезированием ракурса, которое синтезировано из информации о глубине для входного изображения и из уже закодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, содержащее:
блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области кодирования;
блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже закодированной области, смежной с целевой областью кодирования, и информации о репрезентативной глубине определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области кодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов;
блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое уже было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету;
блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области кодирования, создавая таким образом скорректированное изображение с синтезированием ракурса;
блок кодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, кодирует сигнал изображения для целевого изображения кодирования, создавая таким образом закодированные данные; и
блок декодирования изображений, который декодирует закодированные данные, создавая таким образом декодированное изображение для целевой области кодирования.
8. Устройство декодирования многоракурсных изображений, которое выполняет декодирование закодированных данных для многоракурсных изображений путем разделения целевого изображения декодирования объекта, который сфотографирован первой камерой, на множество целевых областей декодирования, и путем выполнения декодирования с предсказанием для каждой из целевых областей декодирования с использованием изображения с синтезированием ракурса, которое синтезировано из информации о глубине для целевого изображения декодирования, и из уже декодированного изображения того же самого объекта, сфотографированного второй камерой, которая расположена в ином месте, чем первая камера, содержащее:
блок задания репрезентативной глубины, который задает информацию о репрезентативной глубине для объекта, сфотографированного в целевой области декодирования;
блок задания группы элементов изображения, взятых в качестве образцов, который на основании информации о глубине для уже декодированной области, смежной с целевой областью декодирования, и информации о репрезентативной глубине определяет группу элементов изображения, где был сфотографирован тот же самый объект, что и в целевой области декодирования, и задает эту группу элементов изображения в качестве группы элементов изображения, взятых в качестве образцов;
блок оценки параметров коррекции, который на основании изображения с синтезированием ракурса для группы элементов изображения, взятых в качестве образцов, и декодированного изображения, которое было декодировано для группы элементов изображения, взятых в качестве образцов, оценивает параметры коррекции для коррекции несовпадений по освещению и цвету;
блок коррекции изображений с синтезированием ракурса, который, используя параметры коррекции, выполняет коррекцию изображения с синтезированием ракурса для целевой области декодирования, создавая таким образом скорректированное изображение с синтезированием ракурса; и
блок декодирования изображений, который, используя скорректированное изображение с синтезированием ракурса, декодирует сигнал изображения для целевого изображения декодирования.
9. Компьютерно-читаемый носитель, содержащий программу кодирования многоракурсных изображений, которая при выполнении на компьютере осуществляет способ по любому из пунктов 1-3.
10. Компьютерно-читаемый носитель, содержащий программу декодирования многоракурсных изображений, которая при выполнении на компьютере осуществляет способ по любому из пунктов 4-6.
| INCE S | |||
| et al, DEPTH ESTIMATION FOR VIEWSYNTHESIS IN MULTIVIEWVIDEO CODING, 3DTV Conference 2007, TR2007-025, Mitsubishi Electric Research Laboratories, June 2007, c.c.1-4 | |||
| MERKLE P | |||
| еt al, The effects of multiview depth video compression on multiview rendering, Signal Processing: Image Communication, Elsevier B.V, January 2009, c.c.73 - 88 | |||
| WO |
