СПОСОБ И УСТРОЙСТВО ДЛЯ ВЫЧИСЛЕНИЯ И ФИЛЬТРАЦИИ КАРТЫ ДИСПАРАНТНОСТИ НА ОСНОВЕ СТЕРЕО ИЗОБРАЖЕНИЙ Российский патент 2011 года по МПК G06T7/00 G06T9/40 H04N15/00 

Заявляемое изобретение относится к устройствам и способам обработки стерео изображений и видео и, в частности, к методам вычисления и улучшения карты диспарантности на основе стерео изображений.

Вычисление карты диспарантности или стерео совмещение - задача обнаружения однозначного соответствия пикселей между стерео видами. Входными данными являются два или более изображений от нескольких камер, выходными - карта диспарантности, которая задает соответствие каждого пикселя одного изображения с соответствующим пикселем другого изображения. Для близких по расстоянию объектов величина получаемой диспарантности будет большой, в то время как для удаленных объектов величина полученной диспарантности стремится к нулю. Таким образом, карта диспарантности может рассматриваться как величина, обратно пропорциональная глубине сцены.

Алгоритмы совмещения стерео пары могут быть классифицированы как локальные (работающие в локальном окне) и глобальные алгоритмы [5]. Локальные алгоритмы вычисляют карту диспарантности в некотором локальном окне. При этом результат вычисления зависит только от яркости пикселя в окне. Результаты выполнения таких алгоритмов являются обычно не очень точными, но приемлемыми для применения в режиме реального времени. С другой стороны, глобальные алгоритмы решают оптимизационную задачу для всего изображения. Это обычно требует использования сложных вычислительных методов, таких как динамическое программирование или алгоритмы сечения графа.

Однако большинство известных алгоритмов совмещения стерео пары дают противоречивые результаты, особенно для областей с преграждающим объектом и областей со слабо выраженной текстурой. Таким образом, существует потребность в создании способа вычисления карты диспарантности в режиме реального времени, который обеспечивал бы получение высококачественной карты диспарантности, пригодной для формирования виртуальных видов.

Обычно виртуальный вид вычисляют путем деформации исходного изображения с помощью полученной плотной карты диспарантности/глубины. Такая методика требует наличия достоверной карты глубины, в которой области с преградами (окклюзиями) должны быть интерполированы достоверными значениями карты глубины. В противном случае будут появляться многочисленные артефакты в формируемом виде, особенно на границах объектов, где глубина проявляет ступенчатость.

Синтез виртуальных видов является краеугольным камнем технологии трехмерного телевидения. Современные автостереоскопические трехмерные дисплеи способны воспроизвести несколько видов, позволяя, таким образом, наблюдать эффект объемного изображения под различными углами зрения.

Метод вычисления карты диспарантности, описанный в американской патентной заявке №2006/0120594 [1], состоит из двух основных частей: нахождение локального соответствия и глобальная оптимизация. Метод локального соответствия выявляет пиксели с высокой достоверностью соответствия. В рамках этого шага признают недействительными пиксели, идентифицированные как ненадежные (недостоверные). После этого применяется глобальная оптимизация, обеспечивающая оценку окончательного значения карты глубины. Глобальная оптимизация осуществляется в виде динамического программирования по двум направлениям: первый проход - по горизонтали, и второй проход - по вертикали. Недостаток метода состоит в очень высоких требованиях к вычислительным ресурсам. Приходится вычислять столько уровней карты диспарантности, сколько их имеется у ближайшего объекта в данной сцене. При высоком разрешении и широкоугольной камере число карт диспарантности, подлежащих вычислению, может лежать в диапазоне от 100 до 300. Кроме того во время локального совмещения применяют несколько направленных фильтров, чтобы определить веса совмещения стерео пары, что ведет к дополнительным накладным вычислительным затратам. И, наконец, глобальная оптимизация в вычислительном отношении также является весьма интенсивным процессом, даже если она выполняется в разделяемом виде, т.е. последовательно для строк изображения, а затем для столбцов.

Другой подход к последовательному совмещению стерео пары изложен в патенте США №7106899 [2]. Изобретение использует последовательную итерационную технологию, которая включает принцип гладкости градиента диспарантности и стратегию наименьших обязательств. Идея состоит в формировании достоверной карты диспарантности из соответствий однозначных пикселей посредством многочисленных итераций. Этот способ последовательно уменьшает число пикселей, подлежащих анализу на каждой итерации. Соответствия однозначных пикселей находят, используя новую технологию корреляции и на основании корреляционного балла, ассоциируемого с соответствием пикселя. Недостаток этого метода заключается в том, что он требует высоких вычислительных ресурсов.

Наиболее близким к заявляемому изобретению является техническое решение, описанное в международной заявке WO 2008/041167 [3], где предложен способ вычисления карты диспарантности путем фильтрации приблизительных оценок значений карты диспарантности, используя информацию из стерео изображений. Такой подход является также итерационным. Основная идея состоит в том, чтобы перейти к достоверной карте глубины от шумового изображения (изображения, в котором яркость каждого пикселя задается случайным образом) или от некоторой приблизительно вычисленной карты глубины. На каждой итерации результат текущего вычисления карты диспарантности уточняют с помощью фильтрации в соответствии с опорными стерео изображениями. Эта патентная заявка выбрана в качестве прототипа заявляемого изобретения.

Недостаток прототипа состоит в следующем. Способ-прототип использует попиксельное сравнение, вычисляя при этом вес фильтра уточнения карты диспарантности. Эта операция приводит к появлению искажений карты диспарантности в однородных областях и областях с периодически повторяющейся текстурой, где трудно определить корректное соответствие. Другой недостаток состоит в том, что этот алгоритм требует высокой интенсивности вычислений из-за выполнения многочисленных итераций. Требуется некоторая адаптация этого способа, чтобы ускорить сходимость алгоритма. С этой целью необходимо разработать критерий сходимости, который обеспечивал бы формирование гладкой и согласованной карты диспарантности.

Задача, на решение которой направлено заявляемое изобретение, состоит в создании устройства и способа вычисления и фильтрации карты диспарантности на основе стерео изображений, обеспечивающих высокое качество вычисленной карты диспарантности без появления искажений (артефактов). При этом качество получаемой карты диспарантности должно быть пригодным для формирования виртуальных видов.

Поставленная задача решена путем разработки способа и устройства для вычисления и фильтрации карты диспарантности на основе стерео изображений, при этом способ включает в себя выполнение следующих операций:

- исходную стерео пару изображений или видео кадров преобразуют из цветового пространства RGB в цветовое пространство LAB;

- выполняют вычисление исходной карты диспарантности;

- вычисляют карту диспарантности путем последовательных итераций фильтрации карты диспарантности;

- рассчитывают степень фильтрации диспарантности согласно итерации;

- рассчитывают размер ядра фильтра диспарантности согласно итерации;

- вычисляют градиент диспарантности;

- выполняют фильтрацию диспарантности в соответствии со степенью фильтрации диспарантности, рассчитанным размером ядра фильтра и вычисленным градиентом диспарантности;

- проверяют критерии сходимости, при этом, если они выполнены, фильтрацию прекращают;

- выполняют уточнение (улучшение) карты диспарантности.

Для реализации заявляемого способа разработано устройство вычисления и фильтрации карты диспарантности на основе стерео изображений, включающее в себя блок предварительной обработки, блок управления вычислением карты диспарантности, блок фильтрации диспарантности и блок постобработки, при этом основные отличия от прототипа заключаются в том, что выход блока предварительной обработки соединен с входом блока управления вычислением карты диспарантности, выход которого соединен с входом блока фильтрации диспарантности, выход которого соединен с входом блока постобработки.

Заявляемый способ основан на идее перехода от приблизительной оценки карты диспарантности к достоверной карте глубины. Эта идея характеризуется, по меньшей мере, пятью основными отличиями от прототипа.

Первое отличие от известных решений состоит в распространении принципа билатерального фильтра диспарантности [3] на фильтр диспарантности, основанный на нелокальном усреднении (NLM). Билатеральный фильтр диспарантности можно рассматривать как частный случай фильтра диспарантности, основанного на нелокальном усреднении, когда окрестности пикселей представлены одним центральным пикселем. Вместо попиксельного сравнения в процессе вычисления веса фильтра как в [3] используют сравнение областей опорных пикселей. Это препятствует появлению искажений в однородных областях и в областях с периодически повторяющейся текстурой.

Второе отличие состоит в разработке критерия сходимости алгоритма, используя принцип гладкости градиента диспарантности [4]. На каждой итерации для каждого пикселя вычисляют и оценивают градиент диспарантности. Если гладкость градиента нарушена с точки зрения гладкости поверхности, то вес пикселя не принимают во внимание. Выполнение алгоритма останавливают, когда принцип гладкости градиента диспарантности выполняется для всех пикселей изображения.

Третье отличие - адаптация степени фильтрации в соответствии с итерацией. Алгоритм начинается с применения самой слабой фильтрации, поскольку исходная карта диспарантности имеет низкую достоверность. Затем степень фильтрации увеличивают от итерации к итерации, разрешая все более сходным пикселям участвовать в процессе фильтрации.

Четвертое отличие - вычисление радиуса фильтра в соответствии с итерацией. Поскольку схождение начинают с карты глубины низкой достоверности, то нет необходимости вовлекать большое число пикселей в процесс фильтрации. Алгоритм начинается с применения фильтра малого радиуса, а на последующих итерациях радиус фильтра увеличивается.

Пятое отличие состоит в повышении производительности фильтра путем его реализации в разделяемом виде, а именно, когда изображение сначала обрабатывают проходом по строчкам, а затем - проходом по столбцам.

Способ, описанный в заявляемом изобретении, позволяет получать высококачественную карту диспарантности, пригодную для синтеза виртуальных видов с однородными границами объекта. Фиг.5 показывает результат вычисления карты диспарантности с использованием предложенного фильтра согласно изобретению. Левое изображение стерео пары, для которой выполняется вычисление карты диспарантности, представлено на Фиг.5.1. На Фиг.5.2 представлен результат вычисления карты диспарантности с применением известного фильтра-аналога [3], а на Фиг.5.3 представлен результат вычисления карты диспарантности с помощью предложенного фильтра согласно изобретению. Из Фиг.5.2 и 5.3 ясно видно, что заявляемый способ дает более достоверные результаты, особенно для гладких областей и областей с периодически повторяющимися текстурами. При этом остальные рабочие характеристики способа сохраняются на том же уровне, что и у фильтра-аналога [3].

Фиг.1. Блок-схема устройства для вычисления и фильтрации карты диспарантности на основе стерео изображений согласно изобретению.

Фиг.2. Блок-схема поэтапного выполнения способа вычисления и фильтрации карты диспарантности на основе стерео пары согласно изобретению.

Фиг.3. Новые концепции фильтрации, основанные на сравнении областей пикселей: 3.1 - концепция, основанная на использовании сравнения области одного пикселя; 3.2 - концепция, основанная на использовании сравнения области двух пикселей. На фиг.3 текущий пиксель обозначен в виде квадратика, а совмещаемый пиксель - в виде косого крестика.

Фиг.4. (вид 4.1) - вычисление карты диспарантности после первой итерации алгоритма (с левой стороны) с изображением градиента диспарантности (с правой стороны) с областями, демонстрирующими нарушение принципа гладкости градиента диспарантности (отмечено белым цветом); (вид 4.2) - вычисление карты диспарантности после второй итерации алгоритма (с левой стороны) с изображением градиента диспарантности (с правой стороны) с областями, демонстрирующими нарушение принципа гладкости градиента диспарантности (отмечено белым цветом).

Фиг.5. (вид 5.1) - левое изображение из стерео пары, для которой выполнялось вычисление карты диспарантности, (вид 5.2) - результат вычисления карты диспарантности с применением фильтра-аналога [3], (вид 5.3) - результат вычисления карты диспарантности с применением заявляемого фильтра согласно изобретению.

Далее по тексту предпочтительный вариант реализации заявляемого изобретения описывается в деталях с привлечением графических материалов. Однако объем охраны заявляемого изобретения не ограничен предпочтительным вариантом реализации изобретения, которое может быть реализовано в различных формах. Предпочтительный вариант реализации, раскрытый в описании, является только примером, приведенным, чтобы раскрыть существо и помочь специалистам в полной степени понять заявляемое изобретение.

Фиг.1 - блок-схема, поясняющая конструкцию устройства для вычисления и фильтрации карты диспарантности на основе стерео изображений согласно заявляемому изобретению. На Фиг.1 показано, что устройство для вычисления и фильтрации карты диспарантности на основе стерео изображений включает в себя следующие соединенные один с другим блоки, а именно блок 120 предварительной обработки, блок 130 управления вычислением карты диспарантности, блок 140 фильтрации карты диспарантности и блок 150 постобработки. В устройстве для вычисления и фильтрации карты диспарантности в качестве входных данных 110 используют стерео изображения. Входные данные 110 могут включать в себя стерео пары изображений, сформированных из стерео изображений или видео кадров от стерео камеры. В случае использования многокамерных установок стерео пара изображений формируется из изображений, захваченных с выбранных камер. После выполнения необходимых вычислений на выходе устройства для вычисления и фильтрации карты диспарантности получают согласованную карту диспарантности для выбранного вида.

Блок 120 предварительной обработки состоит из блока 121 цветового преобразования и блока 122 вычисления исходной карты диспарантности. Блок 121 цветового преобразования предназначен для преобразования из цветовой системы RGB в цветовую систему LAB. Проведенные эксперименты позволили прийти к заключению, что карта диспарантности, полученная с использованием цветового пространства LAB, является более непротиворечивой и гладкой. Для упрощения конструкции устройства этот блок может быть исключен из устройства, и фильтрация карты диспарантности может осуществляться в цветовом пространстве RGB. Блок 122 вычисления исходной карты диспарантности вычисляет исходную приблизительную карту диспарантности. Эта исходная карта диспарантности может быть получена с помощью известных из уровня техники алгоритмов совмещения стерео пары. Другой способ подготовки исходной карты диспарантности заключается в использовании шумового изображения.

Блок 130 управления вычислением карты диспарантности состоит из блока 131 адаптации силы фильтра (степени фильтрации), блока 132 вычисления размера ядра фильтра и блока 133 управления итерациями. Задача блока 130 управления вычислением карты диспарантности заключается в проведении вычисления карты диспарантности и адаптации параметров фильтра диспарантности. Алгоритм вычисления карты диспарантности реализуется через ряд последовательных итераций. На каждой итерации блок 131 адаптации силы фильтра вычисляет силу фильтра диспарантности, а блок 132 вычисления размера ядра рассчитывает радиус фильтра диспарантности. Алгоритм начинается с самой малой степени фильтрации и самого малого размера ядра, так как исходная карта диспарантности имеет низкую надежность (достоверность). Затем степень (сила) фильтрации и размер ядра увеличивают от итерации к итерации, разрешая все более сходным пикселям участвовать в процессе фильтрации. В предпочтительном варианте реализации заявляемого изобретения функция адаптации степени (силы) фильтрации и вычисления размера ядра имеет линейный характер. При этом допустимо применение и функции любого другого вида, например гауссиан, и это не выходит за объем притязаний заявляемого изобретения.

Во время каждой итерации блок 133 управления итерациями оценивает критерии сходимости для процесса фильтрации. В предпочтительной реализации заявляемого изобретения описаны три варианта критериев сходимости. Первый вариант критерия сходимости включает использование гладкости градиента диспарантности. Процесс фильтрации диспарантности прекращают, когда принцип гладкости градиента диспарантности выполняется для всех пикселей изображения. Отношение количества пикселей с гладким градиентом ко всем пикселям в изображении должно превышать порог T_dec1 сходимости вычисления карты диспарантности. Другой подход проверки сходимости заключается в вычислении остаточного изображения между смежными вычислениями карты диспарантности. Сумма остаточных пикселей не должна быть больше, чем порог T_dec2 сходимости вычисления карты диспарантности. Наконец, критерий сходимости может быть сформулирован как число итераций фильтрации диспарантности. Если число итераций превышает порог T_dec3 сходимости вычисления карты диспарантности, то процесс фильтрации прекращают.

Блок 140 фильтрации диспарантности фильтрует вычисленную на текущем шаге алгоритма карту диспарантности, вычисляя веса фильтров в соответствии с опорными стерео изображениями и рассчитанным градиентом диспарантности. Блок 140 фильтрации диспарантности состоит из блока 141 вычисления градиента диспарантности, блока 142 горизонтальной фильтрации диспарантности и блока 143 вертикальной фильтрации диспарантности. Блок 141 вычисления градиента диспарантности вычисляет и оценивает градиент диспарантности для каждого пикселя. Если анализируемая гладкость градиента диспарантности гладкой поверхности нарушена, вес пикселя отбрасывают (не принимают в расчет). Блок 142 горизонтальной фильтрации диспарантности обрабатывает вычисление текущей карты диспарантности построчно, а блок 143 вертикальной фильтрации диспарантности обрабатывает вычисление текущей карты диспарантности по столбцам.

Блок 150 постобработки предназначен для окончательного уточнения вычисленной карты диспарантности. В предпочтительном варианте реализации заявляемого изобретения блок 150 постобработки состоит из блока медианного фильтра. Медианная фильтрация известна из уровня техники, поэтому ее описание здесь не приводится. Другие типы фильтров улучшения изображения тоже могут найти применение в блоке 150, что не отражается на объеме охраны в отношении этого блока.

Далее по тексту способ вычисления и фильтрации карты диспарантности на основе стерео изображений согласно заявляемому изобретению описывается со ссылками на Фиг.2.

Рассмотрим поэтапное выполнение способа вычисления и фильтрации карты диспарантности на основе стерео данных (Фиг.2). Сначала стерео пару изображений или видео кадров преобразуют из цветового пространства RGB в цветовое пространство LAB (шаг 201). Преобразование из цветового пространства RGB в цветовое пространство LAB известно из уровня техники, поэтому его описание здесь опущено.

Следующий шаг заключается в вычислении исходной карты диспарантности (шаг 202). Вычисление исходной карты диспарантности может быть выполнено с помощью известных из уровня техники алгоритмов совмещения стерео пары. В предпочтительном варианте реализации заявляемого изобретения вычисление исходной карты диспарантности заключается в ее представлении в качестве шумового изображения. Шумовое изображение является полутоновым изображением. Яркости пикселей изображения шума отбираются случайным образом из пикселей с минимальной яркостью и вплоть до пикселей с максимальной яркостью. Для 8-битовых изображений диапазон яркостей лежал бы в пределах от 0 до 255.

Исходная карта диспарантности в форме изображения шума будет затем отфильтрована (шаги от 203 до 207) для получения согласованной и гладкой карты диспарантности. Первым шагом при фильтрации карты диспарантности является адаптация силы фильтра (степени фильтрации) в соответствии с порядковым номером итерации (шаг 203). В предпочтительном варианте реализации заявляемого изобретения уравнение для адаптации силы фильтра к номеру итерации (функция σ(k)) является линейным и может быть представлено как:

σ(k)=a ₁·k+b₁,

где k - номер итерации,

α₁, b₁ - линейные коэффициенты.

Другая форма функции σ(k) также допустима. И это не затрагивает объема охраны по заявляемому изобретению.

Следующий шаг заявляемого способа заключается в вычислении размера ядра фильтра (шаг 204). В предпочтительном варианте реализации заявляемого изобретения уравнение для вычисления размера ядра фильтра в соответствии с итерацией (функция KS(k)) имеет линейную форму и может быть представлено как:

KS(k)=a ₂·k+b₂,

где k - номер итерации,

α₂, b₂ - линейные коэффициенты.

Другая форма функции KS(k) также допустима. И это не влияет на объем охраны по заявляемому изобретению.

Следующий шаг способа заключается в вычислении градиента диспарантности (шаг 205). Градиент диспарантности вычисляют между смежными пикселями изображения. Для двух пикселей m₁ и m₂ с координатами [x₁, y₁] и [х₂, y₂] градиент диспарантности определяется как

,

где d₁ и d₂ - диспарантности пикселей m₁ и m₂.

Мы не рассматриваем координаты Y в уравнении градиента диспарантности, поскольку исходим из предположения, что стерео пара уточняется в условиях равенства Y координат соответствующих точек. Для современных стерео камер это условие обычно выполняется.

Из уровня техники известно, что градиент dg диспарантности ограничен сверху пределом Р. Это ограничение происходит из человеческого восприятия. Для наблюдаемой точки градиент диспарантности, вычисленный с соседними точками, не должен нарушать неравенство dg≤P. В противном случае, это не будет восприниматься человеком правильно. Таким образом, уравнение для проверки соответствия карты диспарантности выводится следующим образом:

|d₂-d₁|≤P·|x₂-x₁+(d₂-d₁)/2|.

Используя свойство модуля |a+b|≤|a|+|b|, мы получаем

|d₂-d₁|≤P·|x₂-x₁|+P·|(d₂-d₁)/2|,

что непосредственно ведет, для Р<2, к

Для каждого пикселя в опорном изображении оценивают неравенство (1) и маркируют пиксели, для которых не выполняется это неравенство, т.е. не выполняется принцип гладкости градиента диспарантности. Такие пиксели имеют меньшее влияние на фильтрацию диспарантности на следующей итерации способа вычисления карты диспарантности. Далее по тексту, изображение градиента диспарантности (DGI) определяется как массив, который сохраняет для каждого пикселя номер, указывающий, нарушено ли данным пикселем неравенство (1) или нет. Это выражается как

,

где mark - число, используемое для маркирования пикселей, для которых нарушается принцип гладкости градиента диспарантности.

Фиг.4 показывает примеры вычисления карты диспарантности (слева) вместе с DGI (справа), где число mark установлено на значение 255, для лучшего визуального восприятия. На Фиг.4 ясно видно, что число пикселей, нарушивших ограничивающее условие градиента диспарантности, уменьшается от итерации к итерации.

После вычисления силы фильтра вычисления размеров ядра и вычисления градиента диспарантности выполняют вычисление карты диспарантности для опорного изображения, используя информацию из конечного изображения (шаги 206-207). Далее по тексту, опорное изображение определяется как цветное изображение из стерео пары, для которой вычисляется карта диспарантности. А совмещаемое изображение определяется как другое цветное изображение из этой стерео пары.

Карта диспарантности на k-й итерации представляется как

где d_k(x_c,y_c) означает карту диспарантности на k-й итерации для текущего пикселя с координатами (x_c,y_c),

d_k-1(x_r,y_r) означает карту диспарантности на (k-1)-й итерации для опорного пикселя с координатами (x_r=x_c+p, y_r=y_c+s),

w_r означает вес опорного пикселя,

индекс р изменяется от до в направлении X,

индекс s изменяется от до в направлении Y,

коэффициент нормализации вычисляют как

.

В предпочтительном варианте реализации заявляемого изобретения размеры окна фильтра, а именно L и К, определены как L=K=KS(k), используя функцию расчета размера ядра фильтра, вычисленного на шаге 204. Однако независимая установка значений L и К допустима. Это могло бы пригодиться для устройств, которые используют для обработки строчную память. В таких случаях радиус ядра фильтра в вертикальном направлении ограничен числом строк памяти, а радиус ядра фильтра в горизонтальном направлении мог бы быть установлен на любое желаемое значение в пределах строки.

Для ускорения вычисления карты диспарантности фильтр мог бы быть определен в разделяемом виде состоящим из двух проходов. Первый проход - построчная обработка (шаг 206). Второй проход - обработка по столбцам (шаг 207).

где d_rowk(x_c,y_c) - результат построчной фильтрации,

d_k(x_c,y_c) - конечный результат фильтрации, полученный с помощью обработки по столбцам,

коэффициент нормализации для построчного фильтра вычисляют как

,

коэффициент нормализации для фильтра по столбцам вычисляют как

.

Фильтрацию выполняют в окне размером L×K, Все пиксели, которые принадлежат этой области, определены как опорные пиксели. Пиксели совмещаемого изображения, которые отображены векторами диспарантности из опорных пикселей, определены как совмещаемые пиксели (Фиг.1). Предложенный фильтр назначает более высокие веса для пикселей, которые более сходны с текущим пикселем. В предпочтительном варианте реализации заявляемого изобретения используют три метода вычисления веса фильтра диспарантности.

1. Метод сравнения области двух пикселей.

2. Метод сравнения области одного пикселя.

3. Метод сравнения двух отдельных пикселей.

Первые два метода касаются скорее сравнения областей пикселей, чем сравнения отдельных пикселей. Это делается для того, чтобы усилить критерий подобия пикселей. В первом методе вес является удвоенным и отражает степень сходства (подобия) текущего пикселя с опорным и совмещаемым пикселями.

Первое сравнение проводят между окрестностями текущего пикселя и окрестностями опорного пикселя. Второе сравнение проводят между окрестностями опорного пикселя и окрестностями совмещаемого пикселя (примеры сравнений показаны на Фиг.3. 1 широкими стрелками). В этом случае веса фильтра диспарантности вычисляют следующим образом:

где C() обозначает функцию, используемую для сравнения окрестностей пикселя,

σ_r и σ_t являются параметрами регулировки силы фильтра. В предпочтительном варианте реализации заявляемого изобретения они определены как σ_r=σ_t=σ(k) используя функцию адаптации силы фильтра, вычисленную на шаге 203. Однако допустима и независимая подстройка σ_r и σ_t, позволяющая дифференциацию штрафных функций для пикселей из опорного и совмещаемого изображений.

Второй метод сравнения окрестностей пикселя был разработан для того, чтобы ускорить выполнение алгоритма, и предусматривает проведение сравнения области лишь одного пикселя, а именно окрестности текущего пикселя с окрестностями совмещаемого пикселя (пример сравнения показан на Фиг.3.2 широкой стрелкой). При этом исходят из предположения, что текущий пиксель до некоторой степени схож с опорным пикселем благодаря их близости друг к другу. И штрафные функции применяют лишь тогда, когда опорный пиксель отображен на совмещаемый пиксель, который не схож с текущим пикселем. В этом случае веса фильтра диспарантности вычисляют следующим образом:

где C() обозначает функцию, используемую для сравнения окрестностей пикселя. Она определяется как:

где I_c(x_c,y_c) обозначает яркость текущего пикселя с координатами x_c и y_c,

I_r(x_r,y_r) обозначает яркость опорного пикселя с координатами x_r и y_r,

индекс i изменяется от до в направлении X,

индекс j изменяется от до в направлении Y,

σ_n - параметр гауссиана, управляющий весом пикселя относительно его положения в соответствии с положением текущего пикселя. Внешние пиксели, т.е. удаленные от центрального пикселя, получают более низкие значения веса, чем внутренние пиксели, т.е. близкие к центральному пикселю, которые получают более высокие значения веса.

Коэффициент нормализации вычисляют как

После того как вес был вычислен, конечной операцией в процессе фильтрации диспарантности должен стать расчет согласованности градиента диспарантности на основе результатов вычисления градиента диспарантности (шаг 205). Это выражается следующим образом:

где h - параметр веса штрафной функции.

Чтобы добиться максимальной производительности в ущерб качеству, можно применить третий метод вычисления веса пикселя, который состоит в сравнении только опорных пикселей вместо окрестностей пикселя. Это можно квалифицировать как предельный случай первого метода, когда размеры окрестностей пикселя, а именно М и N, равны единице. Использование этого метода для вычисления веса фильтра приводит к зашумлению в вычислениях карты диспарантности. Поэтому некоторая постобработка необходима для устранения рассогласований в карте диспарантности. С этой целью выполняют операцию по уточнению карты диспарантности (шаг 210) для окончательного вычисления карты диспарантности.

Важным шагом метода вычисления карты диспарантности является вычисление и оценка критерия сходимости (шаги 208-209). Во время каждой итерации с помощью метода вычисления карты диспарантности оценивают критерии сходимости для процесса фильтрации. В предпочтительном варианте реализации заявляемого изобретения описаны три метода вычисления критерия сходимости.

1. Используя условие гладкости градиента диспарантности.

2. Используя анализ остаточного изображения (изображения, представляющего собой разность двух смежных приближений карты диспарантности) после смежных вычислений карты диспарантности.

3. Используя строгий пороговый принцип в отношении числа итераций алгоритма.

Первый метод проверки критерия сходимости включает использование условия гладкости градиента диспарантности. Процесс фильтрации диспарантности прекращают, когда принцип гладкости градиента диспарантности выполняется для всех пикселей изображения. Это условие можно было бы сформулировать как то, что отношение числа пикселей с гладким градиентом ко всем пикселям в изображении должно превысить порог T_dec1 сходимости вычисления диспарантности

где N_gp означает число пикселей в изображении, для которых справедливо неравенство (1) градиента диспарантности,

N_p означает число пикселей в изображении.

Второй метод проверки сходимости алгоритма предусматривает вычисление остаточного изображения между смежными оценками карты диспарантности. Сумма остаточных пикселей не должна превышать порога T_dec2 сходимости в вычислении карты диспарантности. Это формулируется следующим образом:

,

где d_k и d_k-1 - это вычисления карты диспарантности на k-й и (k-1)-й итерации алгоритма.

Третий метод вычисления критерия сходимости можно было бы сформулировать как строгое применение порога к номеру итерации. Если номер итераций превышает порог T_dec3 сходимости вычисления карты диспарантности, то процесс фильтрации прекращают. Это может быть представлено следующим образом:

k≥N_dec3,

где k - номер текущей итерации вычисления карты диспарантности.

Первые два критерия сходимости можно было бы использовать совместно для надежности вычисления. А использование последнего из критериев предпочтительно для недорогих устройств, в которых простота устройства играет важную роль.

Заключительный шаг метода вычисления карты диспарантности предназначен для улучшения (уточнения) карты диспарантности (шаг 210). В предпочтительном варианте реализации заявляемого изобретения для постобработки используется медианный фильтр, что является простым и надежным способом борьбы с неровностями карты диспарантности и импульсным шумом.

Фиг.5 показывает результат вычисления карты диспарантности с помощью предложенного фильтра согласно изобретению. Левое изображение стерео пары, для которой было выполнено вычисление карты диспарантности, представлено на Фиг.5.1. На Фиг.5.2 представлен результат вычисления карты диспарантности с помощью фильтра [3], известного из уровня техники, а на Фиг.5.3 представлен результат вычисления карты диспарантности с применением предложенного фильтра согласно изобретению. Из Фиг.5.2 и 5.3 ясно видно, чем заявляемый способ дает более надежные результаты, особенно для гладких областей и областей с периодически повторяющимися текстурами. В то же время рабочие характеристики этого способа находятся на том же уровне, что и ранее известный фильтр [3].

Заявляемое изобретение может быть использовано непосредственно в стерео камере для получения высококачественной и согласованной карты диспарантности/глубины. Также заявляемое изобретение может найти применение в многокамерных системах или некоторых специализированных обрабатывающих устройствах, где два выбранных телевизионных потока формируют стереоскопический поток и необходимо обеспечить стерео согласование.

Изобретение относится к обработке стерео изображений и видео и, в частности, к способам вычисления и улучшения карты диспарантности на основе стерео изображений. Техническим результатом является обеспечение высокого качества вычисленной карты диспарантности без появления искажений (артефактов), при этом качество получаемой карты диспарантности должно быть пригодным для формирования виртуальных видов. Указанный технический результат достигается тем, что предложен способ и устройство вычисления и фильтрации карты диспарантности на основе стерео изображений, при этом исходную стерео пару изображений или видео кадров преобразуют из цветового пространства RGB в цветовое пространство LAB; выполняют вычисление исходной карты диспарантности; вычисляют карту диспарантности путем последовательных итераций фильтрации карты диспарантности; рассчитывают степень фильтрации диспарантности согласно итерации; рассчитывают размер ядра фильтра диспарантности согласно итерации; вычисляют градиент диспарантности; выполняют фильтрацию диспарантности в соответствии со степенью фильтрации диспарантности, рассчитанным размером ядра фильтра и вычисленным градиентом диспарантности; проверяют критерии сходимости, при этом, если они выполнены, фильтрацию прекращают; выполняют уточнение карты диспарантности. 2 н. и 14 з.п. ф-лы, 9 ил.

1. Способ вычисления и фильтрации карты диспарантности на основе стерео изображений, включающий в себя выполнение следующих операций:
- выполняют вычисление предварительной карты диспарантности;
- уточняют карту диспарантности путем последовательных итераций фильтрации карты диспарантности, уточненное значение диспарантности вычисляют как взвешенную сумму значений диспарантности с предыдущей итерации в локальном окне

где d_k(x_c, y_c) означает карту диспарантности на k-ой итерации для текущего пикселя с координатами (x_c, y_c), d_k-1(x_r, y_r) означает карту диспарантности на (k-1)-ой итерации для опорного пикселя с координатами (x_r=x_c+p_r y_r=y_c+s), w_r означает вес опорного пикселя, индекс р изменяется от до в направлении X, индекс s изменяется от до в направлении Y, и коэффициент нормализации вычисляют как
- рассчитывают степень фильтрации диспарантности согласно итерации, вычисляя параметр σ штрафной весовой функции, которая используется для расчета весов при вычислении суммы значений диспарантности в локальном окне, параметр σ штрафной весовой функции в соответствии с итерацией формулируется как σ(k)=a₁·k+b₁, где k - порядковый номер итерации, a₁ b₁ - линейные коэффициенты;
- рассчитывают размер ядра фильтра диспарантности согласно итерации по формуле KS(k)=a₂·k+b₂,
где k - порядковый номер итерации, а₂, b₂ - линейные коэффициенты;
- вычисляют градиент диспарантности,;
- выполняют фильтрацию диспарантности, используя взвешенною сумму значений диспарантности в локальном окне, в соответствии со степенью фильтрации диспарантности, рассчитанным размером ядра фильтра и вычисленным градиентом диспарантности;
- проверяют критерии сходимости, при этом, если они выполнены, фильтрацию прекращают;
- выполняют уточнение карты диспарантности, удаляя импульсный шум на карте диспарантности с помощью медианного фильтра.

2. Способ по п.1, отличающийся тем, что входящие стерео данные преобразуют из цветового пространства RGB в цветовое пространство LAB.

3. Способ по п.1, отличающийся тем, что исходную карту диспарантности представляют в виде полутонового шумового изображения, при этом яркости пикселей шумового изображения отбирают в случайном порядке из диапазона от минимальной яркости пикселя до максимальной яркости пикселя, причем для восьмибитовых изображений диапазон яркостей составляет от 0 до 255.

4. Способ по п.1, отличающийся тем, что оценку условия гладкости градиента диспарантности выполняют по формуле где Р - верхний предел градиента диспарантности; x₂, x₁ являются Х-координатами двух точек m₁ и m₂, для которых вычисляется ограничение градиента диспарантности, при этом в неравенстве градиента диспарантности Y-координаты не учитывают, исходя из предположения, что стерео пара уточнена, d₂, d₁ являются вычислениями текущей диспарантности точек m₁ и m₂ при этом для каждого пикселя в опорном изображении проверяют выполнение вышеприведенного неравенства, и пиксель с нарушением принципа градиента диспарантности маркируется и сохраняется в изображении градиента диспарантности (DGI), который определяют как
,
где mark - число, используемое для указания на нарушение градиента диспарантности.

5. Способ по п.1, отличающийся тем, что фильтрацию диспарантности выполняют поэтапно, при этом на первом этапе выполняют построчную обработку, а на втором этапе выполняют обработку по столбцам
, ,
где d_rowk(x_c, y_c) - результат построчной фильтрации, d_k(x_c, y_c) - конечный результат фильтрации, полученный после обработки по столбцам, коэффициент нормализации при построчной фильтрации вычисляют как , а коэффициент нормализации при фильтрации по столбцам вычисляют как

6. Способ по п.1, отличающийся тем, что веса фильтра диспарантности вычисляют следующим образом: ,
где С() означает функцию, используемую для сравнения окрестностей пикселя, σ_r - параметр штрафной функции веса для опорного пикселя в опорном изображении, σ_t - параметр штрафной функции веса для совмещаемого пикселя в совмещаемом изображении, (x_r, y_r) - координаты опорного пикселя, (x_t, y_t) - координаты совмещаемого пикселя.

7. Способ по п.1, отличающийся тем, что веса фильтра диспарантности вычисляют следующим образом:
где С () означает функцию, используемую для сравнения окрестностей пикселя, σ_t - параметр штрафной функции веса для совмещаемого пикселя в совмещаемом изображении, (x_t, y_t) - координаты совмещаемого пикселя.

8. Способ по любому из пп.6 и 7, отличающийся тем, что функцию, используемую для сравнения окрестностей пикселя, определяют как

где I_c(x_c, y_c) означает яркость текущего пикселя с координатами x_c и y_c, I_r (x_r, y_r) означает яркость опорного пикселя с координатами x_r и y_r, индекс i изменяется от до в направлении X, индекс j изменяется от до в направлении Y, σ_n - параметр гауссиана, управляющий весом пикселя по отношению к его положению согласно текущему положению пикселя, при этом внешние пиксели (удаленные от центрального пикселя) получают малые значения веса, а внутренние пиксели (близкие к центральному пикселю) получают более высокие веса, и коэффициент нормализации вычисляют как

9. Способ по любому из пп.6 и 7, отличающийся тем, что вес фильтра диспарантности подвергают штрафной функции в случае нарушения условия гладкости градиента карты диспарантности, при этом применяют формулу

где h - параметр штрафной функции веса, DGI (x_r, y_r) - изображение градиента диспарантности, которое показывает, нарушает ли текущий опорный пиксель (x_r, y_r) условие гладкости градиента диспарантности или нет.

10. Способ по п.1, отличающийся тем, что метод вычисления критерия сходимости формулируют как
где N_gp - число пикселей в изображении, для которых выполняется неравенство , N_p - число пикселей в изображении, T_dec1 - порог для сходимости вычисления карты диспарантности.

11. Способ по п.1, отличающийся тем, что метод вычисления критерия сходимости сформулирован как ,
где d_k и d_k-1 представляют собой вычисления карты диспарантности на k-ой и (k-1)-ой итерациях алгоритма; T_dec2 - порог для сходимости вычисления карты диспарантности.

12. Способ по п.1, отличающийся тем, что метод вычисления критерия сходимости формулируют как k≥T_dec3, где k - порядковый номер текущей итерации алгоритма вычисления карты диспарантности, T_dec3 - порог сходимости при вычислении карты диспарантности.

13. Устройство для вычисления и фильтрации карты диспарантности на основе стерео изображений, включающее в себя блок предварительной обработки, блок управления вычислением карты диспарантности, блок фильтрации диспарантности и блок постобработки, отличающееся тем, что выход блока предварительной обработки соединен с входом блока управления вычислением карты диспарантности, выход которого соединен с входом блока фильтрации диспарантности, выход которого соединен с входом блока постобработки.

14. Устройство по п.13, отличающееся тем, что блок предварительной обработки карты диспарантности, включающий в себя блок цветового преобразователя и блок вычисления исходной карты диспарантности, причем вход блока предварительной обработки совпадает с входом цветового преобразователя, а выход цветового преобразователя соединен с входом блока вычисления исходной карты диспарантности, при этом выход блока вычисления исходной карты диспарантности совмещен с выходом блока предварительной обработки.

15. Устройство по п.13, отличающееся тем, что блок управления вычислением карты диспарантности включает в себя блок адаптации силы фильтра, блок вычисления размера ядра и блок управления итерацией, причем вход блока управления вычислением карты диспарантности совмещен с входом блока адаптации силы фильтра, выход блока адаптации силы фильтра соединен с входом блока вычисления размера ядра, выход блока вычисления размера ядра соединен с входом блока управления итерациями, а выход блока управления итерациями совмещен с выходом блока управления вычислением карты диспарантности.

16. Устройство по п.13, отличающееся тем, что блок фильтрации карты диспарантности включает в себя блок вычисления градиента карты диспарантности, блок горизонтальной фильтрации диспарантности и блок вертикальной фильтрации диспарантности, причем вход блока фильтрации диспарантности совмещен с входом блока вычисления градиента, выход блока вычисления градиента соединен с входом блока горизонтальной фильтрации диспарантности, выход которого соединен с входом блока вертикальной фильтрации диспарантности, выход которого совмещен с выходом блока фильтрации диспарантности.