ВОСПРИЯТИЕ ГЛУБИНЫ Российский патент 2010 года по МПК H04N13/04 G06T15/10 G09G5/377 

Изобретение относится к блоку воспроизведения для воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, причем блок воспроизведения содержит:

- блок вычисления смещения для вычисления значений смещения, которые должны быть применены к входным пикселям, на основании соответствующих связанных с глубиной элементов данных; и

- блок интерполяции для вычисления выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения.

Изобретение также относится к устройству обработки изображений, содержащему:

- средство приема для приема сигнала, соответствующего входному изображению;

- такой блок воспроизведения для воспроизведения выходного изображения; и

- устройство отображения для отображения выходного изображения.

Изобретение также относится к компьютерному программному продукту, который должен быть загружен компьютерным устройством, содержащему команды для воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, при этом компьютерное устройство содержит средство обработки и память, причем компьютерный программный продукт после загрузки обеспечивает упомянутое средство обработки возможностью выполнять:

- вычисление значений смещения, которые должны быть применены к входным пикселям, на основании соответствующих связанных с глубиной элементов данных; и

- вычисление выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения.

Изобретение дополнительно относится к способу воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, причем способ содержит:

- вычисление значений смещения, которые должны быть применены к входным пикселям, на основании соответствующих связанных с глубиной элементов данных; и

- вычисление выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения.

Начиная с появления устройств отображения, устройство реалистичного трехмерного отображения было мечтой для многих. Много принципов, которые должны были привести к такому устройству отображения, были исследованы. Некоторые принципы пробуют создать реалистический трехмерный объект в некотором динамическом диапазоне. Например, в устройстве отображения, как раскрыто в статье "Solid-state Multi-planar Volumetric Display", A. Sullivan в докладах SID'03, 1531-1533, 2003, визуальные данные перемещаются в наборе плоскостей посредством быстрого проекционного устройства. Каждая плоскость является переключаемым рассеивателем. Если количество плоскостей является достаточно большим, человеческий мозг интегрирует изображение и наблюдает реалистический трехмерный объект. Этот принцип позволяет наблюдателю осуществлять просмотр вокруг объекта в пределах некоторой области. В этом устройстве отображения все объекты являются (полу-) прозрачными.

Многие другие пробуют создать трехмерное устройство отображения на основании только бинокулярного рассогласования. В этих системах левый и правый глаз наблюдателя воспринимают разное изображение, и поэтому наблюдатель воспринимает трехмерное изображение. Краткий обзор этих концепций может быть найден в книге "Stereo Computer Graphics and Other True 3-D Technologies", D.F.McAllister (редактор), Princeton University Press, 1993. Первый принцип использует очки с фотозатвором в комбинации с, например, электронно-лучевой трубкой. Если отображается нечетный кадр, свет блокируется для левого глаза, и если отображен четный кадр, свет блокируется для правого глаза.

Устройства отображения, которые показывают трехмерное изображение без необходимости в дополнительных приборах, называются автостереоскопическими устройствами отображения.

Первое устройство отображения без очков содержит экран для создания конусов света, нацеленных на левый и правый глаз наблюдателя. Конусы соответствуют, например, нечетным и четным столбцам подпикселей. Направляя на эти столбцы соответствующую информацию, наблюдатель получает различные изображения в своем левом и правом глазу, если он позиционирован в правильном пятне (месте), и способен воспринимать трехмерное изображение.

Второе устройство отображения без очков содержит набор линз, чтобы отображать свет нечетных и четных столбцов подпикселей для левого и правого глаза наблюдателя.

Недостатком вышеупомянутых устройств отображения без очков является то, что наблюдатель должен оставаться в фиксированной позиции. Чтобы руководить наблюдателем, были предложены индикаторы, чтобы показать наблюдателю, что он находится в правильной позиции. См. например, патент США US5986804, где барьерная пластина объединена с красным и зеленым светодиодами. В случае, если наблюдатель хорошо позиционирован, он видит зеленый свет, и красный свет - в ином случае.

Чтобы освободить наблюдателя от необходимости находиться в фиксированной позиции, были предложены автостереоскопические устройства отображения с многими видами. См., например, патенты США US60064424 и US20000912. В устройствах отображения, раскрытых в US60064424 и US20000912, используется скошенный линзово-растровый экран, посредством чего ширина линзово-растрового экрана больше, чем два под-пикселя. Таким образом, имеются несколько изображений рядом друг с другом, и наблюдатель имеет некоторую свободу двигаться влево и вправо.

Чтобы сформировать трехмерное ощущение от устройства отображения со многими видами, изображения от различных виртуальных точек зрения должны быть представлены. Это требует или множества входных видов или присутствия некоторой трехмерной информации или информации глубины. Эта информация о глубине может быть записана, сформирована от систем установок со многими видами или сформирована из обычного материала 2D видео. Для формирования информации глубины из 2D видео несколько типов меток глубины могут применяться: такие как структура из движения, фокусная информация, геометрические формы и динамическая преграда. Цель состоит в том, чтобы сформировать плотную карту глубины, то есть значение глубины в расчете на пиксель. Эта карта глубины впоследствии используется в воспроизведении изображения со многими видами, чтобы дать наблюдателю впечатление глубины. В статье "Synthesis of multi viewpoint images at non-intermediate positions" P. A. Redert, E. A. Hendriks, и J. Biemond, в Proceedings of International Conference on Acoustics, Speech, и Signal Processing, Vol. IV, ISBN 0-8186-7919-0, страницы 2749-2752, IEEE Computer Society, Лос Аламитос, Калифорния, 1997, раскрыты способ извлечения информации глубины и воспроизведения изображения с многими видами на основании входного изображения и карты глубины. Изображение со многими видами является набором изображений, подлежащих отображению устройством отображения со многими видами, для создания трехмерного впечатления. Как правило, изображения из набора создают на основании входного изображения. Создание одного из этих изображений выполняют посредством смещения пикселей входного изображения на соответствующие величины смещения. Эти величины смещений называются невязкой. Так, обычно для каждого пикселя имеется соответствующее значение невязки, вместе формируя карту невязок. Значения невязки и значение глубины обычно имеют обратно пропорциональное соотношение, то есть:

S=С/D (1)

где S - невязка, C - постоянное значение и D - глубина. Создание карты глубины рассматривается как эквивалентное созданию карты невязок. В этом описании значения невязок и значения глубины оба охватываются термином "относящиеся к глубине элементы данных".

В телевидении и других приложениях обычным является то, что текст формирует наложение изображения, соответствующего сцене. Субтитры и эмблемы каналов являются главными примерами таких наложений. Другим примером является графическое представление счета игры. Эти наложения иногда доступны как отдельный поток видео. В таком случае предпочтительно воспроизводить потоки видео отдельно во множестве видов для дисплея со многими видами и комбинировать, то есть смешивать эти воспроизведенные потоки на более поздней стадии. Однако, во многих случаях наложение недоступно в качестве отдельного потока видео, а интегрировано в видео, то есть "прожжено" в него.

Непосредственное воспроизведение последовательности видео, содержащей такое "прожженное" наложение, приводит к выходным изображениям с относительно низким качеством наложения.

Задачей изобретения является обеспечение блока воспроизведения вида, описанного в первом абзаце, который выполнен с возможностью выполнять наложение с относительно высоким качеством.

Эта задача изобретения решается тем, что блок вычисления смещения выполнен с возможностью обеспечить выходное значение в качестве первого одного из значений смещения, которое является по существу равным нулю, если соответствующий первый один из входных пикселей соответствует наложению, независимо от соответствующего связанного с глубиной элемента данных. Результатом этого является то, что наложение помещается на глубину, соответствующую плоскости экрана устройства отображения, так как значение смещения, которое по существу равно нулю, соответствует никакому или никакому существенному смещению. Для видимости и, в частности, возможности считывания наложения должны быть воспроизведены настолько четко, насколько возможно, избегая нерезкости, которая добавляется посредством воспроизведения наложения на глубине, отличной от глубины, соответствующей плоскости экрана. Из-за перекрестных помех между множеством видов, объекты, которые находятся относительно далеко позади плоскости экрана или относительно далеко перед плоскостью экрана, кажутся расплывчатыми, потому что несколько преобразованных версий, то есть смещенных версий, этих объектов, представленных входным изображением, являются смешанными. Представления объектов, которые относятся к глубине, лежат в той же плоскости, что и экран, не преобразуются между различными выходными изображениями, так что перекрестные помехи не приводят к расплывчатости.

Вариант осуществления блока воспроизведения согласно изобретению содержит входной интерфейс для индикации первой группы пикселей входных пикселей, которые соответствуют наложению, и второй группы пикселей входных пикселей, которые соответствуют не-наложению, при этом первая группа пикселей и вторая группа пикселей формируют входное изображение. Это означает, что внешним образом к модулю воспроизведения согласно изобретению обнаруживают или определяют, какой из пикселей входного изображения соответствует наложению и какой из пикселей входного изображения не соответствует наложению. Информация, относящаяся к наложению/не-наложению, выдается на модуль воспроизведения. Предпочтительно, эта информация обеспечивается посредством карты индикаторов наложения, которая содержит индикаторы наложения для соответствующих входных пикселей входного изображения.

Другой вариант осуществления блока воспроизведения согласно изобретению содержит блок определения для определения первой группы пикселей входных пикселей, которые соответствуют наложению, и второй группы пикселей входных пикселей, которые соответствуют не-наложению, причем первая группа пикселей и вторая группа пикселей формируют входное изображение. Это означает, что информация, касающаяся наложения/не-наложения, внешним образом не определяется, но определяется самим модулем воспроизведения. Карта индикаторов наложения может быть вычислена на основании входных пикселей, например, значений яркости и/или цвета. Дополнительно или альтернативно, относящиеся к глубине элементы данных применяются для вычисления индикаторов наложения для соответствующих входных пикселей.

Факт, что наложения воспроизводятся так, что они появляются в плоскости экрана, не означает, что не перекрывающиеся пиксели все воспроизводятся так, что они появляются позади плоскости экрана. Фактически, блок воспроизведения согласно изобретению выполнен с возможностью воспроизводить выходные пиксели на основании соответствующих связанных с глубиной элементов данных. Для входных пикселей, для которых было определено, что они принадлежат наложению, сделано исключение к этому правилу, то есть соответствующие выходные пиксели вычисляются независимо от соответствующего связанного с глубиной элемента данных. Без дополнительных мер это может приводить к загораживанию наложений не перекрывающимися пикселями. Чтобы предотвратить этот случай, вариант осуществления блока воспроизведения согласно изобретению дополнительно содержит:

- блок установления наложения для установления, на основании части связанных с глубиной элементов данных, имеется ли область наложения в выходном изображении, на которое первый один из первой группы пикселей должен быть отображен, и первый один из второй группы пикселей должен быть смещен; и

- блок выбора для выбора первого одного из первой группы пикселей для вычисления второго одного из выходных пикселей, расположенных в области наложения.

В этом варианте осуществления согласно изобретению блок воспроизведения выполнен с возможностью устанавливать, что имеется область наложения, то есть преграда. Это означает, что блок воспроизведения выполнен с возможностью устанавливать это множество пикселей взаимно различных типов, то есть наложение и не-наложение отображаются в одну и ту же координату выходного изображения. Этот вариант осуществления блока воспроизведения согласно изобретению также выполнен с возможностью позволять пикселям накладываемого типа преобладать в случае наложения.

Помимо преграды (перекрытия), для которой предпочтительно выполняются дополнительные меры вариантом осуществления блока воспроизведения согласно изобретению, устранение перекрытия предпочтительно также обрабатывается соответственно. Чтобы предотвратить появления артефактов в пустой области, то есть в области устранения перекрытия, вариант осуществления блока воспроизведения согласно изобретению дополнительно содержит:

- блок установления пустой области для установления, на основании дальнейшей (следующей) части связанных с глубиной элементов данных, имеется ли пустая область в выходном изображении, на которую ни один из пикселей первой группы пикселей не должен быть отображен и на которую ни один из пикселей второй группы пикселей не должен быть смещен; и

- блок выбора для выбора конкретного одного из второй группы пикселей для вычисления третьего одного из выходных пикселей, расположенных в пустой области.

Предпочтительно блок выбора выполнен с возможностью выбирать конкретный один из второй группы пикселей в окружении пустой области. Это означает, что в случае пустой области пиксели наложения не преобладают, но вместо этого преобладают пиксели не-наложения. Как правило, наложения, подобные эмблемам и тексту титров, имеют очень определенные формы. Вычисление пиксельных значений для пикселей в пустой области на основании пиксельных значений из наложения расширяет наложение в пустую область. Так как наложения обычно имеют характерные формы, это приводит к артефактам. Базирование значений пикселей на не перекрывающихся пикселях, то есть второй группе пикселей, расширяет не-наложения в пустую область, что обычно не приводит к таким неблагоприятным артефактам.

Дополнительной задачей изобретения является создание устройства обработки изображения вида, описанного в начальном абзаце, которое выполнено с возможностью воспроизводить наложение с относительно высоким качеством.

Эта задача изобретения достигается тем, что блок вычисления смещения блока воспроизведения устройства обработки изображения выполнен с возможностью обеспечить выходное значение в качестве первого одного из значений смещения, которое по существу равно нулю, если соответствующей первый один из входных пикселей соответствует наложению, независимо от соответствующего связанного с глубиной элемента данных.

Другой задачей изобретения является обеспечение компьютерного программного продукта вида, описанного в начальном абзаце, который выполнен с возможностью воспроизводить наложение с относительно высоким качеством.

Эта задача изобретения решается тем, что этап вычисления значений смещения приводит к выходному значению в качестве первого одного из значений смещения, которое является по существу равным нулю, если соответствующий первый один из входных пикселей соответствует наложению, независимо от соответствующего связанного с глубиной элемента данных.

Следующей задачей изобретения является обеспечение способа, такого как описан в начальном абзаце, который выполнен с возможностью воспроизводить наложение с относительно высоким качеством.

Эта задача изобретения решается тем, что этап вычисления значений смещения приводит к выходному значению в качестве первого одного из значений смещения, которое является по существу равным нулю, если соответствующий первый один из входных пикселей соответствует наложению, независимо от соответствующего связанного с глубиной элемента данных.

Модификации блока воспроизведения и его изменения могут соответствовать модификациям и изменениям описываемых устройства обработки изображения, способа и компьютерного программного продукта.

Эти и другие аспекты блока воспроизведения, устройства обработки изображения, способа и компьютерного программного продукта согласно изобретению станут очевидными и будут объяснены со ссылками на реализации и варианты осуществления, описанные в дальнейшем, и со ссылками на сопроводительные чертежи, на которых:

Фиг.1 схематично показывает входное изображение, соответствующую карту глубины и выходное изображение;

Фиг.2 схематично показывает отображение входных пикселей на выходные пиксели;

Фиг.3А схематично показывает вариант осуществления блока воспроизведения согласно изобретению, содержащему входной интерфейс для индикации того, какие входные пиксели соответствуют наложению и какие пиксели соответствуют не-наложению;

Фиг.3B схематично показывает вариант осуществления блока воспроизведения согласно изобретению, содержащему блок определения для определения того, какие входные пиксели соответствуют наложению и какие пиксели соответствуют не-наложению;

Фиг.3C схематично показывает вариант осуществления блока воспроизведения согласно изобретению, содержащему блок установления наложения;

Фиг.3D схематично показывает вариант осуществления блока воспроизведения согласно изобретению, содержащему блок установления пустой области;

Фиг.4 схематично иллюстрирует вариант осуществления модуля формирования изображения со многими видами; и

Фиг.5 схематично иллюстрирует вариант осуществления устройства обработки изображения согласно изобретению.

Одинаковые числовые ссылочные обозначения используются для обозначения подобных частей на всех чертежах.

Фиг.1 схематично иллюстрирует входное изображение 100, соответствующую карту 104 глубины и выходное изображение 102. Входное изображение 100 содержит множество входных пикселей. Входные пиксели могут быть категоризированы в две группы пикселей. Первая группа пикселей содержит пиксели, которые соответствуют наложению. Вторая группа пикселей содержит пиксели, которые соответствуют не-наложению. В качестве наложения предполагается графическое представление, подобное тексту или иконке. Наложение может соответствовать субтитрам, эмблеме канала радиовещания, но альтернативно, наложение соответствует информации на экране дисплея (OSD), которая создана устройством записи или устройством воспроизведения. Наложение может также относиться к графической информации, соответствующей счету в игре. Не-наложение соответствует визуальной информации, которая не имеет наложения. Как правило, не-наложение соответствует данным изображения, которые были захвачены камерой. Альтернативные не-перекрывающиеся данные изображения были созданы посредством графического компьютера, подобные сформированным машиной кинофильмам от "Dreamworks".

Хотя перекрывающиеся и не-перекрывающиеся данные объединены в одиночном входном изображении, обычно не имеется визуального соотношения между ними. Другими словами, значения пикселей, то есть значения цвета и/или яркости первой группы пикселей обычно не связаны со значениями пикселей второй группы пикселей. Как правило, наложение закрывает часть информации, представленной не-наложением во входном изображении.

Первый один 105 из первой группы пикселей входного изображения 100 принадлежит знаку "t" субтитра. Входное изображение 100 содержит представления первого 106 и второго объекта 108 перед фоном 101. Представление первого объекта 106 имеет овальную форму и содержит первый один 107 из второй группы пикселей. Представление второго объекта 108 имеет прямоугольную форму и содержит второй один 109 из второй группы пикселей.

Фиг.1 также схематично изображает карту 104 глубины. Карта 104 глубины есть двумерная матрица со связанными с глубиной элементами данных, то есть значениями глубины. Количество связанных с глубиной элементов данных карты 104 глубины равно количеству пикселей входного изображения 100. Значения глубины, как изображено на фиг. 1, соответствуют соответствующим значениям пикселей входного изображения 100. Карта 104 глубины содержит первый набор 126 значений глубины, который соответствует представлению первого объекта 106 входного изображения 100, и второй набор 128 значений глубины, который соответствует представлению второго объекта 108 входного изображения 100. Первое одно 127 из значений глубины первого набора 126 значений глубины соответствует первому одному 107 из пикселей представления первого объекта 106, и второе одно 129 из значений глубины второго набора 128 из значений глубины соответствует первому одному 109 из пикселей представления второго объекта 108.

Фиг.1 далее схематично показывает выходное изображение 102, содержащее дальнейшее (последующее) представление первого объекта 116 и дальнейшее представление второго объекта 118. Дальнейшее представление первого объекта 116 основано на представлении первого объекта 106 входного изображения 100, и дальнейшее представление второго объекта 118 основано на представлении второго объекта 108 входного изображения 100. Дальнейшее представление первого объекта 116 вычисляют, смещая соответствующие входные пиксели первого объекта 106 влево. Величина смещения связана с соответствующими значениями глубины первого набора 126 значений глубины. Входное изображение 100 и выходное изображение 102 на фиг. 1 изображены выровненными. Можно видеть с помощью первой пунктирной линии 137, что первый один 107 из пикселей представления первого объекта 106 и соответствующий первый один 117 из пикселей дальнейшего представления первого объекта 116 не имеют взаимно равных координат. Другими словами, соответствующий первый один 117 из пикселей дальнейшего представления первого объекта 116 вычислен посредством смещения первого одного 107 из пикселей представления первого объекта на величину смещения, которая основана на первом одном 127 из значений глубины первого набора 126 значений глубины.

Точно так же, может быть замечено с помощью второй пунктирной линии 139, что первый один 109 из пикселей представления второго объекта 108 и соответствующий первый один 119 из пикселей дальнейшего представления второго объекта 118 не имеет взаимно равных координат. Другими словами, соответствующий первый один 119 из пикселей дальнейшего представления второго объекта 118 вычислен посредством смещения первого одного 109 из пикселей представления второго объекта на величину смещения, которая основана на первом одном 129 из значений глубины второго набора 128 значений глубины.

Глядя на пиксели, соответствующие наложению, представляющему слово "text", можно видеть, что смещение не применяется к входным пикселям, представляющим это наложение. Например, первый один 105 из первой группы пикселей входного изображения 100, принадлежащий знаку "t", и соответствующий выходной пиксель 115 имеют взаимно равные координаты. Третья пунктирная линия 135 ясно указывает, что никакого смещения не применено. Другими словами, слово "текст" и во входном изображении 100 и выходном изображении 102 расположено с одними и теми же самыми координатами. Следует обратить внимание, что значения глубины, соответствующие первой группе пикселей, то есть принадлежащие к соответствующим входным пикселям, представляющим слово "text", в качестве доступных в карте 104 глубины, не являются взаимно равными. Фактически они все не равны нулю, приводя к тому результату, что смещение не должно быть применено. Причина того, что пиксели первой группы пикселей фактически являются не смещенными для создания выходного изображения 102, заключается в том, чтобы необходимо сохранить резкое наложение согласно изобретению.

Фиг.2 схематично изображает отображение входных пикселей 200 на выходные пиксели 204. Фиг. 2 схематично изображает ряд входных пикселей 200. Имеется первая группа входных пикселей, которые изображены с кружками и которые обозначены заглавными буквами J-M. Первая группа входных пикселей соответствует наложению. Имеется вторая группа входных пикселей, которые изображены с прямоугольниками и обозначены заглавными буквами A-I,N-Q. Вторая группа входных пикселей соответствует не-наложению.

Величины смещения 202, которые должны быть применены к соответствующим входным пикселям 200, обозначены числовыми значениями (4 и 0) над прямоугольниками и кружками. Различные стрелки на фиг. 2 представляют величины смещения и отображения от входных пикселей на выходные пиксели.

Фиг.2 схематично изображает ряд выходных пикселей 204. Имеется первая группа выходных пикселей, которые изображены с кружками, и которые обозначены маленькими буквами j-m. Имеется вторая группа выходных пикселей, которые изображены с прямоугольниками и которые обозначены маленькими буквами a-e, n1-n4.

В выходном изображении 204 имеется область 206 наложения. Можно видеть, что первый один J первой группы входных пикселей должен быть отображен, и первый один F второй группы входных пикселей должен быть смещен к одному и тому же местоположению в выходном изображении. То же самое справедливо для следующих пар входных пикселей: K и G; L и H; М и I. В конечном счете выбранные выходные пиксели обозначены j, k, l и m, соответственно. Это означает, что значения различных выходных пикселей основаны на соответствующих значениях первой группы входных пикселей, то есть входных пикселях, соответствующих наложению. Вариант осуществления блока 303 воспроизведения согласно изобретению, как раскрыто со ссылками на фиг. 3C, выполнен с возможностью установить, что имеется область наложения, и выполнить выбор соответствующих входных пикселей для того, чтобы вычислить соответствующие выходные пиксели.

В выходном изображении 204 имеется пустая область 208. Это означает, что ни один из пикселей первой группы пикселей не должен быть отображен и ни один из пикселей второй группы пикселей не должен быть смещен к этой пустой области 208, принимая во внимание координаты входных пикселей и соответствующие величины смещения. Должно быть ясно, что без назначения значения конкретному выходному пикселю существует "дыра" или промежуток. Поскольку это не приемлемо, необходимы дополнительные меры, чтобы предотвратить появление этого случая. Как может быть выведено из фиг. 2, значение пикселя конкретного входного пикселя N второй группы пикселей применяется для вычисления пиксельных значений выходных пикселей n1-n4, которые расположены в пустой области. Пиксельные значения выходных пикселей n1-n4 все основаны на конкретном входном пикселе N, который расположен относительно близко к краевому пикселю М, который расположен на границе наложения. В этом приведенном примере конкретный входной пиксель N соответствует входному пикселю, имеющему минимальное расстояние к краевому пикселю М. Должно быть ясно, что другой входной пиксель с большим расстоянием, например, входной пиксель, обозначенный O, выбран для описанной цели или множества пикселей, например, экстраполированные из P-O-N в пустую область. Вариант осуществления блока 305 воспроизведения согласно изобретению, как раскрыто со ссылками на фиг.3D, выполнен с возможностью установить, что имеется пустая область 208, и выполнить выбор соответствующих входных пикселей для вычисления соответствующих выходных пикселей.

Фиг.3А схематично показывает вариант осуществления блока 300 воспроизведения согласно изобретению. Блок 300 воспроизведения выполнен с возможностью воспроизводить выходное изображение 102, содержащее выходные пиксели 115, 117, 119 на основании входного изображения 100, содержащего входные пиксели 105, 107 109 и на основании связанных с глубиной элементов данных 127, 125, 129, соответствующих соответствующим входным пикселям 105, 107, 109.

Блок 300 воспроизведения содержит:

- блок 302 вычисления смещения для вычисления значения смещения, подлежащего применению к входным пикселям 105, 107, 109, на основании соответствующих связанных с глубиной элементов 127, 125, 129 данных; и

- блок 304 интерполяции для вычисления выходных пикселей 115, 117, 119 на основании смещения входных пикселей 105, 107, 109 на соответствующие значения смещения.

Блок 300 воспроизведения дополнительно содержит:

- первый входной соединитель 308 для подачи связанных с глубиной элементов данных на блок 302 вычисления смещения;

- второй входной соединитель 306 для подачи информации, относящейся к наложению/не-наложению, предпочтительно в форме карты индикаторов наложения. Карта индикаторов наложения содержит для каждого из входных пикселей 105, 107, 109 соответствующий индикатор для индикации, соответствует ли входной пиксель наложению или не-наложению; и

- третий входной соединитель 310 для подачи пиксельных значений входных пикселей 105, 107, 109 на модуль 304 интерполяции.

Работа блока 300 воспроизведения заключается в следующем. Для каждого из поданных входных пикселей 105, 107, 109 соответствующие смещения вычисляют на основании соответствующих связанных с глубиной элементов данных 127, 125, 129 блоком 302 вычисления смещения. Вычисленные смещения подают на модуль 304 интерполяции, который выполнен с возможностью вычислять значения выходных пикселей, фактически применяя вычисленные смещения к соответствующим входным пикселям. Значения вычисленных выходных пикселей подаются на выходной соединитель 312.

Блок 300 воспроизведения выполнен с возможностью проводить различие между входными пикселями, которые соответствуют наложению и которые соответствуют не-наложению. Это означает, что для входных пикселей, которые соответствуют не-наложению, соответствующие смещения основаны на соответствующих связанных с глубиной элементах данных. Однако, для входных пикселей, которые соответствуют наложению, соответствующие смещения равны нулю. Это означает, что блок 302 вычисления смещения выполнен с возможностью выдавать нуль в качестве выходного значения, если соответствующие входные пиксели соответствуют наложению, независимо от соответствующих связанных с глубиной элементов данных входных пикселей. Необязательно, соответствующие смещения приблизительно равны нулю, если, например, по причинам точности смещение, точно равное нулю, может привести к артефактам.

Блок 302 вычисления смещения и блок 304 интерполяции могут быть осуществлены, используя один процессор. Обычно, эти функции выполнены под управлением программного продукта. Во время выполнения программный продукт обычно загружается в память, такую как ОЗУ, и выполняется из нее. Программа может быть загружена из низкоприоритетной памяти, такой как ПЗУ, жесткий диск, или магнитное и/или оптическое запоминающее устройство, или может быть загружена через сеть, подобной Интернет. Необязательно, специализированная интегральная схема обеспечивает раскрытые функциональные возможности.

Должно быть отмечено, что конкретный выходной пиксель может быть основан на одиночном входном пикселе посредством смещения одиночного входного пикселя вектором, имеющим целочисленную длину, относящуюся к структуре отсчетов входного изображения. Однако, обычно величина смещения не имеет целочисленной длины. В таком случае конкретный выходной пиксель основан на взвешенном среднем значении множества входных пикселей, посредством чего взвешивание, например, основано на дробной части величины смещения или другой фильтрующей функции.

Фиг.3B схематично показывает вариант осуществления блока 301 воспроизведения согласно изобретению, содержащему блок 309 определения для определения, какие входные пиксели соответствуют наложению и какие пиксели соответствуют не-наложению. Этот вариант осуществления блока 301 воспроизведения по существу эквивалентен модулю 300 воспроизведения, как описано со ссылками на фиг.3A. Отличие заключается в том, что информация, относительно того, какой из входных пикселей соответствует наложению и какой соответствуют не-наложению, не является определенной и подаваемой извне, а определяется в блоке 301 воспроизведения. Такой блок определения известен специалисту, например, из статьи "General and domain- specific techniques for detecting and recognized superimposed text in video", by D. Zhang, R, K. Rajendran, and S-F. Chang, в трудах IEEE ICIP (International Conference on Image Processing), Rochester, NY, USA, Sept. 2002 или из статьи "Detection of TV commercials", Alberto Albiol, Maria Jose Ch. Fulla, Antonio Albiol & Luis Torres, см. стр. 2-3, часть 2: "logo mask extraction."

Блок302 вычисления смещения, блок 304 интерполяции и блок 309 определения могут быть осуществлены, используя один процессор.

Фиг.3C схематично показывает вариант осуществления блока 303 воспроизведения согласно изобретению, содержащему блок 314 установления наложения и первый модуль 316 выбора. Этот вариант осуществления блока 303 воспроизведения по существу эквивалентен модулю 300 воспроизведения, как описано со ссылками на фиг. 3A. Отличие заключается в том, что блок 303 воспроизведения согласно этому варианту осуществления выполнен с возможностью позволять входным пикселям, которые соответствуют наложению, преобладать над входными пикселями, которые соответствуют не-наложению в случае области наложения. Этот вариант осуществления блока 303 воспроизведения содержит:

- блок 314 установления наложения для установления, на основании части связанных с глубиной элементов данных, имеется ли область наложения в выходном изображении, на которую первый один J из первой группы пикселей должен быть отображен, и первый один F из второй группы пикселей должен быть смещен; и

- первый блок выбора 316 для выбора первого одного из J первой группы пикселей для вычисления второго одного j из выходных пикселей, расположенных в области 206 наложения.

Работа и преимущество такого установления и выбора объясняются со ссылками на фиг. 2.

Альтернативно, блок 303 воспроизведения также содержит блок 309 определения, как объяснено со ссылками на фиг. 3B.

Блок 302 вычисления смещения, блок 304 интерполяции, блок 309 определения, блок 314 установления наложения и первый блок 316 выбора могут быть осуществлены, используя один процессор.

Фиг.3D схематично показывает вариант осуществления блока 305 воспроизведения согласно изобретению, содержащему блок 318 установления пустой области и соответствующий модуль 320 выбора. Этот вариант осуществления блока 305 воспроизведения по существу эквивалентен модулю 300 воспроизведения, описанному со ссылками на фиг. 3A. Отличие заключается в том, что блок 305 воспроизведения согласно этому варианту осуществления выполнен с возможностью позволять входным пикселям, которые соответствуют не-наложению, преобладать над входными пикселями, которые соответствуют наложению в случае пустой области 208. Этот вариант осуществления блока 305 воспроизведения содержит:

- блок 318 установления пустой области для установления, на основании дополнительной части связанных с глубиной элементов данных, имеется ли пустая область 208 в выходном изображении, на которую ни один из пикселей первой группы пикселей не должен быть отображен и на которую ни один из пикселей второй группы пикселей не должен быть смещен; и

- второй блок 320 выбора для выбора конкретного одного из второй группы пикселей для вычисления третьего одного из выходных пикселей, расположенных в пустой области.

Работа и преимущество такого установления и выбора объясняются со ссылками на фиг. 2.

Альтернативно, блок 305 воспроизведения также содержит блок 309 определения, как объяснено со ссылками на фиг. 3B.

Альтернативно, блок 305 воспроизведения также содержит блок 314 установления наложения и первый блок 316 выбора, как объяснено со ссылками на фиг. 3C.

Блок 302 вычисления смещения, блок 304 интерполяции, блок 309 определения, блок 314 установления наложения, первый блок 316 выбора, блок 318 установления пустой области и второй блок 320 выбора могут быть осуществлены, используя один процессор.

Фиг.4 схематично изображает вариант осуществления модуля 400 формирования изображения со многими видами, содержащего вариант осуществления блока 402 воспроизведения согласно изобретению, как описано со ссылками на любую из Фиг. 3A-3D. Блок 400 формирования изображения со многими видами выполнен с возможностью формировать последовательность изображений со многими видами на основании последовательности изображений видео. Блок 400 формирования изображения со многими видами снабжается потоком изображений видео на входной соединитель 406 и выдает два коррелированных потока изображений видео на выходных соединителях 412 и 414 соответственно. Эти два коррелированных потока изображений видео должны быть поданы к устройству отображения со многими видами, которое выполнено с возможностью визуализировать первую последовательность видов на основании первого одного из коррелированных потоков изображений видео и визуализировать вторую последовательность видов на основании второго одного из коррелированных потоков изображений видео. Если пользователь, то есть наблюдатель, наблюдает первую последовательность видов своим левым глазом и вторую последовательность видов своим правым глазом, он замечает трехмерное восприятие. Может быть случай, что первый один из коррелированных потоков изображений видео соответствует последовательности изображений видео как принята, и что второй один из коррелированных потоков изображений видео воспроизводится согласно способу изобретения на основании последовательности изображений видео как принята. Предпочтительно, оба потока изображений видео воспроизводятся согласно способу изобретения на основании последовательности изображений видео как принята.

Блок 400 формирования изображения со многими видами дополнительно содержит первый входной соединитель 408 для подачи связанных с глубиной элементов данных и второй входной соединитель 410 для подачи информации, касающейся наложения/не-наложения предпочтительно в форме карты индикаторов наложения.

Должно быть отмечено, что хотя блок 400 формирования изображения со многими видами предназначен, чтобы иметь дело с изображениями видео, альтернативные варианты осуществления модуля 400 формирования изображения со многими видами выполнены с возможностью формировать изображение со многими видами на основании индивидуальных изображений, то есть фотоснимков.

Должно быть отмечено, что хотя изображенный блок 400 формирования изображения со многими видами имеет два выходных соединителя 412 и 414, альтернативные пути выдачи возможны, например чередуемый выход, который готов выполнять отображение на устройстве отображения со многими видами. Помимо этого, ряд выходных изображений, формирующих различные изображения со многими видами, конечно, не ограничивается количеством из двух.

Фиг.5 схематично иллюстрирует вариант осуществления устройства 500 обработки изображения согласно изобретению, содержащего:

- блок 502 приема для приема сигнала видео, представляющего входные изображения и связанные с глубиной данные;

- блок 400 формирования изображения со многими видами для формирования изображений со многими видами на основании принятых входных изображений и соответствующих связанных с глубиной элементов данных, как описано со ссылками на фиг. 4; и

- устройство 506 отображения со многими видами для отображения изображений со многими видами, как обеспечивается модулем 400 формирования изображения со многими видами.

Сигнал видео может быть радиовещательным сигналом, принятым через антенну или кабель, но может также быть сигналом от запоминающего устройства, такого как VCR (кассетный видеомагнитофон) или цифровой универсальный диск (DVD). Сигнал подается на входной соединитель 510. Устройство 500 обработки изображения может быть, например, телевизором. Альтернативно, устройство 500 обработки изображения не содержит необязательного устройства отображения, но выдает выходные изображения к устройству, которое как раз содержит устройство 506 отображения. Кроме того, устройство 500 обработки изображения может быть, например, телевизионной приставкой, спутниковым тюнером, видеомагнитофоном, устройством записи или воспроизведения DVD. Необязательно, устройство 500 обработки изображения содержит средство хранения, подобное жесткому диску, или средство для хранения на сменных носителях, например, оптических дисках. Устройство 500 обработки изображения может также быть системой, применяемой киностудией или радио или телевизионной вещательной станцией.

Должно быть отмечено, что вышеупомянутые варианты осуществления не иллюстрируют ограничения изобретения, и что специалисты в данной области техники способны создавать альтернативные варианты осуществления без отрыва от объема приложенной формулы изобретения. В формуле изобретения любые ссылочные позиции, указанные в круглых скобках, не должны рассматриваться как ограничение пункта формулы. Слово "содержащий" не исключает присутствие элементов или этапов, не перечисленных в пункте формулы. Неопределенный артикль "a" или "an", предшествующий элементу, не исключает присутствие множества таких элементов. Изобретение может быть осуществлено посредством аппаратных средств, содержащих несколько отличных элементов, и посредством подходящего запрограммированного компьютера. В пунктах формулы изобретения на устройство, перечисляющих несколько средств, несколько из этих средств могут быть воплощены одним и тем же элементом аппаратных средств. Использование слов "первый", "второй" и "третий" "и т.д." не указывает какого-либо упорядочение. Эти слова должны интерпретироваться как названия.

Изобретение относится к устройству воспроизведения для воспроизведения изображения, и в частности к трехмерному устройству отображения. Техническим результатом является создание устройства воспроизведения выполненного с возможностью выполнять наложение изображения с относительно высоким качеством. Предложено устройство воспроизведения для воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям. Блок воспроизведения содержит: блок вычисления смещения для вычисления значения смещения, для применения к входным пикселям на основании соответствующих связанных с глубиной элементов данных; и блок интерполяции для вычисления выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения. Блок вычисления смещения выполнен с возможностью обеспечить выходное значение как первое одно из значений смещения, которое по существу равно нулю, если соответствующий первый один из входных пикселей соответствует наложению, независимо от соответствующего связанного с глубиной элемента данных. 4 н. и 8 з.п. ф-лы, 8 ил.

1. Устройство (300) воспроизведения для воспроизведения выходного изображения (102), содержащего выходные пиксели, на основании входного изображения (100), содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, при этом устройство (300) воспроизведения содержит:
блок (302) вычисления смещения для вычисления значений смещения, подлежащих применению к входным пикселям, на основании соответствующих связанных с глубиной элементов данных; и
блок (304) интерполяции для вычисления выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения, отличающийся тем, что блок (302) вычисления смещения выполнен с возможностью выдавать выходное значение в качестве первого одного из значений смещения, которое, по существу, равно нулю, если соответствующий первый один из входных пикселей соответствует наложению независимо от соответствующего связанного с глубиной элемента данных.

2. Устройство (300) воспроизведения по п.1, дополнительно содержащее входной интерфейс (308) для индикации первой группы пикселей входных пикселей, которые соответствуют наложению, и второй группы пикселей входных пикселей, которые соответствуют неналожению, при этом первая группа пикселей и вторая группа пикселей формируют входное изображение.

3. Устройство (301) воспроизведения по п.1, дополнительно содержащее блок (309) определения для определения первой группы пикселей входных пикселей, которые соответствуют наложению, и второй группы пикселей входных пикселей, которые соответствуют неналожению, причем первая группа пикселей и вторая группа пикселей формируют входное изображение.

4. Устройство (303) воспроизведения по п.2 или 3, дополнительно содержащее:
блок (314) установления наложения для установления на основании части связанных с глубиной элементов данных, имеется ли область наложения в выходном изображении, на которую первый один из первой группы пикселей должен быть отображен и первый один из второй группы пикселей должен быть смещен; и
блок (316) выбора для выбора первого одного из первой группы пикселей для вычисления второго одного из выходных пикселей, расположенных в области наложения.

5. Устройство (305) воспроизведения по п.2 или 3, дополнительно содержащее:
блок (318) установления пустой области для установления на основании дополнительной части связанных с глубиной элементов данных, имеется ли пустая область в выходном изображении, на которую ни один из пикселей первой группы пикселей не должен быть отображен и на которую ни один из пикселей второй группы пикселей не должен быть смещен; и
блок (320) выбора для выбора конкретного одного из второй группы пикселей для вычисления третьего одного из выходных пикселей, расположенных в пустой области.

6. Устройство (305) воспроизведения по п.5, в котором блок (320) выбора выполнен с возможностью выбирать конкретный один из второй группы пикселей в среде пустой области.

7. Устройство (305) воспроизведения по п.4, дополнительно содержащее:
блок (318) установления пустой области для установления на основании дополнительной части связанных с глубиной элементов данных, имеется ли пустая область в выходном изображении, на которую ни один из пикселей первой группы пикселей не должен быть отображен и на которую ни один из пикселей второй группы пикселей не должен быть смещен; и
блок (320) выбора для выбора конкретного одного из второй группы пикселей для вычисления третьего одного из выходных пикселей, расположенных в пустой области.

8. Устройство (305) воспроизведения по п.7, в котором блок (320) выбора выполнен с возможностью выбирать конкретный один из второй группы пикселей в среде пустой области.

9. Устройство (500) обработки изображений, содержащее:
средство (502) приема для приема сигнала, соответствующего входному изображению (100); и
устройство (300) воспроизведения по п.1 для воспроизведения выходного изображения (102).

10. Устройство (500) обработки изображения по п.9, дополнительно содержащее устройство (506) отображения для отображения выходного изображения.

11. Считываемый компьютером носитель, содержащий компьютерные команды, которые при выполнении на компьютере вынуждают этот компьютер реализовывать способ воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, причем способ содержит этапы:
вычисление значений смещения, подлежащих применению к входным пикселям, на основании соответствующих связанных с глубиной элементов данных; и
вычисление выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения, отличающийся тем, что этап вычисления значений смещения приводит к получению выходного значения в качестве первого одного из значений смещения, которое, по существу, равно нулю, если соответствующий первый один из входных пикселей соответствует наложению независимо от соответствующего связанного с глубиной элемента данных.

12. Способ воспроизведения выходного изображения, содержащего выходные пиксели, на основании входного изображения, содержащего входные пиксели, и на основании связанных с глубиной элементов данных, соответствующих соответствующим входным пикселям, причем способ содержит этапы:
вычисление значений смещения, подлежащих применению к входным пикселям, на основании соответствующих связанных с глубиной элементов данных и
вычисление выходных пикселей на основании смещения входных пикселей на соответствующие значения смещения, отличающийся тем, что этап вычисления значений смещения приводит к получению выходного значения в качестве первого одного из значений смещения, которое, по существу, равно нулю, если соответствующий первый один из входных пикселей соответствует наложению независимо от соответствующего связанного с глубиной элемента данных.