МНОГОВЫБОРОЧНОЕ РАЗРЕШЕНИЕ ПОВТОРНОГО ПРОЕЦИРОВАНИЯ ДВУХМЕРНОГО ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК G06T15/50 

Перекрестная ссылка на родственные заявки

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986814 (квитанция №SCEA10052US00), озаглавленной "DYNAMIC ADJUSTMENT OF PREDETERMINED THREE-DIMENSIONAL RE-PROJECTION SETTINGS BASED ON SCENE CONTENT", поданной 7 января 2011 г.

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986827 (квитанция №SCEA10053US00), озаглавленной "SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE", поданной 7 января 2011 г.

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986854 (квитанция №SCEA10054US00), озаглавленной "MORPHOLOGICAL ANTI-ALIASING (MLAA) OF A RE-PROJECTION OF A TWO-DIMENSIONAL IMAGE", поданной 7 января 2011 г.

Область техники

Варианты воплощения настоящего изобретения относятся к способу многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения.

Уровень техники

Возможность воспринимать двухмерное изображение в трех измерениях посредством использования многочисленных различных технологий стала достаточно популярной за последние несколько лет. Предоставление аспекта глубины для двухмерных изображений потенциально создает большее ощущение реализма какой-либо изображаемой сцены. Это использование трехмерного визуального представления значительно повысило впечатления зрителя, особенно в области видеоигр.

Существует ряд способов трехмерного представления данного изображения. Совсем недавно был предложен способ проецирования двухмерного изображения(ний) в трехмерное пространство, известный как рендеринг на основе изображения глубины (РОИГ). В противоположность прежним предложениям, которые часто основывались на концепции "стереоскопического" видеоизображения, т.е. получения, передачи и отображения двух отдельных видеопотоков, одного для левого глаза и одного для правого глаза, эта новая идея основывается на более гибкой совместной передаче моноскопического видеоизображения (т.е. одиночного видеопотока) и связанной с ним информации о глубине для каждого пикселя. На основании представления этих данных один или более "виртуальных" видов 3-мерного объекта затем могут быть генерированы в реальном времени на стороне приемника посредством так называемых способов РОИГ. Этот новый способ рендеринга трехмерного изображения имеет несколько преимуществ по сравнению с предыдущими способами.

Как правило, используются два способа представления зрителю двух отдельных изображений для создания иллюзии глубины. В системе, обычно используемой для проецирования 3-мерных изображений на экран, используются два отдельных синхронизированных проектора изображений для левого глаза и правого глаза. Изображения для обоих глаз проецируются на экран одновременно, но с ортогональными поляризациями, например вертикальной поляризацией изображения для левого глаза и горизонтальной поляризацией изображения для правого глаза. Зритель надевает специальные поляризованные очки для 3-мерного просмотра, имеющие, соответственно, поляризованные линзы для левого и правого глаза (например, вертикально поляризованная линза для левого глаза и горизонтально поляризованная линза для правого глаза). Вследствие поляризации изображений и линз зритель воспринимает только изображение для левого глаза левым глазом и только изображение для правого глаза правым глазом. Степень иллюзии глубины является частично функцией смещения между двумя изображениями на экране.

В 3-мерных видеосистемах изображения для левого глаза и правого глаза отображаются на видеоэкране, но не точно одновременно. Вместо этого, изображения для левого глаза и правого глаза отображаются поочередно. Зритель использует очки с активным затвором, который закрывает левый глаз при отображении изображения для правого глаза и наоборот.

Восприятие 3-мерного видеоизображения может зависеть в некоторой степени от особенностей человеческого зрения. Например, человеческий глаз имеет дискретное количество световых рецепторов и, тем не менее, люди не различают пиксели, даже боковым зрением. Что еще более удивительно, количество светочувствительных колбочек в сетчатой оболочке глаза может значительно отличаться среди отдельных людей - до 40 раз. Несмотря на это, люди воспринимают цвета одинаковым образом - мы видим в основном нашим мозгом. Система зрения человека также обладает способностью определять совмещение объектов в зависимости от ширины колбочек (острота зрения). Это объясняет, почему признаки пространственного искажения (т.е. визуальные нарушения) более заметны, чем цветовые ошибки.

Используя этот факт, производители аппаратного обеспечения машинной графики прилагают значительные усилия для компенсации признаков искажения обеспечением цветовой точности для пространственной непрерывности. Множество способов поддерживается аппаратным обеспечением, используя взвешенные образцы цвета, подобно интегрирующей способности цифровых камер.

Несомненно, все признаки искажения, в конце концов, исчезнут вследствие повышения разрешения отображения и частоты выборки. Признаками искажения можно также управлять при низком разрешении, вычисляя и усредняя множественные образцы для каждого пикселя. До сих пор для большинства алгоритмов представления изображения эти решения могут быть не всегда целесообразными с практической точки зрения, учитывая ограничения аппаратного обеспечения.

Это находится в пределах контекста, который показывает варианты воплощения настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

ФИГ.1А-1Г являются блок-схемами, иллюстрирующими эффект расстояния между соответствующими трехмерными пикселями на глубину, воспринимаемую зрителем.

ФИГ.2А-2В являются блок-схемами, иллюстрирующими эффект разделения глубины в трехмерном повторном проецировании двухмерного изображения.

ФИГ.3А-3Г являются блок-схемами, иллюстрирующими способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с прототипом.

ФИГ.4 являются блок-схемой, иллюстрирующей способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.5А-5Б являются блок-схемами, иллюстрирующими способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.5В является блок-схемой, иллюстрирующей совмещение между выборками пикселей в многовыборочном трехмерном повторном проецировании двухмерного изображения, в соответствии с вариантом воплощения данного изобретения.

ФИГ.6 является блок-схемой, иллюстрирующей устройство для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.7 является блок-схемой, иллюстрирующей пример реализации сотового процессора устройства для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.8 иллюстрирует пример неизменяемой машиночитаемой среды хранения информации с инструкциями осуществления многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения в соответствии с вариантом воплощения настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

ВВЕДЕНИЕ

Трехмерное повторное проецирование двухмерного изображения может наблюдаться посредством отображения двух отдельных видов (т.е. по одному для каждого глаза) таким образом, что у зрителя создается иллюзия глубины. Смотря на трехмерное изображение, левый глаз и правый глаз сводят вместе два соответствующих пикселя (т.е. пиксель для левого глаза и пиксель для правого глаза) для моделирования одного пикселя, обладающего глубиной.

ФИГ.1А-1Г являются блок-схемами, иллюстрирующими эффект расстояния между соответствующими трехмерными пикселями на глубину, воспринимаемую зрителем. Размер пикселя имеет фиксированную границу, определяемую разрешением изображения, которое неизбежно ограничивается аппаратным обеспечением визуального дисплея (например, трехмерного телевизора). По мере увеличения разделения соответствующих пикселей расположение воспринимаемой глубины становится постепенно дальше от экрана.

ФИГ.1А показывает два соответствующих пикселя, которые перекрываются. Эти два пикселя создадут воспринимаемую глубину 101, которая находится на поверхности экрана (например, визуального дисплея). По мере отдаления соответствующих (т.е. соседних) пикселей друг от друга на ФИГ.1Б воспринимаемая глубина 101 увеличивается и слегка смещается в экран. По мере дополнительного равномерного отдаления соответствующих (т.е. разделенных шириной пикселя) пикселей друг от друга на ФИГ.1В воспринимаемая глубина 101 кажется смещенной дополнительно в экран. При расположении пикселя для левого глаза справа от пикселя для правого глаза на ФИГ.1Г воспринимаемая глубина будет казаться ближе экрана. Важно отметить, что воспринимаемая глубина не пропорциональна линейно расстоянию между соответствующими пикселями. Таким образом, небольшое увеличение разделения соответствующих пикселей может привести к значительному увеличению воспринимаемой глубины, связанной с этими соответствующими пикселями.

Взаимосвязь между разделением соответствующих пикселей и воспринимаемой глубиной пикселя делает гладкие переходы значений глубины довольно затруднительными. Это связано с тем, что каждая пара соответствующих пикселей проецируется на конкретную плоскость глубины, определяемую разделением пикселей. ФИГ.2А-2В являются блок-схемами, иллюстрирующими этот эффект, именуемый в этой заявке как разделение глубины.

Трехмерный визуальный артефакт, известный как разделение глубины, имеет место при попытке позиционирования трехмерного элемента 201 с наклонной глубиной, как иллюстрируется на ФИГ.2А. В большей степени, чем восприятие элемента 201, такого как расположенный на одной диагональной плоскости, элемент будет восприниматься как расположенный на множественных плоскостях 203, которые параллельны экрану, как иллюстрируется на ФИГ.2Б.

В идеальной ситуации просто повышение разрешения отображаемого изображения могло бы решить вопрос разделения глубины. Однако, вследствие того, что процесс трехмерного повторного проецирования ограничивается возможностями аппаратного обеспечения, это решение неосуществимо. Вместо этого эффекты разделения глубины минимизируются смешиванием/комбинированием цветов или других значений соседних трехмерных пикселей. Результатом является приглушенная волновая форма 205 в большей степени, чем прямая диагональная плоскость, как показано на ФИГ.2В. Являясь несовершенной, такая форма предоставляет зрителю значительно более естественное представление трехмерного изображения.

Для смешивания трехмерных пикселей для создания более гладких глубин пикселей используется решение сглаживания. Решения сглаживания в прототипе включают временное сглаживание, которое требует хранения дополнительных буферных данных. Например, в случае 3-мерных изображений это означает хранение либо буферов, предварительно повторно проецируемых цвета и глубины, либо двух буферов цвета изображений для левого глаза и для правого глаза. Для изображений 720Р это требует использования памяти объемом около 7 мегабайт. Учитывая, что 3-мерные игры уже нуждаются в буферах хранения повышенного объема для изображения для второго глаза, это только повышает нагрузку на уже заполненную память.

Другое решение прототипа, известное как полноэкранное сглаживание (ПЭС), также требует использования буферов большой емкости и повышает нагрузку на память. ПЭС включает повышение разрешения и затем применение его постепенного понижения. В дополнение к остающемуся разделению глубины возникает серьезный вопрос уменьшенной эффективности более высокого разрешения.

Дополнительное решение известно как многовыборочное сглаживание (МВС), которое подобно ПЭС, но выбор цветового значения выполняется при более низком разрешении, чем разрешение образца. Результатом является значительно более дешевое осуществление в понятиях нагрузки при обработке и памяти. Обычно МВС требует выполнения разрешения до выполнения дополнительной работы по обработке изображения. Обычно это означает, что, вследствие последующей обработки исходного изображения, все дополнительные данные образца теряются вследствие применения повторного проецирования времени. Если даже информация образца сохраняется, наблюдается разделение глубины (вследствие уже рассмотренных фиксированных позиций образца). Требования к памяти для ПЭС и МВС более меняющиеся, чем для временного сглаживания.

ФИГ.3А-3Г показывают способ многовыборочного сглаживания прототипа для множественной выборки вместе с проблемами, ассоциируемыми с прототипом. Каждый трехмерный пиксель трехмерного изображения (т.е. левого вида или правого вида) может быть представлен сегментом памяти. Обычно сегмент памяти пикселя содержит только один образец. В качестве примера, а не в качестве ограничения, этот образец может являться пикселем, элементом пикселя или какой-либо группой пикселей с соответствующего двухмерного изображения, предназначенного для повторного проецирования в трех измерениях. Образец может характеризоваться набором значений, которые описывают его цветовой профиль. В таком случае в схеме повторного проецирования, которая не реализует многовыборочный способ, цветовой профиль трехмерного пикселя может характеризоваться одним образцом, который он содержит.

В многовыборочном способе допускается, что каждый сегмент памяти пикселя может содержать более одного образца. В типичной многовыборочной схеме положения образцов назначаются в пределах трехмерного пикселя, и образец приписывается к этому положению, если оно охватывается текущей геометрией. ФИГ.3А показывает ряд трехмерных пикселей 301, реализующих многовыборочную схему 2Х. Черные точки представляют положения образцов, назначенных каждому трехмерному пикселю 301, предназначенному для использования во время множественной выборки. В многовыборочной схеме 2Х каждый трехмерный пиксель 301 может характеризоваться 2 образцами с соответствующего двухмерного изображения. В то время как показанный пример ограничивается использованием двух образцов для каждого трехмерного пикселя, важно отметить, что любое количество образцов может быть использовано в многовыборочной схеме. Кроме того, в зависимости от направления смещения повторного проецирования, образцы могут быть использованы с любого направления. Если смещение повторного проецирования происходит только в горизонтальном направлении (т.е. использование параллельно смещенных камер), образцы могут быть использованы с горизонтального сканирования двухмерного изображения. Этот способ требует относительно небольшого объема памяти, так как сканирование только одной строки необходимо сохранять одновременно.

Многовыборочная схема назначает образцы с двухмерного изображения для положений образцов для каждого пикселя в трехмерном повторном проецировании. Однако фактический процесс комбинирования множественных образцов для получения одного цветового профиля известен как разрешение. Оба шага необходимы для достижения приглушенной волновой формы для диагональных плоскостей, описанных выше. Типовой процесс разрешения предполагает, что покрытие каждого образца пропорционально общему количеству образцов на каждый трехмерный пиксель. Таким образом, во многовыборочной схеме/разрешении 2Х каждому образцу в данном трехмерном пикселе дается 50% вес., и значения добавляются вместе. Тогда, если левый образец 100% красный и правый образец 100% синий, трехмерный пиксель будет предполагать цветовой профиль на 50% красный и на 50% синий (или некоторый вид пурпурного цвета). Подобно этому, если используется многовыборочная схема/разрешение 4Х, каждый образец будет иметь 25% вес. Могут использоваться другие комбинации смешивания, но основанные на фиксированном положении точки образца с пикселя, который был разрешен.

Проблема, связанная с многовыборочным способом в прототипе, заключается в фактическом положении образца в пределах данного трехмерного пикселя. ФИГ.3Б-Г иллюстрируют эту проблему в контексте многовыборочной схемы/разрешения 2Х. В нашем примере каждый образец с двухмерного изображения будет индивидуальным пикселем с этого двухмерного изображения. Каждый пиксель трехмерного повторного проецирования 301 может быть представлен двумя различными образцами. Положения образцов в пределах каждого трехмерного пикселя фиксируются.

На ФИГ.3Б, после образцов двух черных пикселей 303A, 303B следуют образцы черных пикселей 305A, 305B в двухмерном изображении, которое повторно проецируется вправо. Первый черный пиксель 303A покрывает положение левого образца в первом (самом левом) пикселе 301A повторного проецирования в строке 301. Второй черный пиксель 303B покрывает правый образец в первом пикселе повторного проецирования и левый образец во втором пикселе 301B повторного проецирования. Первый белый пиксель 305A покрывает положение правого образца второго пикселя 301B повторного проецирования и положение левого образца в третьем пикселе 301C повторного проецирования. Второй белый пиксель 305B покрывает положение правого образца в третьем пикселе 301C повторного проецирования и положение левого образца в четвертом пикселе 301D повторного проецирования. В целях этого примера положению правого образца четвертого пикселя 301D повторного проецирования может быть назначено начальное значение (например, без цвета или белый цвет), так как значение соответствующего пикселя с двухмерного изображения не назначается. Назначение каждому положению образца 50% веса приводит к результирующему черному цвету первого пикселя 307A повторного проецирования, так как оба положения образцов покрываются значениями черного пикселя. Второй пиксель 307B повторного проецирования разрешается как серый (т.е. 50% белый и 50% черный), так как одно положение образца для этого пикселя покрывается черным пикселем, и другое положение покрывается белым пикселем. Третий пиксель 307C в разрешенной строке 307 пикселей разрешается как белый, так как оба положения образцов покрываются значениями белого пикселя. Четвертый пиксель 307D в разрешенной строке 307 пикселей разрешается как белый, так как одно положение образца покрывается белым пикселем 307D и, в этом примере, другое положение образца было инициировано для значения белого цвета. Отмечается, что в типовых осуществлениях МВС все точки образцов должны быть покрыты некоторыми начальными значениями, например, черного, белого или серого цвета. В частности, если буфер первоначально очищается для белого цвета, тогда образцы 305А, 305 В могут игнорироваться.

На ФИГ.3В пиксели 303A, 303B, 305A, 305B были слегка смещены вправо. Однако смещение достаточно маленькое, чтобы покрытие положений образцов в строке 301 не изменилось. В частности, положения образцов в первом пикселе 301A повторного проецирования покрываются черными пикселями 303A, 303B, положения образцов во втором пикселе повторного проецирования покрываются черным пикселем 303B и белым пикселем 305A, положения образцов в третьем пикселе 301C покрываются белыми пикселями 305A, 305B, и одно положение образца в четвертом пикселе 301D покрывается белым пикселем 305B, а другое положение образца не покрывается и инициируется для белого цвета. В результате пиксели 307A, 307B, 307C и 307D в разрешенной строке пикселя 307 снова разрешаются как черный, серый, белый и белый, соответственно, как на ФИГ.3Б. Так как повторное проецирование пикселей 301A, 301B, 301C и 301D имеет фиксированные положения образца, небольшие смещения в повторном проецировании двухмерного изображения не изменят профиль значений пикселей повторного проецирования при смещении двухмерных пикселей 303A, 303B, 305A и 305B вправо.

Однако, если двухмерные пиксели 303A, 303B, 305A и 305B слегка сместятся дополнительно вправо, чем на ФИГ.3В, покрытие положений образцов в пикселях 301A, 301B, 301C и 301D повторного проецирования резко изменится. В частности, как показано на ФИГ.3Г, в результате небольшого сдвига вправо оба положения образцов в первом и втором пикселях 301A, 301B повторного проецирования теперь покрываются, соответственно, черными пикселями 303A, 303B, оба положения образцов в третьем и четвертом пикселях 301C, 301D покрываются, соответственно, белыми пикселями 305A, 305B. В результате первые два разрешенных пикселя 307A, 307B повторного проецирования разрешаются как черные, и вторые два разрешенных пикселя 307C, 307D повторного проецирования разрешаются как белые.

На ФИГ.3Б-3Г показано, что в типовой многовыборочной схеме/разрешении 2Х различные значения в разрешенных пикселях будут только в том случае, когда имеет место дискретное смещение двухмерного изображения в повторном проецировании. Вместо позволения постепенного преобразования значения разрешенного трехмерного пикселя с каждым постепенным смещением типовая многовыборочная схема/разрешение позволяет только дискретные смещения значений трехмерных пикселей, таких как цветовые значения. Так как глаза человека могут точно совмещать цвета, это приводит к увеличению плоскостей воспринимаемой глубины (т.е. большему разделению глубины).

Увеличение количества образцов позволит более постепенный переход профиля значений трехмерного пикселя, также приводя к большему количеству плоскостей глубины, воспринимаемых зрителем. Визуальный артефакт не слишком плохой в одной строке сканирования (зритель просто воспринимает, что весь участок слегка сместился). Однако в полном изображении, где используется сканирование множественных строк, проблема усиливается. При множественных строках сканирования зритель может отмечать смещение глубины одной строки, в то время как другая строка остается на той же глубине.

Значительное увеличение количества положений образцов для каждого трехмерного пикселя приведет к уменьшению количества визуальных артефактов, воспринимаемых зрителем. Однако значительное увеличение количества образцов не осуществимо, так как память системы ограничена. Например, типовой буфер 720р, использующий RGBA, стоит приблизительно 3,5 М. Добавление второго положения образца в трехмерный пиксель удваивает требуемый объем памяти.

Варианты воплощения настоящего изобретения направлены на ограничение количества двухмерных образцов, необходимых для данного трехмерного пикселя, и одновременно на создание более постепенного перехода цветового профиля в трехмерном пикселе для смещений в повторном проецировании. Варианты воплощения настоящего изобретения могут использовать более чем два образца. Однако было замечено, что в вариантах воплощения со смещением повторного проецирования только в горизонтальном направлении визуальное улучшение было пренебрежимо мало, когда четыре образца были использованы вместо двух. Без ограничений со стороны какой-либо теории выполнения это может объясняться фактом, что в испытываемом варианте воплощения все пиксели имели такой же размер, как после повторного проецирования. В типичной сцене существует несколько типов образцов, которые не перекрывались бы таким образом, как это необходимо для использования более двух образцов, в случае, когда мы позволили использование максимум 4 образцов. Варианты воплощения с повторным проецированием пикселей как в горизонтальном, так и вертикальном направлении могут обеспечить получение улучшенного визуального качества, используя более двух образцов. В вариантах воплощения настоящего изобретения значения для каждого пикселя в трехмерной повторной проекции вычисляются исходя из величины "покрытия" соответствующих образцов. В сущности, величины покрытия могут быть использованы для определения веса для применения к каждому значению двухмерного образца при вычислении значения соответствующего трехмерного пикселя в повторном проецировании.

ВАРИАНТЫ ВОПЛОЩЕНИЯ

ФИГ.4 является блок-схемой, иллюстрирующей способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения. Перед повторным проецированием двухмерного изображения 401 в трех измерениях образцы должны быть идентифицированы для использования с соответствующими трехмерными пикселями 403. Трехмерное повторное проецирование фактически является комбинацией множественных разделенных видов (т.е. вид правого глаза и вид левого глаза), которые объединяются для создания иллюзии глубины. Для каждого вида трехмерного повторного проецирования сначала необходимо определить, какие двухмерные образцы соответствуют каждому трехмерному пикселю для этого конкретного вида. Как обсуждалось выше, образец относится к пикселю, элементу пикселя или какой-либо другой группе пикселей в пределах двухмерного изображения. Трехмерный пиксель может характеризоваться любым количеством образцов в зависимости от типа повторного проецирования, выполняемого для двухмерного изображения. Также любой двухмерный образец может перекрывать более одного трехмерного пикселя.

Так как количество образцов в каждом трехмерном пикселе может быть больше допустимо максимального, должен существовать выбор, какие образцы использовать. При повторном проецировании образцы могут быть выбраны для использования объектов переднего плана. Это может быть выполнено посредством контроля глубины для каждого образца или, в случае камер с параллельным смещением, выбирая порядок обхода образцов двухмерных пикселей для использования начального или последнего записанного образца. Сохранение множественных образцов может быть достигнуто выбором типовых правил извлечения из кэш-памяти, таких как ПППО (первым пришел - первым обслужен).

Для обеспечения возможности простого выбора образцов в нашем варианте воплощения мы назначаем два типа образцов: "лидирующий" и "замыкающий" образцы. Лидирующий образец - образец, который пересекает левый край трехмерного пикселя. Подобным образом замыкающий образец касается или пересекает правый край трехмерного пикселя. Образец, который не пересекает ни один из краев, относится к категории замыкающего. В вариантах воплощения, где ширина двухмерного пикселя такая же, как ширина трехмерного пикселя при повторном проецировании, гарантируется касание или пересечение края. Отмечается, что другие варианты воплощения не требуют, чтобы ширина двухмерного пикселя была такая же, как ширина пикселя в повторном проецировании. В качестве примера, на ФИГ.5А образец черного пикселя 503 является замыкающим образцом в первом пикселе строки пикселей 501 и лидирующим образцом во втором пикселе в строке. В случаях когда используются четыре образца, множественные лидирующие и множественные замыкающие образцы могут использоваться и величина покрытия может регулироваться на основании других лидирующих и замыкающих образцов. Наблюдения показали, что выполнение этого имело небольшой визуальный эффект.

После определения, какие двухмерные образцы соответствуют каждому трехмерному пикселю, должны быть определены 405 величины покрытия для каждого образца. Величина покрытия образца относится к площади пикселя, покрываемой соответствующим двухмерным образцом. В зависимости от направления смещения повторного проецирования образцы могут быть использованы с любого направления. В качестве примера, а не в качестве ограничения, система трехмерного повторного проецирования, которая использует параллельно смещенные камеры, будет использовать образцы со сканирования в горизонтальном направлении двухмерного изображения, так как смещение повторного проецирования происходит только в горизонтальном направлении. В отличие от прототипа, где положения образцов были использованы для разрешения значения трехмерного пикселя, варианты воплощения настоящего изобретения отслеживают фактическую величину покрытия каждого образца, связанного с данным трехмерным пикселем. На величину покрытия одного образца может влиять другой образец. Первичный результат этого проявляется в виде перекрывающихся образцов. Так как значение глубины будет обычно различным между двумя двухмерными пикселями при повторном проецировании, пиксели часто будут перекрываться. Как упомянуто выше, информация об объектах переднего плана обычно является более важной, чем о фоновых объектах.

Отмечается, что идентификация образцов в 403 и определение величин покрытия в 405 могут происходить одновременно, и выбор образцов может основываться на величине покрытия (так же, как выбор для сохранения образца, имеющего более высокую величину покрытия).

ФИГ.5В иллюстрирует эффект перекрытия двух различных образцов 512, 514 и концепцию "лидирующего" и "замыкающего" образца. Зона между двумя пунктирными линиями представляет площадь перекрытия между двумя образцами. Черный образец 512 является лидирующим образцом для второго пикселя в строке 501. Серый образец 514 является замыкающим образцом для второго пикселя. В примере, показанном на ФИГ.5В, серый образец 514 также представляет образец, который ближе к зрителю. В этом случае покрытие лидирующего образца 512 может быть уменьшено перекрытием величины покрытия с серым образцом. Из покрытия одного образца возможно полностью устранить другой образец (или уменьшить покрытие другого образца до нуля).

После определения величин покрытия для всех образцов, соответствующих всем трехмерным пикселям, для окончательного значения пикселя (например, цвета), в 407 может быть выполнено разрешение в соответствии с этими величинами покрытия. Для данного трехмерного пикселя каждый образец, соответствующий этому пикселю, будет взвешиваться в соответствии со своей величиной покрытия и затем комбинироваться для получения конечного значения пикселя. Конечное значение пикселя может представлять собой конечное значение для любого канала данных, используемых для определения пикселя в изображении. В качестве примера, а не в качестве ограничения, конечное значение пикселя может представлять собой конечное цветовое значение. Однако варианты воплощения не ограничены осуществлениями, в которых конечное значение является цветовым значением.

В случае когда веса образцов, используемых для разрешения конечного значения пикселя, не составляют вместе 100%, может произойти типовое заполнение дырок повторного проецирования. В качестве примера, а не в качестве ограничения, величины покрытия могут быть поделены на общее покрытие трехмерного пикселя, который помогает согласовать какие-либо несоответствия. Если образцы для данного трехмерного пикселя полностью отсутствуют, может допускаться прохождение такого пикселя через шаг заполнения дырок. В определенных вариантах воплощения способ, показанный на ФИГ.4, может включать необязательный шаг заполнения дырок, показанный в 408. Как правило, заполнение дырок может регулировать конечное значение для любого пикселя, для которого общая взвешенная величина покрытия для всех образцов, используемых для конечного значения, меньше 100%. В качестве примера, а не в качестве ограничения, шаг заполнения дырок может включать копирование значений фона соседнего пикселя в данный пиксель, так как это обычно менее заметно. В некоторых вариантах воплощения это может быть выполнено как часть разрешения значения пикселя в 407 через конкретный порядок обработки во время разрешения.

После разрешения значений трехмерного пикселя для трехмерного повторного проецирования повторно спроецированное изображение может быть отображено, как указывается в 409.

Отмечается, что величины покрытия для образцов могут временно храниться несколькими различными способами. В качестве примера, величины покрытия могут храниться в массивах. Например, в случае данных RGBA, сохраняемых в виде 32-битового значения, должны быть 32-битовые значения пикселя повторного проецирования (так как используются 2 образца). Это не препятствует использованию в вариантах воплощения изобретения списков или индексов для уменьшения объема занимаемой памяти. Однако со списками двух образцов может быть более вероятно использовать дополнительный объем памяти, а не уменьшать его. Это может быть исправлено, например, использованием списков с изменяющимися размерами.

Отмечается, что в случае трехмерных стереоскопических изображений для левого глаза и правого глаза значения пикселей для изображений для левого глаза и для правого глаза могут быть разрешены, как описано на ФИГ.4. В этом случае существует отдельное множество образцов для каждого целевого повторного проецирования (т.е. для левого глаза и для правого глаза), и каждая цель должна быть разрешена независимо. Для эффективности обе цели могут быть разрешены одновременно, но также независимо. Отмечается, что значения пикселей для стереоскопических изображений (например, изображения с чересстрочной разверткой от различных видов, как используется в дисплеях с матрицами ступенчатых линз) могут быть также разрешены независимо. Если требуется, такие изображения могут быть разрешены независимо одновременно, например, используя параллельную систему обработки и программное обеспечение с подходящей конфигурацией.

Изображения для левого глаза и правого глаза могут отображаться последовательно или одновременно в зависимости от природы дисплея. Например, изображения для левого глаза и правого глаза могут отображаться последовательно в случае 3-мерного телевизионного дисплея, используемого с очками с активным затвором. Альтернативно изображения для левого глаза и правого глаза могут отображаться одновременно в случае дисплея 2-проекционного типа, используемого с пассивными очками для 3-мерного просмотра, имеющими различно окрашенные или различно поляризованные линзы для левого и правого глаза.

ФИГ.5А-5Б дополнительно показывают использование покрытия в многовыборочном разрешении трехмерного повторного проецирования двухмерного изображения. В качестве примера, а не в качестве ограничения, ФИГ.5А-Б иллюстрируют способ многовыборочного разрешения 2Х трехмерного повторного проецирования двухмерного изображения, согласно варианту воплощения настоящего изобретения. В многовыборочной схеме 2Х данный пиксель повторного проецирования в строке 501 может иметь до двух двухмерных образцов, связанных с ним. На ФИГ.5А, сразу после двух черных образцов 503A, 503B пикселя следуют два белых образца 505A, 505B пикселя в двухмерном изображении, повторно проецируемого вправо. Отмечается, что в повторном проецировании типичной сцены можно обоснованно ожидать, что большинство пикселей не сместятся так, что они останутся рядом с примыкающим пикселем. Некоторое перекрытие смещенных пикселей допускается, так как между смещенными пикселями существуют зазоры. Затем определяется величина покрытия для каждого двухмерного образца 503A, 503B, 505A, 505B. В примере, показанном на ФИГ.5А, первый черный образец 503А имеет 50% покрытие в первом пикселе 501A повторного проецирования. Второй черный образец 503B имеет 50% покрытие в первом пикселе 501A повторного проецирования и 50% покрытие второго пикселя 501B повторного проецирования. Первый белый образец 505A имеет 50% покрытие во втором пикселе 501B повторного проецирования и 50% покрытие в третьем пикселе 501C повторного проецирования. Второй белый образец 505B имеет 50% покрытие в третьем трехмерном пикселе 501C и 50% покрытие четвертого пикселя 501D повторного проецирования. В целях этого примера принимается, что пиксели повторного проецирования были инициированы не иметь образцов или иметь нулевое покрытие. Используя величины покрытия в качестве весов и применяя общее покрытие, описанное выше, к четвертому пикселю повторного проецирования, мы получаем разрешенные пиксели 507A, 507B, 507C, 507D повторного проецирования в разрешенной строке 507 повторного проецирования, имеющие значения черного, серого, белого и белого цвета соответственно.

Однако ситуация будет другая, если покрытие только слегка отличается. В частности, на ФИГ.5Б двухмерные пиксели 503A, 503B, 505A, 505B дополнительно повторно проецируются вправо, что приводит к различным величинам покрытия для двухмерных пикселей 503A, 503B, 505A и 505B. В примере, показанном на ФИГ.5Б, эти покрытия следующие. Первый черный образец 503A имеет 75% покрытие в первом пикселе 501A повторного проецирования. Второй черный образец 503B имеет 25% покрытие в первом пикселе 501A повторного проецирования и 75% покрытие второго пикселя 501B повторного проецирования. Первый белый образец 505A имеет 25% покрытие во втором пикселе 501B повторного проецирования и 75% покрытие в третьем пикселе 501C повторного проецирования. Второй белый образец 505B имеет 25% покрытие в третьем трехмерном пикселе 501C и 75% покрытие четвертого пикселя 501D повторного проецирования. Снова, в целях этого примера принимается, что пиксели повторного проецирования (включая четвертый пиксель 501D повторного проецирования) инициируются не иметь образцов или иметь нулевое покрытие. Используя величины покрытия в качестве весов и применяя общее покрытие к четвертому пикселю повторного проецирования, мы получаем разрешенные пиксели 507A, 507B, 507C, 507D повторного проецирования в разрешенной строке 507 повторного проецирования, имеющие значения черного, серого, белого и белого цвета соответственно. Значение более темного серого цвета для второго разрешенного пикселя 507B повторного проецирования является результатом более высокого относительного покрытия второго пикселя 501B повторного проецирования черным пикселем 503B по сравнению с покрытием белым пикселем 505A.

В то время как способ прототипа использует положения образцов в пределах трехмерного пикселя для определения конечного значения трехмерного пикселя, способ изобретения использует покрытие образца трехмерного пикселя в разрешении его конечного цвета. Это предоставляет возможность более точного выполнения шага разрешения по сравнению с прототипом. Как обсуждалось выше, прототип позволяет выполнение переходов значений пикселя только для трехмерных пикселей, где произошли дискретные смещения в повторном проецировании. Способ изобретения, с другой стороны, разрешает конечное значение каждого трехмерного пикселя, используя величины покрытий образцов, что предоставляет возможность гладких переходов цвета, ответственных за какое-либо смещение повторного проецирования.

Таким образом, варианты воплощения настоящего изобретения не только решают проблему разделения глубины во время трехмерного повторного проецирования, но также обеспечивают более естественный вид трехмерных изображений.

В случае использования автостереоскопического дисплея, такого как матрица ступенчатой линзы, для отображения конечного трехмерного изображения, ожидается, что величина смещения между соответствующими изображениями точек наблюдения и изображениями других точек наблюдения будет объективно небольшой. Варианты воплощения настоящего изобретения также помогают снизить воспринимаемый скачок при перемещении между точками наблюдения. В 3-мерных системах прототипа различные объекты стремятся "зафиксироваться" в своих положениях, в то время как зритель перемещается между точками наблюдения. Варианты воплощения настоящего изобретения обеспечивают возможность более естественного смещения всех объектов в трехмерной сцене при изменении положения зрителя.

Отмечается, что ФИГ.5А-5Б показывают пример, где образцы 503, 505 смещаются горизонтально, но не вертикально, относительно трехмерных пикселей 501. Однако варианты воплощения изобретения могут включать осуществления, где образцы смещаются вертикально или где образцы смещаются как вертикально, так и горизонтально.

ФИГ.6 показывает блок-схему компьютерного устройства, которое может быть использовано для осуществления способа многовыборочного сглаживания трехмерного повторного проецирования двухмерного изображения. Устройство 600, как правило, может включать процессорный модуль 601 и память 605. Процессорный модуль 601 может включать одно или более процессорных ядер. Примером обрабатывающей системы, использующей множественные процессорные модули, является сотовый процессор, примеры которого описаны подробно, например, в документе Архитектура сотового широкополосного двигателя, доступного на сайте http://www-306.ibm.com/chip/techlib/techlib.nsf/techdocs/1AEEE1270EA2776387257060006E61BA/$file/CBEA_01_pub.pdf, который включен в эту заявку посредством ссылки.

Память 605 может быть в виде интегрированной схемы, например RAM, DRAM, ROM и подобной. Память 605 может быть также главной памятью, доступной для всех процессорных модулей. В некоторых вариантах воплощения процессорный модуль 601 имеет локальные запоминающие устройства, связанные с каждым ядром. Программа 603 может храниться в главной памяти 605 в виде читаемых процессором команд, которые могут исполняться в процессорных модулях. Программа 603 может конфигурироваться для выполнения многовыборочного разрешения трехмерного проецирования двухмерного изображения. Программа 603 может быть написана на любом читаемом процессором языке, например C, C++, JAVA, Assembly, MATLAB, FORTRAN, и ряде других языков. Исходные данные 607 могут также храниться в памяти. Такие исходные данные 607 могут включать информацию относительно идентификации образов, предназначенных для использования, и величин покрытия образцов. Во время выполнения программы 603 части управляющей программы и/или данных могут быть загружены в память или локальные запоминающие устройства процессорных ядер для параллельной обработки множественными процессорными ядрами.

Устройство 600 может также включать хорошо известные функциональные компоненты 609, такие как элементы ввода/вывода (B/B) 611, источники питания (ИП) 613, тактовый генератор (ТГ) 615 и кэш 617. Устройство 600 может, необязательно, включать устройство памяти большой емкости 619, такое как дисковый накопитель, CD-ROM накопитель, ленточный накопитель или подобные, для хранения программ и/или данных. Устройство 600 может, необязательно, включать блок отображения 621 и интерфейс пользователя 625 для облегчения взаимодействия между устройством и пользователем. В качестве примера, а не в качестве ограничения, блок отображения 621 может быть в виде готового 3-мерного телевизора, отображающего текст, цифры, графические символы или другие визуальные объекты как стереоскопические изображения, воспринимаемые посредством очков 627 для 3-мерного просмотра.

Интерфейс 625 пользователя может включать клавиатуру, мышь, джойстик, световое перо или другое устройство, которое может быть использовано совместно с графическим интерфейсом пользователя (ГИП). Устройство 600 может также включать сетевой интерфейс 623 для обеспечения связи устройства с другими устройствами через сеть, такую как Интернет.

Компоненты системы 600, включая процессор 601, память 605, функциональные компоненты поддержки 609, устройство хранения большой емкости 619, интерфейс пользователя 625, сетевой интерфейс 623 и блок отображения 621, могут быть оперативно соединены друг с другом через одну или более шин данных 629. Эти компоненты могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении или в некоторой комбинации двух или более из них.

Существует ряд дополнительных способов обеспечения параллельной обработки множественными процессорами в аппаратуре. Например, возможно "разворачивать" циклы обработки, например, копированием управляющей программы в двух или более процессорных ядрах и выполнением каждым процессорным ядром управляющей программы для обработки различных блоков данных. Такое выполнение может позволить избежать задержки, связанной с настройкой цикла. Как применяется к нашему изобретению, множественные процессоры могут параллельно идентифицировать двухмерные образцы, которые соответствуют пикселям в трехмерном повторном проецировании. Дополнительно множественные процессоры могут параллельно определять величины покрытия образцов трехмерных пикселей или окончательно определять их цвета. Возможность параллельной обработки данных экономит ценное время обработки, что приводит к возможности создания более эффективной и оптимальной системы для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения.

Одним примером, среди других, системы обработки, способной осуществлять параллельную обработку в трех или более процессорах, является сотовый процессор. Существует ряд различных процессорных архитектур, которые могут категорироваться как сотовые процессоры. В качестве примера, а не в качестве ограничения, ФИГ.7 иллюстрирует тип сотового процессора. Сотовый процессор 700 включает главную память 701, одинарный общий процессорный элемент (ОПЭ) 707 и восемь синергетических процессорных элементов (СПЭ) 711. Альтернативно сотовый процессор может конфигурироваться с использованием любого количества СПЭ. На ФИГ.7 память 701, ОПЭ 707 и СПЭ 711 могут осуществлять связь друг с другом и устройством ввода/вывода (B/B) 715 через соединительную шину кольцевого типа 717.

Память 701 содержит исходные данные 703, имеющие характеристики, общие с программой, описанной выше. По меньшей мере один из СПЭ 711 может включать в своем локальном запоминающем устройстве (ЛЗУ) команды 713 многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения и/или часть исходных данных, которые предназначены для параллельной обработки, например, описанной выше. ОПЭ 707 может включать в своем Л1 кэш команды 709 многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, имеющие характеристики, общие с программой, описанной выше. Команды 705 и данные 703 могут также храниться в памяти 701 для доступа СПЭ 711 и ОПЭ 707, при необходимости. Необходимо отметить, что любое количество процессов, вовлеченных в изобретенный способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, могут обрабатываться параллельно, используя сотовый процессор.

В качестве примера, ОПЭ 707 может являться 64-битовым общим процессорным блоком PowerPC (ОПБ) с соответствующими элементами кэш-памяти. ОПЭ 707 может включать необязательный блок векторного мультимедийного расширения. Каждый СПЭ 711 включает синергетический процессорный блок (СПБ) и локальное запоминающее устройство (ЛЗУ). В некоторых вариантах воплощения локальное запоминающее устройство может иметь емкость, например, около 256 килобайт памяти для программ и данных. СПБ являются менее сложными вычислительными блоками по сравнению с ОПБ, так как они обычно не выполняют функции управления системой. СПБ могут иметь возможность выполнения процедуры с одним потоком команд и множеством потоков данных (ОИМП), и обычно обрабатывают данные и инициируют все требуемые передачи данных (относительно параметров доступа, устанавливаемых ОПЭ) для выполнения назначенных задач. СПБ позволяют системе реализовывать приложения, которые требуют более высокой вычислительной плотности и могут эффективно использовать предоставляемый набор команд. Значительное количество СПБ в системе, управляемой ОПБ, позволяет осуществлять экономически эффективную обработку в широком диапазоне приложений.

В качестве примера, сотовый процессор может характеризоваться архитектурой, известной как Архитектура сотового широкополосного двигателя (АСШД). В АСШД-совместимой архитектуре множественные ОПЭ могут комбинироваться в группу ОПЭ, и множественные СПЭ могут комбинироваться в группу СПЭ. В целях примера, сотовый процессор показан как имеющий одну группу СПЭ и одну группу ППЭ с одним СПЭ и одним ППЭ. Альтернативно сотовый процессор может включать множественные группы общих процессорных элементов (групп ОПЭ) и множественные группы синергетических процессорных элементов (групп СПЭ). АСШД-совместимые процессоры описываются подробно, например, в документе Архитектура сотового широкополосного двигателя, который включен в данную заявку посредством ссылки и доступен на сайте https://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/1AEEE1270EA277638725706000E61BA/$file/CBEA_01_pub.pdf.

В соответствии с другим вариантом воплощения команды для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения могут храниться в машиночитаемой среде хранения. В качестве примера, а не в качестве ограничения, ФИГ.8 иллюстрирует пример неизменяемой машиночитаемой среды хранения 800 в соответствии с вариантом воплощения настоящего изобретения. Среда хранения 800 содержит машиночитаемые команды, хранящиеся в формате, который может быть извлечен, интерпретирован и выполнен компьютерным обрабатывающим устройством. В качестве примера, а не в качестве ограничения, машиночитаемая среда хранения может представлять собой машиночитаемую память, такую как запоминающее устройство с произвольной выборкой (RAM), или постоянное запоминающее устройство (ROM), машиночитаемый диск для хранения информации для стационарного дискового накопителя (например, накопитель на жестком диске) или съемный дисковый накопитель. В дополнение машиночитаемая среда хранения 800 может являться устройством флэш-памяти, машиночитаемой лентой, CD-ROM, DVD-ROM, Blu-Ray, HD-DVD, UMD или другими оптическими носителями информации.

Среда хранения 800 содержит команды для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения 801. Команды 801 многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения могут конфигурироваться для осуществления многовыборочного разрешения в соответствии со способами, описанными выше. В частности, команды 801 многовыборочного разрешения могут включать команды 803 идентификации двухмерного изображения, которые используются для определения одного или более образцов с двухмерного изображения, которые соответствуют пикселю трехмерного повторного проецирования.

Команды 801 многовыборочного разрешения могут также включать команды 805 для определения площади, которую данный двухмерный образец занимает в трехмерном пикселе. Для трехмерного повторного проецирования это позволяет осуществить смещение параллельных камер, эта выборка производится только в горизонтальном направлении (т.е. образцы неоднородные в вертикальном направлении для любого трехмерного пикселя). Важно отметить, что множественная выборка может быть выполнена для любого количества различных направлений.

Команды 801 для многовыборочного разрешения могут дополнительно включать команды 807 разрешения конечного цвета пикселя, которые конфигурируются для определения цвета трехмерного пикселя комбинированием взвешенных величин покрытия образца. Например, если данный трехмерный пиксель имеет красный образец с 80% покрытием и синий образец с 20% покрытием, то команды разрешения конечного цвета пикселя 807 могут разрешить цвет трехмерного пикселя как оттенок пурпурного с большей интенсивностью красного вследствие его более высокого покрытия. Важно отметить, что любое количество способов взвешивания может быть использовано для разрешения конечного цвета на основании величин покрытия образцов.

Команды 801 для многовыборочного разрешения могут, необязательно, включать команды 808 заполнения дырок, которые могут установить конечное значение для любого пикселя, для которого общие взвешенные величины покрытия для всех образцов, участвующих в конечном значении, меньше 100%, когда выполняются.

Команды 801 для многовыборочного разрешения могут дополнительно включать команды 809 отображения трехмерного повторного проецирования двухмерного изображения после выполнения многовыборочного разрешения.

Хотя были описаны примеры осуществления, в которых стереоскопические 3-мерные изображения наблюдаются с использованием пассивных или активных очков для 3-мерного просмотра, варианты воплощения изобретения не ограничиваются такими осуществлениями. В частности, варианты воплощения изобретения могут применяться к стереоскопическим 3-мерным видеотехнологиям, которые не основываются на слежении за положением головы или использовании пассивных или активных очков для 3-мерного просмотра. Примеры таких "свободных от очков" стереоскопических 3-мерных видеотехнологий иногда рассматриваются как автостереоскопические технологии или автостереоскопия. Примеры таких технологий включают, не ограничиваясь этим, технологии, основанные на использовании ступенчатых линз. Ступенчатая линза является матрицей увеличительных линз, сконструированной таким образом, что при наблюдении при слегка различных углах увеличиваются различные изображения. Различные изображения могут быть выбраны для обеспечения эффекта трехмерного просмотра при наблюдении ступенчатого экрана под различными углами. Количество генерируемых изображений увеличивается пропорционально количеству точек наблюдения экрана.

В частности, в видеосистеме с использованием ступенчатых линз изображения повторного проецирования объекта под слегка различными углами наблюдения могут генерироваться с первоначального 2-мерного изображения и информации о глубине для каждого пикселя в изображении. Используя способы повторного проецирования, различные виды изображения с прогрессивно различных углов наблюдения могут генерироваться с первоначального 2-мерного изображения и информации о глубине. Изображения, представляющие различные виды, могут быть разделены на полосы и отображаться поочередно на автостереоскопическом дисплее с экраном, находящимся между матрицей ступенчатой линзы и точкой просмотра. Линзы, составляющие ступенчатую линзу, могут являться цилиндрическими увеличивающими линзами, совмещенными с полосами и, как правило, в два раза больше ширины полос. Зритель воспринимает различные виды сцены в зависимости от угла наблюдения экрана. Различные виды могут быть выбраны для обеспечения иллюзии глубины отображаемой сцены.

Кроме того, хотя определенные варианты воплощения настоящего изобретения могут решить вопросы разделения глубины в случае трехмерного повторного проецирования двухмерных изображений и включают генерирование более одного изображения для повторного проецирования, варианты воплощения в большинстве случаев более применимы к не 3-мерным случаям повторного проецирования. Многовыборочное разрешение повторно проецируемых пикселей, описанное здесь, может обеспечивать более высокое качество повторно проецируемого изображения, благодаря градиенту смещения. Такое многовыборочное разрешение может быть осуществлено, например, во время типовой растеризации повторно проецируемого изображения.

В дополнение в некоторых трехмерных осуществлениях может не быть необходимым генерировать два или более изображений. Например, в случае стереоскопического отображения может не быть необходимым генерировать оба изображения для левого глаза и правого глаза через повторное проецирование. Альтернативно можно генерировать только одно новое изображение. Например, возможно начать с информации о цвете и глубине для каждого пикселя изображения для левого глаза и генерировать соответствующее изображение для правого глаза через повторное проецирование (или наоборот), получая достаточные изображения для отображения с использованием стереоскопического дисплея. Это включает генерирование только одного повторно проецированного изображения.

В то время как выше было приведено полное описание предпочтительного варианта воплощения настоящего изобретения, возможно использовать различные альтернативы, модификации и эквиваленты.

Хотя настоящее изобретение было описано достаточно подробно со ссылками на определенные варианты, возможны другие варианты. Поэтому сущность и объем прилагаемой формулы изобретения не должны ограничиваться описанием предпочтительных вариантов, содержащихся в этой заявке. Вместо этого, объем изобретения должен определяться с обращением к прилагаемой формуле изобретения, вместе с ее полным объемом эквивалентов.

Все особенности, раскрытые в этом описании (включая все сопровождающие пункты формулы изобретения, реферат и чертежи), могут быть заменены альтернативными особенностями, служащими для достижения этой же, эквивалентной или подобной цели, если однозначно не указывается другое. Таким образом, если однозначно не указывается другое, каждая раскрываемая особенность представляет собой только один пример из общего ряда эквивалентных или подобных особенностей. Любая особенность, предпочтительная или нет, может комбинироваться с любой другой особенностью, предпочтительной или нет. В формуле изобретения, представленной ниже, единственное число выражения или термина подразумевает один или более, если другое прямо не обозначено. Любой элемент формулы изобретения, который однозначно не заявляет "средства для" выполнения указанной особенности, не должен интерпретироваться как формулировка "средства" или "шаг", как указывается в 35 USC § 112, ¶6. В частности, использование "шага" в пунктах формулы изобретения в этой заявке не предназначено для использования положений 35 USC § 112, ¶6.

Внимание читателя обращается на все бумаги и документы, которые подаются вместе с этим описанием и которые открыты для публичной проверки с этим описанием, и содержание всех бумаг и документов включено в эту заявку путем ссылки.

Изобретение относится к средствам проецирования двухмерного изображения в трехмерном пространстве. Техническим результатом является повышение качества визуализации двухмерного изображения при повторном проецировании. Способ включает идентификацию множества образцов двухмерного изображения для каждого пикселя в повторном проецировании, генерируемого смещением пикселя повторного проецирования относительно изображения на величину, основанную на данных о глубине, каждый двухмерный образец при повторном проецировании имеет такую же ширину, что и пиксели повторного проецирования, определение множества величин покрытия образцов для каждого пикселя повторного проецирования, разрешение конечного значения для каждого пикселя повторного проецирования комбинированием каждого двухмерного образца. 2 н. и 20 з.п. ф-лы, 8 ил.

1. Способ многовыборочного разрешения повторного проецирования двухмерного изображения, при котором повторное проецирование охватывает группу пикселей, включающий:
а) идентификацию множества образцов двухмерного изображения для каждого пикселя в повторном проецировании, при этом каждый такой пиксель повторного проецирования генерируется смещением пикселя повторного проецирования относительно двухмерного изображения на величину смещения, основанную на данных о глубине двухмерного изображения, и каждый двухмерный образец при повторном проецировании имеет такую же ширину, что и пиксели повторного проецирования;
б) определение множества величин покрытия образцов для каждого пикселя повторного проецирования, в котором величина покрытия каждого образца определена величиной смещения пикселя в повторном проецировании относительно двухмерного изображения, при этом величина покрытия каждого образца идентифицирует площадь пикселя, покрываемую соответствующим двухмерным образцом после смещения; и
в) разрешение конечного значения для каждого пикселя повторного проецирования комбинированием каждого двухмерного образца, ассоциируемого с пикселем, причем каждый такой двухмерный образец взвешен согласно его соответствующей величине покрытия образца,
при этом а), б) и в) выполняются для, по меньшей мере, изображения для левого глаза или изображения для правого глаза, для стереоскопического отображения.

2. Способ по п. 1, отличающийся тем, что идентификация каждого образца в а) выполняется с использованием горизонтального сканирования.

3. Способ по п. 1, отличающийся тем, что а) включает идентификацию, самое большее, двух образцов для каждого пикселя в повторном проецировании.

4. Способ по п. 1, отличающийся тем, что б) дополнительно включает определение того, имеет ли конкретный образец, ассоциированный с пикселем в повторном проецировании, лидирующий образец в соседнем пикселе.

5. Способ по п. 4, отличающийся тем, что б) дополнительно включает определение того, имеет ли конкретный образец, ассоциированный с пикселем в повторном проецировании, замыкающий образец в соседнем пикселе.

6. Способ по п. 1, отличающийся тем, что а), б) и в) выполняются для обоих изображений для левого глаза и для правого глаза, для стереоскопического отображения.

7. Способ по п.1, отличающийся тем, что двухмерным изображением является изображение для левого глаза или изображение для правого глаза, для стереоскопического отображения, а а), б) и в) выполняются для другого из изображений для левого глаза или правого глаза.

8. Способ по п. 1, отличающийся тем, что стереоскопическим отображением является автостереоскопическое отображение.

9. Способ по п. 1 , отличающийся тем, что б) включает определение перекрытия между двумя или более образцами, и тем, что в) включает уменьшение величины покрытия для образца из двух или более образцов, имеющих глубину дальше от зрителя на величину перекрытия покрытия с одним или более других образцов из двух или более образцов.

10. Способ по п. 1, отличающийся тем, что дополнительно включает регулирование конечного значения для любого пикселя, для которого общая взвешенная величина покрытия для всех образцов, дающих вклад в это конечное значение, составляет меньше 100%.

11. Устройство для многовыборочного разрешения повторного проецирования двухмерного изображения, включающее:
процессор;
память; и
машиночитаемые команды, находящиеся в памяти и исполняемые процессором, где машиночитаемые команды конфигурируются для осуществления способа многовыборочного разрешения повторного проецирования двухмерного изображения, при котором повторное проецирование охватывает группу пикселей, включающего:
а) идентификацию множества образцов двухмерного изображения, соответствующих каждому пикселю в повторном проецировании, при этом каждый такой пиксель повторного проецирования генерируется смещением пикселя повторного проецирования относительно двухмерного изображения на величину смещения, основанную на данных о глубине двухмерного изображения, и каждый двухмерный образец при повторном проецировании имеет такую же ширину, что и пиксели повторного проецирования;
б) определение множества величин покрытия образцов для каждого пикселя повторного проецирования, в котором величина покрытия каждого образца определена величиной смещения пикселя в повторном проецировании относительно двухмерного изображения, при этом величина покрытия каждого образца идентифицирует площадь пикселя, покрываемую соответствующим двухмерным образцом после смещения; и
в) разрешение конечного значения для каждого пикселя повторного проецирования комбинированием каждого двухмерного образца, ассоциируемого с пикселем, причем каждый такой двухмерный образец взвешен согласно его соответствующей величине покрытия образца,
при этом а), б) и в) выполняются для, по меньшей мере, изображения для левого глаза или изображения для правого глаза, для стереоскопического отображения.

12. Устройство по п. 11, отличающееся тем, что дополнительно включает трехмерный стереоскопический визуальный дисплей, выполненный с возможностью отображения повторного проецирования после многовыборочного разрешения.

13. Устройство по п. 12, отличающееся тем, что способ дополнительно включает:
г) отображение повторного проецирования на трехмерном стереоскопическом визуальном дисплее.

14. Устройство по п. 11, отличающееся тем, что идентификация каждого образца в а) выполняется с использованием горизонтального сканирования.

15. Устройство по п. 11, отличающееся тем, что а) включает идентификацию, самое большее, двух образцов для каждого пикселя в повторном проецировании.

16. Устройство по п. 11, отличающееся тем, что б) дополнительно включает определение того, имеет ли конкретный образец, ассоциированный с пикселем в повторном проецировании, лидирующий образец в соседнем пикселе.

17. Устройство по п. 16, отличающееся тем, что б) дополнительно включает определение того, имеет ли конкретный образец, ассоциированный с пикселем в повторном проецировании, замыкающий образец в соседнем пикселе.

18. Устройство по п. 11, отличающееся тем, что а), б) и в) выполняются для обоих изображений для левого глаза и для правого глаза, для стереоскопического отображения.

19. Устройство по п. 11, отличающееся тем, что стереоскопическим отображением является автостереоскопическое отображение.

20. Устройство по п. 11, отличающееся тем, что двухмерным изображением является изображение для левого глаза или изображение для правого глаза, для стереоскопического отображения, а а), б) и в) выполняются для другого из изображений для левого глаза или правого глаза.

21. Устройство по п. 11, отличающееся тем, что б) включает определение перекрытия между двумя или более образцами и где в) включает уменьшение величины покрытия для образца из двух или более образцов, имеющих глубину дальше от зрителя на величину перекрытия покрытия с одним или более других образцов из двух или более образцов.

22. Устройство по п. 11, отличающееся тем, что способ дополнительно включает регулирование конечного значения для любого пикселя, для которого общая взвешенная величина покрытия для всех образцов, дающих вклад в это конечное значение, составляет меньше 100%.