МОРФОЛОГИЧЕСКОЕ СГЛАЖИВАНИЕ (МС) ПРИ ПОВТОРНОМ ПРОЕЦИРОВАНИИ ДВУХМЕРНОГО ИЗОБРАЖЕНИЯ Российский патент 2015 года по МПК G06K9/60 G06T15/00 H04N13/00 

Область техники

Изобретение относится к трехмерному визуальному представлению изображений и, более конкретно, к морфологическому сглаживанию (МС) при повторном проецировании одного или более двухмерных изображений.

Перекрестные ссылки на родственные заявки

Эта заявка является родственной, принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986,814 (регистрационный номер поверенного № SCEA 10052 US 00), озаглавленной "DYNAMIC ADJUSTMENT OF PREDETERMINED THREE-DIMENSIONAL RE-PROJECTION SETTINGS BASED ON SCENE CONTENT", поданной 7 января 2011 г.

Эта заявка является родственной, принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986,827 (регистрационный номер поверенного № SCEA 10053 US 00), озаглавленной "SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE ", поданной 7 января 2011 г.

Эта заявка является родственной, принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986,872 (регистрационный номер поверенного № SCEA 10055 US 00), озаглавленной "MULTI-SAMPLE RESOLVING OF RE-PROJECTION OF TWO-DIMENSIONAL IMAGE", поданной 7 января 2011 г.

Уровень техники

Возможность воспринимать двухмерное изображение в трех измерениях посредством использования многочисленных различных технологий стала достаточно популярной за последние несколько лет. Предоставление аспекта глубины для двухмерных изображений потенциально создает большее ощущение реализма какой-либо изображаемой сцены. Это использование трехмерного визуального представления значительно повысило впечатления зрителя, особенно в области видеоигр.

Существует ряд способов трехмерного представления данного изображения. Совсем недавно был предложен способ проецирования двухмерного изображения(-ий) в трехмерное пространство, известный как рендеринг на основе глубинного изображения (РОГИ). В противоположность прежним предложениям, которые часто основывались на концепции "стереоскопического" видеоизображения, т.е. получении, передаче и отображении двух отдельных видеопотоков, одного для левого глаза и одного для правого глаза, эта новая идея основывается на более гибкой совместной передаче моноскопического видеоизображения (т.е. одиночного видеопотока) и связанной с ним информации о глубине для каждого пикселя. На основании представления этих данных один или более "виртуальных" видов 3-мерного объекта затем могут быть генерированы в реальном времени на стороне приемника посредством так называемых способов РОГИ. Этот новый способ рендеринга трехмерного изображения имеет несколько преимуществ по сравнению с предыдущими способами.

Как правило, используются два способа представления зрителю двух отдельных изображений для создания иллюзии глубины. В системе, обычно используемой для проецирования 3-мерных изображений на экран, используются два отдельных синхронизированных проектора изображений для левого глаза и правого глаза. Изображения для обоих глаз проецируются на экран одновременно, но с ортогональными поляризациями, например вертикальной поляризацией изображения для левого глаза и горизонтальной поляризацией изображения для правого глаза. Зритель надевает специальные поляризованные очки для 3-мерного просмотра, имеющие соответственно поляризованные линзы для левого и правого глаза (например, вертикально поляризованная линза для левого глаза и горизонтально поляризованная линза для правого глаза). Вследствие поляризации изображений и линз зритель воспринимает изображение для левого глаза только левым глазом и изображение для правого глаза только правым глазом. Степень иллюзии глубины является частично функцией смещения между двумя изображениями на экране.

В 3-мерных системах, изображения для левого глаза и правого глаза отображаются на видеоэкране, но не строго одновременно. Вместо этого изображения для левого глаза и правого глаза отображаются поочередно. Зритель использует очки с активным затвором, который закрывает левый глаз при отображении изображения для правого класса и наоборот.

Восприятие 3-мерного видеоизображения может зависеть в некоторой степени от особенностей человеческого зрения. Например, человеческий глаз имеет дискретное количество световых рецепторов, и тем не менее люди не различают пиксели, даже боковым зрением. Что еще более удивительно, количество светочувствительных колбочек в сетчатой оболочке глаза может значительно отличаться среди отдельных людей - до 40 раз. Несмотря на это, люди воспринимают цвета одинаковым образом - мы видим в основном нашим мозгом. Система зрения человека также обладает способностью определять совмещение объектов в зависимости от размера колбочек (острота зрения). Это объясняет, почему признаки пространственного искажения (т.е. визуальные нарушения) более заметные, чем цветовые ошибки.

Используя этот факт, производители аппаратного обеспечения машинной графики прилагают значительные усилия для компенсации признаков искажения обеспечением цветовой точности для пространственной непрерывности. Множество способов поддерживается аппаратным обеспечением, используя взвешенные образцы цвета, подобно интегрирующей способности цифровых камер.

Несомненно, все признаки искажения, в конце концов, исчезнут вследствие повышения разрешения отображения и частоты выборки. Этим можно также управлять при низком разрешении, вычисляя и усредняя множественные образцы каждого пикселя. До сих пор для большинства алгоритмов представления изображения (например, трассировка лучей, рендеринг с использованием растеризации) этот способ может быть не всегда целесообразным, так как резко снижает общую эффективность вследствие расчета цветовых образцов, которые, в конце концов, теряются при усреднении.

Морфологическое сглаживание (МС) представляет собой способ, основанный на распознавании определенных образов в пределах изображения. После выявления этих образов цвета могут быть смешаны вокруг этих образов с целью достижения наиболее вероятной апостериорной оценки данного изображения. МС имеет набор уникальных характеристик, отличающих его от других алгоритмов сглаживания. МС полностью независимо от потокового рендеринга. Оно представляет собой одинарное постпроцессорное ядро, которое может быть реализовано в ГП, даже если основной алгоритм реализуется в ЦП. МС, даже при неоптимизированном осуществлении, обоснованно быстрое, обрабатывая около 20 мегапикселей в секунду при использовании одного ядра 3 ГГц.

МС является установленным способом сглаживания для двухмерных изображений. Однако выполнение такого же способа МС, используемого для двухмерных изображений, для трехмерного повторного проецирования создает дополнительные задачи, которые должны быть решены.

Это находится в пределах контекста, который представлен в вариантах воплощения настоящего изобретения.

Краткое описание чертежей

ФИГ.1 показывает схему последовательности операций, иллюстрирующую способ морфологического сглаживания (МС) трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.2 показывает блок-схему, иллюстрирующую устройство для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.3 показывает блок-схему, иллюстрирующую пример реализации сотового процессора устройство для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.4 иллюстрирует пример неизменяемой машиночитаемой среды хранения информации с инструкциями осуществления морфологического сглаживания трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

Описание конкретных вариантов воплощения

ВВЕДЕНИЕ

Ступенчатость относится к образованию признаков визуальных искажений (т.е. зубчатые границы между соседними пикселями), вызванных представлением изображения высокого разрешения при низком разрешении. Морфологическое сглаживание представляет собой процесс смешивания этих зубчатых границ, возникающих между пикселями в данном изображении, для получения более "гладкого" результирующего изображения, наблюдаемого зрителем. Обычно процесс морфологического сглаживания для двухмерных изображений осуществляется в три этапа: 1) выявление неоднородностей между пикселями в данном изображении, 2) идентификация предварительно определенных образов, создаваемых этими неоднородностями, и 3) смешивание цветов вокруг этих предварительно определенных образов для создания более гладкого изображения.

Однако морфологическое сглаживание для повторного проецирования двухмерного изображения создает дополнительный ряд проблем, отсутствующих при сглаживании двухмерного изображения. Для 2-мерного изображения, предназначенного для повторного проецирования в трех измерениях, два отдельных видеоизображения (по одному для каждого глаза) должны быть представлены зрителю так, что их использование создает иллюзию глубины. Это добавленное измерение - глубина - делает применение способа, используемого для двухмерного морфологического сглаживания, затруднительным.

Первое возможное решение для осуществления морфологического сглаживания в трех измерениях включает использование морфологического сглаживания для каждого двухмерного сглаживания после его повторного проецирования в каждую точку наблюдения. Таким образом, определение неоднородностей пикселей и смешивание должны выполняться дважды для каждого двухмерного изображения, предназначенного для повторного проецирования в трех измерениях, в случае повторного проецирования для левого и правого глаза. В то время как в теории это решение может предоставить точную процедуру для морфологического сглаживания трехмерной повторной проекции, на практике его осуществление требует очень больших затрат. Кроме того, осуществление морфологического сглаживания более одного раза для каждого двухмерного изображения, предназначенного для повторного проецирования в трех измерениях, значительно снизило бы эффективность некоторых 3-мерных видеоприложений (например, для видеоигр или для процессора видеоигровой системы). Дополнительно, в различных изображениях могут быть обнаружены различные границы, и тогда один глаз может видеть смешанную границу, в то время как другой глаз продолжает видеть ступенчатую границу. Эта форма называется бинокулярным соперничеством, которое снижает достоверность общего стереоскопического эффекта и вносит определенную некомфортность в восприятие 3-мерного изображения.

Второе решение для осуществления морфологического сглаживания в трех измерениях включает использование морфологического сглаживания один раз для каждого двухмерного изображения перед трехмерным повторным проецированием. В то время как это обеспечивает экономическую эффективность решения, это также добавляет ореол к трехмерному повторному проецированию. Смешивание перед повторным проецированием может привести к смешиванию пикселей переднего плана с пикселями заднего плана. Во время повторного проецирования пиксель переднего плана будет смещен на величину, отличающуюся от смещения пикселя заднего плана. Периодически это будет приводить к появлению "дырок" между пикселями. Ореолы относятся к цветовой или геометрической информации элемента в изображении, появляющегося с другой стороны дырки. Назначение значений глубины смешанным пикселям двухмерного изображения во время морфологического сглаживания затруднительно, так как никакое одинарное значение не может представлять обе стороны дырки. Одинарное значение может разделить дырку на две дырки, уменьшая размеры дырки, но не решая фактически этот вопрос. Так как достаточного способа определения значений глубины пикселей смешанных двухмерных изображений не существует, эти ореолы становятся периодически повторяющейся проблемой при осуществлении морфологического сглаживания перед трехмерным повторным проецированием.

Варианты воплощения настоящего изобретения используют другой способ. Вместо смешивания перед повторным проецированием величины смешивания вычисляются перед повторным проецированием, но смешивание не применяется к пикселям до повторного проецирования. Вместо этого повторное проецирование применяется к вычисленным величинам смешивания для генерирования повторно проецируемых величин смешивания. После повторного проецирования эти повторно проецированные величины смешивания применяются к релевантным пикселям в повторно проецируемом изображении. Конкретно, неоднородности могут быть определены между каждым соседним пикселем двухмерного изображения. Предварительно определяемые образы, формируемые одной или более неоднородностями, могут быть идентифицированы, и величина смешивания может быть вычислена для каждого пикселя, соседнего предварительно определяемым образам. Трехмерное повторное проецирование может быть затем применено к двухмерному изображению и их соответствующим величинам смешивания. Результирующие повторно проецируемые величины смешивания могут быть затем применены к соседним пикселям трехмерного повторного проецирования. Преимущество этого способа заключается в том, что он требует меньшего объема вычислений, чем какое-либо из решений выше, и позволяет получить лучшие результаты по сравнению с более строгими способами.

Варианты воплощения

ФИГ.1 показывает схему последовательности операций, иллюстрирующую способ морфологического сглаживания (МС) повторного проецирования двухмерного изображения. Способ изобретения 100 снижает затраты, связанные с осуществлением МС более одного раза для данного изображения, одновременно снижая частоту проявления ореола/ступенчатости, связанных с МС предварительного повторного проецирования. Способ 100 разделяет обработку с использованием МС на два отдельных этапа, один из которых осуществляется перед повторным проецированием, а другой - после повторного проецирования.

Способ 100 может быть применен к повторному проецированию двухмерных изображений для левого глаза и правого глаза для трехмерного отображения. Изображения для левого глаза и правого глаза могут подвергаться МС и повторному проецированию последовательно или одновременно, в зависимости от природы системы обработки. Изображения 101 могут генерироваться программой компьютерной графики на основании данных для виртуальной среды. Виртуальная среда, например среда видеоигры, может генерироваться из данных, представляющих физические характеристики (например, размер, местонахождение, текстура, освещенность и т.п.) для объектов в пределах виртуальной среды. Виды среды могут генерироваться с определенной точки наблюдения, иногда называемой местонахождением виртуальной камеры. Если точка наблюдения известна, можно вычислить поле наблюдения. Поле наблюдения может рассматриваться как трехмерная форма, например конус, пирамида, или усеченная пирамида. Графическое программное обеспечение может определить, находятся ли виртуальные объекты внутри трехмерной фигуры. Если да, то такие объекты находятся в пределах поля наблюдения и могут быть частью изображения с соответствующей точки наблюдения. Виртуальные объекты за пределами поля наблюдения могут быть исключены из изображения. Необходимо отметить, что две отдельные точки наблюдения и соответствующие поля наблюдения, которые слегка смещены относительно друг друга, могут быть использованы для генерирования изображений для левого глаза и правого глаза для 3-мерного наблюдения виртуального мира.

Первоначально данное двухмерное изображение 101 подвергается ряду шагов обработки перед его представлением зрителю в виде гладкого трехмерного повторного проецирования. Двухмерное изображение 101 сначала анализируется для определения неоднородностей пикселей 103. Данное изображение может сначала анализироваться в вертикальном направлении, а затем в горизонтальном или наоборот. Неоднородности пикселей возникают между соседними пикселями (например, соседи как в вертикальном, так и горизонтальном направлении), когда эти пиксели имеют несовместимые характеристики. В качестве примера, а не в качестве ограничения, эти характеристики могут включать цветовые или геометрические профили, связанные с данным пикселем. Важно отметить, что неоднородности могут быть определены для включения любого количества различных характеристик между пикселями.

После определения неоднородностей пикселей данного двухмерного изображения, предварительно определяемые образы, формируемые этими неоднородностями пикселями, могут быть идентифицированы 105. В качестве примера, а не в качестве ограничения, неоднородность между двумя пикселями может быть идентифицирована линией, разделяющей два пикселя. Каждый пиксель может характеризоваться в пределах 4-х неоднородностей (т.е. сверху, снизу, слева, справа). Неоднородности пикселей, примыкающих и ортогональных друг к другу, могут формировать предварительно определяемые образы, которые характеризуют изменения между пикселями в двухмерном изображении. В качестве примера, а не в качестве ограничения, эти предварительно определяемые образы могут включать L-форму, U-форму, и Z-форму. L-образ формируется, когда цепочка одной или нескольких неоднородностей пикселей пересекает ортогональную цепочку одной или нескольких неоднородностей пикселей. U-образ формируется, когда цепочка одной или нескольких неоднородностей пикселей пересекает две ортогональные цепочки одной или нескольких неоднородностей пикселей на противоположных сторонах, из которых каждая ортогональная цепочка имеет ту же длину и то же направление. Z-образ формируется, когда цепочка одной или нескольких неоднородностей пикселей пересекает две ортогональные цепочки одной или нескольких неоднородностей пикселей на противоположных сторонах, из которых каждая ортогональная цепочка имеет противоположное направление. Эти предварительно определяемые образы предоставляют концепцию вычисления величин смешивания пикселей.

После идентификации предварительно определяемых образов, сформированных неоднородностями пикселей, для данного двухмерного изображения, величины смешивания могут быть вычислены для пикселей, соседних с идентифицированными образами, как показано в 107. В зависимости от расположения соседних пикселей, окружающих предварительно определяемый образ, различная величина смешивания может быть выбрана для каждого индивидуального пикселя. Величина смешивания относится к взвешенному цветовому/геометрическому профилю для данного пикселя, который используется для гладкого перехода между пикселями с неоднородностями. В качестве примера, а не в качестве ограничения, пиксель, расположенный ближе к предварительно определяемому образу, может подвергаться большей величине смешивания, чем пиксель, расположенный дальше. Различные формулы, базирующиеся на идентифицированных предварительно определяемых образах, могут использоваться для определения величины смешивания для каждого пикселя изображения. Этот шаг завершает первый этап морфологического сглаживания трехмерного проецирования двухмерного изображения.

После определения величин смешивания, но до смешивания пикселей повторное проецирование выполняется, как показано в 109. Повторное проецирование включает отображение одного или двух двухмерных изображений в трехмерном пространстве. Различные виды одного и того же изображения представляются для каждого глаза, создавая иллюзию глубины. Как правило, во время повторного проецирования каждому пикселю двухмерного пространства назначается цветовой профиль и значение глубины. Эти значения затем используются для каждого вида (т.е. вид для левого глаза, вид для правого глаза) для создания трехмерного повторного проецирования. В способе изобретения дополнительная информация, соответствующая величинам смешивания, назначается каждому пикселю, и эта информация преобразуется в соответствующие значения для каждого вида (т.е. повторное проецирование величины смешивания для каждого пикселя). Таким образом, применение повторного проецирования к одному или более двухмерным изображениям и к величине смешивания для каждого пикселя генерирует одно или более повторно проецируемых изображений и повторно проецируемых величин смешивания для каждого пикселя в изображениях.

После повторного проецирования изображений и величин смешивания, повторно проецированные величины смешивания могут быть применены к повторному проецированию (например, каждого двухмерного вида трехмерного повторного проецирования), как показано на 111, для создания результирующих изображений. Соседние пиксели повторно проецированного(-ых) изображения(-ий) смешиваются в соответствии с повторно проецированными величинами смешивания, создавая этим одно или более результирующих изображений. Отмечается, что там, где одно или более результирующих изображений 101 включают виды для левого глаза и правого глаза, результирующие изображения соответствуют повторно проецированным изображениям объекта для левого глаза и правого глаза. Результирующие изображения могут быть представлены на дисплее, как показано в 113. Отмечается, что в случае трехмерных стереоскопических изображений для левого глаза и правого глаза изображения могут отображаться последовательно или одновременно, в зависимости от природы дисплея. Например, изображения для левого глаза и правого глаза могут отображаться последовательно в случае 3-мерного телевизионного дисплея, используемого с очками с активным затвором. Альтернативно, изображения для левого глаза и правого глаза могут отображаться одновременно в случае дисплея 2-проекционного типа, используемого с пассивными очками для 3-мерного просмотра, имеющими различно окрашенные или различно поляризованные линзы для левого и правого глаза.

Хотя величины смешивания были определены до повторного проецирования, не предполагается, что границы изображения значительно изменятся во время повторного проецирования от двух измерений к трем измерениям. Если так, то гладкое изображение может быть получено без влияния каких-либо последствий, связанных с двумя возможными решениями, описанными выше.

ФИГ.2 показывает блок-схему, иллюстрирующую компьютерное устройство, которое может быть использовано для осуществления способа морфологического сглаживания (МС) трехмерного повторного проецирования двухмерного изображения. Устройство 200, как правило, может включать процессорный модуль 201 и память 205. Процессорный модуль 201 может включать одно или более процессорных ядер. Примером обрабатывающей системы, использующей множественные процессорные модули, является сотовый процессор, примеры которого описаны подробно, например, в документе Архитектура сотового широкополосного двигателя, версия 1.0, 8 августа 2005 г., который включен в эту заявку посредством ссылки. Копия этой ссылки доступна в следующем URL: http://www.ief.u-psud.fr/~lacas/ComputerArchitecture/CBE_Architecture_v10.pdf.

Память 205 может быть в виде интегрированной схемы, например RAM, DRAM, ROM, и подобной. Память 205 может быть также главной памятью, доступной для всех процессорных модулей. В некоторых вариантах воплощения процессорный модуль 201 имеет локальные запоминающие устройства, связанные с каждым ядром. Программа 203 может храниться в главной памяти 205 в виде читаемых процессором команд, которые могут исполняться в процессорных модулях. Программа 203 может конфигурироваться для выполнения морфологического сглаживания (МС) трехмерной проецирования двухмерного изображения. Программа 203 может быть написана на любом читаемом процессором языке, например, С, С++, JAVA, Assembly, MATLAB, FORTRAN, и ряде других языков. Исходные данные 207 могут также храниться в памяти. Такие исходные данные 207 могут включать информацию относительно неоднородностей соседних пикселей, идентификации предварительно определяемых образов, и величин смешивания пикселей. Во время выполнения программы 203 части управляющей программы и/или данных могут быть загружены в память или локальные запоминающие устройства процессорных ядер для параллельной обработки множественными процессорными ядрами.

Устройство 200 может дополнительно включать хорошо известные функциональные компоненты 209, такие как элементы ввода/вывода (В/В) 211, источники питания (ИП) 213, тактовый генератор (ТГ) 215 и кэш 217. Устройство 200 может необязательно включать устройство памяти большой емкости 219, такое как дисковый накопитель, CD-ROM накопитель, ленточный накопитель или подобные, для хранения программ и/или данных. Устройство 200 может необязательно включать блок отображения 221 и интерфейс пользователя 225 для облегчения взаимодействия между устройством и пользователем. В качестве примера, а не в качестве ограничения, блок отображения 221 может быть в виде готового 3-мерного телевизора, отображающего текст, цифры, графические символы или другие визуальные объекты как стереоскопические изображения, воспринимаемые посредством очков 227 для 3-мерного просмотра, которые могут представлять собой очки с активным затвором, соединенные с элементами ввода вывода 211. Альтернативно, блок отображения 221 может включать 3-мерный проектор, который одновременно проецирует изображения для левого глаза и правого глаза на экран. В этом случае очки для 3-мерного просмотра могут представлять собой пассивные очки с различно окрашенными или различно поляризованными линзами для левого глаза и правого глаза. Стереоскопия относится к усилению иллюзии глубины в двухмерном изображении, предоставляя слегка различные изображения для каждого глаза. Интерфейс пользователя 225 может включать клавиатуру, мышь, джойстик, световое перо или другое устройство, которое может быть использовано совместно с графическим интерфейсом пользователя (ГИП). Устройство 200 может дополнительно включать сетевой интерфейс 223 для обеспечения связи устройства с другими устройствами через сеть, такую как Интернет.

Компоненты системы 200, включая процессор 201, память 205, функциональные компоненты поддержки 209, устройство хранения большой емкости 219, интерфейс пользователя 225, сетевой интерфейс 223 и дисплей 221, могут быть оперативно соединены друг с другом через одну или более шин данных 229. Эти компоненты могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении или в некоторой комбинации двух или более из них.

Существует ряд дополнительных способов обеспечения параллельной обработки множественными процессорами в устройствах. Например, возможно "разворачивать" циклы обработки, например, копированием управляющей программы в двух или более процессорных ядрах и выполнением каждым процессорным ядром управляющей программы для обработки различных блоков данных. Такое выполнение может позволить избежать задержки, связанной с настройкой цикла. Как применяется к нашему изобретению, множественные процессоры могут определять неоднородности между пикселями для данного изображения параллельно (например, один процессор выполняет горизонтальный проход, а другой процессор - вертикальный проход). Возможность параллельной обработки данных экономит ценное время обработки, что приводит к возможности создания более эффективной и оптимальной системы для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения.

Одним из примеров системы обработки, способной осуществлять параллельную обработку в трех или более процессорах, является сотовый процессор. Существует ряд различных процессорных архитектур, которые могут категорироваться как сотовые процессоры. В качестве примера, а не в качестве ограничения, ФИГ.3 иллюстрирует тип сотового процессора. Сотовый процессор 300 включает главную память 301, одинарный общий процессорный элемент (ОПЭ) 307 и восемь синергетических процессорных элементов (СПЭ) 311. Альтернативно, сотовый процессор может конфигурироваться с использованием любого количества СПЭ. На ФИГ.3, память 301, ОПЭ 307 и СПЭ 311 могут осуществлять связь друг с другом и с устройством ввода/вывода (В/В) 315 через соединительную шину кольцевого типа 317. Память 301 содержит исходные данные 303, имеющие характеристики, общие с программой, описанной выше. По меньшей мере, один из СПЭ 311 может включать в своем локальном запоминающем устройстве (ЛЗУ) команды 313 морфологического сглаживания трехмерного повторного проецирования двухмерного изображения и/или часть исходных данных, которые предназначены для параллельной обработки, например описанной выше. ОПЭ 307 может включать в своем ЛЗУ кэш, команды 309 морфологического сглаживания трехмерного повторного проецирования двухмерного изображения, имеющие характеристики, общие с программой, описанной выше. Команды 305 и данные 303 могут также храниться в памяти 301 для доступа СПЭ 311 и ОПЭ 307 при необходимости. Необходимо отметить, что любое количество процессов, вовлеченных в изобретенный способ морфологического сглаживания трехмерного повторного проецирования двухмерного изображения, могут обрабатываться параллельно, используя сотовый процессор. МС имеет огромный потенциал параллельной обработки данных и может использоваться на многоядерной машине для достижения лучшего согласования нагрузки посредством обработки конечных результирующих изображений в ожидающих потоках (или заканчивающих рендеринг, или заканчивающих построение своей части структуры ускорения).

В качестве примера, ОПЭ 307 может представлять собой 64-битовый общий процессорный блок PowerPC (ОПБ) с соответствующими элементами кэш-памяти. ОПЭ 307 может включать необязательный блок векторного мультимедийного расширения. Каждый СПЭ 311 включает синергетический процессорный блок (СПБ) и локальное запоминающее устройство (ЛЗУ). В некоторых вариантах воплощения локальное запоминающее устройство (ЛЗУ) может иметь емкость, например, около 256 килобайт памяти для программ и данных. СПБ являются менее сложными вычислительными блоками по сравнению с ОПБ, так как они обычно не выполняют функции управления системой. СПБ могут иметь возможность выполнения процедуры с одним потоком команд и множеством потоков данных (ОИМП) и обычно обрабатывают данные и инициируют все требуемые передачи данных (предмет параметров доступа, устанавливаемых ОПЭ) для выполнения назначенных задач. СПБ позволяют системе реализовывать приложения, которые требую более высокой вычислительной плотности, и могут эффективно использовать предоставляемый набор команд. Значительное количество СПБ в системе, управляемой ОПБ, позволяет осуществлять экономически эффективную обработку в широком диапазоне приложений. В качестве примера, сотовый процессор может характеризоваться архитектурой, известной как архитектура сотового широкополосного двигателя (АСШД). В АСШД - совместимой архитектуре множественные ОПЭ могут комбинироваться в группу ОПЭ и множественные СПЭ могут комбинироваться в группу СПЭ. В целях примера, сотовый процессор показан как имеющий одну группу ОПЭ и одну группу СПЭ с одним ОПЭ и одним СПЭ. Альтернативно, сотовый процессор может включать множественные группы общих процессорных элементов (групп ОПЭ) и множественные группы синергетических процессорных элементов (групп СПЭ). АСШД - совместимые процессоры описываются подробно, например, в документе Архитектура сотового широкополосного двигателя, который доступен на сайте https://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/1AEEE1270EA277638725706000E61BA/$file/CBEA_01_pub.pdf, и включен в данную заявку посредством ссылки.

В соответствии с другим вариантом воплощения команды для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения могут храниться в машиночитаемой среде хранения. В качестве примера, а не в качестве ограничения, ФИГ.4 иллюстрирует пример неизменяемой машиночитаемой среды хранения 400 в соответствии с вариантом воплощения настоящего изобретения. Среда хранения 400 содержит машиночитаемые команды, хранящиеся в формате, который может быть извлечен, интерпретирован и выполнен компьютерным обрабатывающим устройством. В качестве примера, а не в качестве ограничения, машиночитаемая среда хранения может представлять собой машиночитаемую память, такую как запоминающее устройство с произвольной выборкой (RAM), или постоянную запоминающее устройство (ROM), машиночитаемый диск для хранения информации для стационарного дискового накопителя (например, накопитель на жестком диске) или съемный дисковый накопитель. В дополнение, машиночитаемая среда хранения 400 может представлять собой устройство флэш-памяти, машиночитаемую ленту, CD-ROM, DVD-ROM, Blu-Ray, HD-DVD, UMD или другие оптические носители информации.

Среда хранения 400 содержит команды для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения 401. Команды 401 для морфологического сглаживания трехмерного повторного проецирования двухмерного изображения могут конфигурироваться для осуществления морфологического сглаживания в соответствии со способами, описанными выше относительно ФИГ.1. В частности, команды 401 морфологического сглаживания могут включать команды 403 определения неоднородностей соседних пикселей, которые используются для определения неоднородностей между соседними пикселями в данном изображении. Определение неопределенностей может выполняться в два этапа. Вертикальные неоднородности между соседними вертикальными пикселями могут быть определены на одном этапе, и горизонтальные неоднородности между соседними горизонтальными пикселями могут быть определены на другом этапе. Альтернативно, вертикальные и горизонтальные неоднородности могут быть определены одновременно. Неоднородность может иметь место в случае различия цветовых профилей между двумя соседними пикселями, различия геометрических профилей между двумя соседними пикселями или какого-либо количества других различий между соседними пикселями в данном изображении.

Команды 401 для морфологического сглаживания могут дополнительно включать команды 405 для идентификации одного или более предварительно определяемых образов, формируемых неоднородностями между пикселями. Предварительно определяемые образы могут включать образ U-формы, образ Z-формы и образ L-формы, как обсуждалось выше.

Команды 401 для морфологического сглаживания могут дополнительно включать команды 407 вычисления величин смешивания, которые конфигурируются для вычисления величин смешивания для пикселей, соседних с предварительно определяемыми образами, формируемыми неоднородностями. Величина смешивания относится к взвешенному цветовому/геометрическому профилю для данного пикселя, который используется для гладких переходов между пикселями с неоднородностями. Например, черный пиксель, находящийся рядом с белым пикселем, может генерировать величину смешивания, которая преобразует черный пиксель (и, возможно, другие соседние пиксели) в серый пиксель таким образом, что ощущение зубчатых границ, вызванное неоднородностями, подавляется при восприятии зрителем.

Команды 401 для морфологического сглаживания могут включать применение команд 409 трехмерного повторного проецирования, которые применяют повторное проецирование к двухмерному изображению и к его соответствующим величинам смешивания. В большей степени, чем применение величин смешивания к двухмерному изображению перед повторным проецированием, эти команды повторно проецируют в трех измерениях величины смешивания (т.е. преобразование величин смешивания в их соответствующие значения трехмерного повторного проецирования) таким образом, что смешивание может происходить при выполнении следующего шага.

Команды 401 для морфологического сглаживания могут дополнительно включать команды 411 смешивания трехмерного повторного проецирования, которые смешивают трехмерное повторное проецирование двухмерного изображения в соответствии с повторно проецируемыми значениями смешивания, генерируя этим одно или более результирующих изображений.

Команды 401 для морфологического сглаживания могут дополнительно включать команды 413, которые форматируют результирующие изображения для представления на дисплее.

Варианты воплощения настоящего изобретения позволяют осуществлять МС таким образом, что можно получить лучший результат МС, чем традиционными способами, одновременно снижая объем работы, которую должны выполнить процессоры, осуществляющие МС.

Хотя были описаны примеры осуществления, в которых стереоскопические 3-мерные изображения наблюдаются с использованием пассивных или активных очков для 3-мерного просмотра, варианты воплощения изобретения не ограничиваются такими осуществлениями. Конкретно, варианты воплощения могут применяться к стереоскопическим 3-мерным видеотехнологиям, которые не основываются на слежении за положением головы или использовании пассивных или активных очков для 3-мерного просмотра. Примеры таких "свободных от очков" стереоскопических 3-мерных видеотехнологий иногда рассматриваются как автостереоскопические технологии или автостереоскопия. Примеры таких технологий включают, но не ограничиваясь ими, технологии, основанные на использовании ступенчатых линз. Ступенчатая линза представляет собой матрицу увеличительных линз, сконструированную таким образом, что при наблюдении при слегка различных углах различные изображения увеличиваются. Различные изображения могут быть выбраны для обеспечения эффекта трехмерного просмотра при наблюдении ступенчатого экрана под различными углами. Количество генерируемых изображений увеличивается пропорционально количеству точек наблюдения экрана - при большем количестве изображений, используемых в такой системе, большее количество полезных вариантов воплощения могут осуществлять морфологическое сглаживание в таких системах.

Более конкретно в видеосистеме с использованием ступенчатых линз, изображения повторного проецирования объекта под слегка различными углами наблюдения могут генерироваться с первоначального 2-мерного изображения и информации о глубине для каждого пикселя в изображении. Используя способы повторного проецирования, различные виды изображения с прогрессивно различных углов наблюдения могут генерироваться с первоначального 2-мерного изображения и информации о глубине. Изображения, представляющие различные виды, могут быть разделены на полосы и отображаться поочередно на автостереоскопическом дисплее с экраном, находящимся между матрицей ступенчатой линзы и точкой просмотра. Линзы, составляющие ступенчатую линзу, могут представлять собой цилиндрические увеличивающие линзы, совмещенные с полосами и, как правило, в два раза больше ширины полос. Зритель воспринимает различные виды сцены в зависимости от угла наблюдения экрана. Различные виды могут быть выбраны для обеспечения иллюзии глубины отображаемой сцены.

Кроме того, хотя определенные варианты воплощения настоящего изобретения могут решить вопросы сглаживания в случае трехмерного повторного проецирования двухмерных изображений и включают генерирование более одного изображения для повторного проецирования, варианты воплощения в большинстве случаев более применимы к не 3-мерным случаям повторного проецирования. В дополнение, в некоторых трехмерных осуществлениях может не быть необходимым генерировать два или более изображений. Например, в случае стереоскопического отображения может не быть необходимым генерировать оба изображения для левого глаза и правого глаза через повторное проецирование. Альтернативно, можно генерировать только одно изображение вида через повторное проектирование. Например, возможно начать с информации о цвете и глубине для каждого пикселя изображения для левого глаза и генерировать соответствующее изображение для правого глаза через повторное проецирование (или наоборот), получая достаточные изображения для отображения с использованием стереоскопического дисплея. Этот способ включат генерирование только одного повторно проецированного изображения.

Хотя настоящее изобретение было описано достаточно подробно со ссылками на определенные варианты, другие варианты возможны. Поэтому сущность и объем прилагаемой формулы изобретения не должны ограничиваться описанием предпочтительных вариантов, содержащихся в этой заявке. Вместо этого объем изобретения должен определяться с обращением к прилагаемой формуле изобретения вместе с ее полным объемом эквивалентов.

Все особенности, раскрытые в этом описании (включая все сопровождающие пункты формулы изобретения, реферат и чертежи), могут быть заменены альтернативными особенностями, служащими для достижения этой же цели, эквивалентной или подобной цели, если однозначно не указывается другое. Таким образом, если однозначно не указывается иное, каждая раскрываемая особенность представляет собой только один пример из общего ряда эквивалентных или подобных особенностей. Любая особенность, предпочтительная или нет, может комбинироваться с любой другой особенностью, предпочтительной или нет. В пунктах нижеследующей формулы изобретения любое упоминание единственного числа может относиться к единственному и к множественному числу, упомянутому в тексте, кроме случаев, где однозначно указывается иное. Любой элемент формулы изобретения, который однозначно не заявляет "средства для" выполнения указанной особенности, не должен интерпретироваться как "средства" или "шаг", как указывается в 35 USC § 112, ¶6. В частности, использование "шага" в пунктах формулы изобретения в этой заявке не предназначено для использования положений 35 USC § 112, ¶6.

Внимание читателя обращается на все бумаги и документы, которые подаются вместе с этим описанием и которые открыты для публичной проверки с этим описанием, и содержание всех бумаг и документов включено в эту заявку путем ссылки.

Изобретение относится к трехмерному визуальному представлению изображений и, более конкретно, к морфологическому сглаживанию (МС) при повторном проецировании одного или более двухмерных изображений. Техническим результатом является уменьшение объема вычислений при сглаживании визуальных искажений для трехмерного отображения изображений. Морфологическое сглаживание при повторном проецировании двухмерного изображения может быть осуществлено способом, обеспечивающим более высокий результат при использовании меньшего количества ресурсов процессора. Определяются одна или более неоднородностей между каждым соседним пикселем двухмерного изображения. Идентифицируются один или более предварительно определенных образов, сформированных одной или более неоднородностями. Величина смешивания вычисляется для каждого пикселя, соседнего с идентифицированными предварительно определенными образами. Трехмерное повторное проецирование применяется к двухмерному изображению и величине смешивания для каждого пикселя, генерируя этим повторно проецированные величины смешивания. Соседние пиксели трехмерного повторного проецирования затем смешиваются в соответствии с повторно проецируемыми величинами смешивания. 2 н. и 21 з.п. ф-лы, 4 ил.

1. Способ морфологического сглаживания (МС) повторного проецирования одного или более двухмерных изображений, включающий:
а) определение одной или более неоднородностей между всеми соседними пикселями одного или более двухмерных изображений;
б) идентификацию одного или более предварительно определяемых образов, формируемых одной или более неоднородностями в а);
в) вычисление величины смешивания для каждого пикселя, соседнего с предварительно определяемыми образами, идентифицированными в б);
г) применения трехмерного повторного проецирования к одному или более двухмерным образам и к величине смешивания для каждого пикселя, генерируя этим одно или более трехмерных повторно проецируемых изображений и повторно проецированных величин смешивания;
д) смешивание соседних пикселей одного или более трехмерных повторно проецированных изображений в соответствии с повторно проецированными величинами смешивания, производя этим одно или более результирующих изображений; и
е) отображение одного или более результирующих изображений.

2. Способ по п. 1, отличающийся тем, что одно или более изображений включают виды сцены для левого глаза и правого глаза, вследствие чего результирующие изображения соответствуют повторно проецированным изображениям сцены для левого глаза и правого глаза.

3. Способ по п. 1, отличающийся тем, что е) включает отображение повторно проецированных изображений для левого глаза и правого глаза на трехмерном дисплее.

4. Способ по п. 1, отличающийся тем, что неоднородность имеет место между соседними пикселями, когда каждый пиксель имеет различный цветовой профиль.

5. Способ по п. 1, отличающийся тем, что неоднородность имеет место между соседними пикселями, когда каждый пиксель имеет различный геометрический профиль.

6. Способ по п. 1, отличающийся тем, что а) включает выявление горизонтальных неоднородностей между соседними горизонтальными пикселями и выявление вертикальных неоднородностей между соседними вертикальными пикселями.

7. Способ по п. 1, отличающийся тем, что а) включает выявление вертикальных неоднородностей между соседними вертикальными пикселями и выявление горизонтальных неоднородностей между соседними горизонтальными пикселями.

8. Способ по п. 1, отличающийся тем, что е) включает разделение одного или более двухмерных изображений на полосы, чередование полос с полосами одного или более отличных двухмерных изображений сцены, производя этим набор чередующихся изображений, и отображение чередующихся изображений на автостереоскопическом дисплее, имеющем ступенчатую линзу, находящуюся между экраном дисплея и точкой наблюдения.

9. Способ по п. 1, отличающийся тем, что предварительно определяемые образы в б) включают образ L-формы.

10. Способ по п. 1, отличающийся тем, что предварительно определяемые образы в б) включают образ U-формы.

11. Способ по п. 1, отличающийся тем, что предварительно определяемые образы в б) включают образ Z-формы.

12. Устройство для морфологического сглаживания, включающее:
процессор;
память; и
машиночитаемые команды варианта воплощения, находящиеся в памяти и исполняемые процессором, где машиночитаемые команды конфигурируются для осуществления способа морфологического сглаживания повторного проецирования одного или более двухмерных изображений, способа, включающего:
а) определение одной или более неоднородностей между всеми соседними пикселями одного или более двухмерных изображений;
б) идентификацию одного или более предварительно определяемых образов, формируемых одной или более неоднородностями;
в) вычисление величины смешивания для каждого пикселя, соседнего с предварительно определяемыми образами, идентифицированными в б);
г) применения трехмерного повторного проецирования к одному или более двухмерным изображениям и к величине смешивания для каждого пикселя, генерируя этим одно или более трехмерных повторно проецируемых изображений и повторно проецированных величин смешивания; и
д) смешивание соседних пикселей одного или более трехмерных повторно проецированных изображений в соответствии с повторно проецированными величинами смешивания, производя этим одно или более результирующих изображений.

13. Устройство по п. 12, отличающееся тем, что дополнительно включает трехмерный визуальный дисплей, конфигурируемый для отображения одного или более результирующих изображений.

14. Устройство по п. 13, отличающееся тем, что одно или более двухмерных изображений включают виды сцены для левого глаза и правого глаза, посредством чего результирующие изображения соответствуют повторно проецированным изображениям сцены для левого глаза и правого глаза.

15. Устройство по п. 13, отличающееся тем, что автостереоскопический дисплей представляет собой дисплей, имеющий ступенчатую линзу, находящуюся между экраном дисплея и точкой наблюдения.

16. Устройство по п. 15, отличающееся тем, что одно или более двухмерных изображений делятся на полосы с чередованием полос с полосами одного или более отличных двухмерных изображений сцены, производя этим набор чередующихся изображений.

17. Устройство по п. 12, отличающееся тем, что неоднородность имеет место между соседними пикселями, когда каждый пиксель имеет различный цветовой профиль.

18. Устройство по п. 12, отличающееся тем, что неоднородность имеет место между соседними пикселями, когда каждый пиксель имеет различный геометрический профиль.

19. Устройство по п. 12, отличающееся тем, что а) включает сначала выявление горизонтальных неоднородностей между соседними горизонтальными пикселями с последующим выявлением вертикальных неоднородностей между соседними вертикальными пикселями.

20. Устройство по п. 12, отличающееся тем, что а) включает сначала выявление вертикальных неоднородностей между соседними вертикальными пикселями с последующим выявлением горизонтальных неоднородностей между соседними горизонтальными пикселями.

21. Устройство по п. 12, отличающееся тем, что предварительно определяемые образы в б) включают образ L-формы.

22. Устройство по п. 12, отличающееся тем, что предварительно определяемые образы в б) включают образ U-формы.

23. Устройство по п. 12, отличающееся тем, что предварительно определяемые образы в б) включают образ Z-формы.