Область техники, к которой относится изобретение
Изобретение относится к оборудованию и способу для формирования изображения из данных 3D-изображения, обеспечивающих неполное представление сцены и, в частности, но не исключительно, чтобы формировать изображение для приложения виртуальной реальности.
Уровень техники
Традиционно, техническая обработка и использование изображений были основаны на двухмерном формировании изображений, но третье измерение все более явно рассматривается в обработке изображений.
Например, трехмерные (3D) дисплеи были разработаны, которые добавляют третье измерение к восприятию просмотра, обеспечивая два глаза зрителя различными видами просматриваемой сцены. Это может быть осуществлено посредством наличия носимых пользователем очков, чтобы разделять два вида, которые отображаются. Однако, поскольку это может считаться неудобным для пользователя, во множестве сценариев является предпочтительным использовать автостереоскопические дисплеи, которые используют средство в дисплее (такое как ступенчатые линзы или барьеры), чтобы разделять виды и отправлять их в различных направлениях, где они индивидуально могут достигать глаз пользователя. Для стереодисплеев требуются два вида, тогда как автостереоскопические дисплеи типично требуют больше видов (как, например, девять видов).
Во множестве вариантов осуществления может быть желательным формировать изображения видов для новых направлений просмотра. Исходя из того, что различные алгоритмы известны для формирования таких новых видовых изображений на основе информации изображений и глубины, они имеют тенденцию сильно зависеть от точности предоставленной (или извлеченной) информации глубины.
Фактически, информация трехмерных изображений зачастую предоставляется посредством множества изображений, соответствующих различным направлениям вида для сцены. В частности, видеоконтент, такой как фильмы или телевизионные программы, все в большей степени формируется с возможностью включать в себя некоторую трехмерную информацию. Эта информация может захватываться с использованием выделенных трехмерных камер, которые захватывают два одновременных изображения из немного смещенных позиций камер.
Тем не менее, во многих вариантах применения, предоставленные изображения могут не соответствовать непосредственно требуемым направлениям, либо может требоваться больше изображений. Например, для автостереоскопических дисплеев, требуются более двух изображений, и фактически зачастую используются 9-26 видовых изображений.
Чтобы формировать изображения, соответствующие различным направлениям вида, может использоваться обработка сдвига точка обзора. Она типично выполняется посредством алгоритма сдвига вида, который использует изображение для одного направления вида вместе с ассоциированной информацией глубины.
Конкретным примером приложения, которое основывается на обработке трехмерного изображения, является приложение виртуальной реальности. В типичных восприятиях виртуальной реальности изображения видов для правого глаза и левого глаза могут непрерывно формироваться, например, для головной гарнитуры виртуальной реальности, чтобы соответствовать перемещению и изменению ориентации пользователем. Такое формирование динамических видов виртуальной реальности типично основывается на обработке данных 3D-изображений, представляющих данную сцену, соответствующую окружению виртуальной реальности. Например, сервер виртуальной реальности может формировать изображения видов для конкретных видов на основе трехмерной модели или трехмерных изображений, таких как изображения, представленные изображениями интенсивности света и картами глубины, или текстурными картами и глубинными сетками.
Для приложений, таких как приложения виртуальной реальности, последовательность изображений может, например, быть сформирована, чтобы отражать пользовательские виды, когда они изменяются вследствие того, что пользователь виртуально движется или меняет направление просмотра/ориентацию в виртуальном окружении. В некоторых приложениях изображения могут быть сформированы, чтобы отражать изменения в ориентации зрителя, но без поддержки перемещения в области. Видеоизображение, отражающее такой сценарий, часто называется всенаправленным видеоизображением. В других приложениях позиция просмотра движения может также поддерживаться, чтобы отражать виртуальное движение пользователя в окружении виртуальной реальности. Видеоизображение, отражающее такой сценарий, часто называется иммерсивным видеоизображением. Текущий вид пользователя может быть представлен вектором обзора, который описывает релевантные позиционные и относящиеся к направлению параметры для точки обзора.
Для всенаправленного видеоизображения вектор обзора типично описывает ориентацию согласно трем степеням свободы (3DoF), типично посредством предоставления значений угла поворота относительно вертикальной, поперечной и продольной осей.
Для иммерсивного видеоизображения вектор типично описывает и ориентацию, и позицию согласно шести степеням свободы (6DoF), типично посредством предоставления значений для угла поворота относительно вертикальной, поперечной и продольной осей и для трех пространственных измерений.
Однако, отдельной проблемой при попытке разрабатывать и поддерживать гибкие приложения воспроизведения видео и изображений, поддерживающие переменные позиции обзора и/или направления, является то, что они предпочтительно не ограничиваются подмножеством позиций и/или направлений, но все позиции и/или направления идеально поддерживаются. Например, что касается 6DoF-иммерсивного видеоизображения, зритель может просматривать сцену из любой позиции и в любом направлении. Это требует, чтобы 3D-информация была доступна для всех частей сцены и из всех позиций и для всех направлений. Это требование трудно или невозможно удовлетворять во многих практических прикладных задачах, таких как, в частности, приложения, в которых 3D-данные основываются на захватах сцены реального мира.
Например, что касается фильмов, режиссеры тщательно заботятся о сокрытии съемочной группы и оборудования из вида. Одним подходом является так называемое грамматическое правило фильма 180°, когда камеры позиционируются на одной стороне сцены, обращенными к другой стороне. Запись всенаправленного видеоизображения является гораздо более трудной, поскольку вся сцена вокруг каждой всенаправленной камеры является видимой. Это, например, вынуждает группу скрываться за декорациями и удалять элементы, такие как штативы при постобработке.
Действительно, даже для сцен, когда полный охват является уместным и потенциально может быть сделан доступным, зачастую существует предпочтительное направление. Поскольку типично не является целесообразным для зрителя оборачиваться кругом, например, на 180°, типично не является практичным тратить ресурс, требуемый для записи, хранения или передачи данных изображения, соответствующих этой точке обзора.
Это, однако, приводит в результате к проблеме, что существует отсутствующий контент, и к тому, что представление сцены является неполным. Соответственно, если зритель действительно обернется кругом на 180°, не будет доступных данных, предоставляющих возможность формирования соответствующего вида, и, следовательно, охват будет ограничен. В таких случаях очевидным подходом будет не воспроизводить какую-либо информацию изображения, когда данные не предоставляются посредством представления 3D-изображения, или альтернативно, например, по умолчанию может быть представлена текстура. Однако, это будет при восприятии очень заметным и может беспокоить пользователя, а также будет иметь тенденцию ломать иммерсивное восприятие, которое является таким критичным, например, для приложений виртуальной реальности.
Для того, чтобы избегать этой проблемы, как правило, считается необходимым формировать полную трехмерную компьютерную графическую модель, которая динамически оценивается и используется для формирования любого вида, который может потребоваться. Однако, это зачастую является непрактичным, очень сложным, требующим ресурсов, требует избыточного захвата и преобразования модели и т.д.
Следовательно, улучшенный подход для формирования изображений из данных трехмерного изображения. В частности, будет полезен подход, который предоставляет возможность для улучшенной работы, увеличенной гибкости, облегченной реализации, облегченной работы, улучшенной связи, уменьшенной сложности, уменьшенной потребности в ресурсах, улучшенного иммерсивного пользовательского восприятия и/или улучшенной производительности.
Сущность изобретения
Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеуказанных недостатков по отдельности или в любой комбинации.
Согласно аспекту изобретения предоставляется оборудование для формирования изображения, оборудование содержит:
приемник для приема данных 3D-изображения для сцены, данные 3D-изображения обеспечивают неполное представление сцены, в котором данные 3D-изображения не предоставляют описания визуальных свойств, по меньшей мере, для одной части сцены, по меньшей мере, для одной точки обзора; источник вектора обзора для предоставления вектора обзора для воспроизведения, указывающего первую точку обзора в сцене; блок воспроизведения для воспроизведения первой области первого изображения на основе данных 3D-изображения, первое изображение предназначено для первой точки обзора, указанной посредством вектора обзора для воспроизведения, и данные 3D-изображения содержат данные изображения для первой области; экстраполятор для экстраполяции данных 3D-изображения на вторую область первого изображения, где данные 3D-изображения не содержат данные изображения для второй области, и первая и вторая области являются прилегающими областями; и процессор размытия для формирования изображения, когда формирование изображения содержит применение пространственно изменяющегося размытия к первому изображению, и когда степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области.
Изобретение может во множестве вариантов осуществления и сценариев предоставлять возможность формирования улучшенных изображений. В частности, улучшенное качество воспринимаемого изображения может быть достигнуто, даже когда сформированное изображение включает в себя одну или более зон, для которых данные 3D-изображения не предоставляют каких-либо данных изображения. В частности, эффект ухудшения, типично ассоциируемый с экстраполяцией, может быть в значительной степени уменьшен и может во многих сценариях быть незаметным для пользователя.
Размытие переходной области может, в частности, уменьшать перцепционное впечатление. Дополнительно, в вариантах осуществления, в которых точка обзора для воспроизведения определяется посредством пользовательских входных данных, подход, и, в частности, размытие, может склонять пользователей от точек обзора, для которых большие степени экстраполяции являются необходимыми.
Подход может, в частности, предоставлять полезное формирование изображений для сценариев, в которых точка обзора для воспроизведения формируется и управляется в ответ на пользовательские входные данные. Например, подход является очень подходящим для предоставления изображений видов для приложения виртуальной реальности (например, предоставления изображений для головной гарнитуры виртуальной реальности). Подход может предоставлять возможность высокой степени свободы, в то же время уменьшая влияние только неполного представления сцены, обеспечиваемого посредством данных 3D-изображения.
Дополнительно, подход может склонять пользователя управлять приложением виртуальной реальности от точек обзора, которые имеют тенденцию в значительной степени снижать качество вследствие отсутствия данных из данных 3D-изображения.
Подход может во многих вариантах осуществления и сценариях обеспечивать удовлетворительное формирование изображений без необходимости полного представления лежащей в основе сцены. Подход может уменьшать неудобство, получающееся в результате неполного представления сцены, и может соответственно предоставлять возможность использования неполных моделей или захватов. В частности, подход может типично предоставлять улучшенную поддержку для приложений на основе захвата сцены реального мира, например, с помощью 3D-камер.
Вектор обзора может быть любым значением или набором значений, указывающих точку обзора. Точка обзора может быть позицией и/или ориентацией для обзора/области просмотра. Вектор обзора может, например, включать в себя одно или более значений, указывающих позицию точки обзора, и/или одно или более значений, указывающих ориентацию обзора для точки обзора.
Данные 3D-изображения могут содержать любые данные, которые предоставляют возможность формирования контента изображения для представления (визуального/интенсивности света) вида сцены. Например, данные 3D-изображения могут содержать 3D-модель сцены, предоставляющую возможность системе формировать виды. Во многих вариантах осуществления данные 3D-изображения могут содержать одно или более 3D-изображений, при этом каждое 3D-изображение предоставляет интенсивность света и информацию о глубине, такую как изображение+глубина или карта текстур+сетчатое представление. Во многих вариантах осуществления данные 3D-изображения могут содержать изображения с широким углом обзора, и, в частности, почти всенаправленные изображения могут быть включены.
Данные 3D-изображения обеспечивают неполное представление сцены, и, таким образом, существует, по меньшей мере, одна часть сцены, для которой 3D-данные изображения не предоставляют описание визуальных свойств, по меньшей мере, для одной точки обзора. Часть(и) сцены, которая не описана(описаны) посредством данных 3D-изображения, могут отличаться для различных точек обзора. По меньшей мере, для одной позиции обзора существует, по меньшей мере, одна ориентация обзора, для которой соответствующее окно просмотра включает в себя, по меньшей мере, одну часть, для которой данные 3D-изображения не включают в себя (индивидуальное) описание визуальных свойств. Для таких частей контент изображения может типично быть сформирован из данных 3D-изображения для других частей сцены, в частности, посредством экстраполяции с области (такой как первая область), для которой данные 3D-изображения предоставляют данные изображения, на область (вторую область), для которой данные 3D-изображения не предоставляют данные изображения.
Таким образом, типично для таких частей сцены контент изображения должен быть сформирован из других частей сцены (типично с помощью предположений, которые имеют тенденцию быть относительно неточными, например, что изменения не происходят для контента изображения, принадлежащего другим областям).
Сцена может быть конкретным представлением конкретной части или вида лежащего в основе 3D-окружения, такого как, например, 3D-представление вида окружения из заданной позиции в заданное время. Оно может в некоторых случаях быть всем лежащим в основе 3D-окружением, таким как 3D-модель окружения или мира. Таким образом, сцена может рассматриваться как любое окружение, изображение формируется, чтобы представлять его вид.
Экстраполятор типично выполнен с возможностью экстраполировать данные 3D-изображения на вторую область посредством экстраполяции контента изображения (в частности, пиксельных значений), сформированного для первой области, на вторую область. Таким образом, типично воспроизведенный контент изображения для первой области экстраполируется на вторую область.
Первая и/или вторая область может содержать множество несвязанных областей.
В соответствии с необязательным отличительным признаком изобретения, переходная область включает в себя зону первой области.
Это может обеспечивать особенно полезное действие во многих сценариях. Можно, например, во многих вариантах осуществления привносить отклонение от зон сцены, для которых данные 3D-изображения не содержат каких-либо данных, в то же время все еще поддерживая высокое качество изображения.
В соответствии с необязательным отличительным признаком изобретения, оборудование дополнительно содержит: процессор области воспроизведения для определения маски воспроизведения для изображения, маска воспроизведения указывает, принадлежат ли пикселы изображения первой области или нет; адаптер фильтра для определения пространственно изменяющейся характеристики фильтра для изображения в ответ на маску воспроизведения; и при этом процессор размытия выполнен с возможностью применять пространственный фильтр, применяющий пространственно изменяющуюся характеристику фильтра к воспроизведенному изображению.
Это может обеспечивать особенно эффективное и/или полезное действие и/или реализацию во многих вариантах осуществления.
Пространственно изменяющаяся характеристика фильтра может отличаться в переходной области по сравнению с (другими частями) первой области. Пространственно изменяющаяся характеристика фильтра может отличаться в переходной области по сравнению с (другими частями) второй области.
В соответствии с необязательным отличительным признаком изобретения, пространственно изменяющаяся характеристика фильтра указывает на степень низкочастотной фильтрации посредством пространственного фильтра.
Это может обеспечивать особенно эффективное и/или полезное действие и/или реализацию во многих вариантах осуществления. Пространственно изменяющаяся характеристика фильтра может, в частности, быть степенью низкочастотной фильтрации, такой как размер ядра фильтра для пространственного низкочастотного фильтра.
В соответствии с необязательным отличительным признаком изобретения, экстраполятор выполнен с возможностью: формировать изображение уменьшенного масштаба в ответ на уменьшение масштаба промежуточного изображения; формировать фильтрованное изображение уменьшенного масштаба в ответ на применение двустороннего фильтра к изображению уменьшенного масштаба, двусторонний фильтр направляется посредством маски воспроизведения; формировать фильтрованное изображение увеличенного масштаба в ответ на увеличение масштаба изображения уменьшенного масштаба; и формировать пиксельные значения для второй области из фильтрованного изображения увеличенного масштаба.
Это может предоставлять возможность особенно полезной экстраполяции для конкретного подхода.
В соответствии с необязательным признаком изобретения процессор размытия выполняется с возможностью определять степень размытия для пиксела в ответ на расстояние от позиции пиксела до границы переходной зоны.
Это может обеспечивать полезную производительность и/или улучшенное действие и/или реализацию во многих вариантах осуществления.
Степень размытия (типично степень низкочастотной фильтрации) для пиксела может в переходной области увеличиваться с расстоянием до границы между переходной областью и первой областью и/или может в переходной области уменьшаться с расстоянием до границы между переходной областью и второй областью.
В соответствии с необязательным признаком изобретения процессор размытия выполнен с возможностью уменьшать степень размытия, по меньшей мере, в части второй области относительно степени размытия в переходной области.
Это может во многих вариантах осуществления предоставлять возможность улучшенной работы и может, в частности, во многих сценариях уменьшать требования к вычислительному ресурсу.
В соответствии с необязательным отличительным признаком изобретения, оборудование дополнительно содержит: приемник для приема целевого вектора обзора, указывающего целевую точку обзора в сцене для изображения; опорный источник для предоставления опорного вектора обзора, указывающего опорную точку обзора для сцены; и при этом источник вектора обзора выполнен с возможностью формировать вектор обзора для воспроизведения, указывающий точку обзора для воспроизведения как функцию желаемой пользователем точки обзора и опорной точки обзора для сцены.
Подход может во множестве вариантов осуществления и сценариев предоставлять возможность формирования улучшенных изображений. В частности, улучшенное компромиссное соотношение может быть достигнуто между предоставлением желаемого вида из желаемой точки обзора и предоставлением высококачественного изображения. Подход может, например, предоставлять плавное отклонение зрителей по направлению к предпочтительным видам, где качество изображения может быть более высоким.
Подход может, например, предоставлять возможность восприятия виртуальной реальности, когда пользователь может управлять точками обзора, но при этом он склоняется к точкам обзора, которые предоставляют улучшенное качество. Например, может быть обеспечен результат, когда пользователь может свободно управлять точкой обзора для сформированных видов, пока эти виды могут быть сформированы из данных 3D-изображения. Однако, когда направляется к точкам обзора, для которых данные 3D-изображения не предоставляют данных, система может привносить сопротивление или склонять против этого перемещения. Это может во многих ситуациях обеспечивать едва уловимую и часто незаметную адаптацию, которая может приводить в результате к модифицированному поведению пользователя.
Подход может, в частности, предоставлять полезное формирование изображений для сценариев, в которых целевой вектор обзора формируется и управляется в ответ на пользовательские входные данные. Например, подход является очень подходящим для предоставления изображений видов для приложения виртуальной реальности (например, предоставления изображений для головной гарнитуры виртуальной реальности). Подход может предоставлять возможность высокой степени свободы, в то же время уменьшая влияние только неполного представления сцены, обеспечиваемого посредством данных 3D-изображения.
Дополнительно, подход может склонять пользователя управлять приложением виртуальной реальности от точек обзора, которые имеют тенденцию в значительной степени снижать качество вследствие отсутствия данных из данных 3D-изображения.
В соответствии с необязательным признаком изобретения, источник вектора обзора выполняется с возможностью определять опорный вектор обзора в ответ на вектор обзора границы, указывающий границу между частью сцены, для которой данные 3D-изображения содержат данные изображения, и частью сцены, для которой данные 3D-изображения не содержат данные изображения.
Это может обеспечивать особенно полезное действие и/или производительность во многих сценариях. Можно, например, во многих вариантах осуществления привносить отклонение от зон сцены, для которых данные 3D-изображения не содержат каких-либо данных, в то же время все еще поддерживая высокое качество изображения. В частности, можно часто предоставлять желаемое отклонение к видам более высокого качества в рамках этой неприемлемо ограничивающей свободы или ломать ощущение погружения.
В соответствии с необязательным признаком изобретения, приемник для приема данных 3D-изображения дополнительно выполнен с возможностью принимать поток данных, содержащий данные 3D-изображения и дополнительно содержит данные о номинальной точке обзора; и при этом источник вектора обзора выполняется с возможностью формировать опорный вектор обзора в ответ на данные о номинальной точке обзора.
Это может обеспечивать особенно полезное действие и/или производительность во многих сценариях. Можно, например, во многих вариантах осуществления привносить отклонение от зон сцены, для которых данные 3D-изображения не содержат каких-либо данных, в то же время все еще поддерживая высокое качество изображения. В частности, можно часто обеспечивать желаемое отклонение к видам более высокого качества вне рамок этой неприемлемо ограничивающей свободы или ломать ощущение погружения.
Подход может, в частности, предоставлять возможность поставщику контента помогать, направлять и/или управлять склонением к желаемым точкам обзора. Например, "режиссерский" вид может быть предоставлен в качестве рекомендованной или предлагаемой точки обзора.
В соответствии с необязательным признаком изобретения, экстраполятор выполнен с возможностью определять свойство низкочастотно отфильтрованного изображения для множества зон первой области, близких ко второй области, и устанавливать свойство изображения, по меньшей мере, для части второй области в ответ на свойства низкочастотно отфильтрованного изображения.
Это может предоставлять возможность особенно полезной экстраполяции для конкретного подхода.
В соответствии с необязательным признаком изобретения, приемник выполнен с возможностью принимать данные 3D-изображения в потоке данных, дополнительно содержащем данные управления экстраполяцией; и при этом экстраполятор выполнен с возможностью задавать параметр экстраполяции в ответ на данные управления экстраполяцией.
Это может предоставлять возможность особенно полезной экстраполяции для конкретного подхода.
В соответствии с необязательным признаком изобретения, оборудование дополнительно содержит процесс фильтра, выполненный с возможностью применять глобальный пространственный фильтр к изображению, свойство пространственного фильтра зависит от доли изображения, для которой 3D-изображение не содержит данных изображения.
Это может формировать улучшенное изображение, которое, в частности, может быть лучше адаптировано к конкретным характеристикам доступных данных 3D-изображения.
Согласно аспекту изобретения предоставляется способ формирования изображения, способ содержит: прием данных 3D-изображения для сцены, данные 3D-изображения обеспечивают неполное представление сцены, в котором данные 3D-изображения не предоставляют описания визуальных свойств, по меньшей мере, для одной части сцены, по меньшей мере, для одной точки обзора; предоставление вектора обзора для воспроизведения, указывающего первую точку обзора в сцене; воспроизведение первой области первого изображения на основе данных 3D-изображения, первое изображение предназначено для первой точки обзора, указанной посредством вектора обзора для воспроизведения, и данные 3D-изображения содержат данные изображения для первой области; экстраполяцию данных 3D-изображения на вторую область первого изображения, где данные 3D-изображения не содержат данные изображения для второй области, и первая и вторая области являются прилегающими областями; и формирование изображения, когда формирование изображения содержит применение пространственно изменяющегося размытия к первому изображению, и когда степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области.
Эти и другие аспекты, признаки и преимущества изобретения будут поняты и разъяснены со ссылкой на вариант(ы) осуществления, описанные далее в данном документе.
Краткое описание чертежей
Варианты осуществления изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, на которых
Фиг. 1 иллюстрирует пример оборудования для формирования изображения в соответствии с некоторыми вариантами осуществления изобретения.
Фиг. 2 иллюстрирует пример устройства виртуальной реальности, содержащего оборудование для формирования изображения в соответствии с некоторыми вариантами осуществления изобретения.
Фиг. 3 иллюстрирует пример оборудования для формирования изображения в соответствии с некоторыми вариантами осуществления изобретения.
Фиг. 4-8 иллюстрируют примеры изображений и масок, сформированных посредством примерного оборудования для формирования изображений в соответствии с некоторыми вариантами осуществления изобретения.
Фиг. 9 иллюстрирует пример оборудования для формирования изображения в соответствии с некоторыми вариантами осуществления изобретения.
Подробное описание вариантов осуществления
Последующее описание фокусируется на вариантах осуществления изобретения, применимых к формированию изображений для приложения виртуальной реальности. Однако, будет понятно, что изобретение не ограничивается этим применением, но может быть применено в других приложениях обработки и формирования изображений.
Фиг. 1 иллюстрирует оборудование для формирования изображений, которое выполняется с возможностью формировать изображение, представляющее вид сцены на основе данных 3D-изображения, которые предоставляют неполное представление сцены. Оборудование для формирования изображения на фиг. 1 может, в частности, быть модулем воспроизведения, используемым как часть устройства виртуальной реальности, или сервером, обеспечивающим восприятие виртуальной реальности.
Пример такого устройства виртуальной реальности иллюстрируется на фиг. 2. В примере устройство виртуальной реальности содержит блок 201 пользовательского ввода, который выполнен с возможностью принимать пользовательские входные данные, которые могут отражать желаемое перемещение и/или ориентацию в сцене виртуальной реальности. Например, пользователь может осуществлять навигацию по сцене виртуальной реальности с помощью джойстика и/или клавиатуры, или, например, ориентация вида может быть определена из головной гарнитуры виртуальной реальности, носимой пользователем и содержащей подходящие датчики. Во многих вариантах осуществления блок 201 пользовательского ввода может содержать функциональность для преобразования пользовательских входных данных в желаемую точку обзора для воспроизведения, которая указывает позицию, из которой сцена просматривается, и/или ориентацию обзора из данной позиции обзора. Точка обзора для воспроизведения (точка обзора может считаться ссылающейся на указание позиции, указание ориентации, или и то, и другое, таким образом, указывает желаемый вид для пользователя).
Будет понятно, что в некоторых вариантах осуществления множество видов может быть сформировано для данной точки обзора для воспроизведения, или в некоторых вариантах осуществления множество точек обзора могут быть сформированы из одних и тех же пользовательских входных данных. Например, устройство виртуальной реальности может быть выполнено с возможностью формировать изображение, соответствующе виду для правого глаза, и изображение, соответствующее виду для левого глаза, тем самым обеспечивая 3D-эффект. Для краткости и ясности, следующее описание будет фокусироваться на формировании одного изображения для данной точки обзора для воспроизведения.
Блок 201 пользовательских входных данных может, в частности, быть выполнен с возможностью формировать целевой вектор обзора, который указывает желаемую/целевую точку обзора для воспроизведения. Например, целевой вектор обзора может быть сформирован, который содержит три компонента/значения, определяющие ориентацию зрителя, такую как, например, параметры угла наклона относительно поперечной, вертикальной и продольной осей. Во многих вариантах осуществления целевой вектор обзора может дополнительно или альтернативно содержать три значения, определяющих трехмерную позицию в сцене, например, представленную значением x, y, z. Будет понятно, что в некоторых вариантах осуществления позиция и/или ориентация могут быть представлены посредством менее трех значений. Например, позиция может быть указана посредством расстояния по предварительно определенному маршруту по сцене, и, таким образом, позиция может быть указана посредством единственного значения. Аналогично, угол наклона относительно поперечной и продольной оси может предполагаться постоянным, и ориентация может быть предоставлена только посредством значения угла наклона относительно продольной оси.
Сформированный целевой вектор обзора подается в блок 203 воспроизведения, который, в частности, является оборудованием для формирования изображения на фиг. 1. Блок 203 воспроизведения выполнен с возможностью формировать изображение для точки обзора, отраженной посредством вектора обзора. Формирование изображения зависит от данных 3D-изображения, извлеченных из хранилища 205 3D-изображений. Сформированное изображение подается драйверу 207 дисплея, который управляет дисплеем 209, который, например, может быть дисплеем головной гарнитуры виртуальной реальности для правого или левого глаза. Головная гарнитура виртуальной реальности может дополнительно содержать датчики, которые предоставляют пользовательские входные данные блоку 201 пользовательского ввода.
Таким образом, устройство виртуальной реальности может формировать изображения, представляющие виды из конкретных точек обзора в виртуальной сцене, представленной посредством данных 3D-изображения. Точка обзора управляется посредством пользовательских входных данных, предоставляющих возможность пользователю типично и перемещаться, и осматриваться в виртуальной сцене.
В подходе данные 3D-изображения обеспечивают неполное представление сцены. Данные 3D-изображения могут, в частности, предоставлять данные для некоторых частей сцены, но не для всех частей сцены, т.е., в частности, могут быть некоторые области/части/элементы сцены, для которых данные 3D-изображения, по меньшей мере, для некоторых точек обзора не содержат каких-либо данных, описывающих визуальные свойства сцены.
Во многих приложениях виртуальной реальности данные 3D-изображения могут быть предоставлены в форме 3D-модели сцены. Во многих приложениях такая 3D-модель может предоставлять полное представление сцены, и оценка 3D-модели будет предоставлять возможность формирования изображения вида для всех возможных точек обзора. Эта ситуация может часто быть случаем для виртуальных или искусственных сцен, когда модель непосредственно определяет окружение и сцену. Однако, во многих ситуациях, невозможно или неосуществимо формировать полную модель. Это может быть случай для некоторых искусственных моделей, но более часто происходит для захваченных представлений сцен реальной жизни. Например, модель может быть сформирована из захвата сцены реального мира, но эта модель будет склонна иметь недостающие данные, по меньшей мере, для некоторых точек обзора (позиций и/или ориентаций).
Во многих вариантах осуществления данные 3D-изображения могут быть сформированы из захвата из данных реальной жизни с помощью подходящих камер. В действительности, типично, данные 3D-изображения могут быть предоставлены в форме изображений интенсивности света и ассоциированной информации о глубине для ряда фиксированных позиций обзора. Изображения могут в некоторых таких примерах соответствовать очень широким углам обзора, и действительно могут в некоторых ситуациях быть почти полностью всенаправленными. В таких ситуациях изображения и глубина из данных 3D-изображения могут быть использованы алгоритмами сдвига точки обзора, чтобы формировать изображение вида для данной точки обзора для воспроизведения.
Однако, типично захват из данной точки обзора не будет законченным и предоставлять полное сферическое изображение (и глубину) и глубину, а скорее только подмножество сферы будет захвачено. Это типично также является случаем даже в ситуациях, когда устройство полносферического захвата используется, поскольку процесс захвата по своей природе склонен привносить объекты, блокирующие обзор для некоторых частей сцены (например, съемочная группа, осветительное оборудование или, в действительности, сама система камеры может блокировать обзоры (например, камера может наблюдать себя или может наблюдать другие камеры, используемые для захвата).
Независимо от того, как данные 3D-изображения представляются, они типично не будут содержать, или будут содержать, по меньшей мере, неполные или недостаточные данные, по меньшей мере, для части сцены и, таким образом, часто не содержат, или содержат, по меньшей мере, неполные или недостаточные, данные для частей области просмотра для данной точки обзора.
Блок 203 воспроизведения, соответствующий оборудованию для формирования изображения на фиг. 1, является приспособленным для формирования изображений для данной точки обзора для воспроизведения на основе данных 3D-изображения, которые обеспечивают только неполное представление сцены. Дополнительно, блок 203 воспроизведения выполнен с возможностью формировать изображение, чтобы предоставлять улучшенный иммерсивный эффект с влиянием недостатка данных изображения, являющимся менее заметным или неудобным для пользователя. Например, зритель виртуальной реальности может иметь более плавное и более иммерсивное восприятие при осматривании вокруг и встрече с областями, для которых данные 3D-изображения не предоставляют какой-либо информации.
Блок 203 воспроизведения содержит приемник 101 данных изображения, который выполнен с возможностью принимать данные 3D-изображения для сцены, где данные 3D-изображения обеспечивают неполное представление сцены. В конкретном примере приемник 101 данных изображения соединяется с хранилищем 205 3D-изображения, из которого он принимает данные 3D-изображения. Будет понятно, что данные 3D-изображения могут быть приняты из любого подходящего внешнего или внутреннего источника, включающего в себя, например, Интернет.
Блок 203 воспроизведения дополнительно включает в себя источник 103 вектора обзора, который выполнен с возможностью предоставлять вектор обзора для воспроизведения, который отражает точку обзора, для которой изображение обзора должно быть воспроизведено. В конкретном примере источник 103 вектора обзора выполнен с возможностью принимать целевой вектор обзора, который указывает желаемую точку обзора для воспроизведения в сцене. В конкретном примере источник 103 вектора обзора выполнен с возможностью принимать целевой вектор обзора от блока 201 пользовательского ввода. Вектор обзора может быть любым набором из одного или более значений, предоставляющих указание точки обзора. В частности, вектор обзора может быть любым набором из одного или более значений, предоставляющих указание позиции и/или ориентации для точки обзора. Вектор обзора может типично включать в себя три составляющих значения, указывающих позицию (например, x, y, z) или ориентацию (угол наклона относительно вертикальной, продольной, поперечной осей), или три составляющих значения, указывающих позицию (например, x, y, z) и ориентацию (угол наклона относительно вертикальной, продольной, поперечной осей). Будет понятно, что вектор обзора может включать в себя различное число компонентов, например, ориентация может быть предоставлена только посредством азимута и значения возвышения/высоты (или, в действительности, в некоторых случаях посредством только значения азимута). В таких случаях, дополнительные степени свободы могут считаться соответствующими предварительно определенным, по умолчанию или расчетным значениям.
Приемник 101 данных изображения и источник 103 вектора обзора соединяются с модулем 105 воспроизведения, который выполнен с возможностью воспроизводить области изображения, для которых приемник 101 данных изображения предоставляет данные 3D-изображения для данной точки обзора для воспроизведения, представленной посредством вектора обзора для воспроизведения. В примере блок 105 воспроизведения используется для формирования изображения для целевого вектора обзора, и целевой вектор обзора, таким образом, подается из источника 103 вектора обзора, где он используется в качестве вектора обзора для воспроизведения. Таким образом, в примере вектор обзора для воспроизведения и целевой вектор обзора являются одинаковыми.
Блок 105 воспроизведения может использовать любой надлежащий подход для воспроизведения изображения для точки обзора для воспроизведения, которая указана посредством вектора обзора для воспроизведения, и будет понятно, что специалист в области техники будет хорошо знаком с различными способами, и они, соответственно, для краткости не будут описаны подробно в данном документе.
В качестве примера, если данные 3D-изображения предоставляются как значения интенсивности света плюс карты глубины (или, например, посредством карт текстур и 3D-сеток) для различных дискретных точек обзора, изображение для точки обзора, указанной посредством вектора обзора для воспроизведения, может быть сформировано посредством сдвига точки обзора, как хорошо известно. Если данные 3D-изображения предоставляются в форме 3D-модели, она может быть оценена с перспективы точки обзора, чтобы формировать контент изображения.
Однако, поскольку данные 3D-изображения обеспечивают только неполное представление сцены, будут (для некоторых точек обзора для воспроизведения) зоны некоторых изображений, которые не могут быть воспроизведены непосредственно на основе доступных данных 3D-изображения. Например, если пользователь начинает поворачиваться и смотреть в сторону зоны, которая не была захвачена, блок 105 воспроизведения может лишь иметь возможность формировать данные для части изображения, соответствующей части сцены, которая была захвачена.
Таким образом, во многих вариантах осуществления, блок 105 воспроизведения будет выполнен с возможностью воспроизводить только часть изображения. В частности, блок 105 воспроизведения может воспроизводить одну или более областей изображения, при этом другие области изображения не формируются. В последующем, область, в которой блок 105 воспроизведения воспроизвел/сформировал контент изображения, будет называться первой областью, а прилегающая область, для которой блок 105 воспроизведения не сформировал какие-либо данные изображения, будет называться второй областью.
Будет понятно, что ссылка на первую и вторую область не подразумевает, что изображение обязательно делится на одну зону, в которой контент изображения был воспроизведен, и одну зону, в которой контент изображения не был воспроизведен. Скорее, может быть множество областей, для которых блок 105 воспроизведения формирует контент изображения, и/или множество областей, в которых блок воспроизведения не формирует контент изображения. Альтернативно, и эквивалентно, первая область может считаться потенциально содержащей множество отдельных зон, в которых блок 105 воспроизведения сформировал контент изображения, и/или вторая область может считаться содержащей множество отдельных зон, в которых блок 105 воспроизведения не сформировал контент изображения.
Блок 203 воспроизведения на фиг. 1 выполнен с возможностью устранять такие ситуации. Вместо того, чтобы просто оставлять невоспроизведенную зону(зоны) второй области пустыми или заполненными цветом по умолчанию, блок 105 воспроизведения соединяется с экстраполятором 107, который выполнен с возможностью экстраполировать данные 3D-изображения из первой области во вторую область. Таким образом, экстраполятор выполнен с возможностью формировать контент изображения для второй области из контента изображения/данных 3D-изображения первой области. В частности, в большинстве вариантов осуществления, данные 3D-изображения экстраполируются с первой области на вторую область посредством экстраполяции контента изображения (пиксельных значений) первой области, экстраполируемой на вторую область.
Таким образом, блок воспроизведения может переходить к формированию полного изображения, содержащего контент изображения для всех частей изображения, соответствующих области просмотра для точки обзора для воспроизведения, которая представлена вектором обзора для воспроизведения. Однако, тогда как контент изображения для первой области вероятно должен предоставлять очень точное отражение/представление вида/сцены, контент изображения второй области вероятно должен предоставлять ухудшенное, а часто очень значительно ухудшенное, представление вида/сцены. Например, во многих вариантах осуществления экстраполятор 107 может быть выполнен с возможностью лишь формировать относительно грубую текстуру или распределение цвета, похожие на текстуру и распределение цвета для контента изображения первой области, близкой ко второй области. Однако, сформированный контент изображения для второй области все еще вероятно должен быть менее заметным или беспокоящим зрителя по сравнению, например, с предварительно определенным единообразным цветом (например, черным) и, таким образом, будет иметь тенденцию обеспечивать улучшенное пользовательское восприятие.
Будет понятно, что любой подходящий подход для экстраполяции контента изображения первой области во вторую область может быть использован без отклонения от изобретения. Конкретные примеры экстраполяции будут описаны позже.
Блок 105 воспроизведения, однако, не просто экстраполирует контент изображения на вторую область, чтобы предоставлять полностью заполненное изображение, а скорее включает в себя постобработку, которая улучшает эффект восприятия и типично приводит в результате к улучшенному и более иммерсивному пользовательскому восприятию.
Блок 205 воспроизведения содержит процессор 109 размытия, который принимает изображение от экстраполятора 107. Процессор 109 размытия выполнен с возможностью применять пространственно изменяющееся размытие к изображению, где степень размытия является более высокой в переходной области между первой и второй областью по сравнению (по меньшей мере) с внутренней зоной первой области. Таким образом, для переходной области привносится преднамеренное размытие изображения. Во многих вариантах осуществления переходная область включает в себя зону первой области, и, таким образом, процессор 109 размытия привносит размытие в контент изображения, сформированный посредством модуля 105 воспроизведения, чтобы создавать размытый переход от контента изображения, который может быть сформирован из данных 3D-изображения, и к экстраполированному контенту изображения.
Было обнаружено, что это размытие переходной области имеет тенденцию обеспечивать в значительной степени улучшенное пользовательское восприятие, когда, в частности, более иммерсивное восприятие может быть достигнуто. Зритель будет типично не замечать, что текущий вид включает в себя часть сцены, которая не представляется посредством данных 3D-изображения, но будет лишь подсознательно замечать, что изображение становится размытым при взгляде в некоторых направлениях. Подход будет дополнительно иметь тенденцию модифицировать поведение зрителя и, в частности, будет иметь тенденцию склонять пользователя от просмотра в направлениях, в которых данные 3D-изображения являются недоступными. Это склонение дополнительно имеет тенденцию быть неуловимым и часто подсознательным. В частности, пространственное размытие, выполняемое по части первой области, т.е., по контенту изображения, сформированному из доступных 3D-данных, приводит в результате к тому, что размытие часто имеет едва уловимый эффект, который не обнаруживается пользователем. Однако, оно все еще обеспечивает едва уловимый эффект размытия и типично отсутствие деталей и фокуса, которые будут склонять зрителя к просмотру в других направлениях.
Например, когда зритель поворачивает свою голову, он может сначала просматривать изображения, которые полностью формируются из доступных данных 3D-изображения, и которые, следовательно, являются четкими и детализированными. Однако, в некоторый момент, край доступных данных 3D-изображения достигается, и зрителю в этом случае сначала начнет предоставляться зона изображения, которая все еще содержит детали (например, она включает в себя объекты изображения, полученные из данных 3D-изображения), но вместе с этим начинает становиться более размытой. Этот эффект достигается посредством преднамеренного и вопреки очевидному удаления информации сформированного изображения, которая получена из данных 3D-изображения. Таким образом, вместо предоставления изображения, которое представляет сцену настолько хорошо, насколько возможно, процессор 109 размытия преднамеренно размывает переходную область между первой и второй областью (и пространственно размывает часть четкого воспроизведения переходной области для первой области) и, таким образом, преднамеренно уменьшает точность представленного вида сцены. Однако, это ухудшение может управляться процессором 109 размытия вместо полной зависимости от точности экстраполяции в конкретном случае.
Соответственно, более плавный переход может быть достигнут с первоначальным элементом перехода, типично все еще имеющим относительно высокое качество, тем не менее, имеющего эффект способствования склонению зрителя к точкам обзора, для которых данные 3D-изображения содержат данные для полного обзора. Было обнаружено, что этот эффект имеет тенденцию обеспечивать чувственно лучшее пользовательское восприятие и, в частности, для восприятий виртуальной реальности обеспечивает более иммерсивное восприятие.
Размытие может, например, быть выполнено с помощью фильтра размытия, такого как специальный пространственный низкочастотный фильтр. Эффективность пространственного низкочастотного фильтра может изменяться, так что он является более эффективным для переходной области по сравнению с внутренней зоной первой области. Таким образом, существует внутренняя зона в первой области, в которой сила/степень размытия/низкочастотной фильтрации является меньшей по сравнению с переходной областью. Типично, процессор 109 размытия не предоставляет какую-либо низкочастотную фильтрацию или размытие внутренней зоны, и, следовательно, внутренняя зона (которая типично может быть большей частью первой области) воспроизводится настолько четко, насколько возможно.
Степень размытия может, например, изменяться посредством изменения пространственной частоты среза для пространственного низкочастотного фильтра. Например, подходящая форма ядра может быть использована с пространственным протяжением ядра, изменяющимся в зависимости от текущей позиции фильтра и того, как она относится к переходной области. Например, в первой области и за пределами переходной области пространственное протяжение ядра может быть задано в 1 пиксел, т.е., фильтрация не применяется. В переходной области пространственное протяжение ядра может быть увеличено, например, до предварительно определенного размера, тем самым, приводя в результате к пространственной низкочастотной фильтрации и размытию.
Во многих вариантах осуществления размытие может постепенно увеличиваться. Например, размер ядра может постепенно увеличиваться от типично небольшого значения на границе/крае между переходной областью и остальной частью первой области до большего значения на границе между переходной областью и (оставшейся частью) второй областью.
Например, фильтр размытия может быть пространственным фильтром с гауссовым ядром и с размером ядра, задаваемым посредством его среднеквадратического значения. В таких вариантах осуществления среднеквадратическое значение, применяемое к фильтру Гаусса для пикселов в переходной области, может быть определено как монотонно увеличивающаяся функция расстояния от пиксела до границы между переходной областью и остальной частью первой области, или монотонно уменьшающаяся функция расстояния от пиксела до границы между переходной областью и остальной частью второй области (или обе).
Такой подход может предоставлять увеличивающееся размытие, и постепенное ухудшение изображения, чтобы вызывать уклонение от видов, для которых данные 3D-изображения предоставляют только небольшую или не предоставляют информацию.
Будет понятно, что фильтрация, которая применяется ко второй области (или, в частности, к части второй области, которая находится за пределами переходной области в случаях, когда переходная область протягивается во вторую область), может зависеть от конкретного варианта осуществления и в действительности во многих вариантах осуществления может зависеть от конкретных характеристик, например, экстраполяции и/или данных 3D-изображения.
Во многих вариантах осуществления процессор 109 размытия может быть выполнен с возможностью уменьшать степень размытия, по меньшей мере, в части второй области относительно степени размытия в переходной области. Таким образом, в некоторых вариантах осуществления, размытие в переходной области является более высоким по сравнению, по меньшей мере, с частями первой области и частями второй области. Размытие может, таким образом, быть увеличено для перехода между первой областью и второй областью, но может затем быть уменьшено снова для экстраполированной области. Это может во многих случаях и, в частности, для многих методов экстраполяции, приводить в результате к более полезному в плане восприятия результату и/или более низкой сложности.
Например, многие методы экстраполяции формируют относительно грубую экстраполяцию с относительно медленно варьирующимися изменениями. В таких случаях, результат экстраполяции уже проявляет пространственную низкочастотную характеристику, и нет необходимости дополнительно размывать или фильтровать контент изображения. Соответственно, процессор 109 размытия может быть выполнен с возможностью применять фильтр размытия только к переходной области, тем самым, уменьшая сложность и вычислительные требования.
Процессор 109 размытия соответственно применяет пространственно выборочную фильтрацию к сформированному изображению, которое содержит как воспроизведенные, так и экстраполированные области. Эффект размытия имеет тенденцию не только склонять пользователя к желаемым видам, но также имеет тенденцию предоставлять улучшенный результат, дополнительно смешивая воспроизведенные и экстраполированные области вместе.
Фиг. 3 иллюстрирует конкретный пример модуля 105 воспроизведения, который соответствует примеру на фиг. 1, и дополнительно содержащий особую функциональность для определения свойств размытия.
Блок 105 воспроизведения на фиг. 3 содержит процессор 301 области воспроизведения, который выполнен с возможностью определения маски воспроизведения для изображения, где маска воспроизведения указывает, принадлежат ли отдельные пикселы первой области или нет. В частности, маска воспроизведения может для каждого пиксела указывать, формируется ли пиксельное значение посредством воспроизведения из данных 3D-изображения, или формируется ли оно посредством экстраполяции.
Во многих вариантах осуществления маска воспроизведения может содержать бинарные значения, т.е. для каждого пиксела маска воспроизведения может указывать, формируется ли пиксел посредством воспроизведения или посредством экстраполяции, или эквивалентно, принадлежит ли он первой области или второй области. В некоторых вариантах осуществления такой бинарный фильтр может быть пространственно низкочастотно отфильтрованным, чтобы формировать постепенный переход между областями с постепенными значениями, указывающими переходную область между первой и второй областью.
Процессор 301 области воспроизведения соединяется с адаптером 303 фильтра, который дополнительно соединяется с процессором 109 размытия. Адаптер 303 фильтра выполнен с возможностью определять пространственно изменяющуюся характеристику фильтра для изображения в ответ на маску воспроизведения. Например, параметр, контролирующий степень/ эффективность низкочастотной фильтрации, может быть определен на основе значения маски для пиксела. Например, для фильтрованной маски воспроизведения значение параметра эффективности низкочастотной фильтрации может быть определено как предварительно определенная функция значения маски воспроизведения для пиксела. Таким образом, в переходной области, определяемой посредством промежуточных значений маски воспроизведения, постепенно изменяющийся параметр низкочастотного уровня определяется.
Пространственно изменяющаяся характеристика фильтра затем подается в процессор 109 размытия, который переходит к фильтрации изображения с помощью пространственного фильтра, применяющего пространственно изменяющуюся характеристику фильтра.
Подход может предоставлять очень эффективный и практичный способ применения пространственно изменяющегося фильтра, чтобы предоставлять пространственно выборочное размытие воспроизведенного и экстраполированного контента изображения.
В последующем, будет описан конкретный пример этого подхода, примененный к данной области просмотра для данной желаемой точки обзора для воспроизведения. Таким образом, изображение должно формироваться соответствующим области просмотра для зрителя, расположенного в позиции и с ориентацией просмотра, которые указаны посредством вектора обзора для воспроизведения. Подход для формирования такого изображения будет описан со ссылкой на фиг. 4-8, которые показывают различные примеры изображений, областей просмотра и масок, сформированных как часть процесса.
Первоначально, блок 105 воспроизведения может переходить к формированию первоначального изображения посредством воспроизведения частей изображения/области просмотра, для которых данные 3D-изображения предоставляют информацию. В примере, результирующее изображение содержит первую область 401, в которой блок 105 воспроизведения является приспособленным для воспроизведения данных из данных 3D-изображения, и вторую область 403, в которой контент/данные изображения не формируются посредством модуля 105 изображения вследствие того, что данные 3D-изображения не содержат данные для этой части области просмотра. Может быть видно, что вторая область 403 содержит две отдельные зоны в конкретном примере. В примере, вид сцены для простоты считается состоящим из однородного фона 405 с более темной круглой зоной 407 спереди (например, соответствующей сцене, являющейся шаром впереди однородного синего неба).
Экстраполятор 107 может затем выполнять экстраполяцию с первой области 401 на вторую область 403 для формирования полностью заполненной области просмотра/изображения, как иллюстрировано на фиг. 5.
Процессор 301 области воспроизведения может переходить к формированию маски воспроизведения, указывающей зоны изображения/области просмотра, для которых данные 3D-изображения предоставляют данные, и для которых не предоставляют. Таким образом, маска воспроизведения указывает, где блок 105 воспроизведения воспроизвел контент изображения, и где контент изображения был сформирован посредством экстраполятора 107. Маска воспроизведения указывает часть изображения, соответствующую первой области и второй области, и пример для конкретного случая на фиг. 4 иллюстрируется на фиг. 6.
Маска воспроизведения подается к адаптеру 303 фильтра, который может переходить к формированию характеристики фильтрации из маски воспроизведения. В частности, он может выполнять это посредством низкочастотной фильтрации четкой двоичной маски на фиг. 6. Пример результата предоставляется на фиг. 7, где может быть видно, что переходная область формируется содержащей значения, которые являются промежуточными между значением, указывающим, что блок 105 воспроизведения сформировал контент изображения, и значением, указывающим, что экстраполятор 107 сформировал контент изображения. Таким образом, постепенный переход обеспечивается в переходной области.
Адаптер 303 фильтра может переходить к определению характеристики низкочастотного фильтра для отдельных пикселов на основе отфильтрованного значения маски воспроизведения. Например, степень низкочастотной фильтрации может быть определена как функция значения коэффициента, при этом степень увеличивается больше, когда значение маски указывает пиксел, определяемый посредством экстраполяции. Например, фильтрованные значения коэффициентов могут непосредственно быть интерпретированы как график среднеквадратического отклонения, предоставляющий масштабированное значение для среднеквадратического значения параметра для низкочастотного фильтра Гаусса.
Таким образом, в этом конкретном примере, фильтрация может не применяться в первой области, высокая степень низкочастотной фильтрации может быть применена во второй области, и промежуточная фильтрация может быть применена в переходной области.
В некоторых вариантах осуществления более сложное определение характеристики фильтра может быть применено, такое как, например, добавление модификации сформированного среднеквадратического значения, чтобы уменьшать фильтрацию во второй области.
Наконец, процессор 109 размытия может выполнять пространственную фильтрацию с помощью определенной характеристики фильтра. Фильтрация может быть применена выборочно, например, она может быть применена только в переходной области.
В результате процесса, выходные данные, такие как выходные данные на фиг. 8, могут быть сформированы. Изображение содержит сочетание воспроизведенного и экстраполированного контента изображения и, таким образом, предоставляет полностью заполненное изображение/области просмотра, хоть и с экстраполированными зонами, типично имеющими сниженное качество/детализацию. Кроме того, как указано посредством зоны 801, различные области/зоны смешиваются вместе.
Как ранее упомянуто, любой подходящий подход для выполнения экстраполяции может быть использован без отступления от изобретения.
Например, подход, аналогичный подходу для ретуширования дефектов зон загораживания, может быть использован. Таким образом, как будет известно специалисту в области техники, экстраполяция может, например, использовать направленное ретуширование дефектов (копирование значения цвета из ближайшего пиксела), текстурированное ретуширование дефектов (экстраполяция текстур на границе между первой и второй областями на вторую область) и/или использование подхода с уравнением Пуассона (ретуширование дефектов на основе энергетической функции).
В некоторых сценариях может быть контент изображения несколько снаружи области просмотра/зоны изображения, который все еще является полезным для цели экстраполяции. Соответственно, как ни странно, блок 105 воспроизведения может в некоторых вариантах осуществления воспроизводить зоны изображения, которые (типично слегка) находятся за пределами определенной области просмотра, и экстраполяция может быть в ответ на воспроизведенный контент изображения за пределами области просмотра. Например, с помощью направленного ретуширования дефектов, пиксельное значение для интерполируемого может быть задано в значение ближайшего пиксела, даже если это пиксел, который находится за пределами области просмотра.
В некоторых вариантах осуществления блок 107 экстраполяции выполняется с возможностью определять свойство низкочастотно отфильтрованного изображения для множества зон первой области, близких ко второй области. В частности, для множества зон, которые находятся близко к границе между первой и второй областью, экстраполятор 107 может определять усредненное (среднее) значение цвета. Экстраполятор 107 может затем переходить к установке пиксельного значения для зоны второй области, чтобы соответствовать одному или более из этих значений цвета.
Например, для каждой непересекающейся зоны второй области, экстраполятор 107 может определять значение цвета как усредненное значение всех средних значений цвета для зон первой области, которые граничат с непересекающейся зоной. В других вариантах осуществления первая область может быть разделена на множество подзон, при этом каждая подзона содержит пикселы, которые являются ближайшими к данной зоне первой области, для которой среднее значение было определено. Подзона второй области может затем быть задана в это среднее значение.
Подход может использовать обработку очень низкого разрешения. Например, каждая зона первой области и/или второй области может содержать не менее 103, 104, 105 или 106 пикселов. Соответственно, подход может приводить в результате к экстраполяции на вторую область, формирующей очень грубое представление сцены, которое типично может, по существу, соответствовать отражению усредненного значения цвета. Однако, это может во многих сценариях обеспечивать приемлемое восприятие и может предоставлять подход с низкой сложностью.
В некоторых вариантах осуществления экстраполяция может быть основана на двусторонней фильтрации версии изображения уменьшенного масштаба, сформированного посредством модуля 105 воспроизведения. В частности, экстраполятор 107 может быть выполнен с возможностью сначала уменьшать масштаб изображения. Типично, уменьшение масштаба может быть значительным и формировать изображение фильтра, которое имеет разрешение, которое не превышает, например, 104, 105 или 106 пикселов. Двусторонний фильтр может затем быть применен к этому изображению уменьшенного масштаба, при этом двусторонний фильтр направляется посредством маски воспроизведения (например, оригинальной двоичной или фильтрованной маски воспроизведения). Таким образом, весовые коэффициенты пространственной фильтрации зависят от значения маски воспроизведения, и, таким образом, от того, существует ли весовой коэффициент для пиксела, который принадлежит первой области или второй области. Пикселы, которые принадлежат первой области, будут типично взвешены более высоко, при этом пикселы, принадлежащие второй области, имеют более низкие весовые коэффициенты (во многих вариантах осуществления нулевые весовые коэффициенты). Весовые коэффициенты могут дополнительно типично зависеть от расстояния между пикселом, для которого весовой коэффициент определяется, и пиксела, для которого фильтрованное значение в настоящий момент определяется.
Результирующее фильтрованное изображение уменьшенного масштаба затем увеличивается в масштабе до оригинального разрешения и впоследствии объединяется с изображением от модуля 105 воспроизведения. В частности, для пикселов в первой области, пиксельное значение нефильтрованного изображения может быть выбрано, а для пикселов во второй области пиксельные значения в двусторонне фильтрованном изображении могут быть выбраны.
Подход может во многих сценариях предоставлять улучшенную экстраполяцию. Конкретным преимуществом является то, что экстраполяция уже надлежащим образом является размытой вследствие операции увеличения масштаба.
В некоторых вариантах осуществления приемник 101 данных изображения может быть выполнен с возможностью принимать данные 3D-изображения в потоке данных. Например, данные могут быть приняты в потоке данных от удаленного источника, например, по сети, такой как, в частности, Интернет. В качестве другого примера, поток данных может быть принят от локального источника, например, со считывателя диска Blu-ray.
В таких примерах поток данных может содержать метаданные, которые могут включать в себя данные управления экстраполяцией, и экстраполятор 107 может быть выполнен с возможностью выполнять экстраполяцию в ответ на данные управления экстраполяцией.
Например, экстраполятор 107 может быть приспособлен для выполнения различных алгоритмов экстраполяции, таких как, например, детальное текстурное ретуширование эффектов, или подход с неинтенсивной окраской средней окраской. Данные 3D-изображения могут быть приняты в потоке данных, которые также содержат данные управления экстраполяцией, которые определяют, какие из них должны быть использованы.
Подход может предоставлять возможность источнику данных 3D-изображения управлять некоторыми аспектами характера окончания приема при воспроизведении изображений и, таким образом, может предоставлять дополнительное управление пользовательским восприятием создателю данных 3D-изображения. Например, стандартизированный подход может быть использован, который может поддерживать использование хорошо определенной экстраполяции, которая совпадает с намерением режиссера, посредством добавления подходящих метаданных, которые могут включать в себя, например:
Метаданные для выбора (предварительно определенного) алгоритма экстраполяции.
Метаданных для выбора параметров предварительно определенного алгоритма экстраполяции.
В качестве конкретного примера, могут быть предоставлены метаданные, которые описывают экстраполятор, например, DASH XML URL, ссылающийся на другой URL с файлом шейдерной модели 4, с помощью которого экстраполятор имеет в качестве входных данных версию уменьшенного масштаба для воспроизводимой области просмотра и маску воспроизведения или цветовой ключ, который кодирует маску воспроизведения.
В некоторых вариантах осуществления оборудование для формирования изображений на фиг. 1 может дополнительно содержать процессор фильтра, который выполнен с возможностью применять адаптивный пространственный фильтр к изображению (типично), после того как оно было размыто посредством процессора 109 размытия. В таких примерах пространственный фильтр может быть глобальным фильтром, который применяется ко всему изображению, и который имеет одинаковые свойства для всего изображения, т.е., свойства являются пространственно постоянными.
Однако, пространственный фильтр может иметь свойство, которое зависит от того, сколько точки обзора/изображения может быть воспроизведено на основе данных 3D-изображения, т.е., свойство глобального пространственного фильтра может зависеть от доли точки обзора, для которой 3D-изображение не содержит данных изображения. Эта доля может быть определена как соотношение между площадью первой области и площадью второй области.
В частности, фильтр может иметь увеличивающуюся эффективность, когда доля изображения, которая охвачена второй областью, увеличивается. Например, для ситуаций, когда блок 105 воспроизведения может формировать весь контент изображения, эффективность фильтра может быть незначительной (или в действительности фильтрация может отсутствовать). Однако, когда доля изображения, которая должна быть заполнена посредством экстраполяции, увеличивается, эффект фильтрации может постепенно увеличиваться и может приводить в результате к значительному эффекту восприятия.
Таким образом, в некоторых вариантах осуществления, глобальный фильтр изображения может быть применен, когда значительная часть изображения/области просмотра не имеет контента, сформированного непосредственно из данных 3D-изображения. Эффективность фильтра может постепенно изменяться вверх или вниз согласно тому, сколько экстраполированного контента существует в изображении/области просмотра.
Примеры подходящих фильтров изображения включают в себя:
Уменьшение насыщенности
Уменьшение контрастности
Уменьшение яркости
Пространственный низкочастотный фильтр
Наложение другой сцены, такой как симулятор голографических образов или периметровое ограждение
Подход может предоставлять возможность дополнительного эффекта восприятия, который может влиять на воспринимаемый вид в более экстремальных направлениях, и может помогать в склонении поведения зрителя от зон, для которых данные 3D-изображения не предоставляют непосредственной информации.
В вышеприведенном примере целевые и воспроизводимые точки обзора являются одинаковыми, и соответственно вектор обзора для воспроизведения был просто задан эквивалентным целевому вектору обзора. В результате, блок 105 воспроизведения формирует изображение, соответствующее области просмотра для целевой точки обзора, представленной посредством целевого вектора обзора.
Однако, в других вариантах осуществления, блок 203 воспроизведения может содержать функциональность для (потенциальной) модификации вектора обзора для воспроизведения относительно целевого вектора обзора, и, в частности, выполнять эту модификацию на основе опорного вектора обзора. Пример такого блока 203 воспроизведения иллюстрируется на фиг. 9.
В примере блок 203 воспроизведения содержит приемник 901, который выполнен с возможностью принимать целевой вектор обзора, указывающий целевую точку обзора для изображения, которое должно быть сформировано. В примере целевой вектор обзора принимается от блока 201 пользовательского ввода и отражает желательную для пользователя или целевую точку обзора (часто и позицию, и ориентацию). Таким образом, в примере, входной вектор обзора является желательным/целевым вектором обзора, который указывает целевую область просмотра для целевой точки обзора, для которой пользователь будет в идеале предпочитать обзор/изображение, которое должно быть сформировано. Типично для приложения виртуальной реальности это соответствует позиции и ориентации виртуального пользователя в окружении/сцене виртуальной реальности.
Блок 203 воспроизведения дополнительно содержит опорный источник 903, который выполнен с возможностью предоставлять опорный вектор обзора, который указывает опорную точку обзора для сцены. Опорная точка обзора может быть использована, чтобы предоставлять информацию, указывающую соотношения между точками обзора и частями сцены/окружения, для которых данные 3D-изображения не предоставляют данные. Как будет описано более подробно позже, опорный вектор обзора может, например, указывать предпочтительную или предлагаемую точку обзора (например, предлагаемую режиссером), или может, например, отражать точку обзора, соответствующую границе части сцены, для которой данные 3D-изображения содержат данные.
В некоторых вариантах осуществления опорный вектор обзора может быть сформирован указывающим множество точек обзора, таких как набор конкретных опорных точек обзора или непрерывное множество или диапазон возможных точек обзора. Последующее описание будет основано на ситуации, в которой опорный вектор обзора указывает одну опорную точку обзора, но будет понятно, что оно может быть распространено на сценарии, в которых опорный вектор обзора указывает более одной точки обзора. Например, в большинстве таких сценариев, обработка может быть уменьшена, чтобы учитывать единственную опорную точку обзора, выбранную на основе конкретных обстоятельств, таких как, например, точка обзора, которая является ближайшей к целевому вектору обзора. В качестве другого примера, описанная обработка может быть выполнена для различных возможных значений опорного вектора обзора, чтобы предоставлять различные возможные векторы обзора для воспроизведения, из которых единственный вектор выбирается (например, вектор обзора, ближайший к или наиболее отдаленный от целевого вектора обзора в зависимости от конкретного варианта осуществления).
Приемник 901 и опорный источник 903, оба соединяются с источником 103 вектора обзора, который выполнен с возможностью формировать вектор обзора для воспроизведения как функцию желательной для пользователя точки обзора и опорной точки обзора для сцены, т.е., как функцию опорного вектора обзора и целевого вектора обзора. Результирующий вектор обзора для воспроизведения затем используется, чтобы формировать изображение, как ранее описано.
Подход может предоставлять более эффективный подход и может до некоторой степени вынуждать или склонять виртуальное перемещение и ориентацию пользователя так, что сформированные изображения имеют тенденцию быть для частей сцены, для которых данные 3D-изображения содержат данные. Подход может типично предоставлять результат, когда пользовательская точка обзора склоняется или сдвигается от точек обзора, для которых данные 3D-изображения не предоставляют достаточно данных, и по направлению к точкам обзора, для которых они предоставляют данные.
В качестве примера, когда пользователь поворачивает его голову кругом (например, назад), и, таким образом, в конечном счете, по направлению к видам, для которых не существует захваченного контента, виртуальный поворот в виртуальном окружении может сначала точно следовать за пользователем, но когда область просмотра перемещается в пустую часть, он может перемещаться меньше, тем самым, ломая непосредственное соответствие с фактическим перемещением пользователя, но предоставляя воспроизведенные изображения, которые включают в себя больше захваченного контента. Таким образом, результат может быть достигнут, когда система не следует за перемещением пользователя полностью, а скорее имеет тенденцию "приклеиваться" или притягиваться к частям сцены, для которых контент является доступным, т.е., к видам более высокого качества.
Например, для данной позиции, данные 3D-изображения могут содержать данные для угла от -140° до +140° относительно заданного опорного направления, которое соответствует основному направлению захватывающих камер, т.е., центральному направлению для захваченных данных изображения, сохраненных как часть данных 3D-изображения. В этом случае пользователю, который начинает (виртуально) поворачивать свою голову кругом, может сначала быть представлен вид, который полностью следует изменившемуся направлению обзора. Если, например, дисплей формирует изображение, которое соответствует размаху обзора в 60°, вектор обзора для воспроизведения может быть сформирован, чтобы следовать целевому вектору обзора для угла вплоть до 110° относительно опорного направления камеры. В этом случае законченное изображение может быть воспроизведено для соответствующей области просмотра/изображения, поскольку данные 3D-изображения предоставляют полные данные, и экстраполяция не нужна.
Однако, когда пользователь продолжает поворачивать свою голову, целевой вектор обзора/точка обзора будет перемещаться в часть, для которой данные 3D-изображения не содержат данных, и экстраполяция потребуется. Для того, чтобы уменьшать долю изображения, для которой экстраполяция требуется, и, таким образом, долю изображения, для которой качество снижается, вектор обзора для воспроизведения может теперь быть сформирован, чтобы не следовать точно целевому вектору обзора, а скорее модифицироваться, чтобы быть ближе к ориентиру центральной камеры. Например, когда пользователь перемещается, чтобы приводить в результате к целевому вектору обзора, представляющему (азимутальный) угол в интервале от +110° до +180°, это может (типично нелинейно) быть отображено в вектор обзора для воспроизведения, представляющий угол, который попадает в интервал от +110° до +140°, т.е., угловой интервал от +110° до 180° может (нелинейно) быть отображен в угловой интервал от +110° до +140°, так что угол целевого вектора обзора в первом интервале отображается в угол вектора обзора для воспроизведения в последнем интервале. Таким образом, когда пользователь перемещается так, что область просмотра перемещается в часть, для которой данные 3D-изображения присутствуют, соответствующее перемещение для воспроизводимой области просмотра уменьшается. Результатом для пользователя является то, что виртуальное перемещение полностью не следует пользовательским входным данным, а вместо этого представленный вид имеет тенденцию склоняться в некоторых предпочтительных направлениях просмотра. Однако, хотя это может считаться неблагоприятным воздействием на пользователя, оно типично перевешивающим полезным воздействием представленного изображения, имеющего относительно высокое качество, и фактом того, что виды с очень сниженным качеством могут быть устранены совсем во многих вариантах осуществления.
В сущности, эффект "резиновой нити" может быть достигнут, когда различные предпочтения натягиваются на вектор обзора для воспроизведения, но в различных направлениях. На одной стороне "резиновой нити" находится целевой вектор обзора, который соответствует предпочитаемой пользователем точке обзора. Целевой вектор обзор натягивает резиновую нить, чтобы притягивать точку обзора для воспроизведения. На другой стороне "резиновой нити" находится опорный вектор обзора, представляющий одну или более точек обзора, соответствующих частям данных 3D-изображения, для которых данные 3D-изображения присутствуют. Два конца резиновой нити тянут точку обзора для воспроизведения в разных направлениях, и результирующая точка обзора для воспроизведения/вектор обзора будет зависеть от относительной "тяги" этих факторов и результирующего "растяжения" резиновой нити. Действительно, воспроизводимый вид может тянуться в предпочтительных направлениях просмотра, при этом эта тяга типично увеличивается дополнительно, когда пользователь перемещается с этих предпочтительных направлений просмотра. (Будет понятно, что аналогия с "резиновой нитью" не предназначается в качестве конкретного, ограничивающего или точного объяснения, а просто предназначена, чтобы предоставлять интуитивное указание результатов, которые могут быть достигнуты).
Хотя подход может ограничивать свободное виртуальное перемещение пользователя, во многих сценариях было обнаружено предоставление в значительной степени улучшенного пользовательского восприятия и, в частности, более иммерсивного восприятия. Действительно, это было обнаружено как случай, не только в вариантах осуществления, когда неявное управление виртуальным перемещением реализуется (например, перемещение джойстика или мыши), но также в вариантах осуществления, когда виртуальное перемещение, и, таким образом, сформированный целевой вектор обзора, предназначается, чтобы непосредственно отражать перемещение пользователя. Например, было обнаружено частое предоставление улучшенного пользовательского восприятия даже в приложениях, где виртуальное пользовательское восприятие основывается на отслеживании головной гарнитурой движений головы пользователя.
Будет понятно, что конкретная функция, используемая источником 103 вектора обзора, чтобы определять вектор обзора для воспроизведения как функцию опорного вектора обзора и целевого вектора обзора, будет зависеть от конкретных требований и предпочтений отдельного варианта осуществления. Например, она может зависеть от конкретной точки обзора, которая используется для опорной точки обзора/ вектора обзора.
Однако, во многих вариантах осуществления, источник 103 вектора обзора выполнен с возможностью определять вектор обзора для воспроизведения, чтобы увеличивать расстояние от вектора обзора для воспроизведения/ точки обзора до целевого вектора обзора/ точки обзора для увеличения расстояния от целевого вектора обзора/ точки обзора до опорного вектора обзора/ точки обзора. Таким образом, в большинстве вариантов осуществления, изменение, примененное к целевому вектору обзора для того, чтобы формировать вектор обзора для воспроизведения, увеличивается, чем дальше целевой вектор обзора находится от опорного вектора обзора. Типично, опорный вектор обзора указывает предпочтительную точку обзора и, следовательно, расстояние между целевым вектором обзора и опорным вектором обзора указывает, насколько текущая целевая точка обзора пользователя отклоняется от предпочтительного вектора обзора. Соответственно, увеличивающееся изменение применяется к целевому вектору обзора, чтобы добиваться результирующего вектора обзора для воспроизведения, который находится тем ближе к предпочтительной точке обзора, чем дальше целевой вектор обзора отклоняется от предпочтительного вектора точки обзора.
Будет понятно, что термины "точка обзора" и "вектор обзора" могут рассматриваться как эквивалентные, когда вектор обзора обеспечивает представление (как набор значений) соответствующей точки обзора. Соответственно, ссылки, например, на модификации, расстояния между, сравнения и т.д. векторов обзора являются эквивалентными ссылкам на модификации, расстояния между, сравнения точек обзора, и наоборот. Последующее описание будет фокусироваться на ссылках на векторы обзора.
Во многих вариантах осуществления источник 103 вектора обзора может, в частности, быть выполнен с возможностью определять вектор обзора для воспроизведения, так что соотношение между расстоянием от вектора обзора для воспроизведения и опорным вектором обзора и расстоянием от вектора обзора для воспроизведения до целевого вектора обзора уменьшается для увеличивающегося расстояния от целевого вектора обзора до опорного вектора обзора. Таким образом, отношение относительных расстояний от вектора обзора для воспроизведения до, соответственно, опорного вектора обзора и целевого вектора обзора уменьшается для увеличивающегося отклонения между целевым вектором обзора и опорным вектором обзора.
Например, вектор обзора для воспроизведения может типично быть сформирован, чтобы быть между целевым вектором обзора и опорным вектором обзора (например, на линии между ними или соответствующим направлению обзора/ углу между ними) и, таким образом, между желательной для пользователя точкой обзора и (основанной на данных 3D-изображения) предпочтительной точкой обзора. Относительная позиция вектора обзора для воспроизведения изменяется так, что, когда целевой вектор обзора находится близко к опорному вектору обзора, вектор обзора для воспроизведения находится близко к целевому вектору обзора (или, в действительности, является идентичным ему). Когда целевой вектор обзора начинает отклоняться больше от опорного вектора обзора, вектор обзора для воспроизведения, однако, эффективно начинает перемещаться от целевого вектора обзора и по направлению к опорному вектору обзора, т.е., относительная позиция вектора обзора для воспроизведения больше не является близкой к целевому вектору обзора. Таким образом, относительное расстояние до целевого вектора обзора увеличивается, тогда как относительное расстояние до опорного вектора обзора уменьшается (например, оба расстояния нормализуются со ссылкой на суммарное расстояние между опорным вектором обзора и целевым вектором обзора), и соответственно отношение уменьшается. Действительно, когда вектор обзора для воспроизведения формируется, чтобы быть таким же, что и целевой вектор обзора (для небольших отклонений), отношение между расстоянием до опорного вектора обзора и расстояние до целевого вектора обзора является бесконечным (последнее расстояние равно нулю). Когда отклонение увеличивается, и относительное расстояние между вектором обзора для воспроизведения и целевым вектором обзора увеличивается от нуля, тогда как относительное расстояние между вектором обзора для воспроизведения и опорным вектором обзора уменьшается.
Этот подход предоставляет возможность источнику 103 вектора обзора формировать вектор обзора для воспроизведения, который все больше отклоняется по направлению к частям данных 3D-изображения, для которых данные являются доступными, чем дальше целевой вектор обзора перемещается по направлению к или в части, для которых данные 3D-изображения не предоставляют данные.
Как ранее упомянуто, источник 103 вектора обзора может во многих вариантах осуществления быть выполнен с возможностью формировать вектор обзора для воспроизведения, чтобы непосредственно совпадать с целевым вектором обзора, пока он находится достаточно близко к вектору обзора для воспроизведения. Это предоставляет очень полезное действие во многих вариантах осуществления и сценариях, и действительно может приводить в результате к тому, что склоняющее воздействие не должно применяться, пока это фактически не желается или является необходимым. Это может предоставлять уменьшенное чувственное воздействие и вести к более иммерсивному восприятию.
Во многих вариантах осуществления вектор обзора для воспроизведения формируется так, что расстояние между вектором обзора для воспроизведения и целевым вектором обзора является монотонно увеличивающейся функцией расстояния между целевым вектором обзора и опорным вектором обзора. Однако, монотонно увеличивающаяся функция типично не является линейной функцией, а скорее типично является нелинейной функцией, и типично нелинейно увеличивается так, что изменение или модификация возрастает для увеличивающихся отклонений между целевым и опорным векторами обзора.
Как ранее упомянуто, во многих вариантах осуществления и сценариях, модификация, примененная к целевому вектору обзора, является очень небольшой или, в действительности, нулевой, пока целевой вектор обзора не отличается от опорного вектора обзора на значительную величину. Например, в вышеприведенном примере, вектор обзора для воспроизведения является идентичным целевому вектору обзора, пока это различие не достигнет +110°, т.е., в примере вектор обзора для воспроизведения является идентичным целевому вектору обзора, пока область просмотра/ изображение не начнет включать в себя элемент части сцены, для которой данные 3D-изображения не содержат данных, т.е. до точки, где первая область не заполняет все изображение. Дополнительно, эффект может типично постепенно увеличиваться с этого времени, т.е., нелинейно увеличивающаяся функция может применяться.
Эти эффекты могут обеспечивать восприятие, когда склоняющее воздействие постепенно увеличивается и типично является несуществующим и/или незаметным до тех пор, пока целевой вектор обзора не переместится так далеко, что возникает значительное ухудшение изображения. Однако, когда целевой вектор обзора перемещается дальше в части сцены, для которых данные 3D-изображения не имеют данных, эффект увеличивается, сначала постепенно и значительно, а для дальнейшего перемещения со все более и более агрессивным эффектом.
Будет понятно, что любое подходящее измерение расстояния может быть использовано для оценки расстояния. Во многих сценариях расстояние между двумя векторами обзора может считаться расстоянием между соответствующими параметрами в виртуальной сцене. Во многих вариантах осуществления расстояние может быть угловым расстоянием, таким как угловая разность между ориентациями или направлениями обзора, представленными двумя векторами обзора, от заданной позиции в сцене. Во многих вариантах осуществления расстояние может быть определено в ответ на непосредственное сравнение вектора обзора, например, путем непосредственного сравнения одного или более значений векторов обзора.
В вышеприведенном примере опорный вектор обзора считается вектором обзора, указывающим центральную точку обзора для захвата сцены, таким как, например, основное направление практически всенаправленной камеры. Такой сценарий может, например, быть полезным в вариантах осуществления, в которых пользователь является неподвижным в виртуальной позиции в виртуальном окружении, когда фиксированная позиция соответствует позиции камеры. Таким образом, в частности, она может обеспечивать очень полезную производительность для приложений, в которых пользователь считается неподвижным в позиции захватывающей камеры, но снабжен средством "осматривания" в сцене, т.е., когда изменения точки обзора ограничиваются изменениями ориентации обзора.
Однако, в других вариантах осуществления, данные 3D-изображения могут содержать данные, захваченные посредством более чем одной камеры, и/или могут предоставлять возможность пользователю перемещать позицию, также как и ориентацию. Во многих таких вариантах осуществления опорный вектор обзора с единственным фиксированным захватом может не быть оптимальным.
В некоторых вариантах осуществления система может принимать данные 3D-изображения в качестве потока данных (включающего в себя файл данных), который соответственно предоставляет представление данных 3D-изображения для виртуальной сцены/ окружения. Данные 3D-изображения могут быть предоставлены в этом формате поставщиком контента, который соответственно может предоставлять виртуальную сцену/ окружение, которое может быть обследовано или иначе использовано, чтобы предоставлять восприятие виртуальной реальности.
В некоторых вариантах осуществления такой поток данных, предоставляющий данные 3D-изображения, может предоставлять данные о номинальной точке обзора. Данные о номинальной точке обзора могут указывать номинальные точки обзора для данных 3D-изображения. Эти данные о номинальной точке обзора могут, в частности, предоставлять информацию, указывающую части, для которых данные 3D-изображения содержат данные, и части, для которых они не содержат данные.
В качестве примера, данные о номинальной точке обзора могут указывать одну или более предпочтительных точек обзора. Например, предпочтительные направления обзора или ориентации могут быть предоставлены для различных позиций в сцене. Например, для каждой позиции в виртуальном окружении, предпочтительное направление обзора/ ориентация может быть предоставлена. Предпочтительное направление обзора может, например, указывать направление обзора, которое имеет максимальное расстояние до ближайшей части сцены, для которой данные 3D-изображения не предоставляют каких-либо данных.
Будет понятно, что во многих вариантах осуществления такая информация о предпочтительном направлении может быть предоставлена без приведения в результате к значительным информационным издержкам. Например, во многих вариантах осуществления, одно указание предпочтительного направления обзора может быть подходящим для охвата большого числа позиций, и, возможно, всех позиций. Например, если захват был выполнен посредством одной или более камер на базовой линии и обращенных в одинаковом направлении (с отсутствующими данными для данных 3D-изображения, соответствующими части сцены непосредственно за камерой и, таким образом, непосредственно в противоположном направлении для направления камеры), предпочтительное направление обзора для всех позиций может просто быть задано как это направление камеры.
В других вариантах осуществления дифференцированный подход может быть использован, когда различные позиции имеют различные предпочтительные направления обзора. Например, если существует препятствие, вызывающе отсутствующие данные, предпочтительное направление для заданной позиции может быть в направлении, которое обращено от объекта.
В некоторых вариантах осуществления предпочтительное направление обзора может изменяться со временем. Например, данные о номинальной точке обзора могут описывать путь через виртуальное окружение, представленное посредством данных 3D-изображения. Таким образом, направляемое или управляемое восприятие может быть предоставлено. Например, поставщик контента может предоставлять восприятие сюжета с управляемым перемещением пользователя по сцене, но при этом пользователь свободен осматриваться из заданной позиции. Однако, данные о номинальной точке обзора могут предоставлять рекомендованную позицию и ориентацию обзора как функцию времени. Приложение виртуальной реальности может в отсутствие каких-либо конфликтующих инструкций, принимаемых от локального пользователя, переходить к воспроизведению и отображению соответствующих изображений. Однако, если пользовательские входные данные принимаются, которые указывают, что, например, пользователь поворачивает голову, чтобы осматриваться, система может модифицировать вектор обзора для воспроизведения соответствующим образом, т.е., вектор обзора для воспроизведения может быть сформирован, чтобы отличаться от номинального направления обзора.
В таких примерах блок 203 воспроизведения может быть выполнен с возможностью формировать вектор обзора для воспроизведения из данных о номинальной точке обзора и может, в частности, формировать вектор обзора для воспроизведения, чтобы соответствовать указанной номинальной точке обзора, пока пользовательские входные данные не инструктируют иное. В таком случае, вектор обзора для воспроизведения модифицируется относительно номинальной точки обзора, чтобы отражать пользовательские входные данные. Однако, во многих вариантах осуществления, этот процесс может быть подвергнут описанному подходу создания вектора обзора для воспроизведения, зависящему от расстояния между целевым вектором обзора и опорным вектором обзора. В частности, номинальная точка обзора может быть использована для формирования соответствующего опорного вектора обзора, при этом пользовательские входные данные формируют целевой вектор обзора (возможно относительно опорного вектора обзора). Вектор обзора для воспроизведения может затем быть сформирован, как описано для примера, когда опорный вектор обзора соответствует направлению захватывающей камеры.
Подход может, например, предоставлять возможность поставщику контента "направлять" восприятие виртуальной реальности для того, чтобы предоставлять, например, сюжет. Пользователю может все еще быть предоставлена некоторая свобода, но она может быть ограничена или склоняться к рекомендованному "режиссером" направлению просмотра для того, чтобы уменьшать влияние данных, отсутствующих для других направлений.
Будет понятно, что данные о номинальной точке обзора не должны предоставлять явное описание направления. Например, в некоторых вариантах осуществления, данные 3D-изображения могут быть предоставлены в форме временной последовательности практически всенаправленных изображений. Центральная точка каждого из этих всенаправленных изображений может считаться номинальной опорной точкой обзора, т.е., она может, в частности, считаться номинальной ориентацией для позиции, из которой всенаправленное изображение было захвачено.
Если пользователь не предоставляет какие-либо входные данные, изображение воспроизводится посредством выборочной подходящей центральной части принятого всенаправленного изображения. Однако, если пользователь указывает сдвиг в ориентации обзора, например, оглядываясь вокруг, блок 203 воспроизведения выбирает другой участок всенаправленного обзора, чтобы соответствовать желательной ориентации. Однако, для того, чтобы уменьшать риск того, что этот участок включает в себя значительную часть отсутствующей части сцены, описанный подход отклонения вектора обзора для воспроизведения к опорному вектору обзора применяется. Таким образом, вектор обзора для воспроизведения, который может быть сформирован, чтобы указывать, какой участок всенаправленного изображения представлять, будет отклоняться от вариантов выбора, которые вынудят его включать в себя значительные участки части всенаправленного изображения, которые не содержат (действительные) данные изображения.
В некоторых вариантах осуществления источник 103 вектора обзора может определять опорный вектор обзора в ответ на вектор обзора границы, который указывает границу между частью сцены, для которой данные 3D-изображения содержат данные изображения, и частью сцены, для которой данные 3D-изображения не содержат данные изображения.
Например, для заданной позиции точки обзора, источник 103 вектора обзора может определять угол, для которого данные 3D-изображения переходят от содержащих данные изображения к несодержащим данные изображения. Например, в предыдущем конкретном примере, данные 3D-изображения содержат данные изображения вплоть до угла 140°. Вектор обзора границы может соответственно быть определен как соответствующий этому значению, и опорный вектор обзора может быть задан в это значение (или он может, например, быть смещен на значение, соответствующее половине угла обзора, представленного дисплеем, т.е., в 110° в примере дисплея, представляющего угол обзора 60°).
Соответственно, вектор обзора для воспроизведения может быть определен на основе того, как целевой вектор обзора относится к опорному вектору обзора, и, таким образом, к вектору обзора границы. Таким образом, вектор обзора для воспроизведения может быть определен непосредственно на основе того, как целевой вектор обзора относится к переходу от частей сцены, для которых данные 3D-изображения содержат данные, к частям, для которых они не содержат данные.
Например, когда целевой вектор обзора указывает угол, который превышает опорный/пограничный вектор обзора, вектор обзора для воспроизведения может быть сформирован имеющим уменьшенное расстояние до опорного/пограничного вектора обзора. Например, в предыдущем конкретном примере, если целевой вектор обзора указывает углы ниже 110°, разница углов между этим и опорным вектором обзора может считаться отрицательной. Когда он начинает превышать 110°, разница становится положительной, и вектор обзора для воспроизведения может быть сформирован так, что угол от опорного вектора обзора до опорного вектора обзора ниже разницы между целевым вектором обзора и опорным вектором обзора. Например, для углов выше 110°; вектор обзора для воспроизведения может быть сформирован, чтобы соответствовать углу:
где 
является углом вектора обзора для воспроизведения (в градусах), 
является опорным углом, т.е., 110°, и 
является углом целевого вектора обзора (в градусах). Таким образом, интервал углов целевого вектора обзора, равный 110°-180°, нелинейно отображается в интервале углов вектора обзора для воспроизведения, равном 110°-140°.
Определение вектора обзора для воспроизведения может во многих вариантах осуществления учитывать больше аспектов, чем всего лишь целевой вектор обзора и опорный вектор обзора. Например, в вариантах осуществления, когда является непрактичным определять опорный вектор обзора, чтобы соответствовать направлению камеры, может все еще быть возможным и полезным учитывать точки обзора для камер.
Во многих вариантах осуществления данные 3D-изображения могут формироваться как множество видов из различных точек обзора. Каждый из этих видов может соответствовать изображению (например, всенаправленному изображению и/или 3D-изображению) для соответствующей точки обзора, типично которое захвачено камерой, расположенной в позиции точки обзора и с ориентацией точки обзора.
В таких примерах данные 3D-изображения будут типично включать в себя данные, определяющие точки обзора (эта информация также используется для воспроизведения изображения для заданной точки обзора). Эта информация может также быть принята во внимание при формировании вектора обзора для воспроизведения. Например, точка обзора для воспроизведения может склоняться к точкам обзора, которые приводят в результате к уменьшенному расстоянию относительно точек обзора данных 3D-изображения.
В качестве другого примера, источник 103 вектора обзора может быть выполнен с возможностью принимать во внимание долю области просмотра для заданного вектора обзора для воспроизведения, для которой данные 3D-изображения содержат данные изображения. Например, нелинейная функция может быть адаптирована динамически, чтобы отражать то, насколько быстро доля изображения, которая должна быть сформирована посредством экстраполяции, изменяется как функция целевого вектора обзора.
Например, если зона изображения, которая должна быть сформирована посредством экстраполяции, увеличивается очень быстро, когда вектор обзора для воспроизведения изменяется, агрессивный эффект может быть применен, который удерживает вектор обзора для воспроизведения очень близко к опорному вектору обзора (например, когда он задается в качестве вектора обзора границы). Однако, если изменение является лишь очень постепенным, может быть применена функция, которая приводит в результате к гораздо более плавному и менее заметному эффекту.
Будет понятно, что различные алгоритмы и подходы для рассмотрения множества параметров при определении вектора обзора для воспроизведения могут быть использованы в различных вариантах осуществления. Например, объединенный эффект различных параметров может быть представлен как нелинейная энергетическая функция J с множеством членов. Нелинейный алгоритм оптимизации может затем быть использован, чтобы определять вектор обзора для воспроизведения в качестве вектора, который минимизирует J. Например, может быть использован подход градиентного спуска.
Во многих вариантах осуществления блок 203 воспроизведения может быть выполнен с возможностью принимать данные о свойстве дисплея, которые указывают один или более параметров предполагаемого дисплея. Источник 103 вектора обзора может тогда быть выполнен с возможностью учитывать такие свойства дисплея при определении вектора обзора для воспроизведения.
Например, блок 203 воспроизведения может принимать информацию об угле обзора, поддерживаемом дисплеем. Например, если дисплей является частью гарнитуры виртуальной реальности, свойство дисплея может указывать угол обзора, который дисплей обеспечивает для пользователя, носящего головную гарнитуру. Эта информация может затем быть использована для определения угла обзора для воспроизведения, например, как указано ранее посредством определения опорного вектора обзора (например, используя его для определения угла, для которого край дисплея достигает конца части сцены, для которой данные 3D-отображения содержат данные) или модификации применяемой функции.
В предыдущих примерах опорный вектор обзора (и, в действительности, другие параметры) считались соответствующими желательным или предпочтительным характеристикам/ видам. Соответственно, вектор обзора для воспроизведения склоняется к опорному вектору обзора. Однако, в других сценариях или вариантах осуществления, опорный вектор обзора может соответствовать нежелательному/ непредпочтительному свойству. Например, опорный вектор обзора может быть предоставлен, который указывает точку обзора (в частности, ориентацию), для которой вся область просмотра будет соответствовать части сцены, для которой данные 3D-изображения не предоставляют данных. В этом случае, источник 103 вектора обзора может быть выполнен с возможностью формировать вектор обзора для воспроизведения посредством применения отклонения от опорного вектора обзора.
Например, опорный вектор обзора может указывать угол до центра части сцены, для которой данные не предоставляются, например, в направлении 180° в конкретно примере, описанном ранее. В таком случае, вектор обзора для воспроизведения может быть сформирован соответствующим целевому вектору обзора, пока различие между целевым вектором обзора и опорным вектором обзора является достаточно большим. Например, пока угловая разница между опорным углом и целевым углом превышает 70°, целевой вектор обзора может быть использован непосредственно в качестве вектора обзора для воспроизведения. Однако, когда разница падает ниже 70°, разница между углом воспроизведения и целевым углом может начинать привноситься, типично с помощью нелинейной функции аналогично ранее описанным подходам.
Таким образом, в некоторых вариантах осуществления, источник 103 вектора обзора может быть выполнен с возможностью увеличивать расстояние от вектора обзора для воспроизведения до целевого вектора обзора для уменьшения расстояния от целевого вектора обзора до опорного вектора обзора.
В некоторых вариантах осуществления, источник 103 вектора обзора может быть выполнен с возможностью уменьшать соотношение между расстоянием от вектора обзора для воспроизведения до опорного вектора обзора и расстоянием от вектора обзора для воспроизведения до целевого вектора обзора для уменьшения расстояния от целевого вектора обзора до опорного вектора обзора.
В некоторых вариантах осуществления, источник 103 вектора обзора может быть выполнен с возможностью определять вектор обзора для воспроизведения в качестве практически целевого вектора обзора для разницы между целевым вектором обзора и опорным вектором обзора выше порогового значения.
Таким образом, в некоторых вариантах осуществления, опорный вектор обзора может быть использован в качестве отрицательно сказывающегося фактора (отталкивающего), тогда как в других вариантах осуществления он может быть использован в качестве привлекающего фактора (притягивающего) для целевого вектора обзора.
Будет понятно, что во многих вариантах осуществления источник 103 вектора обзора может одновременно учитывать множество различных опорных векторов обзора, включающих в себя одновременное рассмотрение и привлекающих и отталкивающих опорных векторов обзора. Это может, например, быть совершено посредством определения подходящей энергетической функции или стоимостной функции и с помощью градиентного поиска, чтобы максимизировать или минимизировать изменившийся показатель при необходимости.
В некоторых вариантах осуществления устройство виртуальной реальности может дополнительно содержать функциональность предоставления других типов обратной связи. Например, тактильная обратная связь может быть предоставлена, например, в форме "обратной связи по усилию", которая является известной, например, из игровых приложений. Это может, в частности, быть использовано в соединении с подходом модификации целевого вектора обзора. В качестве примера, чем более значительная модификация привносится в целевой вектор обзора, чтобы формировать вектор обзора для воспроизведения, тем большей является обратная связь по усилию. В вариантах осуществления, когда тактильная обратная связь предоставляет направленное возбуждающее воздействие, она может быть выполнена с возможностью иметь направление, подгоняющее пользователя в желательном направлении. Например, с помощью контроллеров, таких как джойстики и гоночные рули, впечатление от величины и направления "тяги" на целевом векторе обзора может передаваться пользователю посредством ощущения обратной связи по усилию.
В некоторых вариантах осуществления может быть предоставлено оборудование для формирования изображения, оборудование содержит: приемник (101) для прима данных 3D-изображения для сцены, данные 3D-изображения обеспечивают неполное представление сцены; источник (103) вектора обзора для предоставления вектора обзора для воспроизведения, указывающего точку обзора для воспроизведения в сцене для изображения; блок (105) воспроизведения для воспроизведения первой области промежуточного изображения для вектора обзора для воспроизведения, первая область является областью, для которой данные 3D-изображения содержат данные изображения; экстраполятор (107) для экстраполяции данных 3D-изображения на вторую область промежуточного изображения, вторая область является областью, для которой 3D-изображение не содержит данных изображения, и первая и вторая области являются прилегающими областями; и процессор (109) размытия для формирования изображения в ответ на применение пространственно изменяющегося размытия к промежуточному изображению, степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области.
Будет понятно, что вышеприведенное описание для ясности описало варианты осуществления изобретения со ссылкой на различные функциональные схемы, блоки и процессоры. Однако, будет понятно, что любое подходящее распределение функциональности между различными функциональными схемами, блоками или процессорами может быть использовано без отклонения от изобретения. Например, функциональность, иллюстрированная как выполняемая посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного и того же процессора или контроллеров. Следовательно, ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на подходящее средство для предоставления описанной функциональности вместо указания точной логической или физической структуры или организации.
Изобретение может быть реализовано в любой подходящей форме, включающей в себя аппаратные средства, программное обеспечение, программно-аппаратные средства или любую их комбинацию. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно, функциональность может быть реализована в одном блоке, во множестве блоков или как часть других функциональных блоков. По существу, изобретение может быть реализовано в одном блоке, или может быть физически и функционально распределено между разными блоками, схемами и процессорами.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не подразумевает ограничиваться конкретной формой, изложенной в данном документе. Скорее, рамки настоящего изобретения ограничиваются только сопутствующей формулой изобретения. Дополнительно, хотя отличительный признак может выглядеть описанным в соединении с конкретными вариантами осуществления, специалист в области техники поймет, что различные отличительные признаки описанных вариантов осуществления могут быть объединены в соответствии с изобретением. В формуле изобретения термин "содержит" не исключает присутствия других элементов или этапов.
Кроме того, хотя перечислены индивидуально, множество средств, элементов, схем или этапов способа могут быть реализованы, например, посредством одной схемы, блока или процессора. Также включение отличительного признака в одну категорию формулы изобретения не подразумевает ограничения этой категорией, а скорее указывает, что отличительный признак является одинаково применимым к другим категориям формулы изобретения при необходимости. Кроме того, порядок отличительных признаков в формуле изобретения не подразумевает какой-либо конкретный порядок, в котором отличительные признаки должны работать, и, в частности, порядок отдельных этапов в пункте способа не подразумевает, что этапы должны выполняться в этом порядке. Скорее, этапы могут выполняться в любом подходящем порядке. Кроме того, единственные ссылки не исключают множества. Таким образом, упоминание в единственном числе не исключает множественности. Ссылочные знаки в формуле изобретения предусматриваются просто в качестве поясняющего примера и не должны истолковываться как ограничивающие рамки формулы изобретения каким-либо образом.
| название | год | авторы | номер документа |
|---|---|---|---|
| ОБОРУДОВАНИЕ И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ПРЕДСТАВЛЕНИЯ СЦЕНЫ | 2018 |
|
RU2769303C2 |
| ОБРАБОТКА ИЗОБРАЖЕНИЯ | 2017 |
|
RU2746431C2 |
| Устройство и способ обработки аудиовизуальных данных | 2019 |
|
RU2805260C2 |
| СИСТЕМА И СПОСОБ ДЛЯ ДОПОЛНЕННОЙ И ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ | 2012 |
|
RU2621633C2 |
| ОБРАБОТКА ПРОСТРАНСТВЕННОГО АУДИО | 2017 |
|
RU2735652C2 |
| АУДИОУСТРОЙСТВО И СПОСОБ ЕГО РАБОТЫ | 2019 |
|
RU2797362C2 |
| Способ и устройство для управляемого выбора точки наблюдения и ориентации аудиовизуального контента | 2017 |
|
RU2728904C1 |
| ПРИНЦИП ФОРМИРОВАНИЯ УЛУЧШЕННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ ИЛИ МОДИФИЦИРОВАННОГО ОПИСАНИЯ ЗВУКОВОГО ПОЛЯ С ИСПОЛЬЗОВАНИЕМ DIRAC-ТЕХНОЛОГИИ С РАСШИРЕНИЕМ ГЛУБИНЫ ИЛИ ДРУГИХ ТЕХНОЛОГИЙ | 2018 |
|
RU2736274C1 |
| Аудиоустройство и способ обработки аудио | 2019 |
|
RU2798414C2 |
| УСТРОЙСТВО И СПОСОБ ДЛЯ ГЕНЕРАЦИИ МОЗАИЧНОГО ПРЕДСТАВЛЕНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ СЦЕНЫ | 2018 |
|
RU2771957C2 |
Изобретение относится к оборудованию и способу для формирования изображения из данных 3D-изображения, обеспечивающих неполное представление сцены. Техническим результатом является повышение производительности и снижение потребности аппаратных ресурсов при формировании изображений из данных трехмерного изображения. Результат достигается тем, что оборудование для формирования изображения содержит приемник (101), который принимает данные 3D-изображения, обеспечивающие неполное представление сцены. Источник (103) вектора обзора предоставляет вектор обзора для воспроизведения, указывающий точку обзора для воспроизведения для изображения. Блок (105) воспроизведения воспроизводит первую область промежуточного изображения для вектора обзора для воспроизведения на основе данных изображения из данных 3D-изображения. Экстраполятор (107) экстраполирует данные 3D-изображения на вторую прилегающую область промежуточного изображения, при этом 3D-изображение не содержит данных изображения для второй области. Процессор (109) размытия формирует изображение в ответ на применение пространственно изменяющегося размытия к промежуточному изображению, когда степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области. 2 н. и 12 з.п. ф-лы, 9 ил.
1. Оборудование для формирования изображения, причем оборудование содержит:
приемник (101) для приема данных 3D-изображения для сцены, причем данные 3D-изображения обеспечивают неполное представление сцены, в котором данные 3D-изображения не предоставляют описание визуальных свойств для по меньшей мере одной части сцены для по меньшей мере одной точки обзора;
источник (103) вектора обзора для предоставления вектора обзора для воспроизведения, указывающего первую точку обзора в сцене;
блок (105) воспроизведения для воспроизведения первой области первого изображения на основе данных 3D-изображения, причем первое изображение предназначено для первой точки обзора, указанной посредством вектора обзора для воспроизведения, и данные 3D-изображения содержат данные изображения для первой области;
экстраполятор (107) для экстраполяции данных 3D-изображения на вторую область первого изображения, причем данные 3D-изображения не содержат данных изображения для второй области, и первая и вторая области являются прилегающими областями; и
процессор (109) размытия для формирования изображения, когда формирование изображения содержит применение пространственно изменяющегося размытия к первому изображению, и когда степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области.
2. Оборудование по п. 1, в котором переходная область включает в себя зону первой области.
3. Оборудование по любому из предшествующих пунктов, дополнительно содержащее:
процессор (301) области воспроизведения для определения маски воспроизведения для изображения, причем маска воспроизведения указывает, принадлежат ли пикселы изображения первой области или нет;
адаптер (303) фильтра для определения пространственно изменяющейся характеристики фильтра для изображения в ответ на маску воспроизведения; и при этом процессор размытия выполнен с возможностью применять пространственный фильтр, применяющий пространственно изменяющуюся характеристику фильтра к воспроизведенному изображению.
4. Оборудование по п. 3, в котором пространственно изменяющаяся характеристика фильтра указывает степень низкочастотной фильтрации посредством пространственного фильтра.
5. Оборудование по п. 3 или 4, в котором экстраполятор (107) выполнен с возможностью:
формировать изображение уменьшенного масштаба в ответ на уменьшение масштаба первого изображения;
формировать фильтрованное изображение уменьшенного масштаба в ответ на применение двустороннего фильтра к изображению уменьшенного масштаба, причем двусторонний фильтр направляется посредством маски воспроизведения;
формировать фильтрованное изображение увеличенного масштаба в ответ на увеличение масштаба изображения уменьшенного масштаба; и
формировать пиксельные значения для второй области из фильтрованного изображения увеличенного масштаба.
6. Оборудование по любому предшествующему пункту, в котором процессор (109) размытия выполнен с возможностью определять степень размытия для пиксела в ответ на расстояние от позиции пиксела до границы переходной области.
7. Оборудование по любому предшествующему пункту, в котором процессор (109) размытия выполнен с возможностью уменьшать степень размытия по меньшей мере в части второй области относительно степени размытия в переходной области.
8. Оборудование по любому предшествующему пункту, дополнительно содержащее:
приемник (901) для приема целевого вектора обзора, указывающего целевую точку обзора в сцене для изображения;
опорный источник (903) для предоставления опорного вектора обзора, указывающего опорную точку обзора для сцены;
и при этом источник (103) вектора обзора выполнен с возможностью формировать вектор обзора для воспроизведения, указывающий точку обзора для воспроизведения как функцию желательной для пользователя точки воспроизведения и опорной точки обзора для сцены.
9. Оборудование по п. 8, в котором источник (103) вектора обзора выполнен с возможностью определять опорный вектор обзора в ответ на вектор обзора границы, указывающий границу между частью сцены, для которой данные 3D-изображения содержат данные изображения, и частью сцены, для которой данные 3D-изображения не содержат данные изображения.
10. Оборудование по п. 8 или 9, в котором приемник (101) для приема данных 3D-изображения дополнительно выполнен с возможностью принимать поток данных, содержащий данные 3D-изображения и дополнительно содержащий данные номинальной точки обзора; и при этом источник (103) вектора обзора выполнен с возможностью формировать опорный вектор обзора в ответ на данные номинальной точки обзора.
11. Оборудование по любому предшествующему пункту, в котором экстраполятор (107) выполнен с возможностью определять свойство низкочастотно отфильтрованного изображения для множества зон первой области, близких ко второй области, и устанавливать свойство изображения для по меньшей мере части второй области в ответ на свойства низкочастотно отфильтрованного изображения.
12. Оборудование по любому предшествующему пункту, в котором приемник (101) выполнен с возможностью принимать данные 3D-изображения в потоке данных, дополнительно содержащие данные управления экстраполяцией; и при этом экстраполятор (107) выполнен с возможностью задавать параметр экстраполяции в ответ на данные управления экстраполяцией.
13. Оборудование по любому предшествующему пункту, дополнительно содержащее процессор фильтра, выполненный с возможностью применять глобальный пространственный фильтр к изображению, причем свойство пространственного фильтра зависит от доли изображения, для которой 3D-изображение не содержит данных изображения.
14. Способ формирования изображения, причем способ содержит этапы, на которых:
принимают данные 3D-изображения для сцены, причем данные 3D-изображения обеспечивают неполное представление сцены, в котором данные 3D-изображения не предоставляют описание визуальных свойств для по меньшей мере одной части сцены для по меньшей мере одной точки обзора;
предоставляют вектор обзора для воспроизведения, указывающий первую точку обзора в сцене;
воспроизводят первую область первого изображения на основе данных 3D-изображения, причем первое изображение предназначено для первой точки обзора, указанной посредством вектора обзора для воспроизведения, и данные 3D-изображения содержат данные изображения для первой области;
экстраполируют данные 3D-изображения на вторую область первого изображения, причем данные 3D-изображения не содержат данных изображения для второй области, и первая и вторая области являются прилегающими областями; и
формируют изображение, когда формирование изображения содержит применение пространственно изменяющегося размытия к первому изображению, и когда степень размытия является более высокой в переходной области между первой областью и второй областью по сравнению с внутренней зоной первой области.
| US 2012033872 A1, 2012.02.09 | |||
| US 2007126864 A1, 2007.06.07 | |||
| US 2007269136 A1, 2007.11.22 | |||
| US 2016171704 A1, 2016.06.16 | |||
| US 9530214 B2, 2016.12.27 | |||
| СПОСОБ И УСТРОЙСТВО ДЛЯ ОБРАБОТКИ КАРТЫ ГЛУБИНЫ | 2008 |
|
RU2497196C2 |
| СПОСОБ ПРЕДСТАВЛЕНИЯ ИСХОДНОЙ ТРЕХМЕРНОЙ СЦЕНЫ ПО РЕЗУЛЬТАТАМ СЪЕМКИ ИЗОБРАЖЕНИЙ В ДВУМЕРНОЙ ПРОЕКЦИИ (ВАРИАНТЫ) | 2010 |
|
RU2453922C2 |
