СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИИ ПОЛЬЗОВАТЕЛЮ, НАБЛЮДАЮЩЕМУ МУЛЬТИВИДОВОЕ СОДЕРЖАНИЕ Российский патент 2022 года по МПК H04N13/30 H04N13/398 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к рендерингу мультивидового содержания. В частности, но не исключительно, настоящее изобретение относится к рендерингу мультивидового мультимедийного содержания на отображающем экране в зависимости от позиции пользователя.

УРОВЕНЬ ТЕХНИКИ

Этот раздел служит для ознакомления с различными аспектами уровня техники, которые могут относиться к различным аспектам настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что это рассмотрение будет полезно при обеспечении информации о предшествующем уровне техники для облегчения понимания различных аспектов настоящего изобретения. Соответственно, следует понимать, что эти утверждения следует воспринимать в этой связи, но не как допущения уровня техники.

Мультивидовое содержание (так называемое содержание светового поля), неподвижное изображение или видео, можно получать с помощью системы получения светового поля, например, массива стационарных камер, состоящего из множества отдельных камер, или пленоптической камеры, образованной массивом микролинз, расположенным перед датчиком изображения. Для каждого кадра видео светового поля или каждого изображения светового поля, система получения светового поля способна обеспечивать набор мультивидов, набор карт глубин и соответствующие параметры получения системы.

При рендеринге содержания светового поля на известном отображающем экране (например, экране 2D TV), пользователь может пользоваться возможностью параллакса, предоставляемой содержанием светового поля, обеспечивающей эффект рендеринга параллакса и восприятие виртуальной реальности (VR). Эффект параллакса дает ощущение глубины и позволяет пользователю воспринимать объем объектов или персонажей сцены.

В зависимости от системы получения светового поля и позиции пользователя (в частности, его головы или глаз), покрытие сцены может иметь некоторые ограничения, заставляющие пользователя воспринимать дыры или черные поверхности на краях.

Настоящее изобретение предложено с учетом вышеизложенного.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В целом, изобретение относится к способу отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,

причем упомянутый способ содержит:

- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;

- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;

- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.

Согласно варианту осуществления, зона позиционирования и область инициирования могут иметь пирамидальную форму.

Согласно варианту осуществления, один или более стимулирующих эффектов могут содержать по меньшей мере один из:

- эффекта затемнения для затемнения отображающего экрана в зависимости от позиции головы пользователя в упомянутой области инициирования,

- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области инициирования;

- одной или более визуальных подсказок, указывающих направление на отображающем экране.

Согласно варианту осуществления, эффект затемнения может увеличиваться, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.

Согласно варианту осуществления, эффект затемнения может увеличиваться линейно с углом наблюдения позиции головы пользователя.

Согласно варианту осуществления, эффект интенсивности параллакса может уменьшать скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.

Согласно варианту осуществления, один или более стимулирующих эффектов может быть обратимым.

Согласно варианту осуществления, при получении мультивидового содержания устройством получения, зона позиционирования может устанавливаться на основании одного или более полученных параметров получения устройства получения и одного или более полученных параметров отображающего экрана.

Согласно варианту осуществления, пирамидальная форма зоны позиционирования может задаваться горизонтальным углом наблюдения устройства получения и вертикальным углом наблюдения устройства получения.

Согласно варианту осуществления, пирамидальная форма может центрироваться относительно отображающего экрана.

Согласно варианту осуществления, зона позиционирования может задаваться минимальным расстоянием от отображающего экрана.

Согласно варианту осуществления, упомянутое минимальное расстояние от отображающего экрана может соответствовать максимуму из:

- минимального расстояния по горизонтали, полученного из ширины отображающего экрана и горизонтального угла наблюдения устройства получения,

- минимального расстояния по вертикали, полученного из высоты отображающего экрана и вертикального угла наблюдения устройства получения.

Согласно варианту осуществления, минимальное расстояние по горизонтали можно получить из следующего уравнения:

где w_screen - ширина отображающего экрана, и α - горизонтальный угол наблюдения устройства получения.

Согласно варианту осуществления, минимальное расстояние по вертикали можно получить из следующего уравнения:

где h_screen - высота отображающего экрана, и β - вертикальный угол наблюдения устройства получения.

Согласно варианту осуществления, зона позиционирования может задаваться максимальным расстоянием от отображающего экрана.

Согласно варианту осуществления, упомянутое максимальное расстояние можно получить из минимальной высоты и максимальной высоты между которыми может располагаться взгляд пользователя.

Согласно варианту осуществления, упомянутое максимальное расстояние можно получить из пересечения пирамидальной формы и горизонтальной полосы, заданной упомянутыми минимальной и максимальной высотами.

Настоящее изобретение дополнительно относится к устройству для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на экране, согласно позиции головы пользователя,

причем оно содержит по меньшей мере одно запоминающее устройство и по меньшей мере одну схему обработки, выполненную с возможностью:

- устанавливать зону позиционирования для наблюдения отображаемого мультивидового содержания;

- задавать область инициирования, размещенную, по меньшей мере частично, в зоне позиционирования;

- когда позиция головы пользователя располагается в упомянутой области инициирования, инициировать один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.

Настоящее изобретение также относится к устройству для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на экране, согласно позиции головы пользователя,

причем оно содержит:

- средство для генерирования зоны позиционирования для наблюдения отображаемого мультивидового содержания;

- средство для задания области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;

- когда позиция головы пользователя располагается в упомянутой области инициирования, средство для инициирования одного или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.

Согласно варианту осуществления, зона позиционирования и область инициирования могут иметь пирамидальную форму.

Согласно варианту осуществления, один или более стимулирующих эффектов могут содержать по меньшей мере один из:

- эффекта затемнения для затемнения отображающего экрана в зависимости от позиции головы пользователя в упомянутой области инициирования,

- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области инициирования;

- одной или более визуальных подсказок, указывающих направление на отображающем экране.

Согласно варианту осуществления, эффект затемнения позволяет увеличивать яркость отображающего экрана, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает, и наоборот.

Согласно варианту осуществления, эффект интенсивности параллакса может уменьшать скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.

Согласно варианту осуществления, один или более стимулирующих эффектов может быть обратимым.

Согласно варианту осуществления, устройство может быть выполнено с возможностью отображения зоны позиционирования и/или зоны инициирования.

Кроме того, настоящее изобретение дополнительно относится к невременному устройству хранения программ, считываемому компьютером, материально воплощающему программу, инструкции которой исполняются компьютером для осуществления способа отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,

причем упомянутый способ содержит:

- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;

- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;

- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.

Настоящее изобретение также относится к компьютерному программному продукту, который хранится на невременном компьютерно-считываемом носителе и содержит инструкции программного кода, исполняемые процессором для осуществления способа отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,

причем упомянутый способ содержит:

- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;

- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;

- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.

Способ согласно изобретению может быть реализован программными средствами на программируемом устройстве. Он может быть реализован только аппаратными средствами или программными средствами или их комбинацией.

Некоторые процессы, реализованные элементами настоящего изобретения, могут осуществляться на компьютере. Соответственно, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя программно-аппаратное обеспечение, резидентное программное обеспечение, микрокод и т.д.) или варианта осуществления, сочетающего в себе программный и аппаратный аспекты, которые могут в целом именоваться здесь “схемой”, “модулем” или “системой”. Кроме того, такие элементы могут принимать форму компьютерного программного продукта, воплощенного в любом материальном носителе выражения, имеющего компьютерный программный код, воплощенный на носителе.

Поскольку элементы настоящего изобретения могут быть реализованы программными средствами, настоящее изобретение можно реализовать в виде компьютерно-считываемого кода для подачи на программируемое устройство посредством любой пригодной среды переноса. Материальная среда переноса может содержать носитель данных, например, флоппи-диск, CD-ROM, жесткий диск, устройство для магнитной ленты или твердотельное запоминающее устройство и пр.

Таким образом, изобретение предусматривает компьютерно-считываемую программу, содержащую компьютерноисполняемые инструкции, позволяющие компьютеру осуществлять вышеописанный способ.

Некоторые аспекты, согласующиеся по объему с раскрытыми варианты осуществления, изложены ниже. Следует понимать, что эти аспекты представлены лишь для обеспечения краткой сводки некоторых форм, которые может принимать изобретение, и что эти аспекты не призваны ограничивать объем изобретения. В действительности, изобретение может охватывать различные аспекты, не изложенные ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Чтобы лучше понять изобретение, проиллюстрированное в нижеследующих вариантах осуществления и примерах выполнения, не в порядке ограничения, обратимся к прилагаемым чертежам, в которых:

- фиг. 1A - схема иллюстративной используемой системы рендеринга, в которой можно реализовать один или более вариантов осуществления изобретения;

- фиг. 1B - система координат, используемая для представления OpenGL;

- фиг. 2A - 2D - четыре проекции мультивидового содержания отображаемой системой рендеринга на фиг. 1A в зависимости от позиции головы пользователя согласно некоторым вариантам осуществления;

- фиг. 3A и 3B - черные полосы, возникающие на отображающем экране системы рендеринга, когда пользователь достигает пределов отображаемого мультивидового содержания;

- фиг. 4 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для генерирования зоны позиционирования;

- фиг. 5 и 6 - зона позиционирования, полученная из реализации способа на фиг. 4, соответственно в горизонтальной плоскости и вертикальной плоскости;

- фиг. 7 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для адаптации отображения мультивидового содержания системой рендеринга на фиг. 1A, когда текущая зона позиционирования изменяется;

- фиг. 8A - 8C - некоторые изменения (параллельный перенос по глубине и масштабирование), применяемые в текущей зоне позиционирования согласно некоторым вариантам осуществления;

- фиг. 9 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для побуждения пользователя, наблюдающего мультивидовое содержание, отображаемое устройством рендеринга на фиг. 1, оставаться в зоне позиционирования;

- фиг. 10 - пример иллюстративной области инициирования, связанной с зоной позиционирования;

- фиг. 11 - иллюстративная кривая, демонстрирующая соотношение между углом наблюдения головы пользователя и темнотой отображающего экрана системы рендеринга на фиг. 1;

- фиг. 12 - иллюстративная кривая, связывающая расчетный угол с углом наблюдения, связанным с позицией головы пользователя.

По возможности, одни и те же ссылочные позиции будут использоваться на фигурах для обозначения одинаковых или аналогичных частей.

ПОДРОБНОЕ ОПИСАНИЕ

Нижеследующее описание иллюстрирует принципы настоящего изобретения. Таким образом, будет очевидно, что специалисты в данной области техники будут способны предложить различные конфигурации, которые, хотя явно не описаны или показаны здесь, воплощают принципы изобретения и включены в его объем.

Все приведенные здесь примеры и условный язык служат для образовательных целей для достижения понимания принципов изобретения и подлежат рассмотрению без ограничения такими конкретно приведенными примерами и условиями.

Кроме того, все утверждения, где упомянуты принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, призваны охватывать их структурные и функциональные эквиваленты. Дополнительно, предполагается, что такие эквиваленты включают в себя известные в настоящее время эквиваленты, а также эквиваленты, которые еще предстоит разработать, т.е. любые разработанные элементы, которые осуществляют одну и ту же функцию, независимо от конструкции.

Таким образом, например, специалистам в данной области техники будет очевидно, что представленные здесь блок-схемы представляют принципиальные диаграммы иллюстративной схемы, воплощающей принципы изобретения. Аналогично, очевидно, что любые блок-схемы операций, диаграммы последовательности операций, диаграммы переходов между состояниями, псевдокод и пр. представляют различные процессы, которые могут быть по существу представлены в компьютерно-считываемых носителях и, таким образом, выполняться компьютером или процессором, даже если такой компьютер или процессор явно не показан.

Функции различных элементов, показанных в чертежах, могут обеспечиваться с использованием специализированного оборудования, а также оборудования, способного выполнять программное обеспечение совместно с надлежащим программным обеспечением. Будучи обеспечены процессором, функции могут обеспечиваться единичным специализированным процессором, единичным совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут совместно использоваться. Кроме того, явное использование термина “процессор” или “контроллер” не обязано относиться исключительно к оборудованию, способному выполнять программное обеспечение, и может неявно включать в себя, без ограничения, цифровой сигнальный процессор (DSP), постоянную память (ROM) для хранения программного обеспечения, оперативная память (RAM) и энергонезависимое хранилище.

В формуле изобретения, любой элемент, выраженный как средство и/или модуль для осуществления указанной функции, призван охватывать любой способ осуществления этой функции, включающий в себя, например, a) комбинацию схемных элементов, которая осуществляет эту функцию, или b) программное обеспечение в любой форме, включающее в себя, таким образом, программно-аппаратное обеспечение, микрокод и т.п., объединенный с надлежащей схемой для выполнения этого программного обеспечения для осуществления функцией. Таким образом, предполагается, что любое средство, которое может обеспечивать эти функциональные возможности, эквивалентны показанным здесь.

Кроме того, следует понимать, что чертежи и описания настоящего изобретения были упрощены для иллюстрации элементов, позволяющих лучше понять настоящее изобретение, исключая, для простоты, многие другие элементы, найденные в типичных способах, устройствах и системах доставки цифрового мультимедийного содержания. Однако, поскольку такие элементы хорошо известны в технике, подробное рассмотрение таких элементов здесь не обеспечено. Данное изобретение относится ко всем таким вариациям и изменениям, известным специалистам в данной области техники.

На фиг. 1A показана схема иллюстративной используемой системы рендеринга, в которой можно реализовать один или более вариантов осуществления изобретения.

Система 1 рендеринга содержит устройство 101 захвата, устройство 102 обработки, устройство 103 получения, устройство 104 вычисления проекции изображения и устройство 105 отображения, снабженное отображающим экраном 106.

Очевидно, что устройство 104 вычисления проекции изображения и устройство 105 отображения могут объединяться с образованием автономного устройства, тогда как на фиг. 1A они представлены по отдельности. Аналогично, устройство обработки может объединяться с устройством вычисления проекции изображения.

Устройство 101 захвата может быть образовано веб-камерой, видеокамерой и т.п., выполненной с возможностью съемки лица пользователя перед устройством 101 захвата. Устройство 101 захвата может осуществлять связь с устройством 102 обработки.

Устройство 102 обработки выполнено с возможностью приема мультимедийного содержания (например, видео), захваченного устройством 101 захвата. Из принятого содержания, устройство 102 обработки может определять позицию головы пользователя относительно отображающего экрана 106 и может дополнительно отслеживать движения головы пользователя согласно известным алгоритмам отслеживание.

Устройство 103 получения выполнено с возможностью получения мультивидового содержания (соответствующего сцене 200), например, мультивидового неподвижного изображения или мультивидового видео. В порядке иллюстративного, но неограничительного примера, устройство получения может быть образовано массивом стационарных камер, состоящим из множества отдельных камер, размещенных в определенном порядке, или пленоптической камерой, содержащей массив микролинз, расположенный перед датчиком изображения. Дополнительно или альтернативно, согласующихся с настоящими принципами, устройство получения может быть виртуальным устройством получения (например, массивом виртуальных камер) для получения компьютерной анимации (CGI). Для каждого полученного мультивидового изображения или каждого кадра мультивидового видео, устройство 103 получения может обеспечивать набор мультивидов, набор карт глубин и соответствующих параметров получения системы.

Устройство 104 вычисления проекции изображения может принимать как данные, связанные с позицией головы пользователя и движениями от устройства 102 обработки, так и полученное мультивидовое содержание (изображение или видео), доставляемое устройством 103 получения. На основании принятой информации, устройство 104 вычисления проекции изображения выполнено с возможностью определения проекции мультивидового содержания, подлежащего отображению на устройстве 105 отображения, как функции позиции головы пользователя.

Проекция полученного мультивидового содержания (набор разных изображений, связанных с картами глубин) на экране 106, является результатом:

- обратной проекции исходного мультивидового содержания (так называемых мультивидовых данных или MVD) для получения 3D представления сцены 200, захваченной устройством 103 получения;

- преобразования H для адаптации сцены для правильной визуализации;

- повторной проекции 3D данных для получения изображения, наблюдаемого из позиции пользователя на экране 106.

Когда устройством 103 получения является массив камер, следующие две матрицы оцениваются путем калибровки для каждой камеры:

- матрица K_c проекции (также именуемая внутренней матрицей) заданная в виде:

где:

f_u и f_v - фокусное расстояние рассматриваемой камеры устройства 103 получения в горизонтальном направлении и вертикальном направлении соответственно (измеряемое в пикселях),

c_u и c_v - горизонтальная и вертикальная координаты точки пересечения оптической оси с датчиком камеры (измеряемые в пикселях);

- матрица P_c позы (также именуемая внешней матрицей), заданная в виде:

где:

r₁₁ - r₃₃ - элементы матрицы 3D поворота, описывающей поворот рассматриваемой камеры относительно системы координат 3D-мира. Для удобства предполагается, что система координат 3D-мира размещена в центре устройства 103 получения,

T_x, T_y и T_z - компоненты параллельного переноса рассматриваемой камеры относительно системы координат 3D-мира (измеряемые в метрах).

Рассматривая пиксель (u, v) датчика камеры устройства 103 получения, доступны его цвет (в системе RGB) и глубина (в системе z(u, v, c)) (изображение и соответствующая карта глубин). Пиксель (u, v) может обратно проецироваться в системе координат 3D-мира с использованием следующего уравнения:

где z_uv - глубина пикселя в позиции (u, v) в изображении. Для естественных изображений эта глубина оценивается согласно известным алгоритмам.

В дальнейшем, система координат (CS) 3D визуализации, связанная с экраном 106 рассматривается как система координат (идентифицированная (X_w, Y_w,Z_w) на фиг. 1B), размещенная в центре O экрана 106, измерения которой нормированы коэффициентами W_screen/2 или H_screen/2 (измерения x и y преобразуются в диапазоне [-1; +1]).

Для повторной проекции можно использовать следующую матрицу OpenGL проекции K_eye:

где:

- W_screen - ширина экрана, и H_screen - высота экрана;

- представляет позицию пользователя в этой CS 3D визуализации;

- Z_near - расстояние по оси z между позицией глаза и плоскостью (z=z_near), ниже которой точки в сцене отбрасываются (не показаны на фиг. 1B);

- Z_far - расстояние по оси z между позицией глаза и плоскостью (z=z_far), за которой точки в сцене отбрасываются (не показаны на фиг. 1B).

Такая матрица OpenGL описана, например, в документе “OpenGL Programming Guide 9th edition, Appendix E”, by Dave Shreiner, Graham Sellers, John Kessenich - The Khronos OpenGL ARB Working Group - Addison Wesley editor.

Виртуальная камера (размещенная в позиции головы пользователя) должна располагаться также в этой CS 3D визуализации. Нижеследующая матрица T_eye параллельного переноса (представляющая движение головы пользователя относительно экрана 106) используется для вычисления изображения, наблюдаемого пользователем на экране 106:

3D точка дополнительно преобразуется согласно следующему уравнению:

и затем проецируется в отображаемое изображение путем придания 4D вектору однородности:

где Z_eye задает Z 3D точки наблюдаемой в системе координат виртуальной камеры (присоединенной к голове пользователя), тогда как Z’ - глубина, хранящаяся в буфере Z расчета отображаемого изображения.

Следует отметить, что знак минус отражает тот факт, что в представлении OpenGL, ось z ориентирована к глазу, из-за чего все 3D точки имеют отрицательное значение Z. Значение Z_eye согласуется со значением метрики, тогда как Z'_eye=A-B/Z_eye является функцией Z в формате, удобном для алгоритма буфера Z.

Для проецирования пикселя в формате MVD на экране 106, наблюдаемом пользователем, рассматривается следующее уравнение:

Таким образом, благодаря системе 1 рендеринга, чем ближе к экрану 106 голова пользователя, тем больше он видит большой участок полученной сцены 200. Чем больше он отодвигается от экрана 106, тем больше он видит его подчасть.

Устройством 105 отображения может быть устройство любого рода, снабженное экраном, например, телевизор, планшет, смартфон, портативный компьютер, PDA, наголовное устройство и т.п.

Как показано на фиг. 2A - 2D, система 1 рендеринга может отображать на экране 106 проекцию полученного мультивидового содержания, которая зависит от позиции головы пользователя. Отображаемая проекция зависит от позиции головы пользователя, и система 1 рендеринга выполнена с возможностью регулировки отображаемой проекции согласно движениям головы пользователя. На фиг. 2A - 2D показано четыре примера проекции 210A - 210D мультивидового содержания одной и той же полученной сцены 200, связанные с четырьмя разными позициями головы пользователя относительно отображающего экрана 106. Проекция, отображаемая на экране 106, соответствует сцене 200, наблюдаемой пользователем через окно.

Таким образом, система 1 рендеринга выполнена с возможностью обеспечения эффекта параллакса в зависимости от позиции головы пользователя перед устройством 105 отображения, при отображении мультивидового содержания на экране 106. В частности, эффект параллакса может задаваться относительными позициями нескольких объектов (элементов) сцены 200, причем эти позиции наблюдаются пользователем. Чем больше различие по глубине между объектами, тем больше будет изменяться наблюдаемая относительная позиция.

Чтобы воспрепятствовать пользователю в достижении пределов отображаемого мультивидового содержания (например, приводящем к отображению черных полос 300 на краях отображающего экрана, как показано на фиг. 3A и 3B), настоящее изобретение предлагает способ 400 (показанный на фиг. 4) генерирования зоны 500 позиционирования (так называемой зоны комфорта, показанной на фиг. 5 и 6) для наблюдения, на отображающем экране 106, мультивидового содержания, полученного системой 1 рендеринга.

В дальнейшем, способ 400 применяется устройством 104 вычисления проекции изображения. Естественно, дополнительно или альтернативно, упомянутый способ 400 может быть реализован другим элементом системы 1 рендеринга, например, устройством 105 отображения или автономным элементом (не показан в чертежах).

Согласно варианту осуществления, как показано на фиг. 5 и 6, зона 500 позиционирования может иметь пирамидальную форму, например, центрированную относительно отображающего экрана 106.

Согласно варианту осуществления, способ 400 содержит, на этапе 401, прием, устройством 104 вычисления проекции изображения, параметров получения устройства 103 получения и параметров отображающего экрана 106.

Параметры получения могут содержать горизонтальный угол наблюдения α и вертикальный угол наблюдения β устройства 103 получения, как показано на фиг. 5 и 6. Параметры устройства 105 отображения могут дополнительно содержать высоту h_screen и ширину w_screen отображающего экрана 106.

Способ 400 дополнительно содержит, на этапе 402, определение минимального расстояния от отображающего экрана для задания зоны 500 позиционирования, например, специализированным средством 104A устройства 104 вычисления проекции изображения.

Согласно варианту осуществления, когда форматное соотношение (соотношение между шириной и высотой) мультивидового содержания, захваченного устройством 103 получения, отличается от форматного соотношения, связанного с отображающим экраном 106, минимальное расстояние z_min соответствует максимуму из:

- минимального расстояния по горизонтали, полученного из ширины w_screen отображающего экрана и горизонтального угла наблюдения α устройства 103 получения, согласно, например, следующему уравнению:

- минимального расстояния по вертикали, полученного из высоты h_screen отображающего экрана и вертикального угла наблюдения β устройства 103 получения, согласно, например, следующему уравнению:

Альтернативно, когда форматное соотношение мультивидового содержания, захваченного устройством 103 получения, такое же, как у отображающего экрана 106, минимальное расстояние z_min соответствует вышеупомянутому минимальному расстоянию по горизонтали, которое равно минимальному расстоянию по вертикали.

Таким образом, вершина пирамидальной формы зоны 500 позиционирования располагается на минимальном расстоянии z_min и центрирована относительно отображающего экрана 106.

Как показано на фиг. 5 и 6, пирамидальная форма зоны 500 позиционирования задается горизонтальным углом α наблюдения и вертикальным углом β наблюдения устройства 103 получения. Пирамидальная форма может представлять прямоугольное основание.

Дополнительно или альтернативно, способ 400 дополнительно может содержать, на этапе 403, определение, средством 104A, максимального расстояния z_max от отображающего экрана 106, полученного из минимальной высоты h_min и максимальной высоты h_max, между которыми может располагаться взгляд пользователя, как показано на фиг. 6. Упомянутое максимальное расстояние z_max может зависеть от роста пользователя, его возможностей перемещаться в вертикальном направлении и/или быть заранее определенным. Минимальная высота h_min и максимальная высота h_max могут определяться устройством 104 вычисления проекции изображения на основании пользовательского ввода, например, через пользовательский интерфейс (не показан в чертежах), используемый либо устройством 104 вычисления проекции изображения, либо устройством 105 отображения. Например, h_min и h_max может соответствовать росту пользователя минус данное значение и плюс данное значение, соответственно (упомянутое данное значение является положительным или отрицательным). Альтернативно, пользователь также может напрямую вводить h_min и h_max в систему рендеринга через пользовательский интерфейс.

Как указано на фиг. 6, можно определять горизонтальную полосу 600, размещенную между h_min и h_max. Устройство 104 вычисления проекции изображения может дополнительно получать максимальное расстояние z_max от точки I пересечения пирамидальной формы и горизонтальной полосы 600. При наличии двух разных точек I пересечения (расположенных на разных расстояниях), z_max соответствует расстоянию, связанному с точкой I пересечения, размещенной на максимальном удалении от отображающего экрана 106. Максимальное расстояние z_max соответствует расстоянию, начиная с которого эффект параллакса начинает ослабевать при постоянной амплитуде движения позиции головы пользователя.

Согласно варианту осуществления изобретения, сгенерированный зона 500 позиционирования для наблюдения мультивидового содержания может отображаться на экране 106, например, через пользовательский интерфейс.

В дополнительном варианте осуществления, как показано на фиг. 7, изобретение также предлагает способ 700 регулировки мультивидового содержания, полученного устройством 103 получения и отображаемого на экране 106 устройства 105 отображения, для которого текущая зона 500 позиционирования получена, например, из реализации способа 400.

В частности, способ 700 может содержать, на этапе 701, изменение текущей зоны 500 позиционирования, например, после ввода пользователя через специализированный пользовательский интерфейс (который может быть таким же, как описанный в отношении способа 400).

Как показано на фиг. 8A - 8C, изменение может содержать:

- параллельный перенос в направлении глубины (z) относительно отображающего экрана 106 текущей зоны 500 позиционирования и/или

- однородное масштабирование в горизонтальном и вертикальном направлениях (x, y), которое соответствует однородному масштабированию горизонтального и вертикального углов (α, β) наблюдения, задающих текущую зону 500 позиционирования. Масштабирование осуществляется относительно центра экрана 106. Следует отметить, что в текущей зоне позиционирования масштабирование в направлении глубины (z) не разрешено.

глобальное изменение (представленное ранее заданной матрицей H преобразования) задается, на этапе 702, следующим образом:

где S_xy - матрица масштабирования, и T_z - матрица параллельного переноса в направлении глубины.

Как показано на фиг. 8A - 8C, параллельный перенос в направлении глубины и однородное масштабирование приводит к генерации новой зоны 800 позиционирования, заданной новым минимальным расстоянием z_cz и новыми углами наблюдения α_cz и β_cz следующим образом:

На основе вышеприведенного уравнения для получения проекции мультивидового содержания на экране 106 в функции позиции головы пользователя:

с новой матрицей H преобразования, устройство 104 вычисления проекции изображения адаптирует, на этапе 703, проекцию отображаемого мультивидового содержания к определению новой зоны 800 позиционирования.

Таким образом, когда новая зона 800 позиционирования расширяется пользователем, например, через пользовательский интерфейс, отображаемое мультивидовое содержание конфигурируется (например, средством 104B адаптации вычислительного устройства 104) таким образом, что пользователь может перемещаться в новой зоне позиционирования, не достигая пределов (например, черных полос или запретных областей) отображения мультивидового содержания.

Очевидно, что фронтальный параллельный перенос (т.е. когда зона позиционирования перемещается к экрану, как показано на фиг. 8A - 8C, T_z < z_min) может приводить к увеличению текущей зоны позиционирования.

В иллюстративном, но не ограничительном примере, набор двойных стрелок (не показан) может либо отображаться на экране 106 для выбора пользователем напрямую путем касания стрелок, когда экран является сенсорным экраном, либо через клавиатуру или специализированный пульт дистанционного управления.

В дополнительном варианте осуществления, показанном на фиг. 9, изобретение также предлагает способ 900 информирования пользователя, наблюдающего мультивидовое содержание на экране 106, о том, что он почти достиг и/или движется к границам соответствующей зоны 500 позиционирования. Упомянутый способ 900 может быть дополнительно реализован устройством 104 вычисления проекции изображения.

Для этого способ 900 содержит, на этапе 901, генерацию зоны 500 позиционирования для наблюдения мультивидового содержания (например, средством 104A вычислительного устройства 104), согласно вышеописанному способу 400.

На этапе 902, способ 900 дополнительно содержит определение (например, модулем 104C вычислительного устройства 104) области 550 инициирования, размещенную, по меньшей мере частично, в зоне 500 позиционирования. Альтернативно, область инициирования может располагаться вне зоны 500 позиционирования, например, по соседству с зоной 500 позиционирования.

Как показано на фиг. 10, область 550 инициирования может иметь пирамидальную форму, заданную:

- в горизонтальной плоскости, стимулирующим углом α_incentive наблюдения, задающим границу области 550 инициирования, размещенную в зоне 500 позиционирования, и максимальным горизонтальным углом α_max наблюдения, задающим другую границу упомянутой области 550 инициирования, расположенную вне зоны 500 позиционирования. Дополнительно или альтернативно, α_max может соответствовать горизонтальному углу α наблюдения, задающему зону 500 позиционирования. В дополнительном варианте или дополнении, α_incentive и α_max могут располагаться в зоне 500 позиционирования;

- в вертикальной плоскости, стимулирующим углом β_incentive наблюдения (не показан в чертежах), задающим границу области 550 инициирования, размещенную в зоне 500 позиционирования, и максимальным вертикальным углом β_max наблюдения, задающим другую границу упомянутой области 550 инициирования, расположенную вне зоны 500 позиционирования. Дополнительно или альтернативно, β_max может соответствовать вертикальному углу β наблюдения, задающему зону 500 позиционирования. В дополнительном варианте или дополнении, β_incentive и β_max может располагаться в зоне 500 позиционирования;

Когда позиция головы пользователя располагается в упомянутой области 550 инициирования, способ 900 дополнительно содержит, на этапе 903, инициирование одного или более стимулирующих эффектов для побуждения пользователя оставаться в зоне 500 позиционирования. Этап 903 может осуществляться средством 104D инициирования устройства 104 вычисления проекции изображения.

Согласно варианту осуществления, стимулирующий эффект может быть по меньшей мере одним из:

- эффекта затемнения для затемнения отображающего экрана 106, когда голова пользователя движется в сторону границы зоны 500 позиционирования, и наоборот. Эффект затемнения зависит от позиции головы пользователя в области 550 инициирования,

- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области 550 инициирования,

- одной или более визуальных подсказок, указывающих направление на отображающем экране 106.

Естественно, один или более стимулирующих эффектов могут одновременно инициироваться вычислительным устройством 104.

В частности, эффект затемнения может увеличиваться (например, яркость экрана 106 снижается, экран 106 темнеет) когда угол наблюдения (горизонтальный или вертикальный) связанный с позицией головы пользователя, расположенной в области 550 инициирования возрастает, и наоборот. Когда угол наблюдения позиции головы пользователя достигает одного максимального угла (горизонтального угла α_max и/или вертикального угла β_max), экран 106 становится совершенно темным или черным. Очевидно, что эффект затемнения ослабевает (т.е. яркость экрана 106 возрастает, экран 106 светлеет), когда голова пользователя движется от границы области 550 инициирования к центру зоны 500 позиционирования.

Кроме того, хотя эффект затемнения описан как применяемый на экране 106, его также можно применять, дополнительно или альтернативно, напрямую к самому мультимедийному содержанию (не изменяя яркость экрана 106).

Как указано кривой на фиг. 11, интенсивность эффекта затемнения может быть пропорциональна углу наблюдения, связанному с головой пользователя. Естественно, другие виды соотношения между интенсивностью эффекта затемнения и углом наблюдения головы пользователя можно использовать, не выходя за рамки изобретения.

Кроме того, эффект интенсивности параллакса позволяет изменять скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране 106, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области 550 инициирования возрастает, и наоборот.

Для этого, согласно варианту осуществления, устройство 104 вычисления проекции изображения может использовать расчетный угол, связанный с углом наблюдения головы пользователя. Упомянутый расчетный угол можно получить из соотношения, заданного, например, иллюстративной кривой, показанной на фиг. 12. Вместо вычисления проекции мультимедийного содержания, подлежащего отображению на экране 106, на основании угла наблюдения головы пользователя, вычислительное устройство 104 может определять проекцию, связанную с упомянутым углом наблюдения головы пользователя, с использованием соответствующего расчетного угла.

Таким образом, эффект параллакса, воспринимаемый пользователем, соответствует эффекту параллакса, который может наблюдаться под углом, отличным от угла наблюдения, связанного с позицией пользователь, благодаря чему, пользователю, наблюдающему экран 106, кажется, что эффект параллакса ослабевает.

Согласно варианту осуществления, когда реализуются визуальные подсказки (например, стрелки), одна или более стрелок могут отображаться, когда угол наблюдения, связанный с головой пользователя, располагаются между α_incentive и α_max, и/или β_incentive и β_max. Стрелки могут ориентированный к центру зоны 500 позиционирования для побуждения пользователя перемещаться от ее границ. Когда голова пользователя находится в зоне 500 позиционирования, но уже не в зоне 550 инициирования, стрелки могут исчезать. Кроме того, стрелки могут мигать для привлечения внимания пользователя. Частота мигания может зависеть от позиции головы пользователя в зоне инициирования (например, чем ближе голова пользователя к внешним границам зоны инициирования, тем выше будет частота мигания).

Ссылки, раскрытые в описании, формуле изобретения и чертежах, могут обеспечиваться независимо или в любой надлежащей комбинации. Признаки могут, когда это целесообразно, реализоваться аппаратными средствами, программными средствами или их комбинацией.

Ссылка на "один вариант осуществления" или "вариант осуществления" означает, что конкретный признак, конструкция или характеристика, описанная в связи с вариантом осуществления, может быть включена в по меньшей мере одну реализацию описанного способа и устройства. Выражение "в одном варианте осуществления", встречающееся в различных местах описания изобретения не обязательно относится к одному и тому же варианту осуществления, и также отдельные или альтернативные варианты осуществления не обязательно являются взаимоисключающими с другими вариантами осуществления.

Ссылочные позиции, присутствующие в формуле изобретения, используются только в целях иллюстрации и не призваны ограничивать объем формулы изобретения.

Хотя здесь были описаны лишь некоторые варианты осуществления изобретения, специалист в данной области техники может предложить другие изменения, вариации и возможности изобретения. Такие изменения, вариации и возможности следует рассматривать как согласующиеся с сущностью и объемом изобретения и, таким образом, образующие часть изобретения, как описано и/или представлено здесь.

Блок-схемы операций и/или блок-схемы в чертежах иллюстрируют конфигурацию, работу и функциональность возможных реализаций систем, способов и компьютерных программных продуктов согласно различным вариантам осуществления настоящего изобретения. В связи с этим каждый блок блок-схемы операций или блок-схемы может представлять модуль, сегмент или участок кода, который содержит одну или более исполнимых инструкций для осуществления указанной(ых) логической(их) функции(й). Следует также заметить, что, в некоторых альтернативных реализациях, функции, указанные в блоке могут выполняться не в том порядке, который указан в чертежах. Например, два блока, показанные последовательными, могут фактически выполняться по существу одновременно, или блоки могут иногда выполняться в обратном порядке, или блоки могут выполняться в альтернативном порядке, в зависимости от предусмотренной функциональности. Также будет указано, что каждый блок иллюстративных блок-схем и/или блок-схем операций, и комбинации блоков иллюстративных блок-схем и/или блок-схем операций, могут быть реализованы аппаратными системами специального назначения, которые осуществляют указанные функции или действия, или комбинациями оборудования специального назначения и компьютерных инструкций. Хотя это явно не описано, настоящие варианты осуществления могут использоваться в любой комбинации или подкомбинации.

Группа изобретений относится к технологиям рендеринга мультивидового мультимедийного содержания на отображающем экране в зависимости от позиции пользователя. Техническим результатом является обеспечение стимулирующего эффекта для побуждения пользователя оставаться в зоне позиционирования. Предложен способ отображения мультивидового содержания на дисплее. Способ содержит этап, на котором задают область инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя. При этом, когда позиция зрителя располагается в области инициирования, инициируют один или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования. 3 н. и 11 з.п. ф-лы, 19 ил.

1. Способ отображения мультивидового содержания на дисплее, содержащий этапы, на которых:

задают область инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и

когда позиция зрителя располагается в области инициирования, инициируют один или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,

причем один или более стимулирующих эффектов обратимы.

2. Способ по п. 1, в котором зона позиционирования и область инициирования имеют пирамидальную форму.

3. Способ по п. 1 или 2, в котором один или более стимулирующих эффектов содержат по меньшей мере один из:

эффекта затемнения для затемнения отображающего экрана в зависимости от позиции зрителя в упомянутой области инициирования,

эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением зрителя в области инициирования;

одной или более визуальных подсказок, указывающих направление на отображающем экране.

4. Способ по п. 3, в котором эффект затемнения возрастает, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает.

5. Способ по п. 4, в котором эффект затемнения линейно возрастает с углом наблюдения позиции зрителя.

6. Способ по любому из пп. 3–5, в котором эффект интенсивности параллакса уменьшает скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает.

7. Способ по любому из пп. 1-6, в котором один или более стимулирующих эффектов содержат по меньшей мере один из:

одного или более обратимых стимулирующих эффектов,

эффекта затемнения для затемнения отображающего экрана в зависимости от позиции зрителя в области инициирования, и

эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением зрителя в области инициирования.

8. Способ по любому из пп. 1-6, в котором один или более стимулирующих эффектов изменяются, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, изменяется.

9. Способ по любому из пп. 1-8, в котором, при получении мультивидового содержания устройством получения, зона позиционирования устанавливается на основании одного или более полученных параметров получения устройства получения и одного или более полученных параметров отображающего экрана.

10. Способ по любому из пп. 1-9, в котором мультивидовое содержание отображается с эффектом параллакса, причем эффект параллакса создается на основе обнаруженного положения головы зрителя.

11. Устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на дисплее, содержащее:

средство для задания области инициирования, причем область инициирования имеет границу с границей размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и

когда позиция зрителя располагается в области инициирования, средство для инициирования одного или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,

причем один или более стимулирующих эффектов обратимы.

12. Устройство по п. 11, в котором эффект затемнения позволяет уменьшать яркость отображающего экрана, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает, и наоборот.

13. Устройство по любому из пп. 11, 12, которое выполнено с возможностью отображения зоны позиционирования и/или зоны инициирования.

14. Невременное устройство хранения программ, считываемое компьютером, материально воплощающее программу, инструкции которой исполняются компьютером для предписывания компьютеру осуществлять:

задание области инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и

когда позиция зрителя располагается в области инициирования, инициирование одного или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,

причем один или более стимулирующих эффектов обратимы.