Способ и устройство для управления несогласующегося направления наведения камеры Российский патент 2021 года по МПК A63F13/525 G06F3/01 H04N5/232 

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к области псевдотактильной обратной связи при управлении камерой, например при просмотре иммерсивного видеосодержимого, например посредством наголовных дисплеев (HMD), или телевизора, или мобильного устройства, такого как планшет или интеллектуальный телефон.

2. УРОВЕНЬ ТЕХНИКИ

Управление направлением наведения камеры было реализовано во множестве различных известных систем. Оно полезно, когда камера погружена в среду, более широкую, чем та, которую камера может захватить. Такие системы используются, например, для записи телевизионных передач или для удаленного управления камерой системы безопасности. Виртуальные камеры в играх или в средствах визуализации иммерсивного содержимого также могут рассматриваться как оборудованные системой управления направления наведения.

При управлении направлением наведения камеры пользователь может просматривать среду в 4π стерадиан посредством поворотов камеры. Если такой признак может выступать как настоящее улучшение в плане эффекта погружения в содержимом, поскольку пользователь просматривает только часть среды, он может не посмотреть в направлении, в котором ему следует смотреть в некоторый заданный момент. Действительно, поскольку пользователь может смотреть вокруг, как если бы он находился на месте камеры, он может пропускать некоторые важные события, такие как ключевые моменты повествования, поскольку он просматривает другую часть содержимого в момент, когда происходит событие.

Согласно уровню техники известно, что форсирование панорамирования камеры для того, чтобы заставить пользователя посмотреть в опорном направлении, является очень эффективным решением. Однако широко известно, что это решение имеет недостатки. Например, оно заставит большинство людей потерять свои визуальные ориентиры или вызовет у них ухудшение самочувствия, и, как следствие, это ухудшит качество впечатлений пользователя.

3. РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Примерное назначение настоящего изобретения состоит в том, чтобы побудить пользователя повернуть камеру к опорному направлению, предотвращая поворот камеры пользователем камеру в противоположном направлении.

Настоящее изобретение относится к способу определения направления наведения камеры, причем способ содержит этапы, на которых:

- получают набор из по меньшей мере одного опорного направления;

- получают вторые параметры по меньшей мере одного средства управления, ассоциированного с камерой;

- вычисляют первые параметры, представляющие функцию рассогласования, согласно опорным направлениям, причем функция рассогласования представляет рассогласование между направлением наведения, которое требуется определить, и направлением, определенным вторыми параметрами средств управления камерой; и

- вычисляют направление наведения камеры путем применения функции рассогласования над вторыми параметрами по меньшей мере одного средства управления.

Согласно конкретной характеристике, упомянутая функция рассогласования является сигмоидоподобной функцией.

Согласно одному варианту осуществления, по меньшей мере одно опорное направление из упомянутого набора определяется согласно местоположению камеры и местоположению другого объекта.

В одном варианте способа количество опорных направлений упомянутого набора изменяется с течением времени.

Предпочтительно по меньшей мере одно опорное направление из упомянутого набора ассоциировано с опорными параметрами, которые используются для вычисления упомянутых первых параметров, представляющих функцию рассогласования.

Согласно другому варианту, по меньшей мере одно опорное направление из упомянутого набора изменяется с течением времени.

Согласно одному варианту осуществления, способ дополнительно содержит этап, на котором передают упомянутое направление наведения упомянутой камере.

Настоящее изобретение также относится к устройству, выполненному с возможностью определения направления наведения камеры, причем устройство содержит:

- средство для получения набора из по меньшей мере одного опорного направления;

- по меньшей мере одно средство управления, ассоциированное с камерой, для получения вторых параметров, представляющих команды направления;

- процессор для вычисления первых параметров, представляющих функцию рассогласования, согласно опорным направлениям, причем функция рассогласования представляет рассогласование между направлением наведения, которое требуется определять, и направлением, определенным вторыми параметрами средств управления; и

- процессор, выполненный с возможностью вычисления направления наведения камеры путем применения функции рассогласования над вторыми параметрами по меньшей мере одного средства управления.

Настоящее изобретение также относится к устройству, выполненному с возможностью определения направления наведения камеры, причем устройство содержит по меньшей мере один процессор, выполненный с возможностью:

- получения набора из по меньшей мере одного опорного направления,

- вычисления первых параметров, представляющих функцию рассогласования, согласно упомянутому набору из по меньшей мере одного опорного направления,

- получения вторых параметров, представляющих команды направления, от средства управления, ассоциированного с камерой,

- вычислять направление наведения камеры путем применения функции рассогласования над вторыми параметрами по меньшей мере одного средства управления.

Настоящее изобретение также относится к компьютерному программному продукту, содержащему инструкции программного кода для исполнения, по меньшей мере одним процессором, вышеупомянутого способа определения направления наведения камеры, когда программа исполняется на компьютере.

Настоящее изобретение также относится к постоянному считываемому процессором носителю, имеющему сохраненные на нем инструкции для побуждения процессора выполнять по меньшей мере вышеупомянутый способ создания изображения, представляющего текстуру.

4. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее изобретение будет более понятно, и другие конкретные признаки и преимущества станут явными при прочтении нижеследующего описания, в котором приведена ссылка на приложенные чертежи, на которых:

- фиг.1 изображает систему управляемой камеры в определенное время t (например, время инициализации системы) согласно конкретному варианту осуществления настоящих принципов;

- фиг.2 изображает систему управляемой камеры с фиг.1 во время t после инициализации системы согласно конкретному варианту осуществления настоящих принципов;

- фиг.3a изображает примерную схему рассогласования между направлением наведения камеры и направлением, ассоциированным с параметрами средства управления камеры, как изображается на фиг.2, согласно конкретному варианту осуществления настоящих принципов;

- фиг.3b изображает установки, которые способ может использовать, чтобы вычислить функцию рассогласования, когда набор опорных направлений с фиг.1 и 2 изменяется, согласно конкретному варианту осуществления настоящих принципов;

- фиг.4 изображает итерационное вычисление функций рассогласования с фиг.3a и 3b согласно конкретному варианту осуществления настоящих принципов;

- фиг.5 изображает функцию рассогласования, вычисляемую, когда набор опорных направлений с фиг.1 и 2 содержит более одного опорного направления, согласно конкретному варианту осуществления настоящих принципов;

- фиг.6 схематически изображает аппаратный вариант осуществления устройства, выполненного с возможностью обработки направления наведения камеры с фиг.1 и 2 согласно функции рассогласования, такой как те, которые изображены на фиг.3a, 3b, 4 и 5, согласно конкретному варианту осуществления настоящих принципов;

- фиг.7 изображает вариант осуществления способа определения направления наведения камеры, такого как тот, который осуществляется в обрабатывающем устройстве, таком как устройство с фиг.6, согласно неограничивающему имеющему преимущества варианту осуществления настоящих принципов.

5. ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Теперь изобретение будет описано со ссылками на чертежи, причем аналогичные ссылочные позиции используются для ссылки на аналогичные элементы на протяжении описания. В нижеследующем описании в целях объяснения множество конкретных подробности излагается для того, чтобы обеспечить исчерпывающее понимание изобретения. Следует понимать, что варианты осуществления изобретения могут осуществляться на практике без этих конкретных подробностей.

В целях ясности, фиг.1-5 изображают примеры в двух измерениях и ссылаются только на угол «рыскания» (т. е. поворот вокруг оси Z). Следует понимать, что настоящие принципы распространяются на третье измерение и на угол «склонения» (т. е. поворот вокруг оси Y) и на угол «крена» (т. е. поворот вокруг оси X).

Камера (реальная или виртуальная) расположена в некотором месте (реальном или виртуальном) и окружена объектами, которые камера может снимать. Это составляет среду камеры, с которой ассоциирована система координат для обнаружения местоположения объектов.

Камера (реальная или виртуальная) ассоциирована с набором параметров, относящихся к среде, в которой камера расположена. Местоположение камеры выражается в системе координат, ассоциированной со средой. Камера осуществляет съемку в некотором заданном направлении, которое далее называется направлением наведения камеры.

Фиг.1 изображает систему 1 управляемой камеры в определенное время t (например, время инициализации системы). Камера 10, ассоциирована со средством 12 управления направлением наведения камеры. На фиг.1 средство 12 управления камеры представлено в виде наголовного дисплея (HMD). Действительно, HMD может рассматриваться как средство управления камеры. В одном варианте осуществления HMD оборудовано системой оценки позиции головы, например интегрированным инерциальным измерительным блоком (IMU), который может включать в себя акселерометры и/или гироскопы, или внешней позиционной системы отслеживания с использованием инфракрасных камер, например. Когда пользователь перемещается, обнаруживаемая позиция его головы используется, чтобы сориентировать направление наведения камеры. Камера 10 является моторизованным устройством, помещенным в удаленное местоположение. В одном варианте камера 10 является виртуальной камерой, помещенной в трехмерный виртуальный мир.

Камера 10 и средство 12 управления камеры совместно используют нулевое направление 11, которое устанавливается при запуске системы. В целях ясности на фиг.1 камера 10 и средство 12 управления камеры нарисованы в одном и том же месте. В любом варианте осуществления они принадлежат к раздельному окружению. Например, в системе безопасности камеры находятся снаружи, в то время как джойстики для управления их направлением наведения находятся на станции управления. В случае HMD, IMU принадлежит к реальному миру в то время как камера принадлежит к виртуальному миру. Нулевое направление может сбрасываться на общее значение время от времени, поскольку широко известно, что дрейф может прогрессирующе возникать между нулевым направлением, используемым на стороне камеры, и его эквивалентом на стороне средства управления камеры. В приложении вида от первого лица существует взаимно-однозначное соответствие между углом поворота HMD и направлением наведения камеры. Когда HMD поворачивается на некоторый заданный угол, камера поворачивается на тот же самый заданный угол. В другом варианте осуществления средство управления камеры является джойстиком, или набором клавиш клавиатуры, или интеллектуальным телефоном. В некоторых вариантах осуществления дисплей, на котором визуализируется то, что камера снимает, является телевизором, или экраном компьютера, или экраном мобильного устройства, такого как интеллектуальный телефон или планшет.

Набор из по меньшей мере одного опорного направления 13 получается. Опорное направление соответствует направлению, в котором пользователь должен посмотреть, например, если ключевой момент повествования происходит в этом направлении. Опорные направления обеспечиваются в качестве метаданных содержимого и принимаются внутри потока содержимого или считываются из того же самого файла. В одном варианте набор опорных направлений получается от другого источника относительно содержимого. Оба набора данных должны синхронизироваться. В другом варианте опорные направления получаются благодаря обработке изображений содержимого, например с использованием карт рельефа, чтобы обнаруживать интересующие области, причем опорное направление ассоциировано, например, с каждой интересующей областью. Поскольку опорные направления зависят от содержимого, их количество и сами опорные направления могут варьироваться с течением времени.

Согласно одному варианту осуществления, настоящие принципы нацелены на то, чтобы побуждать пользователя посмотреть в таком опорном направлении, или, в качестве дополняющего эффекта, на предотвращение того, чтобы пользователь смотрел слишком далеко от такого опорного направления. В одном варианте, в котором пользователь исследует трехмерную (3D) смоделированную сцену, как, например, в компьютерной игре, сцена не может быть смоделирована в каждом направлении. Действительно, по причинам издержек или времени, как, например, для сцены кинофильма, только часть пространства в 360° может быть смоделирована. В таком случае продюсер может желать предотвратить то, что пользователь посмотрит на немоделированную часть 3D-сцены или на техническую зону сцены кинофильма. В этом варианте опорное направление соответствует направлению, далекому от немоделированного направления или технической зоны сцены кинофильма. Несколько опорных направлений могут быть получены одновременно. Например, если повествование включает в себя диалог между двумя актерами, они оба составляют ключевой объект повествования. Опорное направление может изменяться с течением времени. На фиг.1 опорное направление 13 может следовать за плоскостью при перемещении. В другом примере, в котором камера снимает теннисную игру, два опорных направления могут следовать за игроками, и одно опорное направление может следовать за мячом.

Фиг.2 изображает систему 1 управляемой камеры с фиг.1 во время t после инициализации системы. На фиг.2 средство 12 управления камеры представлено в виде наголовного дисплея (HMD). Пользователь повернул свою голову по направлению 21 (направо) в системе координат, формируемой центром камеры 10 и нулевым направлением 11. В примере с фиг.2 опорное направление 13 было получено (слева от нулевого направления). Камера 10 была повернута по направлению 22. На фиг.2 камера 10 была повернута на угол, который меньше угла, формируемого между нулевым направлением 11 и направлением 21 средства управления камеры. Действительно, как объясняется посредством фиг.3a, 3a, 4 и 5, поскольку угол между опорным направлением 13 и направлением, полученным посредством параметров средства 12 управления камеры, увеличился, направление наведения камеры вычисляется, чтобы создать псевдотактильный эффект. В примере с фиг.2 пользователь повернул голову направо до направления 21, но он видит то, что снимается в направлении 22, левее в окружении камеры. Как следствие этого рассогласования между его реальным перемещением и визуальной обратной связью от камеры, пользователь ощущает псевдотактильное сопротивление. В другом варианте осуществления средство 12 управления камеры является устройством мыши или джойстиком, а дисплей является телевизором или экраном компьютера. Тот же самый псевдотактильный эффект создается благодаря рассогласованию между направлением наведения камеры и направлением, в котором пользователь собирается посмотреть согласно своим командам на средстве управления камеры.

Фиг.3a изображает примерную схему рассогласования между направлением наведения камеры и направлением, ассоциированным с параметрами средства управления камеры. Значение угла ϕ на фиг.3a соответствует углу между нулевым направлением 11 и опорным направлением 13 с фиг.1 и 2. Кривая 32 представляет угол θ_камеры между нулевым направлением 11 и направлением 22 наведения камеры с фиг.2 согласно углу θ_{управления} между нулевым направлением 11 и направлением 21 средства управления камеры с фиг.2. Обе области определения являются круговыми: значения идут от ϕ-π радиан до ϕ+π радиан (и ϕ-π является тем же самым углом, что и ϕ+π). Линия 31 соответствует приложению вида от первого лица: значение θ_камеры всегда равно значению θ_{управления}. Кривая 32 изображает вариант осуществления функции рассогласования: чем больше пользователь отводит средство управления камеры от опорного направления, тем меньше камера поворачивается, вплоть до того, что больше не поворачивается вообще. После этой точки кривая 32 является плоской. Выгодным образом, как изображается фиг.3a, функция рассогласования является сигмоидоподобной функцией: ее уклон равен 1,0 в ϕ и приближается к пределу. В одном варианте функция рассогласования является кусочно-линейной: ее уклон равен 1,0 возле ϕ и равен 0,0 за пределами некоторого заданного порога. Что примечательно, использование такой функции рассогласования нарушает круговое свойство областей определения угла. Действительно, когда пользователь командует средству управления камеры повернуться на π радиан (180°), камера поворачивается на менее чем π радиан и, таким образом, не оказывается обращенной в противоположном направлении. Последствием этого факта является то, что угол ϕ-π теперь отличен от угла ϕ+π, и область определения функции рассогласования распространяется на эти пределы. Это иллюстрируется на фиг.3a, 3b и 4 тем фактом, что кривые функций рассогласования нарисованы над пунктирным квадратом.

Фиг.3b изображает установки, которые способ может использовать, чтобы вычислить функцию рассогласования, когда набор опорных направлений изменяется. На фиг.3b функция рассогласования является сигмоидоподобной функцией. Ее уклон ограничен значением 1,0 в значении ϕ. Функция вычисляется согласно по меньшей мере двум значениям 33 и 34 установки, которые являются значениями, которых функция достигает, когда значение θ_{управления} соответственно равно ϕ+π и ϕ-π радиан. Дополнительные установки могут накладывать условия на производную функции, т. е. уклоны S1 и S2, которые функция соответственно имеет в точках 33 и 34 (0,0≤S1≤1,0; 0,0≤S2≤1,0), и скорость, при которой уклон функции уменьшается (от 1,0 в значении ϕ до S1 ϕ+π или до S2 at ϕ-π). В одном варианте функция рассогласования является кусочно-линейной. Установки 33 и 34 также полезны для этого типа функции рассогласования. Список значений между ϕ-π и ϕ+π может быть использован дополнительно, чтобы указывать пороги, для которых уклон функции изменяется.

Данные установок устанавливаются, чтобы конфигурировать тактильный эффект. Например, на фиг.3b чем ближе значения 33 и 34 к ϕ, тем более ограничена видимая часть сцены. Тем же самым образом, установки, управляющие локальными уклонами функции рассогласования, регулируют псевдотактильное сопротивление, которое пользователь ощущает через средство управления камеры, когда он пытается повернуть камеру.

Функция рассогласования определяется (т. е. вычисляется или рассчитывается, например), когда обнаруживается изменение в наборе опорных направлений. Может случиться так, что пользователь не смотрит в направлении, которое принадлежит к вычисляемой функции рассогласования в момент, когда эта функция вычисляется (в частности, в начале настоящего способа). Фиг.4 изображает итерационное вычисление функций рассогласования. На примере с фиг.4 во время инициализации набор опорных направлений пуст. Пользователь использует средство управления камеры, чтобы вызвать наведение камеры в направлении 41 (θ_камеры=θ_{управления}=θ). Опорное направление ϕ получается, и функция 42 рассогласования вычисляется согласно установкам. Точка 41 не принадлежит к кривой функции 42 рассогласования. Для того чтобы избежать внезапного сдвига направления наведения камеры, вычисляется первая функция 43 рассогласования, которая проходит через точку 41. Функция 43 вычисляется с таким ограничением, чтобы не увеличивать расстояние с функцией 42 рассогласования и уменьшать его при стремлении к ϕ. Когда пользователь использует средство управления камеры, чтобы повернуть камеру по направлению ϕ, поворот камеры облегчается. Наоборот, поворот усложняется в противоположном направлении. Когда изменение средства управления камеры обнаруживается, направление наведения камеры следует кривой функции 43, и вторая функция рассогласования вычисляется. На примере с фиг.4 средство управления камеры достигает точки 44, более близкой к опорному направлению, и вторая функция 45 рассогласования вычисляется с теми же самыми ограничениями, что и функция 43. Вторая функция рассогласования переименовывается в первую функцию рассогласования, и осуществляется итерация операции. Ввиду вычислительных ограничений, вторая функция рассогласования становится все ближе и ближе к функции 42 рассогласования, и, как следствие, желаемый псевдотактильный эффект достигается без внезапного сдвига в направлении наведения камеры.

Фиг.5 изображает функцию рассогласования, вычисляемую согласно паре опорных направлений. Два опорных направления были получены. Для этих опорных направлений камера должна быть наведена на упомянутое опорное направление. Это иллюстрируется точками 51 и 52 на фиг.5. Согласно примеру с фиг.5, функция 53 рассогласования вычисляется при следующих ограничениях:

- функции 53 рассогласования проходят через эти точки 41 и 42,

- уклон функции рассогласования в точках 41 и 42 равен 1,0,

- уклон функции рассогласования меньше или равен 1,0 при отдалении от точек 41 и 42,

- функция рассогласования непрерывна.

Как описано выше, область определения θ_{управления} предполагается как круговая. Когда способ управляет уникальным опорным направлением, существует возможность нарушить это круговое свойство области определения без неподчинения ограничению непрерывности, фокусируя функцию рассогласования на значении угла опорного направления. Когда существует по меньшей мере два опорных направления, круговое свойство может нарушаться только единожды между двумя значениями угла опорного направления. На фиг.5 был сделан выбор сохранить непрерывность в интервале от точки 51 до точки 52 и нарушить ее в интервале от точки 52 до точки 51. Как следствие, псевдотактильный «эффект магнита» наблюдается в угловом интервале от точки 51 до точки 52 и псевдотактильный «эффект сопротивления» наблюдается дальше. В одном варианте делается выбор сохранить непрерывность в интервале от точки 52 до точки 51 и нарушить ее в интервале от точки 52 до точки 51. В другом варианте делается выбор сохранить круговое свойство области определения θ_{управления}, вводя двойной псевдотактильный эффект магнита.

Фиг.6 изображает аппаратный вариант осуществления устройства 60, выполненного с возможностью обработки направления наведения камеры. В этом примере устройство 60 содержит следующие элементы, соединенные друг с другом шиной 63 адресов и данных, которая также переносит сигнал синхронизации:

- микропроцессор 61 (или CPU),

- видеокарта 66,

- энергонезависимая память 64 типа ROM (постоянного запоминающего устройства),

- оперативное запоминающее устройство или RAM (65), видеокарта 66 может встраивать регистры оперативной памяти,

- набор устройств I/O (ввода/вывода), таких как, например, мышь, веб-камера и т. д., которые не описываются подробно на фиг.6, и

- источник 67 питания.

Устройство 60 соединяется со средством 62 управления камеры. В одном варианте осуществления средство управления камеры является джойстиком, клавиатурой или средством дистанционного управления. В другом варианте осуществления средство управления камеры является инерциальным измерительным блоком, содержащим акселерометры и/или гироскопы, например.

Устройство 60 соединяется с камерой 68, которая оборудована, чтобы изменять свое направление наведения, т. е. реальная камера моторизована, а виртуальная камера ассоциирована с программой или сценарием, выполненным с возможностью управления направлением наведения камеры.

Выгодным образом, устройство 60 соединяется с одним или несколькими устройствами 69 отображения типа экрана дисплея непосредственно с видеокартой 66, чтобы отображать изображения, вычисляемые в видеокарте. В одном варианте одно или несколько устройств 69 отображения соединяется с видеокартой 66 посредством шины 63. В конкретном варианте осуществления средство 62 управления камеры и/или одно или несколько устройств 69 отображения интегрированы в устройство 60, такие как устройства, устанавливаемые на голове.

Следует заметить, что слово «регистр», используемое в описании средств 64 и 66 памяти, назначает в каждом из упомянутых средств памяти зону памяти низкой емкости (некоторые двоичные данные), а также зону памяти большой емкости (обеспечивающую возможность целой программе быть сохраненной или всем или части данных, представляющих данные, которые вычисляются или должны быть отображены).

При включении микропроцессор 61, согласно программе в регистрах 640 ROM 64, загружает и исполняет инструкции программы в RAM 650.

Оперативная память 65, в частности, содержит:

- в регистре 650 оперирующую программу микропроцессора 61, отвечающую за включение устройства 60,

- в регистре 651 данные, представляющие по меньшей мере одно опорное направление,

- в регистре 652 данные, представляющие параметры функции рассогласования, причем эти параметры используются микропроцессором 61, чтобы управлять направлением наведения камеры,

- в регистре 653 данные, представляющие установки, используемые микропроцессором 61, чтобы вычислять параметры функции рассогласования.

Согласно одному конкретному варианту осуществления, алгоритмы, осуществляющие этапы способа, характерные для настоящего изобретения и описываемые далее, выгодным образом сохраняются в памяти GRAM видеокарты 66, ассоциированной с устройством 60, осуществляющим эти этапы.

Согласно одному варианту, источник 67 питания является внешним по отношению к устройству 60.

Фиг.7 схематически изображает вариант осуществления способа 70, осуществляемого в обрабатывающем устройстве, таком как устройство 60, согласно неограничивающему имеющему преимущества варианту осуществления.

На этапе 71 инициализации устройство 60 получает установки способа и нулевое направление. Также следует заметить, что этап получения информации в настоящем документе может рассматриваться либо как этап считывания такой информации в блоке памяти электронного устройства, либо как этап приема такой информации от другого электронного устройства через средство связи (например, посредством проводного или беспроводного соединения или посредством контактного соединения). Полученная информация сохраняется в регистре 653 оперативной памяти 65 устройства 60.

Этап 72 состоит в получении данных, представляющих набор опорных направлений. В первом варианте осуществления набор опорных направлений принимается от другого устройства через средство связи. Эти данные могут быть ассоциированы с видеосодержимым или могут быть обеспечены специализированным сервером. В одном варианте данные опорного направления считываются из файла на носителе данных, ассоциированном с устройством 60. В другом варианте осуществления набор опорных направлений получается путем обработки изображений видеосодержимого. Например, обработка карт рельефа изображений видеосодержимого обеспечивает возможность обнаруживать сильно выступающие области. Точка такой области, например центр тяжести или наиболее выступающий пиксел, может быть использована, чтобы определить опорное направление. В другом варианте осуществления некоторые объекты сцены, которую снимает камера, ассоциированы с устройством позиционирования. Опорные направления устанавливаются согласно позиции этих объектов и позиции камеры. Когда любой из этих объектов перемещается и/или когда камера перемещается, опорные направления модифицируются.

Когда изменение обнаруживается в наборе известных опорных направлений (даже когда они созданы этапом 71 инициализации), исполняется этап 73, который вычисляет функцию рассогласования. Функция рассогласования ассоциирует значение угла, управляемое средством управления камерой, со значением угла, соответствующим направлению наведения камеры. Использование такой функции генерирует псевдотактильный эффект при использовании средства управления камеры, поскольку камера не реагирует так, как ожидает пользователь. Функция рассогласования вычисляется согласно данным установки, которые управляют псевдотактильными эффектами. В одном варианте дополнительные опорные параметры ассоциированы с опорным направлением для того, чтобы адаптировать псевдотактильный эффект к опорному направлению. Два возникновения схожего опорного направления могут генерировать различные функции рассогласования.

Этап 74 состоит в обнаружении изменений в параметрах средства управления камеры. Значение угла, называемого θ_{управления} в этом документе, обновляется согласно обнаруженному изменению в параметрах. Этот угол представляет направление, на которое пользователь хотел бы навести камеру. Следующий этап 75 исполняется, когда θ_{управления} обновляется или когда новая функция рассогласования была вычислена на этапе 73. В одном варианте таймер ассоциирован с этапом 74, и этап 75 исполняется, когда значение продолжительности истекает, даже если никакое изменение не было обнаружено в параметрах этапа средства управления или в наборе опорных направлений на этапе 72.

Этап 75 состоит в применении функции рассогласования над θ_{управления}. Результатом этого применения является направление наведения для камеры.

Опциональный этап 76 состоит в передаче вычисленного направления наведения к камере. В одном варианте направление наведения передается только в том случае, если оно отличается от фактического направления наведения камеры на по меньшей мере пороговое значение (например 1°, или 5°, или 10°). В другом варианте направление наведения многократно передается камере, даже если никакое новое направление наведения не было вычислено на этапе 75.

Способ активируется на этапе 72, если обнаруживается изменение набора опорных направлений, или на этапе 74, если обнаруживается изменение параметров средства управления камеры. В одном варианте способ активируется по истечении таймера.

Естественно, настоящее изобретение не ограничивается вариантами осуществления, описанными ранее. В частности, настоящее изобретение не ограничивается способом определения команды позиции наведения для моторизованной камеры и распространяется также на способ передачи направления наведения к камере и на способ управления направлением наведения моторизованной камеры. Осуществление вычислений, необходимых, чтобы вычислить позицию наведения, не ограничивается осуществлением в CPU и распространяется также на осуществление в программе любого типа, например в программах, которые могут исполняться микропроцессором типа GPU.

Осуществления, описанные здесь, могут осуществляться, например, в способе или процессе, устройстве, программном продукте, потоке данных или сигнале. Даже если оно рассматривается только в контексте одиночной формы осуществления (например, рассматривается только как способ или устройство), осуществление рассмотренных признаков может также осуществляться в других формах (например, программе). Устройство может осуществляться, например, в подходящих аппаратных средствах, программных средствах и программно-аппаратных средствах. Способы могут осуществляться, например, в устройстве, таком как, например, процессор, который ссылается на обрабатывающие устройства вообще, включающие в себя, например, компьютер, микропроцессор, интегральную цепь или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, интеллектуальные телефоны, планшеты, компьютеры, мобильные телефоны, портативные/карманные персональные компьютеры («КПК») и другие устройства.

Осуществления различных процессов и признаков, описанных здесь, могут осуществляться во множестве различных оборудований или приложений, в частности, например, оборудований или приложений, ассоциированных с кодированием данных, декодированием данных, генерированием видов, обработкой текстур и другой обработкой изображений и родственной информации текстур и/или информации глубин. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий выходные данные от декодера, препроцессор, обеспечивающий входные данные для кодера, кодер видео, декодер видео, веб-сервер, ресивер цифрового телевидения, ноутбук, персональный компьютер, сотовый телефон, КПК и другие устройства связи. Должно быть ясно, что оборудование может быть мобильным и даже установленным в мобильном транспортном средстве.

Кроме того, способы могут осуществляться инструкциями, выполняемыми процессором, и такие инструкции (и/или значения данных, производимые осуществлением) могут храниться в считываемом процессором носителе, таком как, например, интегральная цепь, программный носитель или другое устройство хранения, такое как, например, жесткий диск, компакт-диск ("CD"), оптический диск (такой как, например, DVD, часто называемый универсальным цифровым диском или цифровым видеодиском), оперативная память ("RAM") или постоянная память ("ROM"). Инструкции могут формировать прикладную программу, материально реализованную на считываемом процессором носителе. Инструкции могут быть, например, в аппаратных средствах, программно-аппаратных средствах, программных средствах или комбинации. Инструкции могут быть найдены, например, в операционной системе, отдельном приложении или их комбинации. Процессор может, таким образом, характеризоваться, например, и как устройство, выполненное с возможностью осуществления процесса, и как устройство, которое включает в себя считываемый процессором носитель (такой как устройство хранения), имеющий инструкции для осуществления процесса. Кроме того, считываемый процессором носитель может хранить, в дополнение или вместо инструкций, значения данных, произведенные осуществлением.

Как будет очевидно специалисту в данной области техники, осуществления могут производить множество различных сигналов, форматируемых так, чтобы переносить информацию, которая может, например, сохраняться или передаваться. Информация может включать в себя, например, инструкции для выполнения способа или данные, произведенные одним из описанных осуществлений. Например, сигнал может форматироваться так, чтобы переносить в качестве данных правила для записи или считывания синтаксиса описанного варианта осуществления, или чтобы переносить в качестве данных фактические значения синтаксиса, записанные описанным вариантом осуществления. Такой сигнал может форматироваться, например, в виде электромагнитной волны (например, с использованием радиочастотной части спектра) или в виде сигнала полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с закодированным потоком данных. Информация, которую сигнал переносит, может быть, например, аналоговой или цифровой информацией. Сигнал может передаваться по множеству различных проводных или беспроводных линий связи, как известно. Сигнал может сохраняться на считываемом процессором носителе.

Было описано некоторое количество осуществлений. Тем не менее, следует понимать, что могут быть осуществлены различные модификации. Например, элементы различных осуществлений могут комбинироваться, дополняться, модифицироваться или удаляться, чтобы произвести другие осуществления. Кроме того, обычный специалист поймет, что другие структуры и процессы могут быть замещены раскрываемыми, и получающиеся в результате осуществления будут выполнять по меньшей мере по существу ту же самую функцию(-и) по меньшей мере по существу тем же самым образом, чтобы достичь по меньшей мере по существу того же самого результата(-ов), что и раскрываемые осуществления. Соответственно, эти и другие осуществления подразумеваются этой заявкой.

Изобретение относится к области псевдотактильной обратной связи при управлении камерой, например при просмотре иммерсивного видеосодержимого, например посредством наголовных дисплеев (hmd), или телевизора, или мобильного устройства, такого как планшет или интеллектуальный телефон. Техническим результатом является предотвращение поворота камеры пользователем в направлении, противоположном опорному направлению, вследствие потери своих визуальных ориентиров. Результат достигается тем, что иммерсивное видеосодержимое, захваченное удаленной моторизованной камерой (10), ассоциировано с опорными направлениями (13). Вычисляются параметры функции (32, 42, 53) рассогласования. Эта функция используется для управления направлением (22) наведения камеры. Она представляет рассогласование между поворотом, желаемым пользователю (21), и поворотом камеры (22), побуждая пользователя повернуть камеру к опорным направлениям, предотвращая поворот пользователем камеры в противоположном направлении. Принципы настоящего изобретения обладают преимуществом, состоящим в создании псевдотактильных эффектов, побуждающих пользователя посмотреть в опорном направлении без вызова у него дискомфорта. 3 н. и 18 з.п. ф-лы, 8 ил.

1. Способ определения направления (22) наведения виртуальной камеры (10) наголовного устройства отображения при визуализации иммерсивного содержимого в наголовном устройстве отображения, причем способ содержит этапы, на которых:

- получают (72) по меньшей мере одно опорное направление (13, 51, 52), которое указывает на интересующую область иммерсивного содержимого;

- получают (74) ориентацию наголовного устройства (21, 41, 44) от по меньшей мере одного средства управления, ассоциированного с указанной камерой;

- определяют (73) параметры, представляющие функцию (32, 42, 43, 45, 53), согласно указанному по меньшей мере одному опорному направлению (13, 51, 52), причем указанная функция представляет рассогласование между направлением наведения виртуальной камеры и ориентацией наголовного устройства отображения; и

- определяют (75) новое направление наведения виртуальной камеры путем применения упомянутой функции к ориентации наголовного устройства отображения, чтобы создать разницу между ориентацией наголовного устройства отображения и новым направлением наведения виртуальной камеры.

2. Способ по п.1, в котором указанная функция (32, 42, 43, 45, 53) является сигмоидоподобной функцией.

3. Способ по п.1 или 2, в котором по меньшей мере одно опорное направление (13, 51, 52) определяется согласно местоположению камеры и местоположению другого объекта.

4. Способ по п.1 или 2, в котором количество опорных направлений (13, 51, 52) изменяется с течением времени.

5. Способ по п.1 или 2, в котором по меньшей мере одно опорное направление (13, 51, 52) ассоциировано с опорными параметрами (33, 34), которые используются для определения указанных параметров, представляющих функцию (32, 42, 43, 45, 53).

6. Способ по п.1 или 2, в котором по меньшей мере одно опорное направление (13, 51, 52) изменяется с течением времени.

7. Способ по п.1 или 2, дополнительно содержащий этап, на котором передают (76) указанное новое направление (22) наведения указанной камере (10).

8. Способ по п.1, в котором указанное новое направление наведения вычисляется для создания псевдотактильного эффекта.

9. Способ по п.1, в котором кривая указанной функции обеспечивает избежание внезапного сдвига указанной виртуальной камеры.

10. Способ по п.1, в котором поворот указанной виртуальной камеры в направлении опорного направления облегчается и поворот в противоположном направлении относительно опорного направления усложняется.

11. Устройство (60), выполненное с возможностью определения направления (22) наведения виртуальной камеры (10) наголовного устройства отображения при визуализации иммерсивного содержимого в наголовном устройстве отображения, причем устройство содержит:

- средство для получения по меньшей мере одного опорного направления (13, 51, 52), которое указывает на интересующую область иммерсивного содержимого;

- по меньшей мере одно средство (12) управления, ассоциированное с указанной камерой (10), для получения ориентации наголовного устройства (21);

- процессор, выполненный с возможностью определения параметров, представляющих функцию (32, 42, 43, 45, 53), согласно упомянутому по меньшей мере одному опорному направлению (13, 51, 52), причем указанная функция представляет рассогласование между направлением наведения виртуальной камеры и ориентацией наголовного устройства отображения; и

- процессор, выполненный с возможностью определения нового направления (22) наведения виртуальной камеры (10) путем применения функции (32, 42, 43, 45, 53) к ориентации наголовного устройства отображения, чтобы создать разницу между ориентацией наголовного устройства отображения и новым направлением наведения виртуальной камеры.

12. Устройство по п.11, в котором указанная функция (32, 42, 43, 45, 53) является сигмоидоподобной функцией.

13. Устройство по п.11 или 12, в котором по меньшей мере одно опорное направление (13, 51, 52) определяется согласно местоположению камеры (10) и местоположению другого объекта.

14. Устройство по п.11 или 12, в котором количество опорных направлений (13, 51, 52) изменяется с течением времени.

15. Устройство по п.11 или 12, в котором по меньшей мере одно опорное направление (13, 51, 52) ассоциируется с опорными параметрами (33, 34), которые используются для определения указанных параметров, представляющих функцию (32, 42, 43, 45, 53), представляющую рассогласование.

16. Устройство по п.11 или 12, в котором по меньшей мере одно опорное направление (13, 51, 52) изменяется с течением времени.

17. Устройство по п.11 или 12, дополнительно содержащее передатчик для передачи (76) указанного нового направления наведения указанной камере (10).

18. Устройство по п.11, в котором указанное новое направление наведения вычисляется для создания псевдотактильного эффекта.

19. Устройство по п.11, в котором кривая указанной функции обеспечивает избежание внезапного сдвига указанной виртуальной камеры.

20. Устройство по п.11, в котором поворот указанной виртуальной камеры в направлении опорного направления облегчается и поворот в противоположном направлении относительно опорного направления усложняется.

21. Постоянный считываемый процессором носитель, имеющий сохраненные на нем инструкции для побуждения процессора выполнять по меньшей мере способ (70) по любому из пп.1-10.