АППАРАТУРА И СПОСОБ ДЛЯ ВОСПРОИЗВЕДЕНИЯ АУДИОСИГНАЛА ДЛЯ ПРОИГРЫВАНИЯ ПОЛЬЗОВАТЕЛЮ Российский патент 2021 года по МПК H04S7/00 G06F3/01 G06T13/20 

Настоящее изобретение относится к аппаратуре для воспроизведения аудиосигнала, более конкретно к аппаратуре, которая сконфигурирована, чтобы выполнять пространственное воспроизведение или воспроизведение звукового поля аудиосигнала акустической связи.

Пространственная аудиообработка для бинаурального воспроизведения пространственных аудиоданных широко применялась для использования головного телефона (наушника) в видеоиграх и виртуальной реальности (VR), но еще не проникла в другие приложения, такие как аудиосвязь, например голосовые вызовы, проведение конференций и стандартное потребление видео (т.е. не 360 градусов). Хотя некоторые приложения, использующие статическое бинауральное воспроизведение пространственных аудиоданных, существуют, приемлемость для пользователя выглядит ограниченной. Предполагается, что причина этого заключается в том, что для того, чтобы пространственное аудио было убедительным, живая позиционная информация о перспективе пользователя должна активно применяться во время пространственной обработки. Для того чтобы успешно обманывать мозг, аудио должно отвечать с низкой задержкой даже на малейшие корректировки положения головы.

При телефонном вызове удаленный участник(и)/пользователь(и) могут быть воспроизведены как монофонический объект (для каждого участника/пользователя), каждый с уникальной трехмерной позицией (например, распределены горизонтально перед участником/пользователем в качестве слушателя) для того, чтобы давать реалистичное ощущение той же комнаты.

VR-восприятия с головными телефонами (наушниками) достигают этого с помощью данных отслеживания головы (например, в форме угла наклона в продольной плоскости, угла поворота вокруг вертикальной оси, угла наклона в поперечной плоскости или как кватернионы), полученных от инерциальных измерительных блоков (IMU), включающих в себя данные от датчиков, например, гироскопов и акселерометров в устанавливаемом на голове дисплее (HMD) пользователя. Если такие датчики обычно уже встречались в потребительских головных телефонах, то сегодняшние приложения, такие как телефонные вызовы, могут также получать выгоду от пространственной обработки с отслеживанием головы, но существуют в настоящее время очень небольшое количество известных отдельных наушников с такими встроенными датчиками, и даже еще меньшее количество, которые делают эти данные легко доступными для разработчиков.

Например, использование внешнего видеосигнала камеры для извлечения данных отслеживания головы, и чтобы использовать эти данные для бинаурального воспроизведения аудиосигнала, уже было выполнено на настольных компьютерах в сочетании с камерой Microsoft™ Kinect™ (см. Kronlacher, M. (2013). Ambisonics plug-in suite for production and performance usage. Найдено по ссылке http://lac.linuxaudio.org/2013/papers/51.pdf, например). Кроме того, извлечение данных отслеживания головы из внешнего видеосигнала обычной веб-камеры также является известным (см., например, Lambers, 2017, https://github.com/marlam/webcam-head-tracker, и Face TrackNoir, 2010, https://git.marlam.de/gitweb/?p=webcam-head-tracker.git), но они не предлагают использование их для пространственного воспроизведения аудиосигнала. Кроме того, US 2009/0219224 A1 описывает систему для воспроизведения виртуальной среды в мультимедийном приложении, которое относится к отслеживанию головы с помощью мобильного устройства и адаптивным визуальным аудио/видеосценам.

Однако с вышеупомянутыми известными рассмотренными технологиями некоторые проблемы являются еще нерешенными, например, как компенсировать перемещение самого датчика, например, при использовании в динамичном мобильном сценарии (например, пользователь гуляет или находится в движущемся транспортном средстве).

Таким образом, целью настоящего изобретения является предоставление идеи для точной и имеющей низкую задержку регулировки для воспроизведения аудиосигнала для проигрывания пользователю, делая это надежно во множестве сценариев.

Эта цель достигается посредством сущности изобретения аппаратуры для воспроизведения аудиосигнала для проигрывания пользователю согласно пункту 1 формулы изобретения, способа для воспроизведения аудиосигнала для проигрывания пользователю согласно пункту 23 и компьютерной программы согласно пункту 24 настоящей заявки.

Согласно настоящему изобретению, аппаратура содержит оптический датчик и датчик ориентации для определения позиции головы пользователя. Следовательно, аппаратура, например, устройство, является приспособленным, чтобы определять позицию головы пользователя, обращаясь к позиционному соотношению между оптическим датчиком и датчиком ориентации, и, следовательно, представляется возможным точно определять позицию головы пользователя. Кроме того, с помощью точно определенной позиции головы пользователя, представляется возможным реализовывать регулировку с низкой задержкой для пространственного воспроизведения и улучшать пользовательское восприятие.

В соответствии с вариантами осуществления настоящей заявки, аппаратура для воспроизведения аудиосигнала для проигрывания пользователю, при этом аппаратура сконфигурирована, чтобы определять информацию об ориентации головы пользователя с помощью оптического датчика, например, с помощью камеры или с помощью обращенного к пользователю устройства захвата движущегося изображения, и/или с помощью датчика глубины и/или с помощью визуального датчика отслеживания лица/головы, например, с помощью захваченных камерой данных для отслеживания головы; при этом устройство сконфигурирована, чтобы определять информацию об ориентации оптического датчика с помощью датчика ориентации, например, гироскопа и/или датчика магнитного поля и/или датчика силы тяжести и/или акселерометра и/или оптического датчика и т.д., который размещается в предварительно определенном позиционном соотношении, например, механическом соотношении относительно оптического датчика, например, чтобы предоставить возможность аппаратуре знать о своей позиции и/или ориентации в «реальном мире» или в системе координат, связанной с Землей; при этом устройство сконфигурирована, чтобы учитывать информацию об ориентации оптического датчика при определении информации об ориентации головы, например, чтобы получать, по меньшей мере, один параметр об ориентации головы относительно системы координат, связанной с Землей, по существу независимо от текущей ориентации оптического датчика или от ориентации аппаратуры, несущей или содержащей оптический датчик; при этом аппаратура сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала, например, для проигрывания пользователю через систему динамиков или через гарнитуру, которая находится на связи с аппаратурой, в зависимости от информации об ориентации головы пользователя, например, чтобы адаптировать виртуальную аудиосреду в зависимости от информации об ориентации головы пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы выполнять бинауральное воспроизведение, например, для гарнитуры, носимой пользователем, или, например, пространственных аудиоданных, в зависимости от информации об ориентации головы пользователя, например, учитывая угол поворота вокруг вертикальной оси или азимутальный угол между передним направлением головы пользователя (например, направлением, в котором указывают глаза пользователя или нос) и направлением от головы пользователя к устройству или к оптическому датчику, включенному в аппаратуру, или к дисплею аппаратуры, и/или с учетом угла наклона в поперечной плоскости головы пользователя, и/или с учетом угла наклона в продольной плоскости головы пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура содержит оптический датчик, например, камеру или обращенное к пользователю устройство захвата движущегося изображения, и/или датчик глубины, при этом оптический датчик размещается, чтобы отслеживать голову пользователя, например, позицию лица пользователя, например, когда пользователь смотрит на дисплей аппаратуры.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию об угле поворота вокруг вертикальной оси, например, значение угла или матрицу поворота или кватернион, описывающий угол между передним направлением головы для головы пользователя и позицией аппаратуры, или, эквивалентно, направлением от головы пользователя к оборудованию или к оптическому датчику; и/или при этом аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию об угле поворота в поперечной плоскости, например, значение угла или матрицу поворота или кватернион, описывающий угол наклона в поперечной плоскости головы пользователя, например, относительно вертикального направления, например, относительно направления силы тяжести; и/или при этом аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию об угле наклона в продольной плоскости, например, значение угла или матрицу поворота или кватернион, описывающий угол наклона в продольной плоскости головы пользователя, например, относительно горизонтального выравнивания.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию φ об угле поворота вокруг вертикальной оси, описывающую угол поворота вокруг вертикальной оси между передним направлением головы для головы пользователя и позицией аппаратуры, так что информация об угле поворота вокруг вертикальной оси описывает азимутальный угол между передним направлением головы для головы пользователя и направлением от головы пользователя, например, от центра головы пользователя, к оборудованию, например, к оптическому датчику, включенному в аппаратуру, например, так что информация об угле поворота вокруг вертикальной оси описывает азимутальную позицию аппаратуры, когда рассматривается из головы пользователя, принимая во внимание переднее направление головы, т.е. направление, в котором пользователь повернул голову, или направление, в котором указывает нос пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы, по меньшей мере, частично компенсировать или корректировать отклонение, например, угол φ_err, между направлением от головы пользователя к оборудованию и направлением оптической оси оптического датчика, например, с помощью обработки информации изображения, полученной от оптического датчика.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию φ_{Head roll} об угле наклона в поперечной плоскости, описывающую угол наклона в поперечной плоскости головы пользователя относительно вертикального направления, например, относительно направления, противоположного силе тяжести, также обозначенного как «вверх», или, например, относительно системы координат, связанной с Землей, или относительно вертикального направления, связанного с Землей, или относительно переднего направления головы, так что информация об угле наклона в поперечной плоскости описывает угол поворота головы вокруг оси, ориентированной в переднем направлении головы, например, в случае отсутствия наклона в продольной плоскости, угол между вертикальной осью головы пользователя и вертикальным направлением «вверх», но предпочтительно независимо от угла наклона в поперечной плоскости устройства или оптического датчика, при этом информация об угле наклона в поперечной плоскости головы используется при выполнении пространственного воспроизведения.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы, по меньшей мере, частично компенсировать угол φ_{Device roll} наклона в поперечной плоскости аппаратуры, или оптического датчика, например, относительно вертикального направления, на основе информации об ориентации оптического датчика при определении информации об угле наклона в поперечной плоскости, описывающей угол наклона в поперечной плоскости головы пользователя, или необязательно, по меньшей мере, частично компенсировать (целиком) ориентацию аппаратуры или оптического датчика, например, так что пространственное воспроизведение остается по существу неизменной, если только аппаратура или оптический датчик наклоняется в поперечной плоскости, а голова не изменяет свой угол наклона в поперечной плоскости.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять, например, как часть информации об ориентации головы пользователя, информацию φ_pitch об угле наклона в продольной плоскости, описывающую угол наклона в продольной плоскости головы пользователя относительно горизонтального выравнивания, например, относительно системы координат, связанной с Землей, или относительно горизонтальной плоскости, связанной с Землей, например, так что информация об угле наклона в продольной плоскости описывает угол подъема переднего направления головы, но предпочтительно не зависит от угла наклона в продольной плоскости аппаратуры или оптического датчика, при этом информация об угле наклона в продольной плоскости, описывающая угол наклона в продольной плоскости головы, используется при выполнении пространственного воспроизведения.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы, по меньшей мере, частично компенсировать ориентацию аппаратуры или оптического датчика на основе информации об ориентации оптического датчика при определении информации об угле наклона в продольной плоскости головы пользователя, например, так что определенная информация об угле наклона в продольной плоскости представляет угол наклона в продольной плоскости головы пользователя относительно горизонтальной плоскости, связанной с Землей, по существу независимо от позиции аппаратуры, содержащей оптический датчик, и по существу независимо от выравнивания или поворота аппаратуры, содержащей оптический датчик.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять информацию об ориентации головы на основе информации от датчиков, предпочтительно только от датчиков, размещенных в аппаратуре или механически присоединенных к аппаратуре, т.е. без использования информации от каких-либо датчиков, присоединенных к голове пользователя или к гарнитуре.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять информацию об ориентации головы на основе информации от датчиков, размещенных в аппаратуре или механически присоединенных к оборудованию, и на основе одного или более дополнительных датчиков, которые являются внешними по отношению к аппаратуре, например, внешними по отношению к главному электронному устройству, содержащему оптический датчик и датчик ориентации, при этом один или более дополнительных датчиков могут, например, быть размещены в гарнитуре или в наушниках.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы учитывать информацию от внешних датчиков, только если не обнаружено, что информация об ориентации головы не может быть получена надежно, или не может быть получена совсем, на основе информации от оптического датчика, так что один или более дополнительных датчиков служат в качестве резервных датчиков при определении ориентации головы пользователя, когда голова пользователя покидает поле зрения оптического датчика.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять направление акустического фронта, например, представленное вектором; также обозначенным как ось акустического фронта, которая является проекцией направления, например, представленного вектором, от головы, например, от центра головы пользователя или от центра тяжести головы, к аппаратуре, например, к оптическому датчику, на горизонтальную плоскость, например, плоскость, перпендикулярную направлению силы тяжести, при этом, например, вертикальное смещение между аппаратурой и центром головы пользователя игнорируется, для того, чтобы сохранять центральную ось виртуальной аудиосреды всегда на уровне с головой пользователя, и при этом аппаратура сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала в зависимости от направления акустического фронта, например, чтобы поддерживать согласующуюся виртуальную аудиосреду.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять направление акустического фронта, например, представленное вектором; также обозначенное как ось акустического фронта, которая является направлением, например, представленным посредством вектора, от головы, например, от центра головы пользователя или от центра тяжести головы, к аппаратуре, например, к оптическому датчику, и при этом аппаратура сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала в зависимости от направления акустического фронта, например, чтобы поддерживать согласующуюся виртуальную аудиосреду.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы воспроизводить центр аудиосцены, например, чтобы центральный динамик был или воспринимался в направлении акустического фронта, например, так что аудиосцена центрируется в направлении, определенном позицией аппаратуры, но в плоскости на высоте головы пользователя, независимо от того, позиционируется ли аппаратура выше или ниже головы пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы определять информацию об угле наклона в продольной плоскости, описывающую угол наклона в продольной плоскости относительно направления акустического фронта, например, так что угол наклона в продольной плоскости является углом между передним направлением головы и направлением акустического фронта.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы поддерживать центральную ось виртуальной аудиосреды на уровне с головой пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы оставлять разницу по высоте между головой пользователя и аппаратурой, например, оптическим датчиком, неучитываемой при определении информации об ориентации головы, например, определяя угол наклона в продольной плоскости головы пользователя относительно горизонтальной плоскости и/или игнорируя или компенсируя вертикальное смещение между аппаратурой и головой пользователя.

В соответствии с вариантами осуществления настоящей заявки, аппаратура является переносимой, и/или при этом аппаратура является устройством мобильной связи, например, мобильным телефоном.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы выполнять пространственное воспроизведение множества аудиосигналов, которые представляют аудиосодействия от множества участников аудиоконференции или аудио/видеоконференции, и/или при этом аппаратура сконфигурирована, чтобы выполнять пространственное воспроизведение широковещательной передачи, или контента на локальных носителях хранения, или потокового аудиоконтента, который может необязательно идти вместе с видеоконтентом, который воспроизводится на дисплее аппаратуры.

В соответствии с вариантами осуществления настоящей заявки, аппаратура сконфигурирована, чтобы получать информацию, в какой азимутальной позиции, например, со ссылкой на дисплей аппаратуры, и на какой высоте или подъеме, например, относительно головы пользователя, аудиоконтент должен быть воспроизведен, и при этом аппаратура сконфигурирована, чтобы определять информацию об азимутальной позиции аппаратуры с точки зрения пользователя, например, угол поворота вокруг вертикальной оси или информацию об угле поворота вокруг вертикальной оси, с помощью информации от оптического датчика и информации об ориентации оптического датчика; и при этом аппаратура сконфигурирована, чтобы определять параметр об ориентации головы относительно системы координат, связанной с Землей, например, параметр наклона в продольной плоскости или параметр наклона в поперечной плоскости, с помощью информации от оптического датчика и информации об ориентации оптического датчика; и при этом аппаратура сконфигурирована, чтобы воспроизводить аудиоконтент с помощью информации об азимутальной позиции и параметра об ориентации головы относительно системы координат, связанной с Землей, и необязательно также с помощью параметра, описывающего угол между ориентацией аппаратуры и направлением от головы пользователя к аппаратуре.

В соответствии с вариантами осуществления настоящей заявки, способ для воспроизведения аудиосигнала для проигрывания пользователю, при этом способ содержит определение информации об ориентации головы пользователя с помощью оптического датчика, например, с помощью камеры или с помощью обращенного к пользователю устройства захвата движущегося изображения, и/или с помощью датчика глубины и/или с помощью визуального датчика отслеживания лица/головы, например, с помощью захваченных камерой данных для отслеживания головы; при этом способ содержит определение информации об ориентации оптического датчика с помощью датчика ориентации, например, гироскопа и/или датчика магнитного поля и/или датчика силы тяжести и/или акселерометра и/или оптического датчика, и т.д., который размещается в предварительно определенном позиционном соотношении, например, механическом соотношении, относительно оптического датчика, например, чтобы предоставлять возможность аппаратуре знать о своей позиции и/или ориентации в «реальном мире» или в системе координат, связанной с Землей; при этом способ содержит рассмотрение информации об ориентации оптического датчика при определении информации об ориентации головы, например, чтобы получать, по меньшей мере, один параметр об ориентации головы относительно системы координат, связанной с Землей, по существу независимо от текущей ориентации оптического датчика или от ориентации аппаратуры, несущей или содержащей оптический датчик; при этом способ содержит выполнение пространственного воспроизведения аудиосигнала, например, для проигрывания пользователю через систему динамиков или через гарнитуру, которая находится на связи с аппаратурой, в зависимости от информации об ориентации головы пользователя, например, чтобы адаптировать виртуальную аудиосреду в зависимости от информации об ориентации головы пользователя.

Преимущественные аспекты настоящей заявки являются предметом рассмотрения зависимых пунктов формулы изобретения. Предпочтительные варианты осуществления настоящей заявки описываются ниже относительно чертежей, среди которых:

Фиг. 1 показывает схематичную иллюстрацию, описывающую пример аппаратуры для проигрывания аудиосигнала для проигрывания пользователю согласно варианту осуществления настоящей заявки;

Фиг. 2 показывает блок-схему, иллюстрирующую пример аппаратуры для воспроизведения аудиосигнала для проигрывания пользователю согласно вариантам осуществления настоящей заявки;

Фиг. 3 показывает схематичную иллюстрацию, описывающую примерную реализацию иммерсивной конференц-связи с помощью аппаратуры согласно варианту осуществления настоящей заявки;

Фиг. 4 показывает схематичную иллюстрацию, описывающую пример движения пользователя согласно варианту осуществления настоящей заявки;

Фиг. 5 показывает схематичную иллюстрацию, описывающую пример соотношения между ориентацией аппаратуры и ориентацией головы пользователя в угле наклона в поперечной плоскости согласно варианту осуществления настоящей заявки;

Фиг. 6 показывает схематичную иллюстрацию, описывающую пример соотношения между ориентацией аппаратуры и ориентацией головы пользователя в угле поворота вокруг вертикальной оси согласно варианту осуществления настоящей заявки;

Фиг. 7 показывает схематичную иллюстрацию, описывающую пример соотношения между ориентацией аппаратуры и ориентацией акустического фронта в угле наклона в продольной плоскости согласно варианту осуществления настоящей заявки; и

Фиг. 8 показывает блок-схему последовательности операций для примера способа для воспроизведения аудиосигнала для проигрывания пользователю, реализованной посредством аппаратуры, показанного на фиг. 2, согласно вариантам осуществления настоящей заявки.

Равные или эквивалентные элементы или элементы с равной или эквивалентной функциональностью обозначаются в последующем описании равными или эквивалентными ссылочными номерами.

В последующем описании множество деталей излагается, чтобы предоставлять более полное объяснение вариантов осуществления настоящей заявки. Однако специалисту в данной области техники будет очевидно, что варианты осуществления настоящей заявки могут быть использованы на практике без этих конкретных деталей. В других случаях хорошо известные структуры и устройства показаны в форме блок-схемы вместо детального описания для того, чтобы избегать затруднения понимания вариантов осуществления настоящей заявки. Кроме того, признаки различных вариантов осуществления, описанных далее в данном документе, могут быть объединены друг с другом, пока конкретно не отмечено иное.

Фиг. 1 иллюстрирует вариант осуществления аппаратуры 2, содержащей обращенную вперед камеру 4, для воспроизведения аудиосигнала для проигрывания пользователю, носящему наушник 6. Как описано на фиг. 1, лицо пользователя направлено на обращенную вперед камеру 4, и ссылочный номер 4' указывает поле зрения обращенной вперед камеры 4. Камера глубины (например, использующая инфракрасную проекцию в сочетании с инфракрасными датчиками глубины, чтобы извлекать карту глубины) может также быть использована вместо, или в дополнение к, обращенной вперед камеры 4. В этом варианте осуществления аппаратура 2 является немобильным устройством, т.е. стационарным устройством.

Обращенная вперед камера 4 (например, оптический датчик) используется, чтобы отслеживать позицию (и/или ориентацию) лица пользователя, позиционная информация (и/или информация об ориентации) (необязательно) преобразуется, чтобы быть с точки зрения пользователя, а не камеры, и, наконец, эти позиционные данные применяются во время пространственной аудиообработки. Альтернативно, аппаратура 2 дополнительно содержит датчик ориентации, например, гироскоп, который помогает в отслеживании ориентации лица пользователя. Т.е. даже если стационарное устройство не изменяет позицию, обращенная вперед поверхность стационарного устройства, например, дисплея, может быть поворачиваемой. Следовательно, ориентация стационарного устройства может быть также изменяемой, и, следовательно, в случае, когда дисплей стационарного устройства является поворачиваемым, по меньшей мере, один датчик ориентации требуется, чтобы точно определять информацию об ориентации головы пользователя относительно позиции (ориентации) устройства.

Все окружение определяется посредством соотношения между устройством (аппаратурой) и головой пользователя, при этом активная обработка случается, когда пользователь находится в поле зрения камеры 4'.

Недавние улучшения в технологии дополненной реальности (AR), как аппаратные, так и программные, делают эти процессы отслеживания и преобразования более доступными. Результатом является то, что звук может использовать 3D-пространственную обработку, чтобы дополнять визуальную сцену, с отслеживанием головы, чтобы улучшать общий эффект.

Фиг. 2 показывает схематичный чертеж стационарной аппаратуры (устройства), также как мобильной аппаратуры (устройства) 10, содержащего оптический датчик 12, например, камеру, датчик 14 ориентации, например, гироскоп, генератор 16 информации об ориентации головы и ядра 18 пространственного (бинаурального) воспроизведения. Датчик 14 ориентации размещается в предварительно определенном позиционном соотношении относительно оптического датчика 12. Устройство, изображенное на фиг. 2, является стационарным устройством, а также мобильным устройством. Устройство на фиг. 2 может дополнительно или необязательно включать в себя дисплей, динамик, антенну, передатчик данных, микрофон и т.д.

В случае стационарного устройства (например, настольного монитора), как показано на фиг. 1, когда пользователь поворачивает свою голову слегка от экрана, видеосцена (устройство/аппаратура) остается в той же позиции, и, следовательно, аудиосцена должна также оставаться неподвижной, обеспечиваемой посредством применения данных о повороте головы, полученных от установленных на наушник датчиков или стационарных камер, и движение компенсируется. Это добавляет новую степень реализма, поскольку аудиосцена реагирует так, как пользователь привык в реальной жизни.

В случае мобильного устройства (мобильной аппаратуры), та же логика, что и описанная выше, применяется, когда мобильное устройство является неподвижным. Однако, с этой конфигурацией, настоящая заявка также удобно учитывает движение как пользователя, так и его устройства в свободном пространстве, которое должно ожидаться с мобильными устройствами. Это требует использования дополнительных датчиков (например, одного или более датчиков ориентации) в устройстве (например, встроенного акселерометра или гироскопа или встроенных камер или любого их сочетания), чтобы предоставлять возможность устройству знать о своей позиции (и/или ориентации) в реальном мире (например, относительно системы координат, связанной с Землей). Как упомянуто выше, в случае, когда дисплей или поверхность стационарного устройства является поворачиваемой, требуется использование дополнительного датчика, например, одного или более датчиков ориентации в устройстве.

Последующее описывает случай мобильного устройства подробно и то, почему аппаратура согласно настоящей заявке предоставляет по существу преимущества в случае мобильного устройства над использованием данных от датчиков, встроенных в наушники.

Варианты осуществления этого последнего случая, особенно с помощью захваченных камерой данных для отслеживания головы, предоставляют возможность больших улучшений в качестве звука и общих впечатлениях пользователя, обеспечивая истинный пространственный звук и делая это надежно в диапазоне мобильных окружений.

Это будет очень полезным, например, для видеовызовов лицом к лицу и потребления видео (например, окружающий звук), когда необходимость в пространственной обработке является очевидной, но способ ее применения еще не назрел на рынке.

Использование аппаратуры согласно настоящей заявке не ограничивается случаями использования видео, но будет также привносить улучшенное качество звука в исключительно звуковые прикладные задачи, такие как голосовые вызовы или проигрывание 3D-аудио, когда локально захваченное видеоизображение используется для отслеживания головы, но может быть отброшено, как только данные отслеживания головы были извлечены.

Фиг. 3 схематично иллюстрирует примерную реализацию иммерсивной конференц-связи, показывающей локального пользователя через его обращенную вперед камеру и 2D-представление сверху для конференц-связи с четырьмя удаленными участниками. Линии на лице пользователя указывают азимутальную позицию головы пользователя.

В мобильном устройстве используется обращенная вперед камера и/или датчик глубины, вместе с дополнительными датчиками устройства (например, встроенным акселерометром и/или гироскопом), чтобы приобретать знание позиции устройства (и/или ориентации) и позиции (и/или ориентации) головы пользователя в реальном мире (например, относительно системы координат, связанной с Землей, или относительно направления силы тяжести). Это может быть достигнуто с помощью существующих инфраструктур дополненной реальности (AR), например, ARKit™ фирмы Apple или ARCore™ фирмы Google.

Это устраняет необходимость в датчиках в наушниках, поскольку устройство может теперь предоставлять те же данные отслеживания головы. Возможным (но типично незначительным) недостатком в этом способе является то, что пользователь обязан (или должен) быть обращенным лицом к обращенному вперед датчику и в его поле зрения для того, чтобы данные отслеживания головы были доступными. Для приложений, таких как видеовызов лицом к лицу или потребление видео, это почти наверняка так.

В случае, когда пользователь должен временно выходить за пределы поля зрения камеры, варианты (которые могут необязательно быть реализованы) включают в себя пребывание в самом последнем состоянии, или также часто встречается, чтобы приложение входило в состояние по умолчанию (возвращало значения поворота головы в переднюю позицию по умолчанию, например). Еще одним вариантом (который может необязательно быть реализован) является использование данных о движении от других датчиков, например, включенных в наушники, которые будут использоваться только для оценки позиции отслеживания головы, если пользователь не находится в поле зрения камеры. Следует отметить, что любой внешний датчик (например, датчик, который механически не интегрирован в аппаратуру, а, например, присоединен к наушникам или к телу пользователя) будет менее оптимальным по сравнению с датчиком внутри устройства вследствие дополнительных задержек передачи между внешним датчиком и устройством, что ограничивает возможный эффект погружения. Т.е. устройство предпочтительно содержит один или более оптических датчиков, например, одну или более камер и один или более датчиков ориентации, например, один или более гироскопов.

Однако, устройство согласно настоящей заявке, т.е. обращенная вперед пространственная обработка, также предоставляет одно ключевое преимущество над использованием данных отслеживания головы от датчиков, встроенных в наушники. Например, рассмотрим сценарий, когда пользователь совершает видеовызов с пространственным звуком, в то же время идя по улице, как показано на фиг. 4, при этом его устройство удерживается на длине руки (см. фиг. 4 (t1)), что является обычным способом использования видеовызовов во время ходьбы.

Предположим, что он поворачивает на 90 градусов на углу улицы (t1, t2, t3, t4 на фиг. 4). В этом сценарии, хотя и пользователь, и телефон повернулись в пространстве реального мира, аудиосцена (один источник монофонического звука в примере) будет оставаться постоянной для пользователя, поскольку соотношение между позицией руки пользователя и позицией телефона не изменилось. Вектор, начинающийся из руки пользователя и проходящий через камеру устройства, будет называться «акустическим фронтом» далее в этом описании (при этом, необязательно, вертикальный интервал между головой и камерой может не учитываться). Это (например, направление акустического фронта, которое может быть представлено вектором) является направлением в пространстве, куда, например, центральный динамик для 5.1 аудиосигнала (5.1 окружающего звука) будет воспроизводить звук.

В случае, когда используются данные отслеживания головы от датчиков в наушниках, эти датчики не могут автоматически делать вывод о том, был ли поворот головы пользователя, или всего его тела. Технически, будет возможно сравнивать данные датчиков двух устройств (установленных на голову датчиков и датчиков устройства) и использовать обычно известное вычисление с помощью соответствующих различных ориентаций, чтобы компенсировать этот эффект, но это будет вероятно более сложным и более подвержено ошибкам.

С устройством, также как и способом, предложенными здесь, ориентация и/или позиционная информация захватывается в одной точке отсчета - в устройстве (также называемой «аппаратуре»). Также обеспечивается сильное пользовательское впечатление, когда другое движение должно быть игнорировано, например, когда пользователь является пассажиром в движущемся транспортном средстве. Оно является совместимым с любой гарнитурой и легко реализуется на современных устройствах, характеризующихся поддержкой дополненной реальности (AR).

Другие AR-инфраструктуры предоставляют другие системы координат разработчикам приложений; следовательно, этот документ определяет ожидаемый характер работы независимо от выбранной инфраструктуры.

Для предложенного характера работы, например, только перемещения и повороты, которые считаются благоприятными для пользовательского восприятия, предоставляются модулю пространственного воспроизведения, остальные перемещения и повороты нейтрализуются посредством компенсации.

В последующем, будут описаны различные признаки и функциональные возможности, которые могут быть использованы индивидуально или в сочетании.

Как показано на фиг. 5, ориентация устройства (или аппаратуры) 10 может не всегда совпадать с направленной вверх осью (например, вертикальным направлением, противоположным направлению силы тяжести), особенно, когда человек идет. Приложение должно гарантировать, что AR-инфраструктура компенсирует угол наклона в поперечной плоскости устройства, таким образом, оно не привыкает к воспроизведению аудиосигнала. Только угол наклона головы в поперечной плоскости должен быть использован, чтобы конфигурировать модуль пространственного воспроизведения (который может, например, выполнять пространственное воспроизведение). Иначе аудиосцена будет поворачиваться, даже если пользователь не наклонил голову в поперечной плоскости.

Акустический фронт определяется, например, как показано на фиг. 5, как вектор между головой пользователя и камерой устройства 10 (при этом, необязательно, вертикальный интервал между головой и камерой может быть оставлен без внимания, так что, например, акустический фронт является горизонтальным вектором или направлением). Фиг. 5(a) изображает сценарий, когда ориентация устройства совпадает с вектором акустического фронта. В этом случае, угол между вектором «передней стороны головы» и вектором «ориентации устройства» является идентичным правильному углу поворота вокруг вертикальной оси. Но после того как ориентация устройства изменяется, как показано на фиг. 6(b), использование этого угла будет вызывать ошибочное значение угла поворота вокруг вертикальной оси в данных ориентации головы, используемых для пространственного воспроизведения. Т.е. отклонение, угол φ_err, между направлением от головы пользователя к аппаратуре и направлением оптической оси оптического датчика компенсируется или корректируется, например, с помощью обработки информации изображения, полученной от оптического датчика. Соответственно, устройство может, например, определять φ_err и, следовательно, определять корректный угол поворота вокруг вертикальной оси.

Фиг. 7 изображает два боковых вида пользователя с устройством и угол наклона в продольной плоскости из данных поворота головы. В противоположность углу поворота вокруг вертикальной оси на фиг. 6, для определения угла наклона в продольной плоскости ни позиция устройства, ни его ориентация не используется (или отражается в конечном результате). Т.е. в случае, когда позиция или ориентация устройства изменяется, вектор акустического фронта не изменяется. Акустический фронт является, например, всегда вектором с углом 90 градусов к направленной вверх оси (например, может лежать в горизонтальной плоскости), а угол наклона в продольной плоскости, например, всегда ссылается на угол между вектором передней стороны головы и акустическим фронтом. Например, устройство (или аппаратура) может определять угол наклона в продольной плоскости на основе этих соображений или ограничений.

Таким образом, монофонический аудиообъект с нулевым отклонением получается пространственно воспроизводимым на уровне глаз пользователя. Использование вектора «головного устройства» вместо «акустического фронта» для определения угла наклона в продольной плоскости, как указано на фиг. 7, будет вызывать присоединение такого аудиообъекта к устройству. Для 5.1 аудиосигнала это вынудит задние динамики увеличивать подъем, когда пользователь держит свой телефон ниже уровня глаз, что ухудшает пользовательское восприятие по сравнению с предложенным решением.

Фиг. 8 показывает блок-схему последовательности операций для примера способа визуализации аудиосигнала для проигрывания пользователю, реализованного посредством аппаратуры, показанной на фиг. 2, согласно вариантам осуществления настоящей заявки. Как указано на фиг. 7, способ содержит этап определения информации об ориентации головы пользователя с помощью оптического датчика (S10). Т.е. информация об ориентации головы пользователя определяется с помощью оптического датчика 12, например, с помощью камеры или с помощью обращенного к пользователю устройства захвата движущегося изображения, и/или с помощью датчика глубины и/или с помощью визуального датчика отслеживания лица/головы, например, с помощью захваченных камерой данных для отслеживания головы.

Этап определения информации об ориентации оптического датчика 12 с помощью датчика 14 ориентации выполняется (S12). Т.е., например, информация об ориентации оптического датчика 12 определяется с помощью гироскопа и/или датчика магнитного поля и/или датчика силы тяжести и/или акселерометра и/или оптического датчика, и т.д., который размещается в предварительно определенном позиционном соотношении, например, механическом соотношении, относительно оптического датчика 12, например, чтобы предоставлять возможность аппаратуре знать о своей позиции и/или ориентации в «реальном мире» или в системе координат, связанной с Землей.

Далее этап рассмотрения информации об ориентации оптического датчика 12 при определении информации об ориентации головы пользователя выполняется (S14). Т.е., например, чтобы получать, по меньшей мере, один параметр об ориентации головы пользователя относительно системы координат, связанной с Землей, по существу независимо от текущей ориентации оптического датчика 12 или от ориентации аппаратуры 10, несущей или содержащей оптический датчик 12.

Затем исполняется этап выполнения пространственного воспроизведения аудиосигнала (S16). Т.е., например, для проигрывания пользователю через систему динамиков или через гарнитуру, которая находится на связи с аппаратурой 10, в зависимости от информации об ориентации головы пользователя, например, чтобы адаптировать виртуальную аудиосреду в зависимости от информации об ориентации головы пользователя.

Предложенное решение объединяет существующие технологии с вновь определенным акустическим фронтом, что создает виртуальную среду для мобильной связи и потребления мультимедиа и обеспечивает улучшения над текущим состоянием уровня техники по причине того, что является:

Истинно иммерсивным: Новый уровень погружения может быть достигнут посредством предложенной аппаратуры или предложенного способа согласно настоящей заявке с помощью регулировок с низкой задержкой в пространственной аудиообработке, даже для малейших движений головы, предоставляя возможность более реалистичной пространственной обработки (не выполняемой в настоящее время в телефонии, ни даже с приложениями конференц-связи, которые уже используют пространственную обработку без HMD).

Надежность «в движении»: Адаптивный акустический фронт предоставляет возможность как для пользователя, так и для мобильного устройства перемещаться, в то же время поддерживая оптимальное пользовательское восприятие (желаемые повороты головы), несмотря на перемещения и повороты устройства (одновременные перемещения в реальном мире). В способе, предложенном в (WAVES-AUDIO-LTD, 2017), это достигается посредством объединения наборов данных от двух различных групп датчиков (где группа датчиков является частью аппаратных средств, содержащей один или более датчиков), которым предоставляется возможность поворачиваться независимо (например, один IMU на голове, отдельный IMU на торсе). Такое предложенное решение улучшает это, предоставляя возможность той же или лучшей функциональности, но с помощью только одной группы датчиков (например, мобильного терминала, который может рассматриваться как «устройство» или как «аппаратура»), тем самым, уменьшая потенциальные ошибки от этого процесса объединения наборов данных от независимо движущихся объектов.

Доступность на обычных аппаратных средствах: Все из вышеупомянутого доступно сегодня без HMD, но вместо этого с общедоступными потребительскими аппаратными средствами (например, мобильное устройство и совместимое с любой парой стереонаушников) способом, который просто в настоящее время не выполняется где-либо еще.

В последующем, некоторые идеи, лежащие в основе вариантов осуществления настоящего изобретения, будут кратко резюмированы. Однако, следует отметить, что общие соображения, отличительные признаки, функциональные возможности и детали, описанные в последующем, могут необязательно быть привнесены в любой из вариантов осуществления, как индивидуально, так и взяты в сочетании.

Варианты осуществления создают адаптивный акустический фронт для иммерсивных аудиоприложений с помощью обращенной вперед камеры мобильного устройства.

Варианты осуществления согласно настоящему изобретению создают способ, чтобы добиваться выгод пространственной аудиообработки с помощью нового сочетания существующих технологий. Этот способ подразумевает типичное потребительское окружение пользователя, носящего наушники и устройство с обращенной вперед камерой. Обращенная вперед камера используется, чтобы отслеживать позицию лица пользователя, позиционная информация преобразуется, чтобы находиться в точке обзора пользователя вместо камеры, и, наконец, эти позиционные данные применяются во время пространственной аудиообработки. Результатом является то, что звук может использовать 3D-пространственную обработку, чтобы дополнять визуальную сцену, с отслеживанием головы, чтобы улучшать общий эффект. Все окружение определяется посредством соотношения между устройством и головой пользователя, при этом активная обработка случается, когда пользователь находится в поле зрения камеры. Этот способ может, например, быть применен, чтобы улучшать эффект погружения для приложений связи и потребления мультимедиа.

В соответствии с вариантами осуществления настоящей заявки, позиция и ориентация головы пользователя (позиция головы) определяется только с помощью датчиков в аппаратуре. Другими словами, позиция головы определяется без какой-либо информации от устройства, которое может быть установлено на голову, например, установленного на голову дисплея, наушника или наушника, присоединенного к пользователю. Следовательно, необязательно передавать какие-либо данные, касающиеся позиции головы, между пользовательским устройством и аппаратурой, чтобы определять позицию головы, и, следовательно, возможно точно определять позицию головы, поскольку не существует погрешности передачи, касающейся данных о позиции головы.

В соответствии с вариантами осуществления настоящей заявки, датчики располагаются только в аппаратуре, т.е. не нужно содержать какие-либо датчики, чтобы обнаруживать позицию головы в пользовательском устройстве. Следовательно, возможно уменьшать весовой коэффициент пользовательского устройства (например, датчики, аккумуляторы, чтобы подавать питание к датчикам, и т.д.) и улучшать комфорт ношения для пользователя. Это также означает, что настоящая заявка является непосредственно совместимой с существующими наушниками.

В первом аспекте система (или аппаратура) для воспроизведения виртуальной аудиосреды в мультимедийном приложении содержит:

a) электронное устройство с обращенным к пользователю датчиком захвата движущегося изображения,

b) датчики, которые предоставляют способность определять ориентацию устройства захвата изображения, описанного в пункте a),

c) систему динамиков, приспособленную для репродукции пространственного аудиосигнала [необязательно],

d) контроллер, который извлекает данные о повороте головы из последовательности изображений, захваченных посредством a), и кроме того, применяет эти данные к желаемой виртуальной аудиосреде и предоставляет воспроизведенные выходные данные в систему динамиков, описанную в пункте c).

Во втором аспекте электронное устройство является переносным. В третьем аспекте электронное устройство имеет электронный дисплей. В четвертом аспекте датчик глубины используется вместо/в дополнение к обращенному к пользователю датчику захвата движущегося изображения. В пятом аспекте система динамиков является гарнитурой на связи с электронным устройством.

В шестом аспекте дополнительные датчик(и), внешние по отношению к главному электронному устройству, используются для предоставления дополнительных данных об ориентации или позиционных данных головы пользователя контроллеру. В седьмом аспекте способ воспроизведения виртуальной аудиосреды с помощью системы, содержащей любое сочетание из первого-шестого аспектов, при этом ориентация головы пользователя и позиционные данные используются, чтобы адаптировать виртуальную аудиосреду соответствующим образом.

В восьмом аспекте любой нежелательный сдвиг в ориентации или позиционных данных электронного устройства компенсируется относительно ориентации головы пользователя и позиционных данных для того, чтобы поддерживать согласующуюся виртуальную аудиосреду.

В девятом аспекте способ определяет ось «акустического фронта» как вектор направления от центра головы к мобильному устройству, в то время как устройство имеет возможность определять ориентацию или позицию головы пользователя с помощью визуального датчика отслеживания лица/головы, и использует эту ось, чтобы поддерживать согласующуюся виртуальную аудиосреду.

В десятом аспекте ориентация головы пользователя и позиционные данные используются, чтобы адаптировать виртуальную аудиосреду соответствующим образом, за исключением того, что вертикальное смещение между устройством и центром головы пользователя игнорируется для того, чтобы сохранять центральную ось виртуальной аудиосреды всегда на уровне с головой пользователя.

В одиннадцатом аспекте виртуальная аудиосреда состоит из аудио, передаваемого от удаленного участника (или множества участников), воспроизводимого в качестве аудиообъектов в вызове дуплексной конференц-связи в реальном времени, при этом локальное аудио захватывается и передается удаленным участникам.

В двенадцатом аспекте виртуальная аудиосреда состоит из созданного аудиоконтента, предназначенного для широковещательной/потоковой передачи. В тринадцатом и четырнадцатом аспектах видеоэлемент(ы) воспроизводятся в дополнение к аудиоконтенту.

В пятнадцатом аспекте способ реализуется на мобильном вычислительном устройстве. В шестнадцатом аспекте виртуальная аудиосреда возвращается в состояние по умолчанию, когда невозможно определять ориентацию или позицию головы пользователя.

В семнадцатом аспекте отслеживание лица/головы пользователя улучшается с помощью данных от внешнего датчика(ов), описанных в пункте 6, чтобы предоставлять возможность поддержания виртуальной аудиосреды, когда невозможно определять ориентацию или позицию головы пользователя с помощью только визуального датчика отслеживания лица/головы.

Хотя некоторые аспекты были описаны в контексте аппаратуры, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или признака соответствующей аппаратуры. Некоторые или все этапы способа могут быть выполнены посредством (или с помощью) аппаратного обеспечения, аналогичного, например, микропроцессору, программируемому компьютеру или электронной схеме. В некоторых вариантах осуществления один или более самых важных этапов способа могут выполняться посредством такой аппаратуры.

Изобретательский поток данных может быть сохранен на цифровом носителе хранения или может быть передан по среде передачи данных, такой как беспроводная среда передачи данных или проводная среда передачи данных, такая как Интернет.

В зависимости от некоторых требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с помощью цифрового носителя хранения, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего электронно-считываемые управляющие сигналы, сохраненные на нем, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой, так что соответствующий способ выполняется. Следовательно, цифровой носитель хранения может быть компьютерно-считываемым.

Некоторые варианты осуществления согласно изобретению, содержат носитель данных, имеющий электронно-считываемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой, так что один из способов, описанных в данном документе, выполняется.

В целом, варианты осуществления настоящего изобретения могут быть реализованы в качестве компьютерного программного продукта с программным кодом, программный код функционирует для выполнения одного из способов, когда компьютерный программный продукт запускается на компьютере. Программный код может, например, быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления изобретенного способа, следовательно, является компьютерной программой, имеющей программный код для выполнения одного из способов, описанных в данном документе, когда компьютерная программа запускается на компьютере.

Дополнительный вариант осуществления изобретенных способов, следовательно, является носителем данных (или цифровым носителем хранения или компьютерно-читаемым носителем), содержащим, записанную на нем, компьютерную программу для выполнения одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения или записанный носитель типично являются материальными и/или долговременными.

Дополнительный вариант осуществления изобретенного способа, следовательно, является потоком данных или последовательностью сигналов, представляющей компьютерную программу для выполнения одного из способов, описанных в данном документе. Поток данных или последовательность сигналов может, например, быть сконфигурирована, чтобы передаваться через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер, или программируемое логическое устройство, сконфигурированное или приспособленное выполнять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит аппаратуру или систему, сконфигурированную, чтобы передавать (например, электронным или оптическим образом) компьютерную программу для выполнения одного из способов, описанных в данном документе, получателю. Получатель может, например, быть компьютером, мобильным устройством, запоминающим устройством или т.п. Аппаратура или система могут, например, содержать файловый сервер для передачи компьютерной программы получателю.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано, чтобы выполнять некоторые или все функциональные возможности способов, описанных в данном документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для того, чтобы выполнять один из способов, описанных в данном документе. В целом, способы предпочтительно выполняются посредством любого аппаратного аппаратуры.

Аппаратура, описанная в данном документе, может быть реализована с помощью аппаратного обеспечения, или с помощью компьютера, или с помощью сочетания аппаратного обеспечения и компьютера.

Аппаратура, описанная в данном документе, или любые компоненты аппаратуры, описанной в данном документе, могут быть реализованы, по меньшей мере, частично в аппаратных средствах и/или в программном обеспечении.

Изобретение относится к средствам для воспроизведения аудиосигнала для проигрывания пользователю. Технический результат заключается в повышении эффективности регулировки при воспроизведении аудиосигнала для проигрывания пользователю. Определяют информацию об ориентации головы пользователя с помощью оптического датчика. Определяют информацию об ориентации оптического датчика в системе координат, связанной с Землей, с помощью датчика ориентации, который размещается в предварительно определенном позиционном соотношении относительно оптического датчика. Учитывают информацию об ориентации оптического датчика при определении информации об ориентации головы, получая по меньшей мере один параметр об ориентации головы относительно системы координат, связанной с Землей, независимо от текущей ориентации оптического датчика или от ориентации аппаратуры, несущей или содержащей оптический датчик. Выполняют пространственное воспроизведение аудиосигнала в зависимости от информации об ориентации головы пользователя. 3 н. и 21 з.п. ф-лы, 8 ил.

1. Аппаратура (10) для воспроизведения аудиосигнала для проигрывания пользователю,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об ориентации головы пользователя с помощью оптического датчика (12);

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об ориентации оптического датчика (12) в системе координат, связанной с Землей, с помощью датчика (14) ориентации, который размещается в предварительно определенном позиционном соотношении относительно оптического датчика (12);

при этом аппаратура (10) сконфигурирована, чтобы учитывать информацию об ориентации оптического датчика (12) при определении информации об ориентации головы, получая по меньшей мере один параметр об ориентации головы относительно системы координат, связанной с Землей, независимо от текущей ориентации оптического датчика (12) или от ориентации аппаратуры (10), несущей или содержащей оптический датчик (12);

при этом аппаратура (10) сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала в зависимости от информации об ориентации головы пользователя.

2. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы выполнять бинауральное воспроизведение в зависимости от информации об ориентации головы пользователя.

3. Аппаратура (10) по п. 1,

при этом аппаратура (10) содержит оптический датчик (12), при этом оптический датчик (12) размещается, чтобы отслеживать голову пользователя.

4. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле поворота вокруг вертикальной оси, описывающую угол между передним направлением головы для головы пользователя и позицией аппаратуры (10); и/или

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле наклона в поперечной плоскости, описывающую угол наклона в поперечной плоскости головы пользователя; и/или

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле наклона в продольной плоскости, описывающую угол наклона в продольной плоскости головы пользователя.

5. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле поворота вокруг вертикальной оси, описывающую угол поворота вокруг вертикальной оси между передним направлением головы для головы пользователя и позицией аппаратуры (10), так что информация об угле поворота вокруг вертикальной оси описывает азимутальный угол между передним направлением головы для головы пользователя и направлением от головы пользователя к аппаратуре (10).

6. Аппаратура (10) по п. 5,

при этом аппаратура (10) сконфигурирована, чтобы, по меньшей мере, частично компенсировать отклонение между направлением от головы пользователя к упомянутой аппаратуре и направлением оптической оси оптического датчика.

7. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле наклона в поперечной плоскости, описывающую угол наклона в поперечной плоскости головы пользователя относительно вертикального направления или относительно переднего направления головы.

8. Аппаратура (10) по п. 7,

при этом аппаратура (10) сконфигурирована, чтобы, по меньшей мере, частично компенсировать угол наклона в поперечной плоскости аппаратуры (10) или оптического датчика на основе информации об ориентации оптического датчика (12) при определении информации об угле наклона в поперечной плоскости, описывающей угол наклона в поперечной плоскости головы пользователя.

9. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле наклона в продольной плоскости, описывающую угол наклона в продольной плоскости головы пользователя относительно горизонтального выравнивания.

10. Аппаратура (10) по п. 9,

при этом аппаратура (10) сконфигурирована, чтобы, по меньшей мере, частично компенсировать ориентацию аппаратуры (10) или оптического датчика на основе информации об ориентации оптического датчика (12) при определении информации об угле наклона в продольной плоскости головы пользователя.

11. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об ориентации головы на основе информации от датчиков, размещенных в аппаратуре (10) или механически присоединенных к аппаратуре (10).

12. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об ориентации головы на основе информации от датчиков, размещенных в аппаратуре (10) или механически присоединенных к аппаратуре (10), и на основе одного или более дополнительных датчиков, которые являются внешними по отношению к аппаратуре (10).

13. Аппаратура (10) по п. 12,

при этом аппаратура (10) сконфигурирована, чтобы учитывать информацию от внешних датчиков, только если обнаруживается, что информация об ориентации головы не может быть получена надежно на основе информации от оптического датчика (12).

14. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять направление акустического фронта, которое является проекцией направления от головы к аппаратуре (10) на горизонтальную плоскость, и

при этом аппаратура (10) сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала в зависимости от направления акустического фронта.

15. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы определять направление акустического фронта, которое является направлением от головы к аппаратуре (10), и

при этом аппаратура (10) сконфигурирована, чтобы выполнять пространственное воспроизведение аудиосигнала в зависимости от направления акустического фронта.

16. Аппаратура (10) по п. 14,

при этом аппаратура (10) сконфигурирована, чтобы воспроизводить центр аудиосцены в направлении акустического фронта.

17. Аппаратура (10) по п. 14,

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об угле наклона в продольной плоскости, описывающую угол наклона в продольной плоскости относительно направления акустического фронта.

18. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы сохранять центральную ось виртуальной аудиосреды на уровне с головой пользователя.

19. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы оставлять разницу по высоте между головой пользователя и аппаратурой (10), неучитываемой при определении информации об ориентации головы пользователя.

20. Аппаратура (10) по п. 1,

при этом аппаратура (10) является переносимой, и/или при этом аппаратура (10) является устройством мобильной связи.

21. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы выполнять пространственное воспроизведение множественных аудиосигналов, которые представляют содействия в аудио от множества участников аудиоконференции или аудио/видеоконференции, и/или

при этом аппаратура (10) сконфигурирована, чтобы выполнять пространственное воспроизведение широковещательной передачи или контента на локальных носителях хранения или потокового аудиоконтента.

22. Аппаратура (10) по п. 1,

при этом аппаратура (10) сконфигурирована, чтобы получать информацию, в какой азимутальной позиции и на какой высоте или подъеме аудиоконтент должен быть воспроизведен; и

при этом аппаратура (10) сконфигурирована, чтобы определять информацию об азимутальной позиции аппаратуры (10) с точки зрения пользователя с помощью информации от оптического датчика и информации об ориентации оптического датчика (12); и

при этом аппаратура (10) сконфигурирована, чтобы определять параметр об ориентации головы относительно системы координат, связанной с Землей, с помощью информации от оптического датчика (12) и информации об ориентации оптического датчика (12); и

при этом аппаратура (10) сконфигурирована, чтобы воспроизводить аудиоконтент с помощью информации об азимутальной позиции и параметра об ориентации головы относительно системы координат, связанной с Землей.

23. Способ воспроизведения аудиосигнала для проигрывания пользователю,

при этом способ содержит этап, на котором определяют информацию об ориентации головы пользователя с помощью оптического датчика (12);

при этом способ содержит этап, на котором определяют информацию об ориентации оптического датчика (12) в системе координат, связанной с Землей, с помощью датчика (14) ориентации, который размещается в предварительно определенном позиционном соотношении относительно оптического датчика (12);

при этом способ содержит этап, на котором учитывают информацию об ориентации оптического датчика (12) при определении информации об ориентации головы, получая по меньшей мере один параметр об ориентации головы относительно системы координат, связанной с Землей, независимо от текущей ориентации оптического датчика (12) или от ориентации аппаратуры (10), несущей или содержащей оптический датчик (12);

при этом способ содержит этап, на котором выполняют пространственное воспроизведение аудиосигнала в зависимости от информации об ориентации головы пользователя.

24. Машиночитаемый носитель, содержащий инструкции для выполнения способа по п. 23, когда инструкции исполняются на компьютере.