АУДИОПРОЦЕССОР И СПОСОБ ДЛЯ ОБЕСПЕЧЕНИЯ СИГНАЛОВ ГРОМКОГОВОРИТЕЛЕЙ Российский патент 2023 года по МПК H04S7/00 H04R27/00 

Область техники, к которой относится изобретение

Варианты осуществления согласно изобретению относятся к аудиопроцессору для обеспечения сигналов громкоговорителей. Дополнительные варианты осуществления согласно изобретению относятся к способу обеспечения сигналов громкоговорителей. Варианты осуществления настоящего изобретения относятся в общем к аудиопроцессорам для рендеринга аудио, при котором звук следует за слушателем.

Уровень техники

Общая проблема в воспроизведении аудио с помощью громкоговорителей состоит в том, что обычно воспроизведение является оптимальным только в пределах одного положения слушателя или небольшого диапазона положений, в «зоне наилучшего восприятия».

Эта проблема решается посредством предыдущих публикаций, включая источник [2], за счет отслеживания положения слушателя. Предлагаемые в [2] системы направлены на оптимизацию воспринимаемого звукового изображения в конкретной зависимой от пользователя точке или в пределах определенной зоны, в которой слушателю разрешается перемещаться.

Обычно эта зона ограничивается схемой конфигурации громкоговорителей, поскольку как только слушатель перемещается за пределы конфигурации громкоговорителей, звук более не может воспроизводиться намеченным способом.

Другая тенденция в воспроизведении звука заключается в системах воспроизведения для множества помещений. За счет них, например, один или более источников воспроизведения могут маршрутизироваться в различные громкоговорители, которые развертываются в зоне, например, в различных помещениях дома.

Соответственно, имеется потребность в аудиопроцессоре для обеспечения множества сигналов громкоговорителей, которые обеспечивают наилучший компромисс между сложностью и аудиовосприятием слушателя.

Раскрытие изобретения

Вариант осуществления согласно изобретению представляет собой аудиопроцессор для обеспечения множества сигналов громкоговорителей или подачи звука в громкоговорители на основании множества входных сигналов, таких как канальные сигналы и/или объектные сигналы. Аудиопроцессор выполнен с возможностью получения информации в отношении положения слушателя. Аудиопроцессор дополнительно выполнен с возможностью получения информации в отношении положения множества громкоговорителей или преобразователей звука, которые, например, могут быть размещены в одном и том же отсеке, например, в звуковой панели. Аудиопроцессор дополнительно выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов, таких как адаптированные канальные сигналы, извлекаемых из входных сигналов, таких как канальные сигналы или канальных объектов, либо таких как микшированные с повышением или микшированные с понижением сигналы. Адаптация местоположения зависит от информации в отношении положения слушателя и от информации в отношении положений громкоговорителей. Например, аудиопроцессор может выбирать поднабор громкоговорителей для использования, например, в зависимости от расстояния между слушателем и громкоговорителями. Другими словами, аудиопроцессор определяет, какие громкоговорители должны использоваться при рендеринге различных канальных объектов или адаптированных сигналов. Процессор аудиосигналов дополнительно выполнен с возможностью рендеринга объектов и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя, от информации в отношении положений громкоговорителей, и в зависимости от упомянутого выделения, для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается.

Другими словами, аудиопроцессор использует сведения в отношении положения громкоговорителей и положения слушателя или слушателей, чтобы оптимизировать воспроизведение аудио и рендерировать аудиосигналы посредством использования уже доступных громкоговорителей. Например, один или более слушателей могут свободно перемещаться в помещении или в зоне, в которой различные средства воспроизведения аудио, такие как пассивные громкоговорители, активные громкоговорители, интеллектуальные динамики, звуковые панели, стыковочные станции, телевизионные приемники, расположены в различных положения. Изобретенная система способствует тому, чтобы слушатель мог наслаждаться воспроизведением аудио, как если он находится в центре схемы размещения громкоговорителей, с учетом текущей установки громкоговорителей в окружающей зоне.

В предпочтительном варианте осуществления аудиопроцессор выполнен с возможностью получения информации в отношении ориентации слушателя. Процессор аудиосигналов дополнительно выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объекта и/или канального объекта, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, в зависимости от информации в отношении ориентации слушателя. Процессор аудиосигналов дополнительно выполнен с возможностью рендеринга объектов и/или канальных объектов и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации слушателя, для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за ориентацией слушателя.

Рендеринг объектов и/или канальных объектов и/или адаптированных сигналов согласно ориентации слушателя, например, является аналогией в отношении громкоговорителей для поведения наушников при вращении головы слушателя. Например, положение воспринимаемых источников остается фиксированной относительно ориентации головы слушателя, в то время как слушатель вращается.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью получения информации в отношении ориентации и/или в отношении акустической характеристики, и/или в отношении спецификации громкоговорителей. Аудиопроцессор дополнительно выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, в зависимости от информации в отношении ориентации и/или в отношении характеристики, и/или в отношении спецификации громкоговорителей. Аудиопроцессор дополнительно выполнен с возможностью рендеринга объекта и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации и/или в отношении характеристики, и/или в отношении спецификации громкоговорителей, для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем и/или ориентацией слушателя, когда слушатель перемещается или поворачивается. Пример для характеристики громкоговорителя может представлять собой информацию в отношении того, представляет громкоговоритель собой часть массива динамиков или нет, либо в отношении того, представляет громкоговоритель собой динамик из массива или нет, либо в отношении того, может громкоговоритель использоваться для формирования диаграммы направленности или нет. Дополнительный пример для характеристик громкоговорителя представляет собой его поведение по излучению, например, сколько энергии он излучает в различных направлениях для различных частот.

Получение информации в отношении ориентации и/или в отношении характеристик, и/или в отношении спецификации громкоговорителей может улучшать восприятие слушателя. Например, выделение может улучшаться посредством выбора громкоговорителей с корректной ориентацией и характеристиками. Альтернативно, например, рендеринг может улучшаться посредством коррекции сигнала согласно ориентации и/или характеристикам, и/или спецификации громкоговорителей.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью плавного и/или динамического изменения выделения громкоговорителей для воспроизведения объекта или канального объекта, или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, между первой ситуацией и второй ситуацией. В первой ситуации, объекты и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются первой конфигурации громкоговорителей, такой как, например, 5.1, соответствующая канально-ориентированному входному сигналу и/или конфигурации каналов, такой как, например, 5.1, для входного сигнала. Другими словами, в первой ситуации, предусмотрено выделение «один к одному» канальных объектов громкоговорителям. Во второй ситуации, объекты и/или канальные объекты, и/или адаптированные сигналы канально-ориентированного входного сигнала выделяются истинному поднабору громкоговорителей из первой конфигурации громкоговорителей и по меньшей мере одному дополнительному громкоговорителю, который не принадлежит первой конфигурации громкоговорителей.

Другими словами, восприятие слушателя может улучшаться, например, посредством выделения ближайшего поднабора громкоговорителей данной конфигурации и по меньшей мере одного дополнительного громкоговорителя, который ситуативно находится рядом или ближе других громкоговорителей из конфигурации громкоговорителей. Соответственно, не обязательно рендерировать входной сигнал, который имеет данную конфигурацию каналов, в набор громкоговорителей, имеющих фиксированное ассоциирование с этой конфигурацией каналов.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью плавного и/или динамического выделения громкоговорителей первой конфигурации громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, между первой ситуацией и второй ситуацией. В первой ситуации, объекты и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются первой конфигурации громкоговорителей, такой как 5.1, соответствующая конфигурации каналов, такой как 5.1, для канально-ориентированного входного сигнала с первой схемой размещения громкоговорителей. Другими словами, например, в первой ситуации, предусмотрено выделение «один к одному» канальных объектов громкоговорителям с первой схемой размещения громкоговорителей. Во второй ситуации, объекты и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются второй конфигурации громкоговорителей, такой как 5.1, которая соответствует канально-ориентированной конфигурации каналов, такой как 5.1, для входного сигнала со второй схемой размещения громкоговорителей. Другими словами, во второй ситуации, предусмотрено выделение «один к одному» канальных объектов громкоговорителям со второй схемой размещения громкоговорителей.

Восприятие слушателя может улучшаться посредством адаптации выделения и рендеринга между двумя конфигурациями громкоговорителей с различными схемами размещения громкоговорителей. Например, слушатель перемещается из первой конфигурации громкоговорителей с первой схемой размещения громкоговорителей, в которой слушатель ориентируется к центральному громкоговорителю, во вторую конфигурацию громкоговорителей со схемой размещения громкоговорителей, в которой, например, слушатель ориентируется к одному из задних громкоговорителей. В этом примерном случае, ориентация звукового поля следует за слушателем, при этом выделение каналов входного сигнала громкоговорителям может отклоняться от стандартного или «естественного» выделения.

В предпочтительном варианте осуществления, процессор аудиосигналов выполнен с возможностью плавного и/или динамического выделения громкоговорителей из первой конфигурации громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, согласно первой схеме выделения, в соответствии с первой схемой размещения громкоговорителей. Аудиопроцессор дополнительно выполнен с возможностью плавного и/или динамического выделения громкоговорителей из второй конфигурации громкоговорителей для воспроизведения выделенных объектов и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, согласно второй схеме выделения, которая отличается от первой схемы выделения, в соответствии со второй схемой размещения громкоговорителей. Другими словами, процессор аудиосигналов допускает плавное выделение объектов и/или канальных объектов, и/или адаптированных сигналов, например, между различными конфигурациями громкоговорителей с различными схемами размещения громкоговорителей. Например, по мере того, как слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, аудиоизображение следует за слушателем. Аудиопроцессор выполнен с возможностью, например, выделения объектов и/или канальных объектов, и/или адаптированных сигналов, даже если конфигурации громкоговорителей отличаются (например, содержат различное число громкоговорителей), например, первая конфигурация громкоговорителей представляет собой аудиосистему 5.1, и вторая конфигурация громкоговорителей представляет собой стереосистему.

В предпочтительном варианте осуществления, конфигурация громкоговорителей соответствует конфигурации каналов, такой как 5.1, для входных сигналов. Аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из конфигурации громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов таким образом, что выделение отклоняется от соответствия, в ответ на различие положения и/или ориентации слушателя в отношении стандартного (или по умолчанию) положения и/или ориентации слушателя, ассоциированных с конфигурацией громкоговорителей.

Другими словами, например, аудиопроцессор может изменять ориентацию звукового изображения таким образом, что канальные объекты выделяются не тем громкоговорителям, которым они должны выделяться нормально в соответствии со стандартизированным (или по умолчанию) соответствием между канальными сигналами и громкоговорителями, а другим громкоговорителям. Например, если ориентация слушателя отличается от ориентации схемы размещения громкоговорителей из конфигурации громкоговорителей, аудиопроцессор, например, может выделять объекты и/или канальные объекты, и/или адаптированные сигналы громкоговорителям из конфигурации громкоговорителей, например, чтобы корректировать различие ориентации между слушателем и схемой размещения громкоговорителей, за счет этого приводя к лучшему аудиовосприятию слушателя.

В предпочтительном варианте осуществления, первая конфигурация громкоговорителей соответствует конфигурации каналов, такой как 5.1, согласно первому соответствию. Аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из первой конфигурации громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов согласно этому первому соответствию. Это означает, например, стандартизированное (или по умолчанию) выделение аудиосигналов или каналов, соответствующих данному аудиоформату, такому как аудиоформат 5.1, громкоговорителям из конфигурации громкоговорителей, соответствующей данному аудиоформату. Вторая конфигурация громкоговорителей соответствует конфигурации каналов согласно второму соответствию. Аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из второй конфигурации громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов таким образом, что выделение громкоговорителям отклоняется от этого второго соответствия.

Другими словами, например, аудиопроцессор выполнен с возможностью сохранения ориентации звукового изображения между конфигурациями громкоговорителей, даже если ориентация конфигураций громкоговорителей или схем размещения громкоговорителей отличается друг от друга. Например, если слушатель перемещается из первой конфигурации громкоговорителей, в которой слушатель ориентируется к центральному громкоговорителю, во вторую схему размещения громкоговорителей, в которой слушатель ориентируется к заднему громкоговорителю, аудиопроцессор адаптирует выделение объектов и/или канальных объектов, и/или адаптированных сигналов громкоговорителям из второй конфигурации громкоговорителей таким образом, что ориентация звукового изображения остается.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью динамического выделения поднабора всех громкоговорителей из всех конфигураций громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы.

Для некоторых ситуаций, преимущественно, если аудиопроцессор выполнен с возможностью, например, выделения объектов и/или канальных объектов, и/или адаптированных сигналов поднабору всех громкоговорителей, например, на основании ориентации громкоговорителей или расстояния между громкоговорителями и слушателем, за счет этого обеспечивая, например, аудиовосприятие в зонах между конфигурациями громкоговорителей. Например, если слушатель находится между первой и второй конфигурациями громкоговорителей, аудиопроцессор, например, может выделять только задние громкоговорители из двух конфигураций громкоговорителей.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью динамического выделения поднабора всех громкоговорителей из всех конфигураций громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных канальных сигналов, таких как адаптированные сигналы, извлекаемые из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы таким образом, что поднабор громкоговорителей окружает слушателя.

Другими словами, например, аудиопроцессор выбирает поднабор всех доступных громкоговорителей таким образом, что слушатель расположен между или среди выбранных громкоговорителей. Выбор громкоговорителей может быть основан, например, на расстоянии между громкоговорителями и слушателем, на ориентации громкоговорителей и на положении громкоговорителей. Аудиовосприятие слушателя считается лучше, если, например, слушатель окружён громкоговорителями.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью рендеринга объектов и/или канальных объектов и/или адаптированных сигналов, извлекаемых из входных сигналов, таких как канальные сигналы или канальные объекты, либо таких как микшированные с повышением или микшированные с понижением сигналы, с заданными временами следования таким образом, чтобы звуковое изображение следовало за слушателем таким способом, при котором рендеринг плавно адаптируется во времени.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью идентификации громкоговорителей в заданном окружении слушателя. Аудиопроцессор дополнительно выполнен с возможностью адаптации конфигурации, числа сигналов, доступных для рендеринга, для входных сигналов, таких как канальные сигналы и/или объектные сигналы, к числу идентифицированных громкоговорителей, что означает адаптацию сигналов через повышающее микширование и/или понижающее микширование. Аудиопроцессор дополнительно выполнен с возможностью динамического выделения идентифицированных громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов. Аудиопроцессор дополнительно выполнен с возможностью рендеринга объектов и/или канальных объектов и/или адаптированных сигналов в сигналы громкоговорителей для ассоциированных громкоговорителей в зависимости от информации о положении объектов и/или канальных объектов, и/или адаптированных сигналов и в зависимости от стандартизированного (или по умолчанию) положения громкоговорителей.

Другими словами, аудиопроцессор выбирает громкоговорители согласно заданному требованию, например, на основании ориентации громкоговорителя и/или расстояния между слушателем и громкоговорителем. Аудиопроцессор адаптирует число каналов, в которое микшируются с повышением или микшируются с понижением входные сигналы (с тем чтобы получать адаптированные сигналы), к числу выбранных громкоговорителей. Аудиопроцессор выделяет адаптированные сигналы громкоговорителям, например, на основании ориентации слушателя и/или ориентации громкоговорителя. Аудиопроцессор рендерирует адаптированные сигналы в сигналы громкоговорителей для выделенных громкоговорителей, например, на основании стандартизированного (или по умолчанию) положения громкоговорителей и/или на основании информации о положении относительно объектов и/или канальных объектов, и/или адаптированных сигналов.

Аудиопроцессор улучшает аудиовосприятие слушателя, например, посредством выбора громкоговорители вокруг слушателя, адаптации входного сигнала к выбранным громкоговорителям, выделения адаптированных сигналов громкоговорителям на основании ориентации громкоговорителя и слушателя и рендеринга адаптированных сигналов на основании информации о положении или положения громкоговорителей по умолчанию. Таким образом, например, в результате может возникать ситуация, в которой слушатель, окруженный посредством различных конфигураций громкоговорителей, воспринимает одинаковое звуковое изображение в то время, когда слушатель перемещается из одной конфигурации громкоговорителей в другую конфигурацию громкоговорителей и/или перемещается между конфигурациями громкоговорителей, даже если, например, конфигурации громкоговорителей ориентируются по-другому и/или имеют другое число каналов.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью вычисления положения или абсолютного положения объектов и/или канальных объектов на основании информации в отношении положения и/или ориентации слушателя. Вычисление положения объектов и/или канальных объектов дополнительно улучшает восприятие слушателя, например, посредством выделения объектов ближайшему громкоговорителю, например, в отношении ориентации слушателя.

Согласно варианту осуществления, аудиопроцессор выполнен с возможностью физической компенсации рендерируемых объектов и/или канальных объектов, и/или адаптированных сигналов в зависимости от положения громкоговорителей по умолчанию, от фактического положения громкоговорителя и от взаимосвязи между зоной наилучшего восприятия и положением слушателя. Аудиовосприятие может улучшаться, например, посредством регулирования громкости и сдвига фаз громкоговорителей, если, например, слушатель не находится в зоне наилучшего восприятия стандартной (или по умолчанию) конфигурации громкоговорителей.

Согласно дополнительному варианту осуществления, аудиопроцессор выполнен с возможностью динамического выделения одного или более громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов в зависимости от расстояний между положением объектов и/или канальных объектов, и/или адаптированных сигналов и громкоговорителями.

Согласно дополнительному варианту осуществления, аудиопроцессор выполнен с возможностью динамического выделения одного или более громкоговорителей, имеющих наименьшее расстояние или наименьшие расстояния от абсолютного положения объектов и/или канальных объектов, и/или адаптированных сигналов для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов. В примерной ситуации, объект и/или канальный объект могут быть расположены в пределах заданного диапазона одного или более громкоговорителей. В этом примере, аудиопроцессор имеет возможность выделять объект и/или канальный объект всем этим громкоговорителям.

Согласно дополнительному варианту осуществления, входной сигнал имеет амбиофонический формат и/или амбиофонический формат высшего порядка, и/или бинауральный формат. Аудиопроцессор имеет возможность обрабатывать, например, аудиоформаты, которые также включают в себя информацию о положении.

Согласно дополнительным вариантам осуществления, аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов таким образом, что звуковое изображение объектов и/или канальных объектов, и/или адаптированных сигналов следует за поступательным перемещением в пространстве и/или ориентационным перемещением слушателя. Независимо от того, изменяет ли, например, слушатель положение и/или ориентацию, звуковое изображение следует за слушателем.

В дополнительном варианте осуществления, аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов таким образом, что звуковое изображение объектов и/или канальных объектов, и/или адаптированных сигналов следует за изменением положения слушателя и изменением ориентации слушателя. В этом режиме рендеринга, аудиопроцессор допускает, например, имитацию наушников таким образом, что звуковые объекты имеют одинаковое положение относительно слушателя, даже если слушатель перемещается.

Согласно дополнительному варианту осуществления, аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов со следованием за изменением положения слушателя, но остается стабильным в отношении изменений ориентации слушателя. Этот режим рендеринга может приводить к звуковому восприятию, при котором звуковые объекты в звуковом поле имеют фиксированное направление, но по-прежнему следуют за слушателем.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов и/или канальных объектов, и/или адаптированных сигналов в зависимости от информации в отношении положений двух или более слушателей таким образом, что звуковое изображение объектов и/или канальных объектов, и/или адаптированных сигналов адаптируется в зависимости от перемещения или поворота двух или более слушателей. Например, слушатели могут перемещаться независимо, так что, например, одно звуковое изображение может рендерироваться с возможностью разбиения на два или более звуковых изображений, например, с использованием различных поднаборов громкоговорителей. Например, если первый слушатель перемещается к первой конфигурации громкоговорителей, и второй слушатель перемещается ко второй конфигурации громкоговорителей, начиная из того же положения, то, например, за обоими из них может следовать одинаковое звуковое изображение.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью отслеживания положения одного или более слушателей практически в реальном времени. Отслеживание в реальном времени или практически в реальном времени обеспечивает, например, более высокую скорость для слушателя или более плавное перемещение звукового изображения со следованием за слушателем.

Согласно варианту осуществления, аудиопроцессор выполнен с возможностью выполнения затухания звукового изображения между двумя или более конфигураций громкоговорителей в зависимости от координат положения слушателя таким образом, что фактический коэффициент затухания зависит от фактического положения слушателя или от фактического перемещения слушателя. Например, по мере того, как слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, громкость первой конфигурации громкоговорителей понижается, а громкость второй конфигурации громкоговорителей увеличивается, согласно положению слушателя. Например, если слушатель останавливается, громкость первой и второй конфигураций громкоговорителей не изменяется дополнительно при условии, что слушатель остается в своем положении. Зависимое от положения затухание обеспечивает плавный переход между конфигурациями громкоговорителей.

Согласно дополнительным вариантам осуществления, аудиопроцессор выполнен с возможностью затухания звукового изображения из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, при этом число громкоговорителей из второй конфигурации громкоговорителей отличается от числа громкоговорителей из первой конфигурации громкоговорителей. В примерной ситуации, звуковое изображение должно следовать за слушателем из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, даже если число громкоговорителей из двух конфигураций громкоговорителей отличается. Аудиопроцессор, например, может применять панорамирование, понижающее микширование или повышающее микширование, чтобы адаптировать входной сигнал к различному числу громкоговорителей из первой и/или второй конфигурации громкоговорителей.

Повышающее микширование не представляет собой единственный вариант для адаптации входного сигнала, например, к большему числу громкоговорителей из данной конфигурации громкоговорителей. Также может применяться простое панорамирование, что означает, что одинаковый сигнал воспроизводится на двух или более громкоговорителей. Напротив, «повышающее микширование» означает по меньшей мере в этом документе, что совершенно новые сигналы формируются потенциально с использованием сложного анализа и/или разделения компонентов входного сигнала.

Аналогично повышающему микшированию, «понижающее микширование» означает, что формируются совершенно новые сигналы, потенциально с использованием сложного анализа и/или объединения между собой компонентов входного сигнала.

Согласно варианту осуществления, аудиопроцессор выполнен с возможностью адаптивного микширования с повышением или микшировать с понижением объекты и/или канальные объекты в зависимости от числа объектов и/или канальных объектов во входном сигнале и в зависимости от числа громкоговорителей, динамически выделенных объектам и/или канальным объектам, для получения адаптированных сигналов. Например, слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, и число громкоговорителей в конфигурациях громкоговорителей отличается. В этом примерном случае, аудиопроцессор адаптирует число каналов, в которое микшируется с повышением или микшируется с понижением входной сигнал, из числа громкоговорителей в первой конфигурации громкоговорителей к числу громкоговорителей во второй конфигурации громкоговорителей. Адаптивное повышающее микширование или понижающее микширование входного сигнала приводит к лучшему восприятию слушателя, при котором, например, слушатель может воспринимать все каналы и/или объекты во входном сигнале, даже если доступно меньшее или большее число громкоговорителей.

В дополнительном варианте осуществления, аудиопроцессор выполнен с возможностью плавного перевода звуковое изображение из первого состояния во второе состояние. В первом состоянии, полное аудиосодержимое рендерируется в первую конфигурацию громкоговорителей, при том что сигналы не применяются ко второй конфигурации громкоговорителей. Во втором состоянии, окружающий звук аудиосодержимого, представленного посредством входных сигналов, рендерируется в первую конфигурацию громкоговорителей либо в один или более громкоговорителей из первой конфигурации громкоговорителей, в то время как направленные компоненты аудиосодержимого рендерируется во вторую конфигурацию громкоговорителей. Например, входной сигнал может содержать объемные окружающие каналы и прямые каналы. Тем не менее, также можно извлекать окружающий звук (или окружающие каналы) и направленные компоненты (или прямые каналы) из входных сигналов с использованием повышающего микширования или с использованием извлечения на основании объемного окружения. В примерном сценарии, слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, в то время как только направленные компоненты, такие как диалог из фильма, следуют за слушателем. Этот способ рендеринга позволяет слушателю, например, фокусироваться в большей степени на направленных компонентах аудиосодержимого, по мере того, как слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей.

Согласно дополнительным вариантам осуществления, аудиопроцессор выполнен с возможностью плавного перевода аудиоизображения из первого состояния во второе состояние. В первом состоянии, полное аудиосодержимое рендерируются в первую конфигурацию громкоговорителей, при том что сигналы не применяются ко второй конфигурации громкоговорителей. Во втором состоянии, окружающий звук аудиосодержимого, представленного посредством входных сигналов и направленных компонентов аудиосодержимого, рендерируется в различные громкоговорители во второй конфигурации громкоговорителей. Например, входной сигнал может содержать объемные окружающие каналы и прямые каналы. Тем не менее, также можно извлекать окружающий звук (или окружающие каналы) и направленные компоненты (или прямые каналы) из входных сигналов с использованием повышающего микширования или с использованием извлечения на основании объемного окружения. В примерном сценарии, слушатель перемещается из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, причем число громкоговорителей во второй конфигурации громкоговорителей, например, выше числа громкоговорителей в первой конфигурации громкоговорителей либо числа каналов и/или объектов во входном сигнале. В этом примерном случае все каналы и/или объекты во входном сигнале могут выделяться громкоговорителю из второй конфигурации громкоговорителей, и оставшиеся невыделенные громкоговорители из второй конфигурации громкоговорителей, например, могут воспроизводить окружающий звуковой компонент аудиосодержимого. Как результат, слушатель, например, может окружаться в большей степени окружающим содержимым.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью ассоциирования информации о положении с аудиоканалом канально-ориентированного аудиосодержимого для получения канального объекта, при этом информация о положении представляет положение громкоговорителя, ассоциированного с аудиоканалом. Например, если входной сигнал содержит аудиоканалы без информации о положении, аудиопроцессор выделяет информацию о положении аудиоканалу для получения канального объекта. Информация о положении, например, может представлять положение громкоговорителя, ассоциированного с аудиоканалом, за счет этого создавая канальные объекты из аудиоканалов.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью динамического выделения определённого одного громкоговорителя для воспроизведения объектов и/или канальных объектов и/или адаптированных сигналов, который расположен ближе всего к слушателю, при условии, что слушатель находится в пределах заданного диапазона расстояний от данного одного громкоговорителя. В этом способе рендеринга, например, аудиопроцессор выделяет объекты и/или канальные объекты, и/или адаптированные сигналы водному громкоговорителю. Например, с использованием определимого времени регулирования и/или затухания и/или плавного перехода объекты и/или канальные объекты воспроизводятся с использованием громкоговорителя, ближайшего к их положению относительно слушателя. Другими словами, например, с использованием определимого времени регулирования и/или затухания и/или плавного перехода объекты и/или канальные объекты воспроизводятся посредством громкоговорителя, ближайшего и находящегося в пределах заданного расстояния относительно положения слушателя.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью выполнения постепенного затухания сигнала данного одного громкоговорителя, в ответ на обнаружение того, что слушатель выходит из заданного диапазона. Например, если слушатель находится на слишком большом расстоянии от громкоговорителя, аудиопроцессор выполняет постепенное затухание громкоговорителя, что обеспечивает, к примеру, большую энергоэффективность системы воспроизведения аудио.

В предпочтительном варианте осуществления, аудиопроцессор выполнен с возможностью определения того, в какие сигналы громкоговорителей рендерируются объекты и/или канальные объекты и/или адаптированные сигналы. Рендеринг зависит от расстояния для двух громкоговорителей, таких как смежные громкоговорители, и/или зависит от угла между двумя громкоговорителями при просмотре из положения слушателя. Например, аудиопроцессор может выбирать между рендерингом входного сигнала попарно в два громкоговорителя или рендерингом входного сигнала в один громкоговоритель. Этот способ рендеринга, например, позволяет звуковому изображению следовать за ориентацией слушателя.

Дополнительные варианты осуществления согласно изобретению создают соответствующие способы.

Тем не менее, следует отметить, что способы основаны на одинаковых соображениях с соответствующим аудиопроцессором. Кроме того, способы могут дополняться любыми из признаков, функциональностей и подробностей, которые описаны в данном документе в отношении аудиопроцессора, как по отдельности, так и в сочетании.

В качестве дополнительного общего комментария, следует отметить, что конфигурации громкоговорителей, упомянутые в данном документе, могут при необходимости перекрываться. Другими словами, один или более громкоговорителей из «второй конфигурации громкоговорителей» при необходимости также могут представлять собой часть «первой конфигурации громкоговорителей». Тем не менее, в качестве альтернативы, «первая конфигурация громкоговорителей» и «вторая конфигурация громкоговорителей» могут быть отдельными и могут не содержать общие громкоговорители.

Краткое описание чертежей

Ниже описаны варианты осуществления согласно настоящей заявке с обращением к сопровождающим чертежам, на которых:

Фиг. 1 показывает упрощенное схематичное представление аудиопроцессора;

Фиг. 2 показывает схематичное представление сценария рендеринга с двумя конфигурациями громкоговорителей;

Фиг. 3 показывает схематичное представление другого сценария рендеринга с двумя конфигурациями громкоговорителей;

Фиг. 4 показывает схематичное представление примера рендеринга с фиксированными положениями объектов;

Фиг. 5 показывает схематичное представление примера рендеринга, в котором звук следует за поступательным перемещением в пространстве и при необходимости вращательным перемещением слушателей;

Фиг. 6 показывает схематичное представление другого сценария рендеринга с тремя конфигурациями громкоговорителей;

Фиг. 7 показывает схематичное представление примерной системы воспроизведения звука с аудиопроцессором;

Фиг. 8 показывает схематичное представление адаптации сигналов;

Фиг. 9 показывает схематичное представление аудиопроцессора и также, в качестве примера, конфигураций различного количества отдельных громкоговорителей;

Фиг. 10 показывает другое схематичное представление аудиопроцессора;

Фиг. 11 показывает другое схематичное представление примера рендеринга с фиксированными положениями объектов;

Фиг. 12 показывает схематичное представление примера рендеринга, в котором звук следует за поступательным перемещением в пространстве и вращательным перемещением слушателей;

Фиг. 13 показывает схематичное представление примера рендеринга, в котором звук следует только за поступательным перемещением в пространстве слушателей;

Фиг. 14 показывает другое схематичное представление примерной системы воспроизведения звука с аудиопроцессором и со слушателем;

Фиг. 15 показывает упрощенную блок-схему способа, представляющую основные функции аудиопроцессора согласно изобретению;

Фиг. 16 показывает более сложную блок-схему способа, представляющую основные функции аудиопроцессора согласно изобретению.

Осуществление изобретения

Ниже описаны различные варианты осуществления и аспекты согласно изобретению. Кроме того, дополнительные варианты осуществления определяются приложенной формулой изобретения.

Следует отметить, что любые варианты осуществления, заданные посредством формулы изобретения, могут дополняться посредством любых из подробностей (признаков и функциональностей), описанных в данном документе. Кроме того, варианты осуществления, описанные в данном документе, могут использоваться отдельно и также при необходимости могут дополняться посредством любых из подробностей (признаков и функциональностей), включенных в формулу изобретения. Кроме того, следует отметить, что отдельные аспекты, описанные в данном документе, могут использоваться отдельно или в комбинации. Таким образом, подробности могут добавляться в каждый из упомянутых отдельных аспектов без добавления подробностей в другой из упомянутых аспектов. Также следует отметить, что настоящее раскрытие сущности описывает явно или неявно признаки, применимые в процессоре аудиосигналов. Таким образом, любые из признаков, описанных в данном документе, могут использоваться в контексте процессора аудиосигналов.

Кроме того, признаки и функциональности, раскрытые в данном документе по отношению к способу, также могут использоваться в устройстве (выполненном с возможностью выполнения такой функциональности). Кроме того, любые признаки и функциональности, раскрытые в данном документе в отношении устройства, также могут использоваться в соответствующем способе. Другими словами, способы, раскрытые в данном документе, могут дополняться посредством любых из признаков и функциональностей, описанных в отношении устройства.

Изобретение должно лучше пониматься из подробного описания, приведенного ниже, и из сопровождающих чертежей вариантов осуществления изобретения, которые, тем не менее, не должны рассматриваться как ограничение изобретения описанными конкретными вариантами осуществления, а служат только для пояснения и понимания.

Вариант осуществления согласно фиг. 14

Фиг. 14 показывает аудиосистему 1400 и слушателя 1450. Аудиосистема 1400 содержит аудиопроцессор 1410 и множество конфигураций 1420a-c громкоговорителей. Каждая конфигурация 1420a, 1420b, 1420c громкоговорителей содержит один или более громкоговорителей 1430. Все громкоговорители 1430 из конфигураций 1420a, 1420b, 1420c громкоговорителей соединяются (прямо или косвенно) с выходным контактным разъемом аудиопроцессора 1410. Вводы аудиопроцессора 1410 представляют собой положение 1455 слушателя, положение 1435 громкоговорителей и входной сигнал 1440. Входной сигнал 1440 содержит аудиообъекты 1443 и/или канальные объекты 1446, и/или адаптированные сигналы 1449.

Аудиопроцессор 1410 динамически обеспечивает множество сигналов 1460 громкоговорителей из входного сигнала 1440 таким образом, что звук следует за слушателем. На основании информации в отношении положения 1455 слушателя и информации в отношении положения 1435 громкоговорителей, аудиопроцессор 1410 динамически выделяет объекты 1443 и/или канальные объекты 1446, и/или адаптированные сигналы 1449 входного сигнала 1440 громкоговорителям 1430. По мере того, как слушатель 1450 изменяет положение, аудиопроцессор 1410 адаптирует выделение объектов 1443 и/или канальных объектов 1446, и/или адаптированных сигналов 1449 различным громкоговорителям 1430. На основании положения 1455 слушателя и положения 1435 громкоговорителей, аудиопроцессор 1410 динамически рендерирует аудиообъекты 1443 и/или канальные объекты 1446, и/или адаптированные сигналы 1449 для получения сигналов 1460 громкоговорителей таким образом, чтобы звук следовал за слушателем 1450.

Другими словами, аудиопроцессор 1410 использует сведения в отношении положения 1435 громкоговорителей и положения 1455 слушателя для оптимизации воспроизведения аудио и рендеринга аудиосигнала посредством преимущественно с использованием доступных громкоговорителей 1420. Слушатель 1450 может свободно перемещаться в помещении или в большой зоне, в которой различные средства воспроизведения аудио, такие как пассивные громкоговорители, активные громкоговорители, интеллектуальные динамики, звуковые панели, стыковочные станции, телевизоры, расположены в различных положениях. Слушатель 1450 может наслаждаться воспроизведением аудио, как если он находится в центре схемы размещения громкоговорителей, с учетом текущей установки громкоговорителей в окружающей зоне.

Вариант осуществления согласно фиг. 15

Фиг. 15 показывает упрощенную блок-схему 1500, которая содержит основные функции аудиопроцессора 1510, который может быть аналогичным аудиопроцессору 1410 на фиг. 14. Вводы аудиопроцессора 1510 представляют собой положение 1555 слушателя, положение 1535 громкоговорителей и входные сигналы 1540. Аудиопроцессор 1510 имеет две основных функции: выделение 1550 сигналов громкоговорителям, с последующим выполнением рендеринга 1520 либо с возможным комбинированием с рендерингом. Вводы выделения 1550 сигналов представляют собой входные сигналы 1540, положение 1555 слушателя и положение 1535 громкоговорителей. Вывод выделения 1550 сигналов соединяется с рендерингом 1520. Дополнительные вводы рендеринга 1520 представляют собой положение 1555 слушателя и положение 1535 громкоговорителей. Вывод рендеринга 1520, который представляет собой вывод аудиопроцессора 1510, также представляет собой сигналы 1560 громкоговорителей.

Аудиопроцессор 1510, положение 1555 слушателя, положение 1535 громкоговорителей, входные сигналы 1540 и сигналы 1560 громкоговорителей, соответственно, могут быть аналогичными аудиопроцессору 1410, положению 1455 слушателя, положению 1435 громкоговорителей, входному сигналу 1440 и сигналам 1460 громкоговорителей на фиг. 14.

На основании положения 1555 слушателя и положения 1535 громкоговорителей, аудиопроцессор 1510 выделяет 1550 входные сигналы 1540 громкоговорителям 1430 на фиг. 14. В качестве следующего этапа, аудиопроцессор 1510 рендерирует 1520 входные сигналы 1540 на основании положения 1555 слушателя и положения 1535 громкоговорителей, что в результате приводит к сигналам 1560 громкоговорителей.

Вариант осуществления согласно фиг. 16

Фиг. 16 показывает более подробную блок-схему 1600, которая содержит функции аудиопроцессора 1610, который может быть аналогичным аудиопроцессору 1410 на фиг. 14. Блок-схема 1600 является аналогичной упрощенной блок-схеме 1500, но она является более подробной. Вводы аудиопроцессора 1610 представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и входные сигналы 1640. Выводы аудиопроцессора 1610, представляют собой сигналы 1660 громкоговорителей. Функции аудиопроцессора 1610 представляют собой вычисление либо считывание и/или извлечение 1630 положений объектов, с последующим выполнением идентификации 1670 громкоговорителей, с последующим выполнением повышающего микширования и/или понижающего микширования 1680, с последующим выполнением выделения 1650 сигналов громкоговорителям, с последующим выполнением рендеринга 1620, с последующим выполнением физической компенсации 1690. Вводы функции вычисления 1630 положений объектов представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и входные сигналы 1640. Вывод этой функции соединяется с функцией идентификации 1670 громкоговорителей. Вводы функции идентификации 1670 громкоговорителей представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и вычисленные положения объектов. Вывод этой функции соединяется с функцией повышающего микширования и/или понижающего микширования 1680. Эта функция не принимает другой ввод, и ее вывод соединяется с функцией выделения 1650 сигналов громкоговорителям. Вводы функции выделения 1650 сигналов громкоговорителям представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и микшированные с повышением/микшированные с понижением сигналы. Вывод функции выделения 1650 сигналов громкоговорителям соединяется с функцией рендеринга 1620. Вводы функции рендеринга представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и выделенные сигналы. Вывод функции рендеринга соединяется с функцией физической компенсации 1690. Вводы функции физической компенсации 1690 представляют собой положение 1655 слушателя, положение 1635 громкоговорителей и рендерируемые сигналы. Вывод функции физической компенсации 1690, которая представляет собой вывод аудиопроцессора 1610, представляет собой сигналы 1660 громкоговорителей.

Аудиопроцессор 1610, положение 1655 слушателя, положение 1635 громкоговорителей, входные сигналы 1640 и сигналы 1660 громкоговорителей, соответственно, могут быть аналогичными аудиопроцессору 1410, положению 1455 слушателя, положению 1435 громкоговорителей, входному сигналу 1440 и сигналам 1460 громкоговорителей на фиг. 14.

Блок-схема 1600, аудиопроцессор 1610, положение 1655 слушателя, положение 1635 громкоговорителей, входные сигналы 1640, сигналы 1660 громкоговорителей и функции 1650 выделения сигналов и 1620 рендеринга, соответственно, могут быть аналогичными блок-схеме 1500, аудиопроцессору 1510, положению 1555 слушателя, положению 1535 громкоговорителей, входному сигналу 1540, сигналам 1560 громкоговорителей и функциям 1550 выделения сигналов и 1520 рендеринга на фиг. 15.

В качестве первого этапа, аудиопроцессор 1610 вычисляет положения 1630 объектов для объектов и/или канальных объектов входных сигналов 1640. Положение объектов может представлять собой абсолютное положение и/или быть либо относительным по отношению к положению 1655 слушателя и/или относительной по отношению к положению 1635 громкоговорителей. В качестве следующего этапа, аудиопроцессор 1610 идентифицирует и выбирает громкоговорители 1670 в пределах заданного расстояния от положения 1655 слушателя и/или в пределах заданного расстояния от вычисленных положений объектов. В качестве следующего этапа, аудиопроцессор 1610 адаптирует число каналов и/или число объектов во входных сигналах 1640 к числу выбранных громкоговорителей. Если число каналов и/или число объектов во входном сигнале 1640 отличаются от числа выбранных громкоговорителей, аудиопроцессор 1610 микширует с повышением и/или микширует с понижением 1680 входные сигналы 1640. В качестве следующего этапа, аудиопроцессор 1610 выделяет адаптированные микшированные с повышением и/или микшированные с понижением сигналы выбранным громкоговорителям 1650, на основании положения 1655 слушателя и положения 1635 громкоговорителей. В качестве следующего этапа, аудиопроцессор 1610 рендерирует 1620 адаптированные и выделенные сигналы в зависимости от положения 1655 слушателя и от положения 1635 громкоговорителей. В качестве следующего этапа, аудиопроцессор 1610 физически компенсирует различие между стандартной схемой размещения громкоговорителей и текущей схемой размещения громкоговорителей и/или различие между текущим положением слушателя 1655 и положением зоны наилучшего восприятия стандартной (и/или по умолчанию) схемы размещения громкоговорителей. Физически компенсированные сигналы представляют собой выходные сигналы аудиопроцессора 1610 и отправляются в громкоговорители 1430 на фиг. 14, в качестве сигналов 1660 громкоговорителей.

Вариант осуществления согласно фиг. 1

Фиг. 1 показывает базовое представление аудиопроцессора 110, который может быть аналогичным аудиопроцессору 1410 на фиг. 14. Вводы аудиопроцессора 110 представляют собой аудиоввод или входные сигналы 140, информацию в отношении положения и ориентации 155 слушателя, информацию в отношении положения и ориентации 135 громкоговорителей и информацию в отношении характеристик 145 излучения громкоговорителей. Вывод аудиопроцессора 110 представляют собой аудиовывод или сигналы 160 громкоговорителей.

Аудиопроцессор 110, положение 155 слушателя, положение 135 громкоговорителей, входные сигналы 140 и сигналы 160 громкоговорителей, соответственно, могут быть аналогичными аудиопроцессору 1410, положению 1455 слушателя, положению 1435 громкоговорителей, входному сигналу 1440 и сигналам 1460 громкоговорителей на фиг. 14.

Аудиопроцессор 110 принимает и обрабатывает аудиоввод или входные сигналы 140, информацию в отношении положения и/или ориентации 155 слушателя, информацию в отношении положения и ориентации 135 громкоговорителей и информацию в отношению характеристик 145 излучения громкоговорителей для создания аудиовывода или сигналов 160 громкоговорителей.

Другими словами, фиг. 1 показывает базовую реализацию аудиопроцессора 110. Один или более аудиоканалов принимаются (например, в форме аудиоввода 140), обрабатываются и выводятся. Обработка определяется за счёт расположения и/или ориентации 155 слушателя и за счёт положения и/или ориентации и характеристик 135, 145 громкоговорителя. Система согласно изобретению способствует тому, что слушатель может наслаждаться воспроизведением аудио, как если он находится в центре схемы размещения громкоговорителей с учетом текущих установок громкоговорителей в окружающей зоне.

Вариант осуществления согласно фиг. 7

Фиг. 7 показывает схематичное представление системы 700 воспроизведения аудио, которая может соответствовать системе 1400 воспроизведения аудио на фиг. 14, и множества устройств 750 воспроизведения. Система 700 воспроизведения аудио содержит аудиопроцессор 710, который может быть аналогичным аудиопроцессору 1410 на фиг. 14, и множество громкоговорителей 730. Множество громкоговорителей 730 могут содержать, например, интеллектуальный монодинамик 793 (который, например, может становиться частью конфигурации) и/или стереосистему 796 (которая, например, может формировать конфигурацию и которая, например, может становиться частью большей конфигурации), и/или звуковую панель 799 (которая, например, может становиться частью конфигурации и которая, например, может содержать несколько головок громкоговорителя, которые размещаются в звуковой панели). Множество громкоговорителей 730 соединяются с выводом аудиопроцессора 710. Ввод аудиопроцессора 710 соединяется с множеством устройств 750 воспроизведения. Дополнительные вводы аудиопроцессора 710 представляют собой информацию в отношении положения и ориентации 755 слушателя и информацию в отношении положения и ориентации 735 громкоговорителей, и информацию в отношении характеристик 745 излучения громкоговорителя.

Система 700 воспроизведения аудио, аудиопроцессор 710, положение 755 слушателя, положение 735 громкоговорителей, входные сигналы 740, сигналы 760 громкоговорителей и громкоговорители 730, соответственно, могут быть аналогичными системе 1400 воспроизведения аудио, аудиопроцессору 1410, положению 1455 слушателя, положению 1435 громкоговорителей, входному сигналу 1440, сигналам 1460 громкоговорителей и громкоговорителям 1430 на фиг. 14.

Различные устройства 750 воспроизведения отправляют различные входные сигналы 740 в аудиопроцессор 710. Аудиопроцессор 710, на основании информации в отношении положения и ориентации 755 слушателя и на основании информации в отношении положения и ориентации 735 громкоговорителей, и на основании информации относительно характеристик 745 излучения громкоговорителя, выбирает поднабор громкоговорителей 730, адаптирует и выделяет входные сигналы 740 выбранным громкоговорителям 730 и рендерирует обработанные входные сигналы 740 в зависимости от информации в отношении положения слушателя и в отношении положения и ориентации громкоговорителя, и относительно характеристик 745 излучения громкоговорителя, чтобы формировать подачи звука в громкоговорители или сигналы 760 громкоговорителей. Подачи звука в громкоговорители или сигналы 760 громкоговорителей передаются в выбранные громкоговорители 730 таким образом, что звук следует за слушателем.

Фиг. 7 показывает технические подробности и примерные реализации предложенной системы. Способ согласно изобретению адаптивно выбирает конфигурацию громкоговорителей, например, поднабор или группу громкоговорителей 730, из набора всех доступных громкоговорителей 730. Выбранные поднаборы представляют собой текущие активные или адресованные громкоговорители 730. То, какие громкоговорители 730 выбираются в качестве части поднабора, зависит от положения 755 слушателя и выбранных пользовательских настроек. Выбранная группа громкоговорителей 730 в таком случае представляет собой активную конфигурацию для воспроизведения. Кроме того, различные выбираемые пользователем настройки могут выбираться с возможностью влияния на парадигму, которой придерживаются во время процесса рендеринга. Аудиопроцессор обязан знать (или должен знать) положение слушателя 1450 на фиг. 14. Положение 755 слушателя может отслеживаться, например, в реальном времени. Для некоторых вариантов осуществления, дополнительно ориентация или направление взгляда слушателя может использоваться для адаптации рендеринга. Аудиопроцессор также обязан знать (или должен знать) положение и ориентацию или конфигурацию громкоговорителей. В этой заявке или документе, не затрагивается тема того, как информация в отношении положения и ориентации пользователя обнаруживается или передается в служебных сигналах в систему. Также не затрагивается тема того, как положение и характеристики громкоговорителей передаются в служебных сигналах в систему. Доступно множество различных способов достижения этого. То же является применимым к положению стен, дверей и т.д. Предполагается, что эта информация известна системе.

Микширование согласно фиг. 8

Фиг. 8 дополнительно поясняет функцию повышающего микширования и/или понижающего микширования, аналогичную 1680 на фиг. 16, аудиопроцессора, аналогичного 1410 на фиг. 14. Фиг. 8a показывает матрицу 800a микширования, которая имеет входной сигнал 803a с x входных каналов и выходной сигнал 807a с y выходных каналов. Матрица 800a микширования вычисляет выходной сигнал 807a с y каналов из линейных комбинаций x входных каналов входного сигнала 803a, например, посредством дублирования или комбинирования одного или более входных каналов. Например, матрица микширования может быть простой. Например, матрица микширования может выполнять простое повторное использование (или многократное использование) данного сигнала, возможно выбранного с помощью простых коэффициентов, таких как, например, постоянные/мультипликативные коэффициенты уровня громкости или коэффициенты усиления, или коэффициенты громкости.

Фиг. 8b показывает матрицу 800b понижающего микширования, которая преобразует входной сигнал 803b с m каналов в выходной сигнал 807b с n каналов, где m выше n. Матрица 800b понижающего микширования использует активную обработку сигналов для того, чтобы уменьшать число каналов с m до n.

Фиг. 8c показывает пример использования повышающего микширования 800c для матрицы микширования. В этом случае, матрица микширования преобразует входной сигнал 803c с n каналов в выходной сигнал 807c с m каналов, где m выше n. Матрица 800c повышающего микширования использует активную обработку сигналов для того, чтобы увеличивать число каналов с n до m.

Функция повышающего микширования 800c и/или понижающего микширования 800b аудиопроцессора предлагает решение в случаях, когда номер канала входного аудиосигнала отличается от числа выбранных громкоговорителей, и когда активная обработка сигналов используется для преобразования числа каналов между входным аудиосигналом и числом выбранных громкоговорителей.

Например, понижающее микширование или повышающее микширование может представлять собой процессы активной и более сложной обработки сигналов по сравнению с чистой матрицей микширования: к примеру, использование анализа одного или более входных сигналов и время- и/или частотно-переменное регулирование коэффициентов усиления.

Сценарий использования согласно фиг. 2

Фиг. 2 показывает примерный сценарий 200 использования системы воспроизведения аудио, аналогичной 1400 на фиг. 14. Сценарий 200 использования содержит две конфигурации громкоговорителей 5.0: конфигурацию 1 210 и конфигурацию 2 220, контролируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14. Конфигурация 1 210 и конфигурация 2 220 при необходимости могут разделяться посредством стены 230 или других акустических преград. Конфигурация 1 210 и конфигурация 2 220 могут иметь стандартную (или по умолчанию) схему размещения громкоговорителей. Схема размещения громкоговорителей конфигурации 2 220 повёрнута, например, на 180º, по сравнению с конфигурацией 1 210. Обе конфигурации – конфигурация 1 210 и конфигурация 2 220 громкоговорителей имеют зону LP1 230 и LP2 240 наилучшего восприятия, соответственно. Фиг. 2 дополнительно показывает траекторию 250 слушателя, перемещающегося из LP1 230 в LP2 240.

Конфигурация 1 210 громкоговорителей соответствует, например, конфигурации каналов входного сигнала. Например, в начале, слушатель находится в LP1 230, в зоне наилучшего восприятия конфигурации 1 210. По мере того, как слушатель перемещается из LP1 230 в LP2 240, аудиопроцессор, описанный в данном документе, выделяет и рендерирует входные сигналы, как описано на фиг. 15, так что звуковое изображение и ориентация звукового изображения следуют за слушателем. Это означает, например, то, что передние и центральные каналы из конфигурации 1 210 громкоговорителей (или входного сигнала) воспроизводятся посредством задних громкоговорителей из конфигурации 2 220 громкоговорителей. Кроме того, соответственно, каналы задних громкоговорителей конфигурации 1 210 громкоговорителей (или входного сигнала) воспроизводятся посредством передних и центральных громкоговорителей из конфигурации _2 220 громкоговорителей для сохранения ориентации звукового изображения.

Другими словами, фиг. 2 показывает описательный пример для иллюстрации различия между или традиционной системой переключения зон (из уровня техники) и способом согласно настоящему изобретению. Конфигурация 1 210 и конфигурация 2 220 демонстрируют 5-канальную конфигурацию громкоговорителей объемного звучания. Различие заключается в ориентации двух конфигураций. Согласно традиционным терминам, громкоговорители LSS1_L, LSS1_C, LSS1_R задают переднюю сторону, которая находится наверху в конфигурации 1 210, тогда как в конфигурации 2 220 эта традиционная передняя сторона (LSS2_L, LSS2_C, LSS2_R) находится внизу. Обычно, в традиционных сценариях воспроизведения, каналы носителя для воспроизведения, такого как DVD и подключенный усилитель, передаются с фиксированным преобразованием, например, согласно стандартам ITU, которые задают, например, то, что первый выходной канал подключается к левому громкоговорителю, второй канал - к правому громкоговорителю, и третий канал - к центральному громкоговорителю и т.д.

Например, слушатель изменяет положение (или перемещается) из положения LP1 230 конфигурации 1 210 в положение LP2 240 конфигурации 2 220. Традиционная или общепринятая система для множества помещений с двухпозиционным переключением должна просто переключаться между двумя конфигурациями, тогда как громкоговорители должны быть ассоциированы со своими ассоциированными каналами носителя/усилителя, так что переднее изображение воспроизведения должно изменяться на другое направление.

При использовании способов согласно изобретению громкоговорители не соединены с выводом устройства воспроизведения фиксированно. Процессор использует информацию в отношении положения громкоговорителей и положения пользователя для формирования согласованного воспроизведения аудио. В настоящем примере, в конфигурации 2 220, канальное содержимое, которое произведено посредством LSS1_L, LSS1_C и LSS1_R, в переходе в конфигурацию 2 220, должен приниматься под управление посредством LSS2_SR и LSS2_SL. Таким образом, традиционное различение «передний/задний» в конфигурации громкоговорителей снимается, и рендеринг задается в силу фактических обстоятельств.

Например, аудиопроцессор, описанный в данном документе, может не иметь фиксированных каналов. По мере того, как слушатель перемещается из конфигурации 1 210 в конфигурацию 2 220, аудиопроцессор, описанный выше, может постоянно оптимизировать восприятие при прослушивании. Промежуточная стадия, например, может заключаться в том, что аудиопроцессор обеспечивает сигналы громкоговорителей только для громкоговорителей LSS1_L, LSS1_SL, LSS2_L, LSS2_SL, что означает то, что число каналов уменьшается до четырех, и они не играют свои традиционные роли.

Сценарий использования согласно фиг. 3

Фиг. 3 показывает примерный сценарий 300 использования системы воспроизведения аудио, аналогичной 1400 на фиг. 14. Сценарий 300 использования содержит две конфигурации - конфигурацию 1 310 и конфигурацию 2 320 громкоговорителей, контролируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14. Конфигурации громкоговорителей находятся в различных помещениях - помещении 1 330 и помещении 2 340. Конфигурации громкоговорителей могут при необходимости отделяться посредством акустической преграды, такой как стена 350. Обе из них, конфигурация 1 310 и конфигурация 2 320, представляют собой конфигурацию громкоговорителей 2.0 стерео. Конфигурация 1 310 громкоговорителей имеет стандартную схему размещения громкоговорителей 2.0, содержит громкоговорители LSS1_1 и LSS1_2, с зоной LP1 наилучшего восприятия. Конфигурация 2 320 громкоговорителей имеет нестандартную стереосхему размещения громкоговорителей, которая содержит громкоговорители LSS2_1 и LSS2_2. Фиг. 3 дополнительно показывает две траектории 360, 370 слушателя. Первая траектория 360 слушателя находится близко к зоне наилучшего восприятия конфигурации 1 310, в которой слушатель перемещается из LP2_1 в LP2_2, в LP2_3 и обратно в LP2_1, в пределах помещения 1 330. Вторая траектория 370 проходит из LP3_1 в пределах конфигурации 1 в LP3_2 в пределах конфигурации 2 320.

Например, по мере того, как слушатель перемещается вдоль первой траектории 360 и/или слушатель перемещается вдоль второй траектории 370, аудиопроцессор, описанный в данном документе, выделяет и рендерирует входные сигналы, как описано на фиг. 15, так что звуковое изображение и ориентация звукового изображения следуют за слушателем.

Другими словами, фиг. 3 показывает другой пример с двумя помещениями 330, 340 и/или двумя конфигурациями 310, 320. В помещении 1 330, традиционная двухканальная стереосистема, с громкоговорителями LSS1_1 и LSS1_2, размещается таким образом, что для стандартного неотслеживаемого воспроизведения, слушатель может наслаждаться хорошим шоу в кресле, расположенном в зоне LP1 наилучшего восприятия. В смежном помещении 2 340, которое, например, может представлять собой коридор, два громкоговорителя LSS2_1 и LSS2_2 расположены в произвольной конфигурации. На фиг. 3, помимо точки LP1 прослушивания в зоне наилучшего восприятия, проиллюстрированы два дополнительных возможных сценария прослушивания. Первый представляет собой пример слушателя, перемещающегося в пределах помещения 1 330 из LP2_1 в LP2_2 и LP2_3. Второй сценарий показывает слушателя, переходящего из положения LP3_1 в помещении 1 330 в LP3_2 в помещении 2 340.

Например, аудиопроцессоры, описанные в данном документе, обеспечивают сигналы громкоговорителей таким образом, что звуковое изображение следует за слушателем, когда слушатель перемещается вдоль первой траектории 360 или вдоль второй траектории 370.

Сценарий использования согласно фиг. 6

Фиг. 6 показывает примерный сценарий 600 использования системы воспроизведения аудио, аналогичной 1400 на фиг. 14. Сценарий 600 использования содержит три конфигурации громкоговорителей, контролируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14. Конфигурация 1 610 представляет собой систему 5.0, конфигурация 2 620 и конфигурация 3 630 представляют собой отдельные громкоговорители. Конфигурация 1 610 и конфигурация 2 620 находятся в одном и том же помещении, в то время как конфигурация 3 630 находится во втором помещении. Конфигурация 3 630 при необходимости отделена от конфигурации 2 620 и конфигурации 1 610 стеной 640 или другими акустическими преградами. Фиг. 6 дополнительно показывает траекторию 650 слушателя по мере того, как слушатель перемещается из LP2_1 в конфигурации 1 610 в LP2_2 в конфигурации 2 620 и в LP3_2 в конфигурации 3 630. В этом сценарии, по мере того, как слушатель перемещается из конфигурации 1 610 в конфигурацию 2 620, аудиопроцессор, описанный выше, выдаёт микшированную с повышением версию входного сигнала в громкоговорители LSS1_1 и LSS1_4 и LSS2_1. Дополнительно возможно то, что громкоговорители LSS1_1 и LSS1_4 воспроизводят окружающую версию аудиосигнала, и громкоговоритель LSS2_1 воспроизводит направленное содержимое аудиосигнала. По мере того, как слушатель дополнительно перемещается из LP2_2 в LP3_2, звук громкоговорителей LSS1_1, LSS1_4 и LSS2_1 постепенно затухает, и микшированная с повышением версия входного сигнала воспроизводится посредством громкоговорителя LSS3_1.

Еще один другой сценарий примерно иллюстрируется на фиг. 6. Первоначально, слушатель наслаждается 5.0-воспроизведением в LP1 с использованием конфигурации громкоговорителей с объемным звуком, содержащей LSS1_1-LSS1_5. По истечении некоторого времени, слушатель, например, перемещается в LP2_2, чтобы работать на кухне. Во время этого перехода, LSS2_1 начинает воспроизводить микшированную с повышением версию сигналов, которые ранее воспроизведены посредством громкоговорителей в конфигурации 1 610. В то время, когда пользователь находится в положении LP2_2, система, например, согласно выбранным предпочтительным настройкам рендеринга, может:

- воспроизводить только понижающее микширование, с использованием LSS2_1;

- в дополнение к понижающему микшированию, воспроизводимому посредством LSS2_1, система в конфигурации 1 610 или по меньшей мере громкоговорители, ближайшие к конфигурации 2 620, могут использоваться для воспроизведения окружающих звуков, или использоваться для формирования огибающего звукового поля для слушателя в LP2_2; или

- триплет LSS2_1, LSS1_1, LSS1_4 громкоговорителей может воспроизводить трехканальные сеансы понижающего микширования исходного пятиканального содержимого.

Например, если слушатель дополнительно переходит в смежное помещение конфигурации 3 630, только моногромкоговоритель присутствует в помещении, то, например, только понижающее мономикширование содержимого должно воспроизводиться из громкоговорителя LSS3_1.

Описанная система также может использоваться и адаптироваться для множества пользователей. В качестве примера, два человека смотрят телевизор в зоне 1 или в конфигурации 1 610, один человек идет в зону 2 или в конфигурацию 2 620, чтобы взять что-либо из кухни.

Понижающее мономикширование следует за этим человеком таким образом, что он ничего не пропускает из программы, тогда как другой человек остается в зоне 2 либо в конфигурации 2 620 (или в конфигурации 1 610) и наслаждается полным звуком. Прямое/объемное окружающее разложение может представлять собой часть системы, которая обеспечивает лучшую адаптируемость к различным обстоятельствам, которые, например, могут представлять собой часть повышающего микширования.

В качестве другого примера, только речевое содержимое и/или другая выбранная пользователем часть содержимого и/или выбранных объектов следуют за слушателем.

Например, аудиопроцессор может определять, в зависимости от положения слушателя, то, какие громкоговорители должны использоваться для воспроизведения аудио, и обеспечивать сигналы громкоговорителей с использованием адаптированного рендеринга.

Подход к рендерингу согласно фиг. 4

Можно различать различные подходы для адаптивного к слушателю рендеринга аудиопроцессора, аналогичного 1410 на фиг. 14. Один представляет собой подход, при котором воспроизведенные слуховые объекты намечены с возможностью иметь фиксированное положение внутри зоны воспроизведения.

Фиг. 4 показывает примерный подход 400 к рендерингу из функциональности рендеринга, аналогичной 1520 на фиг. 15. В этом подходе 400 к рендерингу, положения аудиообъектов являются фиксированными. Фиг. 4 показывает слушателя 410 и два звуковых объекта S_1 и S_2.

Фиг. 4a показывает начальную ситуацию, когда слушатель 410 воспринимает S_1 и S_2 в данных положениях.

Фиг. 4b показывает, что рендеринг является инвариантным в отношении вращения, если слушатель 410 изменяет свою ориентацию, он воспринимает звуковые объекты в одинаковых положениях или в одинаковом абсолютном положении.

Фиг. 4c показывает, что рендеринг является инвариантным в отношении перемещения в пространстве, если слушатель 410 изменяет своё положение, он воспринимает звуковые объекты S_1, S_2 в одинаковом положении или в одинаковом абсолютном положении.

Другими словами, способ согласно изобретению может придерживаться различных, иногда выбираемых пользователем, схем рендеринга. Один подход заключается в том, что воспроизведенные слуховые объекты намечены с возможностью иметь фиксированное положение внутри зоны воспроизведения. Они должны сохранять это положение, даже если слушатель 410 внутри этой зоны поворачивает свою голову или перемещается за пределы зоны наилучшего восприятия. Это примерно иллюстрируется на фиг. 4. Два воспринимаемых слуховых объекта S_1 и S_2 производятся посредством системы воспроизведения. На этом чертеже, S_1 и S_2 представляют собой не громкоговорители, физические источники звука, а фантомные источники, воспринимаемые слуховые объекты, которые рендерируются с использованием системы громкоговорителей, которая не отображается на этом чертеже. Слушатель 410 воспринимает S_1 немного влево, а S_2 вправо. Цель такого подхода заключается в сохранении пространственного положения этих звуковых объектов, независимо от положения или направления взгляда слушателя.

Например, аудиопроцессор может учитывать желание воспроизводить слуховые объекты в фиксированных абсолютных положениях при определении положений аудиообъектов или при определении того, какие громкоговорители должны использоваться.

Подход к рендерингу согласно фиг. 5

Фиг. 5 показывает примерный подход 500 к рендерингу из функциональности рендеринга, аналогичной 1520 на фиг. 15. В случаях, если звуковое изображение следует за слушателем 510, можно различать два базовых различных подхода, оба из которых проиллюстрированы на фиг. 5. Фиг. 5 показывает различные сценарии рендеринга аудиопроцессора, аналогичного 1410 на фиг. 14, в которых слушатель 510 воспринимает два звуковых объекта или фантомных источника S_1 и S_2.

Фиг. 5a является начальной ситуацией. Фиг. 5b показывает вариантный в отношении вращения рендеринг, при котором слушатель 510 изменяет свою ориентацию и воспринимаемые звуковые объекты, сохраняющие своё относительное положение по отношению к слушателю 510. Воспринимаемые звуковые объекты вращаются вместе со слушателем 510.

Фиг. 5c показывает инвариантный в отношении вращения рендеринг, при котором слушатель изменяет свою ориентацию 510, и воспринимаемые положения (или абсолютные положения) звуковых объектов фантомных источников S_1, S_2 остаются.

Фиг. 5d показывает вариантный в отношении перемещения в пространстве рендеринг, при котором слушатель изменяет своё положение 510, и воспринимаемые аудиообъекты, фантомные источники S_1, S_2, сохраняют относительные положения по отношению к слушателю 510. По мере того, как слушатель 510 изменяет положение, аудиообъекты следуют за ним.

Другими словами, фиг. 5a показывает слушателя 510 и два воспринимаемых слуховых объекта.

Фиг. 5b показывает вращательно-вариантную систему. В этом случае, положение воспринимаемых источников остается фиксированным в отношении ориентации головы слушателя 510. Это является аналогией в отношении громкоговорителей для поведения наушников при вращении головы слушателя 510. Следует обратить внимание на то, что это поведение по умолчанию при воспроизведении в наушниках не представляет собой поведение по умолчанию для рендеринга в громкоговорителях, но требует доступности сложной технологии рендеринга в громкоговорителях.

Фиг. 5c показывает вращательно-инвариантный подход, при котором воспринимаемые источники сохраняют фиксированное абсолютное положение, когда слушатель 510 вращается в другое направление взгляда, так что воспринимаемое направление изменяется относительно ориентации слушателя 510.

Фиг. 5d показывает подход, который является вариантным к изменениям при перемещении в пространстве слушателя 510. Это является аналогией в отношении громкоговорителей для поведения наушников при поступательном перемещении в пространстве головы слушателя. Следует обратить внимание на то, что это поведение по умолчанию при воспроизведении в наушниках не представляет собой поведение по умолчанию для рендеринга в громкоговорителях, но требует доступности сложной технологии рендеринга в громкоговорителях. Различные подходы могут смешиваться и применяться согласно определимым правилам, с тем чтобы достигать различных полных результатов рендеринга, когда звук следует за слушателем 510. Следовательно, пользователи такой системы или аудиопроцессора могут даже регулировать фактическую схему рендеринга согласно своим предпочтениям и симпатиям. Восприятие, аналогичное виртуальному наушнику, также может быть целевым в силу вращения и при необходимости перемещения в пространстве рендерируемого звукового изображения согласно перемещению слушателя 510.

Различные сценарии рендеринга аудиопроцессора, описанного выше, показаны на фиг. 5. Аудиопроцессор может рендерировать звуковое изображение, например, вариантным в отношении вращения или инвариантным в отношении вращения способом, также с учетом поступательных перемещений в пространстве слушателя. Рендеринг, используемый посредством аудиопроцессора, может задаваться посредством примера использования (например, игра, фильм или музыка), и/или также может задаваться слушателем.

Подход к рендерингу согласно фиг. 11

Фиг. 11 показывает примерный подход 1100 к рендерингу из функциональности рендеринга, аналогичной 1520 на фиг. 15, аудиопроцессора. Подход 1100 к рендерингу содержит слушателя 1110 и стационарные звуковые объекты S_1 и S_2, рендерируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14.

Фиг. 11a показывает начальную ситуацию с одним слушателем 1110 и двумя аудиообъектами, фантомными источниками. Фиг. 11b показывает то, что слушатель 1110 изменяет своё положение, в то время как аудиообъекты, фантомные источники S_1 и S_2, сохраняют своё абсолютное положение.

В режиме рендеринга стационарных объектов, объекты размещаются рендерируемыми в конкретное абсолютное положение относительно некоторых координат помещения. Это фиксированное положение объектов не изменяется, когда слушатель 1110 перемещается. Рендеринг должен адаптироваться таким образом, что слушатель 1110 всегда воспринимает звуковые объекты, как если их звук исходит из одинакового абсолютного положения в помещении.

Например, аудиопроцессор может воспроизводить слуховые объекты в фиксированных абсолютных положениях при определении положений аудиообъектов или при определении того, какие громкоговорители должны использоваться. Другими словами, аудиопроцессор рендерирует аудиообъекты таким способом, при котором воспринимаемое местоположение аудиообъектов остается почти стационарным, даже если слушатель изменяет своё положение.

Подход к рендерингу согласно фиг. 12

Фиг. 12 показывает примерный подход 1200 к рендерингу из функциональности рендеринга, аналогичной 1520 на фиг. 15. Подход 1200 к рендерингу содержит слушателя 1210 и два звуковых объекта S_1 и S_2, рендерируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14. В подходе 1200 к рендерингу, аудиопроцессор также учитывает поступательное перемещение в пространстве и вращательное перемещение слушателей 1210.

Фиг. 12a показывает начальную ситуацию с одним слушателем 1210 и двумя аудиообъектами, S_1 и S_2.

Фиг. 12b показывает примерную ситуацию, в которой слушатель 1210 изменяет своё положение. В этом случае, два аудиообъекта S_1 и S_2 следуют за слушателем 1210, что означает, что два аудиообъекта сохраняют свои относительные положения по отношению к слушателю 1210 одинаковыми.

Фиг. 12c показывает пример, в котором слушатель 1210 изменяет свою ориентацию. Два аудиообъекта S_1 и S_2 сохраняют свои относительные положения от слушателя 1210 одинаковыми. Это означает, аудиообъекты поворачиваются вместе со слушателем 1210.

Другими словами, в режиме рендеринга «в виртуальных наушниках», звуковое изображение перемещается согласно ориентации или вращению и положению или перемещению в пространстве слушателя 1210. Звуковое изображение полностью обусловлено положением и ориентацией слушателя 1210, что означает относительно слушателя 1210, причем положение объектов, в отличие от режима для стационарных объектов, изменяет их абсолютное положение в помещении в зависимости от перемещения слушателя 1210. Воспроизведенные аудиообъекты не являются стационарными относительно абсолютного положения в помещении, но всегда являются стационарными относительно слушателя 1210. Они следуют за положением слушателя 1210 и, при необходимости, также за ориентацией слушателя 1210.

Например, аудиопроцессор может воспроизводить слуховые объекты в фиксированном относительном положении по отношению к слушателю при определении положений аудиообъектов или при определении того, какие громкоговорители должны использоваться. Другими словами, аудиопроцессор рендерирует аудиообъекты таким способом, при котором аудиообъекты изменяют свои положения и ориентации вместе со слушателем.

Подход к рендерингу согласно фиг. 13

Фиг. 13 показывает примерный подход 1300 к рендерингу из функциональности рендеринга, аналогичной 1520 на фиг. 15. Подход 1300 к рендерингу содержит слушателя 1310 и два звуковых объекта S_1 и S_2, рендерируемые посредством аудиопроцессора, аналогичного 1410 на фиг. 14. В подходе 1300 к рендерингу, аудиопроцессор учитывает только поступательное перемещение в пространстве слушателей 1310.

Фиг. 13a показывает начальную ситуацию с одним слушателем 1310 и двумя аудиообъектами S_1 и S_2.

По мере того, как слушатель 1310 изменяет своё положение, как показывает фиг. 13b, два аудиообъекта S_1 и S_2 следуют за слушателем 1310. Это означает, что относительные положения аудиообъектов S_1 и S_2 по отношению к положению слушателя 1310 остаются одинаковыми.

Фиг. 13c показывает, что по мере того, как слушатель 1310 изменяет свою ориентацию, абсолютное положение двух аудиообъектов S_1 и S_2 сохраняется.

Другими словами, в режиме рендеринга «обусловленное первичное направление», звуковое изображение рендерируется посредством аудиопроцессора таким образом, что звуковое изображение перемещается согласно положению, перемещению в пространстве слушателя 1310, но является стабильным в отношении изменений ориентации, вращения слушателя 1310.

Вариант осуществления согласно фиг. 9

Фиг. 9 показывает подробное схематичное представление системы 900 воспроизведения звука, которая может быть аналогичной системе 1400 воспроизведения звука из фиг. 14. Система 900 воспроизведения звука содержит конфигурации 920 громкоговорителей, аудиопроцессор 910, аналогичный аудиопроцессору 1410 на фиг. 14, и канально-объектный преобразователь 940. Канально-ориентированное содержимое 970 входного сигнала 1440 на фиг. 4 соединяется с канально-объектным преобразователем 940. Дополнительный ввод канально-объектного преобразователя 940 представляет собой информацию в отношении положений и ориентаций громкоговорителей в идеальной схеме 990 размещения громкоговорителей. Канально-объектный преобразователь 940 соединяется с аудиопроцессором 910. Вводы аудиопроцессора 910 представляют собой канальные объекты 946, созданные посредством канально-объектного преобразователя 940, объекты 943 из объектно-ориентированного содержимого, выбранный режим 985 рендеринга, выбранный слушателем в пользовательском интерфейсе 980, положение и ориентацию 955 слушателя, собранные посредством устройства 950 отслеживания пользователей, и положение и ориентацию 935 и характеристику 945 излучения громкоговорителя и при необходимости другие характеристики 965 окружающей среды (такие как, например, информация в отношении акустических преград или, например, информация в отношении акустики помещения). Фиг. 9 показывает две основных функции аудиопроцессора 910: логика 913 рендеринга объектов, с последующим выполнением физической компенсации 916. Вывод физической компенсации 916, которая представляет собой вывод аудиопроцессора 910, представляет собой подачи звука в громкоговорители или сигналы 960 громкоговорителей, которые соединяются с громкоговорителями 930 из конфигураций 920 громкоговорителей.

Канально-ориентированное содержимое 970 преобразуется посредством канально-объектного преобразователя 940 в канальные объекты 946 на основании информации в отношении стандартных или идеальных положений и (при необходимости) ориентаций 990 громкоговорителей из идеальной конфигурации громкоговорителей. Канальные объекты 946, наряду с объектами или объектно-ориентированным содержимым 943, представляют собой входные аудиосигналы аудиопроцессора 910. Логика 913 рендеринга объектов аудиопроцессора 910 рендерирует канальные объекты 946 и аудиообъекты 943 на основании выбранного режима 985 рендеринга, положения и (при необходимости) ориентации 955 слушателя, положения и (при необходимости) ориентации 935 громкоговорителей, характеристик 945 громкоговорителей (при необходимости), и при необходимости других характеристик 965 окружающей среды. Режим 985 рендеринга при необходимости выбирается посредством пользовательского интерфейса 980. Рендерируемые канальные объекты и аудиообъекты физически компенсируются посредством режима 916 физической компенсации аудиопроцессора 910. Физически компенсированные рендерируемые сигналы представляют собой подачи звука в громкоговорители или сигналы 960 громкоговорителей, которые представляют собой вывод аудиопроцессора 910. Сигналы 960 громкоговорителей представляют собой вводы громкоговорителей 930 из конфигураций 920 громкоговорителей.

Другими словами, канально-объектный преобразователь 940 преобразует каждый канальный сигнал, намеченный для конкретного громкоговорителя 930 из конфигурации 920 громкоговорителей, при этом намеченная конфигурация громкоговорителей не должна обязательно представлять собой часть текущих доступных конфигураций громкоговорителей в фактической ситуации воспроизведения, в аудиообъект 943, что означает в форму сигнала плюс ассоциированные метаданные в отношении намеченного положения и (при необходимости) ориентации 935 громкоговорителей, с использованием сведений в отношении идеального намеченного производственного положения и ориентации 990 громкоговорителей, либо в канальный объект 946. Здесь можно ввести в обращение (или определить) термин «канальный объект». Канальный объект 946 состоит из (или содержит) формы аудиосигнала конкретного канала и, в качестве метаданных, положения соответствующего громкоговорителя 930, который выбран для воспроизведения упомянутого конкретного канала в ходе производства канально-ориентированного содержимого 970.

Следует отметить, что громкоговорители 930, показанные на фиг. 9, представляют (или иллюстрируют) фактически доступные громкоговорители или конфигурации громкоговорителей. Например, намеченная конфигурация громкоговорителей может содержать один или более фактически доступных громкоговорителей, при этом, например, отдельные громкоговорители из одной или более фактически доступных конфигураций громкоговорителей могут включаться в намеченную конфигурацию громкоговорителей без использования всех громкоговорителей из соответствующих доступных конфигураций громкоговорителей.

Другими словами, намеченная конфигурация громкоговорителей может «отбирать» громкоговорители из фактически доступных конфигураций громкоговорителей. Например, конфигурации 920 громкоговорителей могут (каждая) содержать множество громкоговорителей.

Следующий этап после преобразования представляет собой рендеринг 913. Модуль рендеринга определяет, какие конфигурации 920 громкоговорителей предусматриваются в воспроизведении и/или в активных конфигурациях. Модуль 913 рендеринга формирует подходящий сигнал для каждой из этих активных конфигураций, возможно включающий в себя понижающее микширование, которое может выполняться полностью до моно-, либо повышающее микширование. Эти сигналы представляют то, как исходный многоканальный звук может воспроизводиться лучше всего для слушателя, который должен быть расположен в зоне наилучшего восприятия, создавая адаптированные к конфигурации сигналы. Эти адаптированные сигналы затем выделяются громкоговорителям и преобразуются в объекты виртуальных громкоговорителей, которые после этого подаются в следующую стадию.

Следующий этап представляет собой панорамирование и рендеринг сигналов. Эта часть рендерирует объект виртуального громкоговорителя в фактические сигналы громкоговорителей с учетом очевидного положения и при необходимости ориентации 955 пользователя, положения и при необходимости ориентации 935 громкоговорителей и при необходимости характеристики 945 излучения, а также режима рендеринга, выбранного 985 слушателем, такого как режим рендеринга в виртуальных наушниках или режим абсолютного рендеринга.

В конечном счете, физический компенсационный слой 916 компенсирует физические последствия ненахождения слушателя в зоне наилучшего восприятия соответствующей конфигурации 920 громкоговорителей, например, за счет изменения задержки и/или усиления и/или компенсации характеристик излучения, на основании положения и при необходимости ориентации 955 слушателя и на основании положений и при необходимости ориентации 935 и (при необходимости) характеристиках 945 реальных громкоговорителей. См. также заявку [5] на предмет информации по технологии, лежащей в основе.

Вывод логики рендеринга объектов представляет собой канальные сигналы или подачи 960 звука в громкоговорители для конфигурации 920 для воспроизведения. Это означает то, что сигналы регулируются рендерированными относительно заданного опорного положения слушателя с заданным прямым направлением.

Физическая компенсация 916 осуществляет регулирование усиления и/или задержки, и/или частоты относительно заданного положения слушателя, возможно с заданным прямым направлением, таким образом, что логика рендеринга объектов может предполагать конфигурацию для воспроизведения, которая состоит из громкоговорителей 930, которые являются равноотстоящими от заданного опорного положения слушателя, к примеру, за счет регулирования задержки, являются одинаково громкими, к примеру, за счет регулировки усиления, и являются обращенными к слушателю, к примеру, за счет регулирования частотного отклика.

Другими словами, физическая компенсация, например, может компенсировать неидеальное размещение громкоговорителей и/или различие между положением слушателя и зоной наилучшего восприятия, тогда как рендеринг, например, может предполагать то, что слушатель находится в зоне наилучшего восприятия конфигурации громкоговорителей.

Вариант осуществления согласно фиг. 10

Фиг. 10 показывает аудиопроцессор 1010, который может быть аналогичным 1410 на фиг. 14. Вводы аудиопроцессора 1010 представляют собой объектно-ориентированные входные сигналы, такие как аудиообъекты 1043 и канальные объекты 1046, выбранный режим 1085 рендеринга, положение и при необходимости ориентацию 1055 пользователя или слушателя, положение и при необходимости ориентацию 1035 громкоговорителя, при необходимости характеристики 1045 излучения громкоговорителей и при необходимости другие характеристики 1065 окружающей среды. Выводы аудиопроцессора 1010 представляют собой сигналы 1060 громкоговорителей. Функции аудиопроцессора 1010 разделяются на две основных категории, логическую категорию 1050 и рендеринг 1070. Логическая функциональная категория 1050 содержит идентификацию и выбор 1030 громкоговорителей, с последующим выполнением подходящего формирования сигналов, например, повышающего микширования/понижающего микширования 1030, с последующим выполнением выделения 1040 сигналов. Эти этапы выполняются на основании выбранного режима 1085 рендеринга, на основании положения и при необходимости ориентации 1055 слушателя, на основании положения и при необходимости ориентации 1035 громкоговорителей, при необходимости на основании характеристик 1045 излучения громкоговорителей и при необходимости на основании других характеристик 1065 окружающей среды. Рендеринг 1070 основан на положении и при необходимости ориентации 1055 слушателя, на положении и при необходимости ориентации 1035 громкоговорителей, при необходимости на характеристиках 1045 излучения громкоговорителей и при необходимости на других характеристиках 1065 окружающей среды.

Объектно-ориентированные входные сигналы, такие как канальные объекты 1046 и аудиообъекты 1043, подаются в аудиопроцессор 1010. На основании выбранного режима 1085 рендеринга, положения и при необходимости ориентации 1055 слушателя, положения и при необходимости ориентации 1035 громкоговорителей, при необходимости характеристик 1045 излучения громкоговорителей, возможно других характеристик 1065 окружающей среды и объектно-ориентированных входных сигналов 1043, 1046, аудиопроцессор идентифицирует и выбирает 1020 громкоговорители, с последующим формированием подходящих сигналов либо повышающим/понижающим микшированием 1030, с последующим выделением 1040 сигналов громкоговорителям. В качестве следующего этапа, выделенные сигналы рендерируются 1070 в громкоговорители для создания сигналов 1060 громкоговорителей.

Другими словами, воспроизведение звукового поля намечено с возможностью основываться на фактическом положении 1035 слушателя по мере того, как звук следует за слушателем. С этой целью, канальные объекты, созданные из канально-ориентированного содержимого, повторно размещаются на основании положения и возможно ориентации слушателя или пользователя или следуют за ним. На основании адаптированных повторно размещённых целевых положений канального объекта(ов), громкоговорители, которые должны использоваться для воспроизведения этого канального объекта, выбираются из всех доступных громкоговорителей. Предпочтительно, выбираются громкоговорители, которые являются ближайшими к целевому положению канального объекта. Канальный объект(ы) затем может рендерироваться, к примеру, с использованием стандартных технологий панорамирования, с использованием выбранного поднабора всех громкоговорителей. Если содержимое, которое должно воспроизводиться, уже доступно в объектно-ориентированной форме, может применяться абсолютно такая же процедура для выбора поднабора громкоговорителей и рендеринга содержимого. В этом случае, намеченная информация о положении уже включается в объектно-ориентированное содержимое.

Дополнительные варианты осуществления

Следует отметить, что любые варианты осуществления, описанные в данном документе, могут использоваться отдельно или в комбинации с любыми другими из них, описанными в данном документе. Признаки, функциональности и подробности могут при необходимости вводиться в любые другие варианты осуществления, раскрытых в данном документе.

Представляется первый дополнительный вариант осуществления аудиопроцессора, который регулирует воспроизведение или рендеринг одного или более аудиосигналов, на основании расположения слушателей и расположения громкоговорителей, с целью достижения оптимизированного воспроизведения аудио по меньшей мере для одного слушателя.

Ниже представляются варианты осуществления из первой группы подвариантов осуществления, которая решает проблемы, связанные с пространством для прослушивания.

Во втором дополнительном варианте осуществления, который основан на первом дополнительном варианте осуществления, переменная громкоговорителей может размещаться в различных конфигурациях и/или в различных зонах, и/или в различных помещениях.

В третьем дополнительном варианте осуществления, который основан на первом дополнительном варианте осуществления, известна различная информация в отношении громкоговорителей. Например, их конкретные характеристики и/или их ориентация, и/или их осевое направление, и/или их размещение в конкретной схеме размещения (например, в двухканальной конфигурации стерео; в конфигурации 5.1 объемного звучания каналов согласно рекомендации ITU и т.д.).

В четвертом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, положение громкоговорителей известно в помещении и/или относительно границ помещения и/или относительно объектов (например, мебели, дверей) в помещении.

В пятом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, система воспроизведения имеет информацию в отношении акустических характеристик (например, коэффициент поглощения, характеристики отражения) объектов (стен, мебели и т.д.) в окружении вокруг громкоговорителя(ей).

Ниже представляются варианты осуществления из второй группы подвариантов осуществления, которая решает проблемы, связанные со стратегиями рендеринга.

В шестом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, звук переключается между различными громкоговорителями. Кроме того, звук может затухать и/или плавно переходить между различными громкоговорителями.

В седьмом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, громкоговорители в конфигурации не связываются с конкретными каналами носителя для воспроизведения (например, channel1=Left, channel2=Right), но рендеринг формирует отдельные сигналы громкоговорителей на основании информации в отношении фактического содержимого и/или информации в отношении фактической конфигурации для воспроизведения.

В восьмом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, понижающее микширование или повышающее микширование входного сигнала воспроизводится посредством всех громкоговорителей, тогда как уровень громкоговорителей регулируется согласно положению слушателя; либо посредством громкоговорителей, ближайших к слушателю; либо посредством некоторых громкоговорителей, которые выбираются в силу своего положения относительно слушателя и/или относительно других громкоговорителей.

В девятом дополнительном варианте осуществления, основанном на предыдущем варианте осуществления, звук или звуковое изображение рендерируется таким образом, что оно поступательно перемещается в пространстве вместе со слушателем. Другими словами, звуковое изображение рендерируется таким образом, что оно следует за поступательным перемещением в пространстве слушателя.

Например, воспринимаемое пространственное изображение или звуковое изображение (воспринимаемое слушателем) перемещается (например, в зависимости от перемещения слушателя)

В десятом дополнительном варианте осуществления, на основании предыдущего варианта осуществления, звук или звуковое изображение (например, сформированное с использованием сигнала громкоговорителя и воспринимаемое слушателем) рендерируется таким образом, что она всегда перемещается согласно ориентации слушателя. Другими словами, звуковое изображение рендерируется таким образом, что оно следует за ориентацией слушателя.

Сравнение вариантов осуществления с традиционными решениями

Ниже по тексту описано, как варианты осуществления согласно изобретению помогают усовершенствовать традиционные решения.

Традиционное простое решение для системы воспроизведения для множества помещений или системы воспроизведения аудио заключается в усилителе или приемном аудио/видеоустройстве, которое предлагает множество выходов для систем громкоговорителей. Они, например, могут представлять собой четыре выхода для двух 2-канальных стереопар или семь выходов для пятиканального объемного звучания плюс одна 2-канальная стереопара. Выбор того, какие конфигурации громкоговорителей выполняют воспроизведение, может осуществляться посредством переключения на усилителе или приемном аудио/видеоустройстве (AVR). В отличие от традиционных решений, согласно аспекту, настоящее изобретение обеспечивает автоматическое переключение на основании положения слушателя, и воспроизводимый сигнал (например, автоматически) адаптируется к положению слушателя или к фактической конфигурации системы громкоговорителей.

На сегодняшний день доступны более усовершенствованные системы для множества помещений, которые зачастую состоят из некоторого основного или управляющего устройства и дополнительных устройств, таких как беспроводные активные громкоговорители. «Беспроводные» означает, что они могут принимать сигналы в беспроводном режиме либо из устройства управления, либо из мобильного устройства, такого как, например, смартфон. С помощью некоторых из этих традиционных систем, уже можно управлять воспроизведением звука из мобильного интеллектуального устройства таким образом, что слушатель может воспроизводить музыку в фактическом помещении, в котором он находится, даже если беспроводной громкоговоритель присутствует в нем. Некоторые традиционные системы даже обеспечивают одновременное воспроизведение одинакового или различного содержимого в различных помещениях и/или могут управляться через голосовые команды. В отличие от традиционных решений, настоящее изобретение включает в себя автоматическое следование за слушателем в различные помещения. В традиционных решениях, воспроизведение вместо этого следует за устройством воспроизведения, и спаривание с присутствующим громкоговорителем должно выполняться вручную. Кроме того, согласно аспекту настоящего изобретения, сигнал воспроизведения адаптируется к положению слушателя или к фактической конфигурации системы громкоговорителей.

Некоторые из таких традиционных систем с использованием беспроводных громкоговорителей предлагают вариант, состоящий в объединении двух из беспроводных активных моногромкоговорителей, так что они выступают в качестве пары стереогромкоговорителей. Кроме того, некоторые традиционные системы предлагают стерео- или многоканальное основное устройство, такое как звуковая панель, которая может расширяться максимум посредством двух беспроводных активных громкоговорителей, которые выступают в качестве громкоговорителей объемного звучания. Некоторые усовершенствованные традиционные системы, в качестве части систем домашней автоматизации, с большим центральным устройством управления, также предлагаются и могут оснащаться громкоговорителями. Эти традиционные решения уже включают в себя варианты персонализации, например, на основании информация времени, к примеру, система может пробуждать вас утром вашей любимой песней. Другая форма персонализации заключается в том, что эта традиционная система может начинать воспроизведение музыки, как только человек входит в помещение. Это достигается посредством связывания воспроизведения с датчиком движения, либо альтернативно, кнопка переключения, к примеру, рядом с выключателем света может включать и выключать музыку в этом помещении. Хотя традиционный подход может уже включать в себя некоторое автоматическое следование за слушателем в различные помещения, он только начинает и прекращает воспроизведение с использованием громкоговорителей в этом помещении. В отличие от этого, согласно аспекту, решение согласно изобретению непрерывно адаптирует воспроизведение к положению слушателя или к фактической конфигурации системы громкоговорителей, например, громкоговорители в различных помещениях рассматриваются в качестве различных зон и, к примеру, отдельных разделенных систем воспроизведения.

Предложены традиционные способы рендеринга аудио, которые имеют сведения о положении слушателя, например, как описано в [1], за счет отслеживания положения слушателя и регулирования усиления и задержки, чтобы компенсировать отклонения от оптимального положения прослушивания. Отслеживание слушателя также использовано с подавлением перекрестных помех (XTC), например, в [2]. XTC требует чрезвычайно точного расположения слушателя, что делает отслеживание слушателя почти обязательным. В отличие от традиционных способов рендеринга с отслеживанием слушателя, согласно аспекту, решение согласно изобретению также позволяет предусматривать различные конфигурации громкоговорителей или громкоговорители в различных помещениях.

В отличие от традиционных решений для аудио со следованием за слушателем, как описано, согласно аспекту, способ согласно изобретению не только включает и выключает громкоговорители в различных помещениях или зонах, но и формирует прозрачную адаптацию и переход. Например, в то время, когда слушатель переходит между двумя зонами или конфигурациями, обе системы не только включаются и выключаются, но и используются для формирования приятного звукового изображения даже в переходной зоне. Это достигается посредством рендеринга конкретных подач звука в громкоговорители, которые учитывают доступную информацию в отношении громкоговорителей, такую как положение относительно слушателя и относительно других громкоговорителей и частотные характеристики.

Заключения

Варианты осуществления изобретения относятся к системе для воспроизведения аудиосигналов в системах воспроизведения звука, содержащих варьирующееся число громкоговорителей потенциально различных видов и в различных положениях. Громкоговорители могут быть расположены, например, в различных помещениях и принадлежать, например, отдельным разделяемым конфигурациям громкоговорителей или зонам действия громкоговорителей. Согласно основному фокусу изобретения, воспроизведение аудио адаптируется таким образом, что для перемещающегося слушателя требуемое воспроизведение достигается по всей большой зоне прослушивания вместо только одной точки или ограниченной зоны, за счет отслеживания местоположения и (при необходимости) ориентации пользователя и адаптации ориентации и адаптации процедуры рендеринга, соответственно. Согласно второму фокусу изобретения, такой усовершенствованный адаптивный по отношению к пользователям рендеринг может даже выполняться между несколькими различными помещениями и зонами действия громкоговорителей или конфигурациями громкоговорителей. С использованием сведений в отношении положения громкоговорителей и положения и/или ориентации слушателя, воспроизведение аудио оптимизируется, и аудиосигнал оптимально рендерируется с использованием доступных громкоговорителей или систем воспроизведения. Согласно аспекту, предложенный способ согласно изобретению объединяет преимущества системы для множества помещений и системы воспроизведения с отслеживанием слушателя для создания системы, которая автоматически отслеживает слушателя и обеспечивает возможность того, что воспроизведение звука следует за слушателем через пространство, к примеру, через различные помещения в доме, всегда обеспечивая самое лучшее использование доступных громкоговорителей в помещении или сзади, с тем чтобы формировать достоверное и приятное слуховое впечатление.

Способ согласно изобретению может придерживаться других, выбираемых пользователем, схем рендеринга. Полное пространственное изображение воспроизведения аудио может следовать за слушателем посредством поступательного перемещения в пространстве, т.е. с постоянной пространственной ориентацией, и посредством вращательного перемещения, при котором пространственное изображение ориентируется относительно ориентации слушателя. Пространственное изображение может следовать за слушателем плавно, с заданными временами следования. Это означает то, что изменения не происходят немедленно, но изменения при перемещении в пространстве или вращении либо их комбинация адаптируются в пределах регулируемых постоянных времени к новому положению слушателя.

Положение громкоговорителей может быть либо явным, что означает, что координаты находятся в фиксированной системе координат, либо неявным, в котором громкоговорители устанавливаются согласно конфигурации ITU с данным радиусом.

Система при необходимости может иметь сведения в отношении окрестностей известных громкоговорителей, что означает то, что она знает, например, что если предусмотрено есть два помещения с двумя конфигурациями громкоговорителей, и имеются стены между этими помещениями, она может знать положение стен и положение дверей и/или проходов, что означает, что она может знать сегментацию акустического пространства. Кроме того, система может обладать информацией в отношении акустической характеристики, такой как поглощение и/или отражение и т.д., для окружения, стен и т.д.

Пространственное изображение может следовать за слушателем в рамках определимых постоянных времени. Для некоторых ситуаций, может быть преимущественным, если следование за звуковым изображением происходит не немедленно, а с постоянной времени таким образом, что пространственное изображение медленно следует за слушателем.

Описанный способ согласно изобретению и концепции также могут аналогично применяться, если вводимый звук записан или доставляется в амбиофоническом формате или в амбиофоническом формате высшего порядка. Кроме того, бинауральные записи и аналогичный другой формат производства и записи могут обрабатываться посредством способа согласно изобретению.

Дополнительный пример рендеринга представляет собой рендеринг на основании принципа максимальной эффективности. В то время, когда слушатель перемещается, могут возникать ситуации, в которых, например, только один громкоговоритель присутствует в зоне, в которой должны рендерироваться один или более объектов, либо присутствующие громкоговорители в этой зоне разнесены на большое расстояние друг от друга или покрывают очень большой угол. В таких случаях, применяется рендеринг на основании принципа максимальной эффективности. В качестве параметра, например, может задаваться максимальное разрешенное расстояние между двумя громкоговорителями или максимальный угол, вплоть до которого, например, используется попарное панорамирование. Если доступные громкоговорители превышают указанный предел, такой как расстояние или угол, то только один ближайший громкоговоритель должен выбираться для воспроизведения аудиообъекта. Если это приводит к случаям, в которых более одного объекта должны воспроизводиться только из одного громкоговорителя, (активное) понижающее микширование используется для формирования подачи звука в громкоговорители или сигнала громкоговорителей из сигналов аудиообъектов.

Дополнительный пример для выбора громкоговорителей представляет собой способ на основании привязки к ближайшему громкоговорителю. Один конкретный пример описанного подхода представляет собой случай привязки к ближайшему громкоговорителю. В этом примере, всегда только один ближайший громкоговоритель (или, альтернативно, множество ближайших громкоговорителей) выбирается для того, чтобы воспроизводить объект или понижающее микширование объектов. С использованием определимого времени регулирования или времени затухания или времени плавного перехода объекты всегда воспроизводятся с использованием громкоговорителя, ближайшего к их положению относительно слушателя (или, в качестве альтернативы, посредством выбранной группы ближайших громкоговорителей). В то время, когда слушатель перемещается, выбранная группа (из одного или более) громкоговорителей, используемых для воспроизведения, постоянно адаптируется к положению слушателя. Один параметр в системе задает минимальное и, соответственно, максимальное расстояние, которое должны иметь громкоговорители, и, соответственно, которое им разрешается иметь. Громкоговорители учитываются для включения только в том случае, если они находятся ближе к слушателю, чем предварительно заданное минимальное расстояние или максимальное расстояние. Аналогично, если слушатель перемещается в направлении от конкретного громкоговорителя, с превышением заданного максимального расстояния, то громкоговоритель и, соответственно, его доля в сигнале постепенно затухает и в конечном счете отключается и, соответственно, более не учитывается при воспроизведении.

Термин «схема размещения громкоговорителей» используется выше в различных смыслах. Для прояснения проводится следующее различие.

Опорная схема размещения представляет собой конфигурацию громкоговорителей, которая использована во время мониторинга звукопроизводства в ходе процесса микширования и мастеринга.

Она определяется посредством числа громкоговорителей в заданных положениях, к примеру, с заданным азимутом и подъемом; обычно все громкоговорители наклоняются таким образом, что они непосредственно обращены к слушателю в зоне наилучшего восприятия, в месте, равноотстоящем от всех громкоговорителей. Обычно, для канально-ориентированных производств, осуществляется прямое преобразование между содержимым на носителе и ассоциированными громкоговорителями.

Например, посредством двухканального стерео: два громкоговорителя располагаются равноотстоящим образом перед слушателем, на высоте уха, с азимутом в -30º для левого канала и в 30º для правого канала. В двухканальных носителях, сигнал для левого канала, который ассоциирован с левым громкоговорителем, традиционно представляет собой первый канал, сигнал для правого канала традиционно представляет собой второй канал.

Фактическая конфигурация громкоговорителей, которая содержится в окружении прослушивания или в окружении воспроизведения, обозначается как «схема размещения для воспроизведения». Аудиоэнтузиасты следят за тем, что их собственная схема размещения для воспроизведения должна быть совместимой с опорной схемой размещения для вводов, которую они используют, например, с двухканальным стереозвуком или со звуком по стандарту объемного звучания 5.1, или с иммерсивным звуком 5.1+4Н. Тем не менее, стандартные потребители зачастую не знают, как корректно устанавливать громкоговорители, и такая фактическая схема размещения для воспроизведения отклоняется от намеченной опорной схемы размещения. Это имеет недостатки, поскольку:

Только в том случае, если схема размещения для воспроизведения совпадает с опорной схемой размещения, корректное воспроизведение намеченным производителем способом является возможным. Каждое отклонение схемы размещения для воспроизведения от опорной схемы размещения должно приводить к отклонениям в воспринимаемом звуковом изображении от намеченного звукового изображения. Способ согласно изобретению помогает исправить эту проблему.

Выше также используется термин «конфигурация» или «конфигурация громкоговорителей». Под ним подразумевается группа громкоговорителей, которая допускает формирование полного звукового изображения непосредственно. Громкоговорители, принадлежащие конфигурации, одновременно адресуются или снабжаются сигналами. Таким образом, конфигурация может представлять собой поднабор всех громкоговорителей, доступных в окружении.

Термины «схема размещения» и «конфигурация» тесно связаны. Таким образом, аналогично вышеприведенному определению, можно говорить касательно опорной схемы размещения и схемы размещения для воспроизведения.

Альтернативы реализации

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий считываемые электронными средствами управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления способа согласно изобретению в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа выполняется на компьютере.

Следовательно, дополнительный вариант осуществления способов согласно изобретению представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными обычно является материальным и/или постоянным.

Следовательно, дополнительный вариант осуществления способа представляет согласно изобретению собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передачи (например, электронным или оптическим способом) компьютерной программы для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного устройства.

Устройство, описанное в данном документе, может быть реализовано с использованием аппаратного устройства либо с использованием компьютера, либо с использованием сочетания аппаратного устройства и компьютера.

Устройство, описанное в данном документе, или любые компоненты устройства, описанного в данном документе, могут быть реализованы по меньшей мере частично в аппаратных средствах и/или в программном обеспечении.

Способы, описанные в данном документе, могут осуществляться с использованием аппаратного устройства либо с использованием компьютера, либо с использованием сочетания аппаратного устройства и компьютера.

Библиографический список

[1] "Adaptively Adjusting the Stereophonic Sweet Spot to the Listener's Position", Sebastian Merchel и Stephan Groth, J. Audio Eng. Soc., издание 58, номер 10, октябрь 2010 года

[2] "https://www.princeton.edu/3D3A/PureStereo/Pure_Stereo.html"

[3] "Object-Based Audio Reproduction Using the Listener-Position Adaptive Stereo System", Marcos F. Simon Galvez, Dylan Menzies, Russell Mason и Filippo M. Fazi, J. Audio Eng. Soc., издание 64, номер 10, октябрь 2016 года

[4] "The Binaural Sky: A Virtual Headphone for Binaural Room Synthesis"; Intern. Tonmeistersymposium, Хоэнкаммер, 2005 год

[5] Заявка на патент PCT/EP2018/000114 "AUDIO PROCESSOR, SYSTEM, METHOD AND COMPUTER PROGRAM FOR AUDIO RENDERING"

[6] GB2548091 "Content delivery to multiple devices based on user's proximity and orientation"

Изобретение относится в общем к аудиопроцессорам для рендеринга аудио, при котором звук следует за слушателем. Техническим результатом изобретения является оптимизация воспроизведения аудио и рендеринга аудиосигналов для формирования достоверного и приятного слухового впечатления слушателя. Аудиопроцессор для обеспечения множества сигналов громкоговорителей или подачи звука в громкоговорители на основании множества входных сигналов, таких как канальные сигналы и/или объектные сигналы, выполнен с возможностью получения информации в отношении положения слушателя и положения множества громкоговорителей или преобразователей звука, которые могут быть размещены в одном и том же отсеке, например в звуковой панели. Аудиопроцессор дополнительно выполнен с возможностью динамической адаптации выделения объектов, и/или канальных объектов, и/или адаптированных сигналов, таких как адаптированные канальные сигналы, извлекаемых из входных сигналов громкоговорителей, таких как канальные сигналы или канальные объекты либо таких как микшированные с повышением или микшированные с понижением сигналы. Адаптация местоположения зависит от информации в отношении положения слушателя и от информации в отношении положений громкоговорителей. Другими словами, аудиопроцессор определяет, какие громкоговорители должны использоваться при рендеринге различных канальных объектов или адаптированных сигналов. Процессор аудиосигналов дополнительно выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя, от информации в отношении положений громкоговорителей и в зависимости от упомянутого выделения, для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем. 8 н. и 30 з.п. ф-лы, 28 ил.

1. Аудиопроцессор для обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положения слушателя;

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положений множества громкоговорителей;

при этом аудиопроцессор выполнен с возможностью получения информации в отношении ориентации слушателя;

при этом процессор аудиосигналов выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом аудиопроцессор выполнен с возможностью вычисления положения объектов и/или канальных объектов на основании информации в отношении положения и ориентации слушателя; и

при этом аудиопроцессор выполнен с возможностью динамического выделения одного или более громкоговорителей для воспроизведения объектов и/или канальных объектов в зависимости от расстояний между положением объектов и/или канальных объектов и громкоговорителями.

2. Аудиопроцессор по п. 1,

при этом аудиопроцессор выполнен с возможностью получения информации в отношении ориентации (155, 755, 955, 1055, 1455, 1555, 1655) слушателя;

при этом процессор аудиосигналов выполнен с возможностью динамического выделения (1040, 1550, 1650) громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации слушателя;

при этом процессор аудиосигналов выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации слушателя для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за ориентацией слушателя.

3. Аудиопроцессор по п. 1 или 2,

при этом аудиопроцессор выполнен с возможностью получения информации в отношении ориентации, и/или в отношении характеристики, и/или в отношении спецификации громкоговорителей (145, 745, 945, 1045);

при этом процессор аудиосигналов выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации, и/или в отношении характеристики, и/или в отношении спецификации громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении ориентации, и/или в отношении характеристики, и/или в отношении спецификации громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем и/или ориентацией слушателя, когда слушатель перемещается или поворачивается.

4. Аудиопроцессор по любому из пп. 1-3,

в котором процессор аудиосигналов выполнен с возможностью динамического изменения выделения громкоговорителей для воспроизведения объектов, канальных объектов, или адаптированных сигналов, извлекаемых из входных сигналов:

- из первой ситуации, в которой объекты, и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются первой конфигурации (210, 220, 310, 320, 610, 620, 630, 920, 1420a, 1420b, 1420c) громкоговорителей, соответствующей конфигурации каналов канально-ориентированного входного сигнала,

- во вторую ситуацию, в которой объекты, и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются поднабору громкоговорителей из первой конфигурации громкоговорителей и по меньшей мере одному дополнительному громкоговорителю.

5. Аудиопроцессор по любому из пп. 1-4,

в котором процессор аудиосигналов выполнен с возможностью динамического изменения выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов:

- из первой ситуации, в которой объекты, и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются первой конфигурации громкоговорителей, соответствующей конфигурации каналов канально-ориентированного входного сигнала с первой схемой размещения громкоговорителей,

- во вторую ситуацию, в которой объекты, и/или канальные объекты, и/или адаптированные сигналы для входного сигнала выделяются второй конфигурации громкоговорителей, которая соответствует конфигурации каналов канально-ориентированного входного сигнала со второй схемой размещения громкоговорителей.

6. Аудиопроцессор по любому из пп. 1-5,

в котором процессор аудиосигналов выполнен с возможностью динамического выделения громкоговорителей из первой конфигурации громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, согласно первой схеме выделения, в соответствии с первой схемой размещения громкоговорителей, и

при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из второй конфигурации громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, согласно второй схеме выделения, в соответствии со второй схемой размещения громкоговорителей, которая отлична от первой схемы размещения громкоговорителей.

7. Аудиопроцессор по любому из пп. 2-6,

в котором конфигурация громкоговорителей соответствует конфигурации каналов входного сигнала, и

при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из конфигурации громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов таким образом, что выделение отклоняется от упомянутого соответствия в ответ на отличие положений, и/или ориентации слушателя по отношению к положению, и/или ориентации слушателя по умолчанию, ассоциированной с конфигурацией громкоговорителей.

8. Аудиопроцессор по любому из пп. 1-7,

в котором первая конфигурация громкоговорителей соответствует конфигурации каналов согласно первому соответствию, и

при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из первой конфигурации громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов согласно этому первому соответствию, и

при этом вторая конфигурация громкоговорителей соответствует конфигурации каналов согласно второму соответствию, и

при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей из второй конфигурации громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов таким образом, что выделение громкоговорителей отклоняется от этого второго соответствия.

9. Аудиопроцессор по любому из пп. 1-8, при этом аудиопроцессор выполнен с возможностью динамического выделения поднабора всех громкоговорителей из всех конфигураций громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов.

10. Аудиопроцессор по п. 9, при этом аудиопроцессор выполнен с возможностью динамического выделения поднабора всех громкоговорителей из всех конфигураций громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов,

при этом аудиопроцессор выполнен с возможностью выбора поднабора всех доступных громкоговорителей таким образом, чтобы слушатель находился между выбранными громкоговорителями или среди них таким образом, чтобы поднабор громкоговорителей окружал слушателя.

11. Аудиопроцессор по любому из пп. 1-10, при этом аудиопроцессор выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов с заданным временем следования таким образом, чтобы звуковое изображение следовало за слушателем таким способом, при котором рендеринг плавно адаптируется во времени.

12. Аудиопроцессор по любому из пп. 1-11, при этом аудиопроцессор выполнен с возможностью:

- идентификации (1020, 1670) громкоговорителей в заданном окружении слушателя, и

- адаптации конфигурации входных сигналов к числу идентифицированных громкоговорителей, и

- динамического выделения идентифицированных громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, и

- рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов в сигналы громкоговорителей для ассоциированных громкоговорителей в зависимости от информации о положении объектов, и/или канальных объектов, и/или адаптированных сигналов и в зависимости от положения громкоговорителей по умолчанию.

13. Аудиопроцессор по любому из пп. 2-12, при этом аудиопроцессор выполнен с возможностью вычисления (1630) положения объектов и/или канальных объектов на основании информации в отношении положения и/или ориентации слушателя.

14. Аудиопроцессор по любому из пп. 1-13, при этом аудиопроцессор выполнен с возможностью физической компенсации (916, 1690) рендерируемых объектов, и/или канальных объектов, и/или адаптированных сигналов в зависимости от положения громкоговорителей по умолчанию, от фактического положения громкоговорителя и от взаимосвязи между зоной наилучшего восприятия и положением слушателя.

15. Аудиопроцессор по любому из пп. 1-14, при этом аудиопроцессор выполнен с возможностью динамического выделения одного или более громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов в зависимости от расстояний между положением объектов, и/или канальных объектов, и/или адаптированных сигналов и громкоговорителями.

16. Аудиопроцессор по любому из пп. 1-15, при этом аудиопроцессор выполнен с возможностью динамического выделения одного или более громкоговорителей, имеющих наименьшее расстояние или наименьшие расстояния от абсолютного положения объектов, и/или канальных объектов, и/или адаптированных сигналов для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов.

17. Аудиопроцессор по любому из пп. 1-16, в котором входной сигнал имеет амбиофонический формат, и/или амбиофонический формат высшего порядка, и/или бинауральный формат.

18. Аудиопроцессор по любому из пп. 1-17, при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов таким образом, чтобы звуковое изображение объектов, и/или канальных объектов, и/или адаптированных сигналов следовало за перемещением слушателя.

19. Аудиопроцессор по любому из пп. 2-18, при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов таким образом, чтобы звуковое изображение объектов, и/или канальных объектов, и/или адаптированных сигналов следовало за изменением положения слушателя и изменением ориентации слушателя.

20. Аудиопроцессор по любому из пп. 1-19, при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов таким образом, чтобы звуковое изображение объектов, и/или канальных объектов, и/или адаптированных сигналов следовало за изменением положения слушателя, но оставалось стабильным в отношении изменений ориентации слушателя.

21. Аудиопроцессор по любому из пп. 1-20, при этом аудиопроцессор выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов в зависимости от информации о положениях двух или более слушателей таким обрезом, чтобы звуковое изображение объектов, и/или канальных объектов, и/или адаптированных сигналов адаптировалось в зависимости от перемещения или поворота двух или более слушателей.

22. Аудиопроцессор по п. 21, при этом аудиопроцессор выполнен с возможностью отслеживания положения одного или более слушателей в реальном времени.

23. Аудиопроцессор по любому из пп. 1-22, при этом аудиопроцессор выполнен с возможностью затухания звукового изображения между двумя или более конфигурациями громкоговорителей в зависимости от координат положения слушателя таким образом, что фактический коэффициент затухания зависит от фактического положения слушателя или от фактического перемещения слушателя.

24. Аудиопроцессор по любому из пп. 1-23, при этом аудиопроцессор выполнен с возможностью затухания звукового изображения из первой конфигурации громкоговорителей во вторую конфигурацию громкоговорителей, при этом число громкоговорителей из второй конфигурации громкоговорителей отлично от числа громкоговорителей из первой конфигурации громкоговорителей.

25. Аудиопроцессор по любому из пп. 1-24, при этом аудиопроцессор выполнен с возможностью адаптивного микширования с повышением или микширования с понижением (800a, 800b, 800c, 1680) объектов и/или канальных объектов в зависимости от числа объектов и/или канальных объектов во входном сигнале и в зависимости от числа динамически выделенных громкоговорителей для получения адаптированных сигналов.

26. Аудиопроцессор по любому из пп. 1-25, при этом аудиопроцессор выполнен с возможностью перехода

из первого состояния, в котором аудиосодержимое рендерируется в первую конфигурацию громкоговорителей,

во второе состояние, в котором окружающий звук аудиосодержимого рендерируется в первую конфигурацию громкоговорителей либо в один или более громкоговорителей из первой конфигурации громкоговорителей, в то время как направленные компоненты аудиосодержимого рендерируются во вторую конфигурацию громкоговорителей.

27. Аудиопроцессор по любому из пп. 1-26, при этом аудиопроцессор выполнен с возможностью перехода

из первого состояния, в котором аудиосодержимое рендерируется в первую конфигурацию громкоговорителей,

во второе состояние, в котором окружающий звук аудиосодержимого и направленные компоненты аудиосодержимого рендерируются в различные громкоговорители во второй конфигурации громкоговорителей.

28. Аудиопроцессор по любому из пп. 1-27, при этом аудиопроцессор выполнен с возможностью ассоциирования информации о положении с аудиоканалом канально-ориентированного аудиосодержимого для получения канального объекта, при этом информация о положении представляет положение громкоговорителя, ассоциированного с аудиоканалом.

29. Аудиопроцессор по любому из пп. 1-28, при этом аудиопроцессор выполнен с возможностью динамического выделения определённого одного громкоговорителя для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, который расположен наиболее близко к слушателю при условии, что слушатель находится в пределах заданного диапазона расстояний от упомянутого определённого одного громкоговорителя.

30. Аудиопроцессор по п. 29, при этом аудиопроцессор выполнен с возможностью выполнения постепенного затухания сигнала данного одного громкоговорителя в ответ на обнаружение того, что слушатель выходит за пределы заданного расстояния.

31. Аудиопроцессор по любому из пп. 1-30, при этом аудиопроцессор выполнен с возможностью определения, в какие сигналы громкоговорителей рендерируются объекты, и/или канальные объекты, и/или адаптированные сигналы в зависимости от расстояния для двух громкоговорителей и/или в зависимости от угла между двумя громкоговорителями из положения слушателя.

32. Способ обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

при этом способ содержит этап, на котором получают информацию в отношении положения слушателя;

при этом способ содержит этап, на котором получают информацию в отношении положения множества громкоговорителей;

при этом способ содержит этап, на котором получают информацию в отношении ориентации слушателя;

при этом динамическое выделение громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов адаптируется в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом объекты, и/или канальные объекты, и/или адаптированные сигналы, извлекаемые из входных сигналов, рендерируются в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положения громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом положения объектов и/или канальных объектов вычисляются на основании информации в отношении положения и ориентации слушателя; и

при этом один или более громкоговорителей динамически выделяются для воспроизведения объектов и/или канальных объектов в зависимости от расстояний между положением объектов и/или канальных объектов и громкоговорителями.

33. Машиночитаемый носитель, на котором сохранена компьютерная программа с программным кодом для осуществления способа по п. 32, когда компьютерная программа выполняется на компьютере.

34. Аудиопроцессор для обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положения слушателя;

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положений множества громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении текущего положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом аудиопроцессор выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов с заданным временем следования таким образом, чтобы звуковое изображение следовало за слушателем таким способом, при котором рендеринг плавно адаптируется во времени; и

при этом изменения не происходят немедленно, но изменения при перемещении в пространстве или вращении либо их сочетание адаптируются в пределах регулируемых постоянных времени к новому положению слушателя.

35. Аудиопроцессор для обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положения слушателя;

при этом аудиопроцессор выполнен с возможностью получения информации в отношении положений множества громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью динамического выделения громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом процессор аудиосигналов выполнен с возможностью рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом аудиопроцессор выполнен с возможностью:

- идентификации громкоговорителей динамически в заданном окружении слушателя на основании расстояния между слушателем и громкоговорителем, и

- динамического выделения идентифицированных громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, и

- рендеринга объектов, и/или канальных объектов, и/или адаптированных сигналов в сигналы громкоговорителей для ассоциированных громкоговорителей в зависимости от информации о положении объектов, и/или канальных объектов, и/или адаптированных сигналов и в зависимости от положения громкоговорителей по умолчанию.

36. Способ обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

причём способ содержит этап, на котором получают информацию в отношении положения слушателя;

причём способ содержит этап, на котором получают информацию в отношении положений множества громкоговорителей;

при этом динамическое выделение громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов адаптируется в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом рендеринг объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, осуществляется в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом рендеринг объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, осуществляется с заданным временем следования таким образом, чтобы звуковое изображение следовало за слушателем таким способом, при котором рендеринг плавно адаптируется во времени; и

при этом изменения не происходят немедленно, но изменения при перемещении в пространстве или вращении либо их сочетание адаптируются в пределах регулируемых постоянных времени к новому положению слушателя.

37. Способ обеспечения множества сигналов громкоговорителей на основании множества входных сигналов,

причём способ содержит этап, на котором получают информацию в отношении положения слушателя;

причём способ содержит этап, на котором получают информацию в отношении положений множества громкоговорителей;

при этом динамическое выделение громкоговорителей для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов адаптируется в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей;

при этом рендеринг объектов, и/или канальных объектов, и/или адаптированных сигналов, извлекаемых из входных сигналов, осуществляется в зависимости от информации в отношении положения слушателя и в зависимости от информации в отношении положений громкоговорителей для получения сигналов громкоговорителей таким образом, чтобы рендерируемый звук следовал за слушателем, когда слушатель перемещается или поворачивается;

при этом громкоговорители идентифицируются динамически в заданном окружении слушателя на основании расстояния между слушателем и громкоговорителем, и

при этом идентифицированные громкоговорители динамически выделяются для воспроизведения объектов, и/или канальных объектов, и/или адаптированных сигналов, и

при этом рендеринг объектов, и/или канальных объектов, и/или адаптированных сигналов осуществляется в сигналы громкоговорителей для ассоциированных громкоговорителей в зависимости от информации о положении объектов, и/или канальных объектов, и/или адаптированных сигналов и в зависимости от положения громкоговорителей по умолчанию.

38. Машиночитаемый носитель, на котором сохранена компьютерная программа с программным кодом для осуществления способов по п. 36 или 37, когда компьютерная программа выполняется на компьютере.