ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение имеет отношение к аудиоустройству и способу для него, и, в частности, но не исключительно, к адаптации рендеринга к неизвестным конфигурациям аудиопреобразователей.
УРОВЕНЬ ТЕХНИКИ
В последние десятилетия чрезвычайно увеличились разнообразие и гибкость аудиоприложений, при этом, например, множество приложений рендеринга аудио существенно различаются. Вдобавок ко всему, установки рендеринга аудио используются в разноплановых акустических средах и для многих разных приложений.
Традиционно, системы воспроизведения пространственного звучания всегда разрабатывались для одной или нескольких конкретных конфигураций громкоговорителей. В результате пространственное восприятие зависит от того, насколько точно фактически используемая конфигурация громкоговорителей соответствует заданной номинальной конфигурации, и высококачественное пространственное восприятие обычно достигается только для системы, которая была настроена в значительной степени правильно, т.е. в соответствии с конкретной конфигурацией громкоговорителей.
Однако требование использовать конкретные конфигурации громкоговорителей, как правило, с относительно большим количеством громкоговорителей, обременительно и невыгодно. Действительно, значительное неудобство, испытываемое потребителем при развертывании, например, систем окружающего звука домашних кинотеатров, является неизбежным для относительно большого количества громкоговорителей, которые должны быть помещенных в определенных местах. Как правило, используемые на практике компоновки громкоговорителей окружающего звука будут отклоняться от идеальной компоновки вследствие того, что пользователи обнаруживают, что практически невозможно поместить громкоговорители на оптимальных местах, например из-за ограниченности доступных мест для колонок в гостиной. Соответственно восприятие, и в частности пространственное восприятие, которое обеспечивается такими компоновками, является неоптимальным.
Поэтому в последние годы имела место серьезная тенденция, направленная на потребителей, нуждающихся в менее строгих требованиях для местоположения своих громкоговорителей. Даже более того, их основным требованием является, чтобы размещение громкоговорителей подходило их домашней обстановке, и в то же время они, разумеется, ожидают, что система по-прежнему будет обеспечивать высококачественное восприятие звука, и в частности достоверное пространственное восприятие. Эти противоречивые требования становятся более выраженными по мере увеличения количества громкоговорителей. Кроме того, проблемы стали более актуальными в связи с имеющейся тенденцией к предоставлению полного трехмерного воспроизведения звука с помощью звука, приходящего к слушателю с множественных направлений.
Были разработаны форматы аудиокодирования для предоставления все более функциональных, разнообразных и гибких аудиоуслуг, и в частности были разработаны форматы аудиокодирования, поддерживающие пространственные аудиоуслуги.
Хорошо известные технологии аудиокодирования, такие как MPEG, DTS и Dolby Digital, производят кодированный многоканальный аудиосигнал, который представляет пространственный образ в виде некоторого количества каналов, расположенных вокруг слушателя в фиксированных позициях. Для компоновки громкоговорителей, которая отличается от компоновки, соответствующей многоканальному сигналу, пространственный образ будет неоптимальным. К тому же системы аудиокодирования на основе каналов обычно не в состоянии управляться с разным количеством громкоговорителей.
Стандарт (ISO/IEC) MPEG-2 предоставляет инструментальное средство многоканального аудиокодирования, в котором формат битового потока содержит как 2-канальное, так и 5-многоканальное смешение (микширование) аудиосигнала. При декодировании битового потока с помощью устройства декодирования (ISO/IEC) MPEG-1, воспроизводится 2-канальное обратно совместимое смешение. При декодировании битового потока с помощью устройства декодирования MPEG-2, декодируются три дополнительных канала данных, которые при комбинировании (дематрицировании) со стереофоническими каналами дают в результате 5-канальное смешение аудиосигнала.
Стандарт (ISO/IEC MPEG-D) MPEG Surround предоставляет инструментальное средство многоканального аудиокодирования, которое позволяет перенести существующие монофонические или стереофонические устройства кодирования на многоканальные аудиоприложения. Фиг. 1 иллюстрирует пример элементов системы MPEG Surround. Используя пространственные параметры, полученные благодаря анализу исходного многоканального входа, устройство декодирования MPEG Surround может воссоздать пространственный образ путем управляемого повышающего смешивания монофонического или стереофонического сигнала, чтобы получить многоканальный выходной сигнал.
Поскольку пространственный образ многоканального входного сигнала параметризуется, стандарт MPEG Surround позволяет декодировать тот же многоканальный битовый поток при помощи устройств рендеринга, которые не используют компоновку многоканальных громкоговорителей. Примером является виртуальное объемное воспроизведение в наушниках, которое называется процессом бинаурального декодирования MPEG Surround. В этом режиме может быть обеспечено реалистичное объемное восприятие при использовании обыкновенных наушников. Другим примером является сокращение многоканальных выходов более высокого порядка, например 7.1 каналов, до компоновок более низкого порядка, например 5.1 каналов.
Как уже упоминалось, изменчивость и гибкость в конфигурациях рендеринга, используемых для рендеринга пространственного звука, значительно увеличились в последние годы при все большем количестве форматов воспроизведения, становящихся доступными массовому потребителю. Это требует гибкого представления аудиоданных. Важные шаги были предприняты с введением кодека MPEG Surround. Тем не менее, аудиоданные по-прежнему производятся и передаются для конкретной компоновки громкоговорителей, например компоновки громкоговорителей ITU 5.1. Воспроизведение через разные компоновки и через нестандартные (т.е. гибкие или определяемые пользователями) компоновки громкоговорителей не конкретизируется. Действительно, существует потребность сделать аудиокодирование и представление еще более независимыми от конкретных заранее определенных и номинальных компоновок громкоговорителей. Еще более предпочтительно, чтобы могла выполняться гибкая адаптация к широкому разнообразию разных компоновок громкоговорителей на стороне устройства декодирования/рендеринга.
Для того чтобы обеспечить более гибкое представление аудиоданных, MPEG стандартизировала формат, известный как «Spatial Audio Object Coding» (ISO/IEC MPEG-D SAOC). В отличие от многоканальных систем аудиокодирования, таких как DTS, Dolby Digital и MPEG Surround, SAOC обеспечивает эффективное кодирование отдельных аудиообъектов, а не аудиоканалов. Тогда как в MPEG Surround каждый канал громкоговорителя может рассматриваться как возникающий в результате разного смешения звуковых объектов, SAOC допускает интерактивное манипулирование местоположением отдельных звуковых объектов в многоканальном смешении, что проиллюстрировано на Фиг. 2.
Как и MPEG Surround, SAOC тоже создает монофоническое или стереофоническое понижающее смешение. Помимо этого вычисляются и включаются параметры объекта. На стороне устройства декодирования пользователь может манипулировать этими параметрами, чтобы управлять различными ключевыми характеристиками объектов, такими как позиция, уровень, выравнивание, или даже чтобы применять эффекты, такие как реверберация. Фиг. 3 иллюстрирует интерактивный интерфейс, который дает пользователю возможность управлять отдельными объектами, содержащимися в битовом потоке SAOC. Посредством матрицы рендеринга отдельные звуковые объекты сопоставляются с каналами громкоговорителя.
SAOC допускает более гибкий подход и, в частности допускает большую адаптивность на основе рендеринга, благодаря передаче аудиообъектов в дополнение к обычным каналам воспроизведения. Это позволяет на стороне устройства декодирования располагать аудиообъекты в произвольных позициях в пространстве при условии, что пространство в достаточной степени охватывается громкоговорителями. Таким образом, нет никакой связи между передаваемыми аудиоданными и установкой воспроизведения или рендеринга, а значит могут использоваться произвольные компоновки громкоговорителей. Это полезно, например, для компоновок домашнего кинотеатра в типичной гостиной, где громкоговорители почти никогда не находятся в надлежащих позициях. В случае SAOC, на стороне декодера решается, где расположить объекты в звуковой сцене (например, посредством интерфейса, который показан на Фиг. 3), что не всегда может быть желательно с художественной точки зрения. Стандарт SAOC обеспечивает способы передачи базовой матрицы рендеринга в битовом потоке, снимая ответственность с устройства декодирования. Однако, предусмотренные способы опираются либо на стационарные установки воспроизведения либо на произвольный синтаксис. Таким образом SAOC не обеспечивает нормативное средство для полноценной передачи аудиосцены независимо от компоновки громкоговорителей. К тому же, SAOC не очень хорошо приспособлен для достоверного рендеринга рассеянных компонентов сигналов. Хоть и существует возможность ввести так называемый Многоканальный Фоновый Объект (Multichannel Background Object - MBO), чтобы захватить рассеянный звук, этот объект привязывается к одной конкретной конфигурации громкоговорителей.
Еще одна спецификация аудиоформата для трехмерного аудио была разработана компанией DTS Inc. (Digital Theater Systems). Компания DTS Inc. разработала открытую объектно-ориентированную платформу создания и проектирования аудиоданных Multi-Dimensional Audio (MDA™) для ускорения создания контента нового поколения. Платформа MDA поддерживает и канальные и аудиообъекты, и адаптируется к любым количеству и конфигурациям громкоговорителей. Формат MDA допускает передачу прежнего многоканального понижающего смешения вместе с отдельными звуковыми объектами. Помимо этого, вводятся данные позиционирования объекта. Принцип генерирования аудиопотока MDA показан на Фиг. 4.
В методе MDA звуковые объекты принимаются обособленно в расширительном потоке, и они могут быть выделены из многоканального понижающего смешения. Полученное в результате многоканальное понижающее смешение воспроизводится с помощью рендеринга вместе с доступными по отдельности объектами.
Объекты могут состоять из так называемых основ. Эти основы, по сути, представляют собой составные (смешанные с понижением) дорожки или объекты. А значит, объект может состоять из множественных подобъектов, упакованных в основу. В случае MDA многоканальное опорное смешение может передаваться с выбором аудиообъектов. MDA передает данные трехмерного позиционирования для каждого объекта. Затем объекты могут быть выделены с помощью данных трехмерного позиционирования. В качестве альтернативы, может передаваться обратная матрица смешения, описывающая взаимосвязь между объектами и опорным смешением.
Как следует из описания MDA, информация о звуковой сцене, скорее всего, передается путем назначения угла и расстояния до каждого объекта, указывающих, где должен быть расположен объект относительно, например, базового прямого направления. Таким образом, информация позиционирования передается для каждого объекта. Это полезно для точечных источников, но не подходит для описания широких источников (как, например, хор или аплодисменты) или рассеянных звуковых полей (таких, как окружение). Когда все точечные источники выделены из опорного смешения, остается окружающее многоканальное смешение. Подобно SAOC, остаток в MDA закрепляется за конкретной компоновкой громкоговорителей.
Итак, оба подхода, и SAOC и MDA, применяют передачу отдельных аудиообъектов, которыми можно по отдельности манипулировать на стороне устройства декодирования. Разница между этими двумя подходами заключается в том, что SAOC предоставляет информацию об аудиообъектах, предоставляя параметры, характеризующие объекты относительно понижающего смешения (т.е. таким образом, что аудиообъекты генерируются исходя из понижающего смешения на стороне декодера), тогда как MDA предоставляет аудиообъекты в виде полных и обособленных аудиообъектов (т.е. которые могут генерироваться независимо от понижающего смешения на стороне декодера). В рамках обоих подходов, для аудиообъектов могут сообщаться данные положения.
В настоящее время, в рамках ISO/IEC MPEG, готовится стандарт MPEG-H 3D Audio для облегчения транспортирования и рендеринга трехмерных аудиоданных. MPEG-H 3D Audio призван стать частью набора стандартов MPEG-H на уровне систем HEVC видеокодирования и MMT (MPEG Media Transport). Фиг. 5 иллюстрирует текущую структурную схему высокого уровня предлагаемой системы MPEG 3D Audio.
В дополнение к традиционному формату на основе каналов этот подход предполагает также поддержку форматов на основе объектов и на основе сцен. Важным аспектом системы является то, что ее качество должно масштабироваться до прозрачности для увеличения скорости передачи битов, т.е. что по мере увеличения скорости передачи данных искажение, вызванное кодированием и декодированием, должно продолжать уменьшаться, пока не будет незначащим. Однако, такое требование проблематично для технологий параметрического кодирования, которые достаточно интенсивно использовались в прошлом (а именно, MPEG-4 HE-AAC v2, MPEG Surround, MPEG-D SAOC и MPEG-D USAC). В частности, компенсация потери информации для отдельных сигналов, как правило, не дает полную компенсацию за счет параметрических данных даже при очень высоких скоростях передачи битов. Действительно, качество будет ограничено собственным качеством параметрической модели.
Кроме того, MPEG-H 3D Audio ориентирован на то, чтобы предоставить результирующий битовый поток, который не зависит от установки воспроизведения. Предполагаемые возможности воспроизведения включают в себя гибкие компоновки громкоговорителей до 22.2 каналов, а также виртуальное объемное звучание через наушники и расположенные близко друг от друга громкоговорители.
Подводя итог вышесказанному, большинство существующих систем воспроизведения звука допускают лишь небольшую степень гибкости с точки зрения размещения громкоговорителей. Поскольку почти все существующие системы были разработаны ввиду некоторых исходных допущений, касающихся какой-то общей конфигурации громкоговорителей (например, громкоговорители, помещенные более или менее равноудалено вокруг слушателя, или громкоговорители, помещенные в линию перед слушателем, или наушники), или касающихся характера наполнения (например, состоящего из небольшого числа обособленных локализуемых источников или состоящего из очень рассеянной звуковой сцены), каждая система может давать оптимальное восприятие только для ограниченного спектра конфигураций громкоговорителей, которые могут встречаться в окружающей среде рендеринга (например, в доме пользователя). Поэтому нужны системы рендеринга звука нового класса, которые допускают гибкое размещение громкоговорителей.
Таким образом, в настоящее время предпринимаются разнообразные меры для того, чтобы разработать более гибкие аудиосистемы. В частности, деятельность по стандартизации в области звука для разработки аудиостандарта, известного как аудиостандарт ISO/IEC MPEG-H 3D, осуществляется с целью обеспечения единого эффективного формата, который дает потребителям восприятие звука с эффектом присутствия для наушников и в случае гибких размещений громкоговорителей.
Эта деятельность подтверждает, что большинство потребителей не могут и/или не хотят (например, из-за физических ограничений комнаты) следовать требованиям стандартизированного размещения громкоговорителей для традиционных стандартов. Вместо этого они располагают свои громкоговорители в своей домашней обстановке в любом месте, где им удобно, что в большинстве случаев приводит в результате к неоптимальному восприятию звука. Учитывая тот факт, что это просто повседневная реальность, проект MPEG-H 3D Audio ставит своей целью предоставить потребителю оптимальное восприятие с учетом предпочитаемого им размещения громкоговорителей. Таким образом, вместо того чтобы предполагать, что громкоговорители находятся в каких-либо конкретных позициях, и тем самым требуя от пользователя подогнать компоновку громкоговорителей под требования аудиостандарта, проект ориентирован на то, чтобы разработать аудиосистему, которая адаптируется к любой конкретной конфигурации громкоговорителей, которую организовал пользователь.
Образцовое устройство рендеринга в конкурсе заявок MPEG-H 3D Audio основывается на использовании Векторного амплитудного панорамирования (VBAP - Vector Base Amplitude Panning). Это надежно отработанная технология, которая корректирует отклонения от стандартизированных конфигураций громкоговорителей (например, 5.1, 7.1 или 22.2) путем применения повторного панорамирования источников/каналов между парами громкоговорителей (или тройками при размещениях, включающих в себя громкоговорители на разных высотах).
VBAP в общем смысле считается эталонной технологией корректировки для нестандартной расстановки громкоговорителей вследствие того, что она предлагает разумное решение во многих ситуациях. Однако также становится ясно, что существуют ограничения на отклонения позиций громкоговорителей, с которыми эта технология может эффективно справиться. Например, так как VBAP опирается на амплитудное панорамирование, она дает не очень удовлетворительные результаты в сценариях использования с большими промежутками между громкоговорителями, особенно между фронтальными и тыловыми. К тому же, она совершенно неспособна справиться со сценарием использования с наполнением объемного звучания и только фронтальными громкоговорителями. Другим конкретным сценарием использования, в котором VBAP дает неоптимальные результаты, является тот, когда подмножество доступных громкоговорителей распределены по группам в пределах небольшой области, такой, например, как вокруг (или может быть даже включены в состав) телевизора. Соответственно, желательны методы с улучшенными рендерингом и адаптацией.
В связи с этим, был бы полезен улучшенный метод рендеринга аудио и, в частности, был бы полезен метод, допускающий повышенную гибкость, облегченную реализацию и/или функционирование, что позволяет более гибко позиционировать громкоговорители, улучшить адаптацию к разным конфигурациям громкоговорителей и/или улучшить эксплуатационные свойства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Соответственно, настоящее изобретение преимущественно направлено на ослабление, смягчение или устранение одного или более из вышеупомянутых недостатков по отдельности или в любой комбинации.
Согласно одному из аспектов настоящего изобретения, предоставляется аудиоустройство, содержащее: приемник для приема аудиоданных и данных положения аудиопреобразователей для множества аудиопреобразователей; рендерер для рендеринга аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей для множества аудиопреобразователей из аудиоданных; устройство распределения по группам для группирования множества аудиопреобразователей в набор групп аудиопреобразователей согласно данным положения аудиопреобразователей и расстояниям между аудиопреобразователями из множества аудиопреобразователей в соответствии с метрикой пространственного расстояния; и контроллер рендерера, выполненный с возможностью адаптации рендеринга согласно распределению по группам.
Настоящее изобретение может обеспечить улучшенный рендеринг во многих сценариях. Во многих практических приложениях может быть достигнуто существенно улучшенное восприятие пользователем. Подход позволяет повысить гибкость и свободу позиционирования аудиопреобразователей (а именно, громкоговорителей), используемых для аудиорендеринга. Во многих приложениях и вариантах осуществления, подход может позволить адаптировать рендеринг к конкретной конфигурации аудиопреобразователей. Действительно, во многих вариантах осуществления подход может позволить пользователю просто помещать громкоговорители в желательные позиции (возможно, соотнесенные с общими рекомендациями, например, пытаться окружить место прослушивания), а система может автоматически адаптироваться к конкретной конфигурации.
Подход может обеспечить высокую степень гибкости. Действительно, подход распределения по группам может обеспечить ситуативную адаптацию к конкретным конфигурациям. Например, подход не требует, скажем, заранее определенных решений о численности аудиопреобразователей в каждой группе. Действительно, в типичных вариантах осуществления и сценариях, количество аудиопреобразователей в каждой группе будет неизвестно до распределения по группам. К тому же, количество аудиопреобразователей в каждой группе обычно будет разным для разных групп (по меньшей мере, некоторых).
Некоторые группы могут содержать только один аудиопреобразователь (например, если один аудиопреобразователь находится слишком далеко от всех иных аудиопреобразователей, чтобы это расстояние удовлетворяло заданному требованию для распределения по группам).
Распределение по группам может стремиться сгруппировать аудиопреобразователи, имеющие пространственную когерентность, в единые группы. Аудиопреобразователи в данной группе могут иметь данное пространственное соотношение, такое как максимальное расстояние или максимальное расстояние между соседями.
Контроллер рендерера может адаптировать рендеринг. Адаптация может заключаться в выборе алгоритма/режима рендеринга для одной или нескольких групп и/или может заключаться в адаптации/конфигуровании/модификации параметра алгоритма/режима рендеринга.
Адаптация рендеринга может происходить по конечным результатам распределения по группам, таким как отнесение аудиопреобразователей к группам, количество групп, параметр аудиопреобразователей в группе (например, максимальное расстояние между всеми аудиопреобразователями или между ближайшими соседними аудиопреобразователями).
Расстояния между аудиопреобразователями (на самом деле, в некоторых вариантах осуществления, все расстояния, в том числе, например, определения ближайших соседей и т.д.) могут быть определены в соответствии с метрикой пространственного расстояния.
Метрикой пространственного расстояния во многих вариантах осуществления может быть евклидово или угловое расстояние.
В некоторых вариантах осуществления, метрикой пространственного расстояния может быть трехмерная метрика пространственного расстояния, такая как трехмерное евклидово расстояние.
В некоторых вариантах осуществления, метрикой пространственного расстояния может быть двумерная метрика пространственного расстояния, такая как двумерное евклидово расстояние. Например, метрикой пространственного расстояния может быть евклидово расстояние вектора в проекции на плоскости. Например, вектор между позициями двух громкоговорителей может быть спроецирован на горизонтальной плоскости, и расстояние может быть определено как евклидова длина проецируемого вектора.
В некоторых вариантах осуществления, метрикой пространственного расстояния может быть одномерная метрика пространственного расстояния, такая как угловое расстояние (например, соответствующее разности угловых значений полярных представлений двух аудиопреобразователей).
Сигналы аудиопреобразователей могут быть сигналами возбуждения для аудиопреобразователей. Сигналы аудиопреобразователей могут быть дополнительно обработаны перед подачей на аудиопреобразователи, например, посредством фильтрации или усиления. В качестве эквивалента, аудиопреобразователи могут быть активными преобразователями, включающими в себя функциональные возможности усиления и/или фильтрации предоставляемого сигнала возбуждения. Сигнал аудиопреобразователя может генерироваться для каждого аудиопреобразователя из множества аудиопреобразователей.
Данные положения аудиопреобразователей могут предоставлять указание позиции для каждого аудиопреобразователя в наборе аудиопреобразователей или могут предоставлять указания позиций только их подмножества.
Аудиоданные могут содержать один или несколько аудиокомпонентов, таких как аудиоканалы, аудиообъекты и т.д.
Рендерер может быть выполнен с возможностью генерирования, для каждого аудиокомпонента, компонентов сигнала аудиопреобразователя для аудиопреобразователей, и генерирования сигнала аудиопреобразователя для каждого аудиопреобразователя путем объединения компонентов сигнала аудиопреобразователя для множества аудиокомпонентов.
Подход очень хорошо подходит для аудиопреобразователей при относительно большом количестве аудиопреобразователей. Действительно, в некоторых вариантах осуществления, множество аудиопреобразователей содержит не менее 10 или даже 15 аудиопреобразователей.
В некоторых вариантах осуществления рендерер может быть выполнен с возможностью рендеринга аудиокомпонентов в соответствии с множеством режимов рендеринга; и контроллер рендерера может быть выполнен с возможностью выбора, по меньшей мере, одного режима рендеринга из множества режимов рендеринга по результатам распределения по группам.
Аудиоданные и данные положения аудиопреобразователей в некоторых вариантах осуществления могут приниматься совместно в одном потоке данных, а возможно и из одного источника. В других вариантах осуществления данные могут быть независимыми и на самом деле могут быть совершенно обособленными данными, например, принимаемыми в разных форматах и из разных источников. Например, аудиоданные могут быть приняты в виде кодированного потока аудиоданных от удаленного источника, а данные положения аудиопреобразователей могут быть приняты в результате локального ручного ввода пользователем. Таким образом, приемник может содержать обособленные (суб)приемники для приема аудиоданных и данных положения аудиопреобразователей. В действительности, (суб)приемники для приема аудиоданных и данных положения аудиопреобразователей могут быть реализованы в разных физических устройствах.
Сигналы возбуждения аудиопреобразователей могут быть любыми сигналами, которые позволяют аудиопреобразователям производить рендеринг звука, представленного сигналами возбуждения аудиопреобразователей. Например, в некоторых вариантах осуществления, сигналы возбуждения аудиопреобразователей могут быть аналоговыми мощными сигналами, которые непосредственно подаются на пассивные аудиопреобразователи. В других вариантах осуществления сигналы возбуждения аудиопреобразователей могут быть, например, аналоговыми сигналами малой мощности, которые могут быть усилены активными колонками. Еще в одних вариантах осуществления сигналы возбуждения аудиопреобразователей могут быть оцифрованными сигналами, которые могут быть, например, преобразованы в аналоговые сигналы посредством аудиопреобразователей. В некоторых вариантах осуществления сигналы возбуждения аудиопреобразователей могут быть, скажем, кодированными аудиосигналами, которые могут, например, сообщаться на аудиопреобразователи через сеть или, например, линию беспроводной связи. В таких примерах аудиопреобразователи могут содержать функциональные возможности декодирования.
В соответствии с дополнительным признаком настоящего изобретения, рендерер выполнен с возможностью рендеринга аудиокомпонентов в соответствии с множеством режимов рендеринга; и контроллер рендерера выполняется с возможностью независимого выбора режимов рендеринга из множества режимов рендеринга для разных групп аудиопреобразователей.
Это может обеспечить улучшенную и эффективную адаптацию рендеринга во многих вариантах осуществления. В частности, это может позволить динамически и ситуативно выделять предпочтительные алгоритмы рендеринга для подмножеств аудиопреобразователей, которые способны поддерживать эти алгоритмы рендеринга, позволяя применять другие алгоритмы к подмножествам, которые не могут поддерживать эти алгоритмы рендеринга.
Контроллер рендерера может быть выполнен с возможностью независимого выбора режима рендеринга для разных групп в том смысле, что разные режимы рендеринга являются возможными выборами для групп. А именно, один режим рендеринга может быть выбран для первой группы, притом что другой режим рендеринга выбирается для другой группы.
Выбор режима рендеринга для одной группы может принимать во внимание характеристики, соотнесенные со аудиопреобразователями, принадлежащими этой группе, но может, например, в некоторых сценариях также учитывать и характеристики, соотнесенные с иными группами.
В соответствии с дополнительным признаком настоящего изобретения, рендерер выполнен с возможностью выполнения рендеринга с обработкой массивов; и контроллер рендерера выполняется с возможностью выбора рендеринга с обработкой массивов для первой группы из набора групп аудиопреобразователей по соответствию атрибута первой группы критерию.
Это может обеспечить улучшенные эксплуатационные свойства во многих вариантах осуществления и/или может позволить улучшить восприятие пользователем и/или повысить свободу и гибкость. В частности, подход может позволить улучшить адаптацию к конкретному сценарию рендеринга.
Обработка массивов может предоставить возможность особенно эффективного рендеринга и может, в частности, обеспечить высокую степень гибкости рендеринга аудио с желаемыми пространственными перцепционными характеристиками. Однако, для обработки массивов, как правило, требуется, чтобы аудиопреобразователи массива находились близко друг к другу.
При обработке массивов аудиосигнал воспроизводится с помощью рендеринга посредством подачи его на множество аудиопреобразователей с фазой и амплитудой, которые регулируются между аудиопреобразователями, чтобы обеспечить желаемую диаграмму направленности излучения. Фаза и амплитуды, как правило, зависят от частоты.
Обработка массивов может, в частности, включать в себя формирование пучка, синтез волнового поля, а также обработку диполя (которую можно считать разновидностью формирования пучка). Разные процессы обработки массивов могут предъявлять разные требования к аудиопреобразователям массива, и улучшенные эксплуатационные свойства могут быть достигнуты в некоторых вариантах осуществления за счет выбора между разными технологиями обработки массивов.
В соответствии с дополнительным признаком настоящего изобретения, рендерер выполняется с возможностью выполнения рендеринга с обработкой массивов; и контроллер рендерера выполняется с возможностью адаптации рендеринга с обработкой массивов для первой группы из набора групп аудиопреобразователей по атрибуту первой группы.
Это может обеспечить улучшенные эксплуатационные свойства во многих вариантах осуществления и/или может позволить улучшить восприятие пользователем и/или повысить свободу и гибкость. В частности, подход может позволить улучшить адаптацию к конкретному сценарию рендеринга.
Обработка массивов может предоставить возможность особенно эффективного рендеринга и может, в частности, обеспечить высокую степень гибкости рендеринга аудио с желаемыми перцепционными пространственными характеристиками. Однако, для обработки массивов, как правило, требуется, чтобы аудиопреобразователи массива находились близко друг к другу.
В соответствии с дополнительным признаком настоящего изобретения, атрибут представляет собой, по меньшей мере, одно из следующего: максимальное расстояние между аудиопреобразователями первой группы, являющимися ближайшими соседями, в соответствии с метрикой пространственного расстояния; максимальное расстояние между аудиопреобразователями первой группы в соответствии с метрикой пространственного расстояния; и количество аудиопреобразователей в первой группе.
Это может обеспечить очень выгодную адаптацию рендеринга и, в частности, обработки массивов.
В соответствии с дополнительным признаком настоящего изобретения, устройство распределения по группам выполняется с возможностью генерирования указателя атрибута для первой группы из набора групп аудиопреобразователей; и контроллер рендерера выполняется с возможностью адаптации рендеринга для первой группы по указателю атрибута.
Это может обеспечить улучшенные эксплуатационные свойства во многих вариантах осуществления и/или может позволить улучшить восприятие пользователем и/или повысить гибкость. В частности, подход может позволить улучшить адаптацию к конкретному сценарию рендеринга.
Адаптация рендеринга может, например, происходить за счет выбора режима рендеринга по атрибуту. В качестве другого примера, адаптация может происходить за счет адаптации параметра алгоритма рендеринга.
В соответствии с дополнительным признаком настоящего изобретения, указатель атрибута указывает, по меньшей мере, на один атрибут, выбранный из следующего блока: максимальное расстояние между аудиопреобразователями первой группы, являющимися ближайшими соседями, в соответствии с метрикой пространственного расстояния; и максимальное расстояние между любыми двумя аудиопреобразователями первой группы.
Эти параметры могут обеспечить очень выгодные адаптацию рендеринга и эксплуатационные свойства во многих вариантах осуществления и сценариях. В частности, они часто могут обеспечивать четкое указание пригодности и/или предпочтительных параметров для обработки массивов.
В соответствии с дополнительным признаком настоящего изобретения, указатель атрибута указывает, по меньшей мере, на один атрибут, выбранный из следующего блока: частотная характеристика одного или нескольких аудиопреобразователей первой группы; ограничение частотного диапазона для режима рендеринга на рендерере; количество аудиопреобразователей в первой группе; ориентация первой группы относительно, по меньшей мере, одного из опорной позиции и геометрического атрибута среды рендеринга; и пространственный размер первой группы.
Эти параметры могут обеспечить очень выгодные адаптацию рендеринга и эксплуатационные свойства во многих вариантах осуществления и сценариях.
В соответствии с дополнительным признаком настоящего изобретения, устройство распределения по группам выполняется с возможностью генерирования набора групп аудиопреобразователей по результатам итеративного присоединения аудиопреобразователей к группам предыдущей итерации, при этом первый аудиопреобразователь присоединяется к первой группе из набора групп аудиопреобразователей по соответствию первого аудиопреобразователя критерию расстояния по отношению к одному или нескольким аудиопреобразователям первой группы.
Это может обеспечить очень выгодное распределение по группам во многих вариантах осуществления. В частности, это может предоставить возможность «восходящего» распределения по группам, в котором постепенно генерируются все сильнее увеличивающиеся группы. Во многих вариантах осуществления выгодное распределение по группам достигается при относительно малом использовании вычислительных ресурсов.
Процесс обработки может быть инициализирован с помощью набора групп, притом что каждая группа содержит один аудиопреобразователь, или может быть, например, инициализирован набором первоначальных групп с небольшим количеством аудиопреобразователей (например, отвечающих заданному требованию).
В некоторых вариантах осуществления критерий расстояния содержит, по меньшей мере, одно требование, выбранное из следующего блока: первый аудиопреобразователь является ближайшим аудиопреобразователем для любого аудиопреобразователя из первой группы; первый аудиопреобразователь принадлежит группе аудиопреобразователей, содержащей аудиопреобразователь, являющийся ближайшим аудиопреобразователем для любого аудиопреобразователя из первой группы; расстояние между аудиопреобразователем из первой группы и первым аудиопреобразователем меньше, чем любое другое расстояние между парами аудиопреобразователей, содержащими аудиопреобразователи из разных групп; и расстояние между аудиопреобразователем из первой группы и аудиопреобразователем из группы, которой принадлежит первый аудиопреобразователь, меньше, чем любое другое расстояние между парами аудиопреобразователей, содержащими аудиопреобразователи из разных групп.
В некоторых вариантах осуществления устройство распределения по группам может быть выполнено с возможностью генерирования набора групп аудиопреобразователей по результатам первоначального генерирования групп с последующим итеративным разделением групп; при этом каждое разделение групп происходит согласно расстоянию между двумя аудиопреобразователями из группы, превышающему пороговое значение.
Это может обеспечить очень выгодное распределение по группам во многих вариантах осуществления. В частности, это может предоставить возможность «нисходящего» распределения по группам, в котором постепенно генерируются все сильнее уменьшающиеся группы из более крупных групп. Во многих вариантах осуществления выгодное распределение по группам достигается при относительно малом использовании вычислительных ресурсов.
Процесс обработки может быть инициализирован с помощью набора групп, содержащего одну группу, вмещающую все группы, например, он может быть инициализирован набором первоначальных групп, содержащих большое количество аудиопреобразователей (например, отвечающих заданному требованию).
В соответствии с дополнительным признаком настоящего изобретения, устройство распределения по группам выполняется с возможностью генерирования набора групп аудиопреобразователей при выполнении требования, что в группе нет двух аудиопреобразователей, являющихся ближайшими соседями в соответствии с метрикой пространственного расстояния, с расстоянием, превышающим пороговое значение.
Это может обеспечить очень выгодные эксплуатационные свойства и функционирование во многих вариантах осуществления. Например, могут генерироваться группы, которые могут считаться подходящими, например, для обработки массивов.
В некоторых вариантах осуществления устройство распределения по группам может быть выполнено с возможностью генерирования набора групп аудиопреобразователей при выполнении требования, что нет двух громкоговорителей в группе с расстоянием, превышающим пороговое значение.
В соответствии с дополнительным признаком настоящего изобретения, устройство распределения по группам выполняется с дополнительной возможностью приема данных рендеринга, указывающих акустические характеристики рендеринга, по меньшей мере, некоторых аудиопреобразователей из множества аудиопреобразователей, и группирования множества аудиопреобразователей в набор групп аудиопреобразователей по данным рендеринга.
Это может обеспечить распределение по группам, которое во многих вариантах осуществления и сценариях может позволить улучшить адаптацию рендеринга. Акустические характеристики рендеринга могут, например, включать в себя указатель частотного диапазона, такой как ширина полосы частот или средняя частота, для одного или нескольких аудиопреобразователей.
В частности, в некоторых вариантах осуществления, распределение по группам может зависеть от диаграммы направленности излучения, например, представленной основным направлением излучения, аудиопреобразователей.
В соответствии с дополнительным признаком настоящего изобретения, устройство распределения по группам выполняется с дополнительной возможностью приема данных алгоритма рендеринга, указывающих характеристики алгоритмов рендеринга, которые могут быть выполнены рендерером, и группирования множества аудиопреобразователей в набор групп аудиопреобразователей по данным алгоритма рендеринга.
Это может обеспечить распределение по группам, которое во многих вариантах осуществления и сценариях может позволить улучшить адаптацию рендеринга. Данные алгоритма рендеринга могут, например, включать в себя указания того, какие алгоритмы/режимы рендеринга могут поддерживаться рендерером, какие для них существуют ограничения, и т.д.
В соответствии с дополнительным признаком настоящего изобретения, метрикой пространственного расстояния является метрика углового расстояния, отражающая угловую разность между аудиопреобразователями относительно опорной позиции или направления.
Это может обеспечить улучшенные эксплуатационные свойства во многих вариантах осуществления. В частности, это может обеспечить улучшенное соответствие пригодности групп, например, для процессов обработки массивов.
Согласно одному из аспектов настоящего изобретения предоставляется способ обработки звука, причем способ содержит этапы, на которых: принимают аудиоданные и данные положения аудиопреобразователей для множества аудиопреобразователей; производят рендеринг аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей для множества аудиопреобразователей, исходя из аудиоданных; группируют множество аудиопреобразователей в набор групп аудиопреобразователей согласно данным положения аудиопреобразователей и расстояниям между аудиопреобразователями из множества аудиопреобразователей в соответствии с метрикой пространственного расстояния; и адаптируют рендеринг согласно распределению по группам.
Эти и другие аспекты, признаки и преимущества настоящего изобретения будут изучены и станут понятны из описанного в дальнейшем в этом документе варианта(ов) осуществления.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления настоящего изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, на которых
Фиг. 1 иллюстрирует пример принципа работы системы MPEG Surround в соответствии с предшествующим уровнем техники;
Фиг. 2 иллюстрирует пример элементов системы SAOC в соответствии с предшествующим уровнем техники;
Фиг. 3 иллюстрирует интерактивный интерфейс, который дает пользователю возможность управлять отдельными объектами, содержащимися в битовом потоке SAOC;
Фиг. 4 иллюстрирует пример принципа работы аудиокодирования в DTS MDA™ в соответствии с предшествующим уровнем техники;
Фиг. 5 иллюстрирует пример элементов системы MPEG-H 3D Audio в соответствии с предшествующим уровнем техники;
Фиг. 6 иллюстрирует пример аудиоустройства в соответствии с некоторыми вариантами осуществления настоящего изобретения;
Фиг. 7 иллюстрирует пример конфигурации громкоговорителей в соответствии с некоторыми вариантами осуществления настоящего изобретения;
Фиг. 8 иллюстрирует пример распределения по группам для конфигурации громкоговорителей, показанной на Фиг. 7;
Фиг. 9 иллюстрирует пример конфигурации громкоговорителей в соответствии с некоторыми вариантами осуществления настоящего изобретения;
Фиг. 10 иллюстрирует пример распределения по группам для конфигурации громкоговорителей, показанной на Фиг. 7.
ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Нижеследующее описание посвящено вариантам осуществления настоящего изобретения, применимым к системе рендеринга, выполненной с возможностью рендеринга множества аудиокомпонентов, которые могут быть разного типа, и в частности к рендерингу аудиоканалов, аудиообъектов и объектов аудиосцены в аудиопотоке MPEG-H 3D. Тем не менее, следует понимать, что настоящее изобретение не ограничивается этим применением, а может быть применено ко многим другим системам рендеринга звука, как и к другим аудиопотокам.
Описываемая система рендеринга является адаптивной системой рендеринга, способной адаптировать свое функционирование к конкретной используемой конфигурации рендеринга с помощью аудиопреобразователей, в том числе к конкретным позициям аудиопреобразователей, используемых при рендеринге.
Большинство существующих систем воспроизведения звука допускает лишь очень небольшую степень гибкости при размещении громкоговорителей. Из-за того, что традиционные системы, как правило, разрабатываются с исходными допущениями, касающимися той или иной общей конфигурации громкоговорителей (например, когда громкоговорители помещаются более или менее равноудалено вокруг слушателя или помещаются в линию перед слушателем и т.д.) и/или касающимися характера аудионаполнения (например, когда оно состоит из небольшого числа обособленных локализуемых источников, или когда оно состоит из очень рассеянной аудиосцены и т.д.), существующие системы обычно могут давать оптимальное восприятие только для ограниченного спектра конфигураций громкоговорителя. Это приводит к значительному снижению восприятия пользователем, и в частности пространственного восприятия, во многих реальных сценариях использования и/или сильно уменьшает свободу и гибкость для позиционирования громкоговорителей пользователем.
Система рендеринга, описываемая в дальнейшем, предоставляет адаптивную систему рендеринга, которая способна давать высококачественное и, как правило, оптимизированное восприятие для большого спектра разнообразных размещений громкоговорителей. Таким образом, она обеспечивает свободу и гибкость, желательные во многих приложениях, таких как бытовые приложения рендеринга.
Система рендеринга основывается на использовании алгоритма распределения по группам, который выполняет группирование громкоговорителей в набор групп. Распределение по группам основывается на расстояниях между громкоговорителями, которые определяются с использованием подходящей метрики пространственного расстояния, такой как евклидово расстояние или угловая разность/расстояние относительно опорной точки. Метод распределения по группам может быть применен к любой компоновке и конфигурации громкоговорителей и может обеспечить адаптивное и динамическое генерирование групп, которые отражают конкретные характеристики данной конфигурации. Распределение по группам может определенным образом идентифицировать и объединить в группу громкоговорители, которые демонстрируют пространственную когерентность. Эта пространственная когерентность в пределах отдельных групп затем может использоваться алгоритмами рендеринга, которые основаны на применении пространственной когерентности. Например, рендеринг на основе обработки массивов, такой, скажем, как рендеринг с формированием пучка, может быть применен в пределах идентифицированных отдельных групп. Таким образом, распределение по группам может позволить идентифицировать группы громкоговорителей, которые могут использоваться для рендеринга аудио с использованием процесса формирования пучка.
Соответственно, в системе рендеринга, рендеринг адаптируется в зависимости от распределения по группам. В зависимости от конечного результата распределения по группам система рендеринга может выбрать один или несколько параметров рендеринга. Фактически, во многих вариантах осуществления, алгоритм рендеринга может выбираться свободно для каждой группы. Таким образом, алгоритм, который используется для данного громкоговорителя, будет зависеть от распределения по группам, а именно, будет зависеть от группы, которой принадлежит громкоговоритель. Система рендеринга может, например, интерпретировать каждую группу с большим, чем заданное число, количеством громкоговорителей как единый массив громкоговорителей, при этом аудио воспроизводится с помощью рендеринга со стороны этой группы посредством обработки массива, такой как технологический процесс формирования пучка.
В некоторых вариантах осуществления метод рендеринга основывается на технологическом процессе распределения по группам, который может точно идентифицировать одно или более подмножеств из всего набора громкоговорителей, которые могут иметь пространственную когерентность, что позволяет применить конкретные алгоритмы рендеринга. А именно, распределение по группам может обеспечить гибкое и ситуативное генерирование подмножеств громкоговорителей при гибком размещении громкоговорителей, к которым могут быть эффективно применены технические методы обработки массивов. Идентификация подмножеств основывается на пространственных расстояниях между соседними громкоговорителями.
В некоторых вариантах осуществления группы или подмножества громкоговорителей могут быть охарактеризованы одним или несколькими показателями, которые связаны с эксплуатационными свойствами рендеринга для подмножества, и, соответственно, могут быть установлены один или несколько параметров рендеринга.
Например, для данной группы, может быть сгенерирован показатель возможных эксплуатационных свойств массива для подмножества. Такие показатели могут включать в себя, например, максимальный интервал между громкоговорителями в пределах подмножества, общую пространственную протяженность (размер) подмножества, ширину полосы частот, в пределах которой обработка массива может эффективно применяться для подмножества, позицию, направление или ориентацию подмножества относительно некоторой опорной позиции, а также показатели, которые определяют для одного или нескольких типов обработки массивов, может ли эта обработка быть эффективно применена к подмножеству.
Хотя в разных вариантах осуществления может использоваться много различных методов рендеринга, метод может специально во многих вариантах осуществления быть организован таким образом, чтобы идентифицировать и генерировать подмножества громкоговорителей в любой данной (случайной) конфигурации, которые особенно подходят для обработки массивов. Нижеследующее описание посвящено вариантам осуществления в которых, по меньшей мере, один возможный режим рендеринга использует обработку массивов, но следует понимать, что в других вариантах осуществления обработка массивов может и не задействоваться.
Используя обработку массивов, можно управлять пространственными свойствами звукового поля, воспроизводимого в результате размещения нескольких громкоговорителей. Существуют разные типы обработки массивов, но обычно обработка подразумевает отправку общего входного сигнала на несколько громкоговорителей с собственными модификациями усиления и фазы, применяемыми к каждому сигналу громкоговорителя, возможно, некоторым образом зависящими от частоты.
Обработка массивов может быть направлена на то, чтобы:
ограничить пространственную область, в которой излучается звук (формирование пучка);
получить в результате пространственное звуковое поле, которое идентично звуковому полю от виртуального источника звука в некотором желательном местоположении источника (Синтез Волнового Поля и подобные технические методы);
предотвратить излучение звука в определенном направлении (обработка диполя);
воспроизвести с помощью рендеринга звук таким образом, чтобы он не передавал слушателю четкую ассоциацию с направлением;
воспроизвести с помощью рендеринга звук таким образом, чтобы он создавал нужное пространственное восприятие для конкретной позиции в пространстве прослушивания (аурализация громкоговорителей с использованием подавления перекрестных помех и HRTF).
Следует иметь в виду, что это всего лишь некоторые конкретные примеры и что любая другая аудиообработка массивов может использоваться альтернативно или дополнительно.
Разные технологии обработки массивов имеют разные требования для массива громкоговорителей, например, в том, что касается максимального допустимого интервала между громкоговорителями или минимального количества громкоговорителей в массиве. Эти требования также зависят от приложения и сценария использования. Они могут быть связаны с шириной полосы частот, в пределах которой требуется эффективная обработка массивов, а также они могут быть обусловлены перцепционно. Например, обработка с Синтезом Волнового Поля может быть эффективна при интервале между громкоговорителями до 25 см и обычно требует относительно длинного массива, чтобы получить реальную выгоду. Обработка с формированием пучка, с другой стороны, обычно полезна только при меньших интервалах между громкоговорителями (скажем, меньше 10 см), но может оставаться эффективной и при относительно коротких массивах, в то же время обработка диполя требует только двух громкоговорителей, которые расположены относительно близко друг от друга.
Таким образом, разные подмножества полного набора громкоговорителей могут быть пригодны для разных типов обработки массивов. Задача состоит в том, чтобы идентифицировать эти разные подмножества и охарактеризовать их таким образом, чтобы к ним можно было применить подходящие технические методы обработки массивов. В описываемой системе рендеринга подмножества динамически определяются без необходимости предварительной осведомленности или предположения о конкретных конфигурациях громкоговорителей. Определение основывается на методе распределения по группам, который генерирует подмножества громкоговорителей в зависимости от их пространственных отношений.
Система рендеринга может соответствующим образом адаптировать функционирование к конкретной конфигурации громкоговорителей и может, в частности, оптимизировать использование технических методов обработки массивов, чтобы обеспечить улучшенный рендеринг и, в частности, обеспечить улучшенный пространственный рендеринг. Действительно, как правило, обработка массивов при использовании с подходящими массивами громкоговорителей может обеспечивать существенно улучшенное пространственное восприятие по сравнению, например, с методом VBAP, который используется в некоторых системах рендеринга. Система рендеринга может автоматически идентифицировать подходящие подмножества громкоговорителей, которые могут поддерживать подходящую обработку массивов, тем самым позволяя улучшить рендеринг аудио в целом.
Фиг. 6 иллюстрирует пример системы рендеринга/аудиоустройства 601 в соответствии с некоторыми вариантами осуществления настоящего изобретения.
Устройство 601 обработки аудио является, в частности, аудиорендерером, который генерирует сигналы возбуждения для набора аудиопреобразователей, которые в конкретном примере представляют собой громкоговорители 603. Таким образом, устройство 601 обработки звука генерирует сигналы возбуждения аудиопреобразователей, которые в конкретном примере являются сигналами возбуждения для набора громкоговорителей 603. Фиг. 6 иллюстрирует именно пример с шестью громкоговорителями, но следует понимать, что это всего лишь иллюстрирует конкретный пример и что может использоваться любое количество громкоговорителей. В действительности, во многих вариантах осуществления, общее количество громкоговорителей может составлять не менее 10 или даже 15 громкоговорителей.
Устройство 601 обработки звука содержит приемник 605, который принимает аудиоданные, содержащие множество аудиокомпонентов, которые должны быть воспроизведены с помощью рендеринга со стороны громкоговорителей 603. Аудиокомпоненты обычно подвергаются рендерингу, чтобы обеспечить пространственное восприятие пользователем, и могут, например, включать в себя аудиосигналы, аудиоканалы, аудиообъекты и/или объекты аудиосцены. В некоторых вариантах осуществления аудиоданные могут представлять только один монофонический аудиосигнал. В других вариантах осуществления множество аудиокомпонентов разных типов, например, может быть представлено аудиоданными.
Устройство 601 аудиообработки дополнительно содержит рендерер 607, который выполняется с возможностью рендеринга (по меньшей мере, части) аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей (в дальнейшем упоминаемых просто как сигналы возбуждения), т.е. сигналов возбуждения для громкоговорителей 603, исходя из аудиоданных. Таким образом, когда сигналы возбуждения подаются на громкоговорители 603, они производят звук, представленный аудиоданными.
Рендерер может определенным образом генерировать компоненты сигналов возбуждения для громкоговорителей 603, исходя из каждого из ряда аудиокомпонентов в принятых аудиоданных, а затем объединять компоненты сигналов возбуждения для разных аудиокомпонентов в отдельные сигналы аудиопреобразователей, т.е. в результирующие сигналы возбуждения, которые подаются на громкоговорители 603. Для краткости и ясности, Фиг. 6 и последующее описание не будут рассматривать стандартные операции обработки сигналов, которые могут быть применены к сигналам возбуждения или при генерировании сигналов возбуждения. Однако следует понимать, что система может включать в себя, например, функции фильтрации и усиления.
Приемник 605 в некоторых вариантах осуществления может принимать кодированные аудиоданные, которые содержат кодированные аудиоданные для одного или нескольких аудиокомпонентов, и может быть выполнен с возможностью декодирования аудиоданных и предоставления декодированных аудиопотоков на рендерер 607. В частности, для каждого аудиокомпонента может быть предоставлен один аудиопоток. В качестве альтернативы, один аудиопоток может быть понижающим смешением множества аудиообъектов (как, например, для битового потока SAOC).
В некоторых вариантах осуществления приемник 605 может быть выполнен с дополнительной возможностью предоставления данных положения на рендерер 607 для аудиокомпонентов, и рендерер 607 может соответствующим образом позиционировать аудиокомпоненты. В некоторых вариантах осуществления данные положения могут быть предоставлены, например, в результате ввода пользователем, посредством обособленного алгоритма, или сгенерированы самой системой рендеринга/аудиоустройством 601. В общем следует понимать, что данные положения могут быть сгенерированы и предоставлены любым подходящим способом и в любом подходящем формате.
В отличие от традиционных систем, устройство 601 обработки звука, показанное на Фиг. 6, не просто генерирует сигналы возбуждения, основываясь на заранее определенной или предполагаемой позиции громкоговорителей 603. Скорее система адаптирует рендеринг к конкретной конфигурации громкоговорителей. Адаптация основывается на группировании громкоговорителей 603 в набор групп аудиопреобразователей.
Соответственно, система рендеринга содержит устройство 609 распределения по группам, которое выполняется с возможностью группирования множества аудиопреобразователей в набор групп аудиопреобразователей. Таким образом, множество групп, соответствующих подмножествам громкоговорителей 603, производится устройством 609 распределения по группам. Одна или несколько из полученных в результате групп может содержать только один громкоговоритель или может содержать множество громкоговорителей 603. Количество громкоговорителей в одной или нескольких группах не определяется заранее, а зависит от пространственных отношений между громкоговорителями 603.
Распределение по группам основывается на данных положения аудиопреобразователей, которые предоставляются на устройство 609 распределения по группам от приемника 605. Распределение по группам основывается на пространственных расстояниях между громкоговорителями 603, причем пространственное расстояние определяется в соответствии с метрикой пространственного расстояния. Метрика пространственного расстояния может быть, например, двумерным или трехмерным евклидовым расстоянием или может быть угловым расстоянием относительно подходящей опорной точки (например, позиции прослушивания).
Следует иметь в виду, что данные положения аудиопреобразователей могут быть любыми данными, обеспечивающими указание позиции одного или нескольких громкоговорителей 603, включающими в себя абсолютные или относительные позиции (в том числе, например, позиции относительно других позиций громкоговорителей 603, относительно позиции прослушивания, или позиция обособленного устройства определения местоположения или другого устройства в окружающей среде). Следует также иметь в виду, что данные положения аудиопреобразователей могут быть предоставлены или сгенерированы любым подходящим способом. Например, в некоторых вариантах осуществления данные положения аудиопреобразователей могут быть вручную введены пользователем, например, как фактические позиции относительно опорной позиции (такой как позиция прослушивания) или как расстояния и углы между громкоговорителями. В других примерах устройство 601 обработки звука может само содержать функциональную возможность для оценки позиций громкоговорителей 603 на основании измерений. Например, громкоговорители 603 могут быть снабжены микрофонами, и это может быть использовано для оценки позиций. Например, каждый громкоговоритель 603 может по очереди производить рендеринг тестового сигнала, и разности по времени между компонентами тестового сигнала в сигналах микрофона могут определяться и использоваться для оценки расстояний до громкоговорителя 603, производящего рендеринг тестового сигнала. Полный набор расстояний, полученных в результате тестов для множества (а обычно всех) громкоговорителей 603, затем может использоваться для оценки относительных позиций для громкоговорителей 603.
Распределение по группам будет стремиться сгруппировать в группы громкоговорители, которые обладают пространственной когерентностью. Таким образом, генерируются группы громкоговорителей, при этом громкоговорители в пределах каждой группы удовлетворяют одному или нескольким требованиям по расстояниям относительно друг друга. Например, каждая группа может содержать набор громкоговорителей, для которых каждый громкоговоритель имеет расстояние (в соответствии с метрикой расстояния), по меньшей мере, до одного другого громкоговорителя из группы, которое ниже заранее определенного порогового значения. В некоторых вариантах осуществления к генерированию группы может предъявляться требование, чтобы максимальное расстояние (в соответствии с метрикой расстояния) между любыми двумя громкоговорителями в группе было меньше порогового значения.
Устройство 609 распределения по группам выполняется с возможностью выполнения распределения по группам, основываясь на метрике расстояния, данных положения и требованиях по относительному расстоянию для громкоговорителей группы. Таким образом устройство 609 распределения по группам не предполагает и не требует каких-то конкретных позиций или конфигураций громкоговорителей. Скорее, любая конфигурация громкоговорителей может быть распределена по группам на основании данных положения. Если данная конфигурация громкоговорителей действительно содержит набор громкоговорителей, помещенных с подходящей пространственной когерентностью, то распределение по группам сгенерирует группу, содержащую этот набор громкоговорителей. В то же время громкоговорители, которые находятся недостаточно близко к любым другим громкоговорителям, чтобы демонстрировать нужную пространственную когерентность, попадают в группы, содержащие только сам этот громкоговоритель.
Распределение по группам может, таким образом, обеспечить очень гибкую адаптацию к любой конфигурации громкоговорителей. Действительно, для любой данной конфигурации громкоговорителей, распределение по группам может, например, идентифицировать любое подмножество громкоговорителей 603, которые подходят для обработки массивов.
Устройство 609 распределения по группам соединяется с контроллером 611 адаптера/рендерера, который в свою очередь соединяется с рендерером 607. Контроллер 611 рендерера выполняется с возможностью адаптации рендеринга со стороны рендерера 607 согласно распределению по группам.
Устройство 609 распределения по группам, таким образом, предоставляет контроллеру 611 рендерера данные, описывающие конечный результат распределения по группам. Данные, в частности, могут включать в себя указание того, какие громкоговорители 603 принадлежат каким группам, т.е. указание полученных в результате групп и их составляющих элементов. Следует отметить, что во многих вариантах осуществления громкоговоритель может принадлежать более чем одной группе. В дополнение к информации о том, какие громкоговорители находятся в каждой группе, устройство 609 распределения по группам может также генерировать дополнительную информацию, такую как, например, указание среднего или максимального расстояния между громкоговорителями в группе (например, среднее или максимальное расстояние между каждым громкоговорителем в группе и другим самым ближним громкоговорителем группы).
Контроллер 611 рендерера принимает информацию от устройства 609 распределения по группам, и выполнено с возможностью управления, согласно этой информации, рендерером 607 таким образом, чтобы адаптировать рендеринг к конкретному распределению по группам. Адаптация может, например, заключаться в выборе режима/алгоритма рендеринга и/или конфигурации режима/алгоритма рендеринга, например, путем установления одного или нескольких параметров режима/алгоритма рендеринга.
Например, контроллер 611 рендерера может для данной группы выбрать алгоритм рендеринга, который подходит для этой группы. Например, если группа содержит только один громкоговоритель, рендеринг некоторых аудиокомпонентов может производиться с помощью алгоритма VBAP, который, например, использует иной громкоговоритель, принадлежащий другой группе. Однако если наоборот, группа содержит достаточное количество громкоговорителей, рендеринг аудиокомпонента может вместо этого выполняться с использованием обработки массивов, такой как формирование пучка или синтез волнового поля. Таким образом, метод позволяет автоматически выявлять и распределять по группам громкоговорители, для которых могут быть применены технические методы обработки массивов для улучшения пространственного ощущения, в то же время позволяя использовать другие режимы рендеринга, когда это невозможно.
В некоторых вариантах осуществления параметры режима рендеринга могут устанавливаться в зависимости от дополнительных характеристик. Например, фактическая обработка массивов может быть адаптирована с учетом конкретных позиций громкоговорителей в данной группе, используемой для рендеринга с обработкой массивов.
В качестве другого примера, может быть предварительно выбран режим/алгоритм рендеринга, а параметры для рендеринга могут быть установлены в зависимости от распределения по группам. Например, алгоритм формирования пучка может быть адаптирован с учетом количества громкоговорителей, которые содержатся в данной группе.
Таким образом, в некоторых вариантах осуществления, контроллер 611 рендерера выполняется с возможностью выбора среди целого ряда разных алгоритмов в зависимости от распределения по группам, и, более определенно, оно дает возможность выбора разных алгоритмов рендеринга для разных групп.
В частности, рендерер 607 может быть выполнен с возможностью рендеринга аудиокомпонентов в соответствии с множеством режимов рендеринга с разными характеристиками. Например, некоторые режимы рендеринга будут задействовать алгоритмы, обеспечивающие рендеринг, который дает очень конкретное и сильно локализованное ощущение аудио, тогда как другие режимы рендеринга задействуют алгоритмы рендеринга, которые обеспечивают рассеянное и расплывчатое позиционное ощущение. Таким образом рендеринг и ощущаемое пространственное восприятие могут очень существенно отличаться, в зависимости от того, какой алгоритм рендеринга используется. К тому же, разные алгоритмы рендеринга могут предъявлять разные требования к громкоговорителям 603, используемым для рендеринга аудио. Например, обработка массивов, такая как формирование пучка или синтез волнового поля, требует множества громкоговорителей, которые помещены близко друг к другу, тогда как технические методы VBAP могут использоваться с громкоговорителями, которые помещены дальше друг от друга.
В конкретных вариантах осуществления, контроллер 611 рендерера выполняется с возможностью управления режимом рендеринга, используемым рендерером 607. Таким образом, контроллер 611 рендерера управляет тем, какие конкретные алгоритмы рендеринга используются рендерером 607. Контроллер 611 рендерера выбирает режимы рендеринга, основываясь на распределении по группам, и поэтому алгоритмы рендеринга, задействованные устройством 601 обработки звука, будут зависеть от позиций громкоговорителей 603.
Контроллер 611 рендерера не просто регулирует характеристики рендеринга или производит переключение между режимами рендеринга для системы в целом. Скорее, устройство 601 аудиообработки, показанное на Фиг. 6, выполняется с возможностью выбора режимов и алгоритмов рендеринга для отдельных групп громкоговорителей. Выбор обычно зависит от конкретных характеристик громкоговорителей 603 в группе. Таким образом, один режим рендеринга может использоваться для некоторых громкоговорителей 603, тогда как еще один режим рендеринга может в то же время использоваться для иных громкоговорителей 603 (в другой группе). А значит результатом рендеринга аудио с помощью системы, показанной на Фиг. 6, в таких вариантах осуществления является сочетание применения разных режимов пространственного рендеринга для разных подмножеств громкоговорителей 603, причем режимы пространственного рендеринга выбираются в зависимости от распределения по группам.
Контроллер 611 рендерера может определенным образом независимо выбирать режим рендеринга для каждой группы.
Использование разных алгоритмов рендеринга для разных групп может обеспечить улучшенные эксплуатационные свойства во многих сценариях и может позволить улучшить адаптацию к конкретной установке рендеринга, при этом во многих сценариях обеспечивается улучшенное пространственное восприятие.
В некоторых вариантах осуществления контроллер 611 рендерера может быть выполнен с возможностью выбора разных алгоритмов рендеринга для разных аудиокомпонентов. Например, разные алгоритмы могут быть выбраны в зависимости от желаемой позиции или типа аудиокомпонента. Например, если четко определенный в пространственном отношении аудиокомпонент намечен для воспроизведения с помощью рендеринга из позиции между двумя группами, контроллер 611 рендерера может, скажем, выбрать алгоритм рендеринга VBAP с использованием громкоговорителей из различных групп. Однако, если воспроизводится с помощью рендеринга более рассеянный аудиокомпонент, формирование пучка может использоваться в пределах одной группы, чтобы воспроизвести с помощью рендеринга аудиокомпонент пучком с режекцией в направлении позиции прослушивания, тем самым ослабляя любой прямой акустический путь.
Подход может использоваться с небольшим количеством громкоговорителей, но во многих вариантах осуществления может быть особенно выгодным для систем, использующих большее количество громкоговорителей. Метод может обеспечить преимущества даже для систем, например, с четырьмя в общей сложности громкоговорителями. Однако, он также может поддерживать конфигурации с большим количеством громкоговорителей, такие, например, как системы не менее чем с 10 или 15 громкоговорителями. Например, система может допустить сценарий использования, в котором пользователя просто просят поместить большое количество громкоговорителей в разных местах комнаты. Затем система может выполнить распределение по группам и использовать это, чтобы автоматически адаптировать рендеринг к определенной конфигурации громкоговорителей, которая получилась в результате позиционирования громкоговорителей пользователем.
Разные алгоритмы распределения по группам могут использоваться в разных вариантах осуществления. В дальнейшем будут описаны некоторые конкретные примеры подходящих алгоритмов распределения по группам. Распределение по группам основывается на пространственных расстояниях между громкоговорителями, измеренными в соответствии с подходящей метрикой пространственного расстояния. Это может быть, в частности, евклидово расстояние (обычно двумерное или трехмерное расстояние) или угловое расстояние. Распределение по группам ориентировано на то, чтобы сгруппировать громкоговорители, которые имеют пространственные отношения, которые отвечают набору требований к расстояниям между громкоговорителями группы. Требования для каждого громкоговорителя могут, как правило, включать в себя (или содержать) требование, чтобы расстояние, по меньшей мере, до одного другого громкоговорителя группы было меньше порогового значения.
В общем случае, существует много разных стратегий и алгоритмов для того, чтобы сгруппировать наборы данных в подмножества. В зависимости от контекста и целей распределения по группам, некоторые стратегии и алгоритмы распределения по группам являются более подходящими, чем иные.
В описываемой системе, в которой используется обработка массивов, распределение по группам основывается на пространственных расстояниях между громкоговорителями при размещении, так как пространственное расстояние между громкоговорителями в массиве является принципиальным параметром при определении эффективности обработки массивов любого типа. Конкретнее, рендерер 609 стремится идентифицировать группы громкоговорителей, которые удовлетворяют некоторому требованию по максимальному интервалу, который встречается между громкоговорителями в пределах группы.
Как правило, распределение по группам содержит целый ряд итераций, в процессе которых набор групп изменяется.
В частности, во многих случаях бывает выгоден класс стратегий распределения по группам, известный как «иерархическое распределение по группам» (или: «основанное на связности распределение по группам»). В таких способах распределения по группам группа фактически определяется максимальным расстоянием, необходимым для соединения элементов в пределах группы.
Основной характеристикой иерархического распределения по группам является то, что при осуществлении распределения по группам для разных максимальных расстояний, конечным результатом является иерархическая или древовидная структура групп, в которой более крупные группы содержат в себе меньшие подгруппы, которые в свою очередь содержат в себе еще меньшие под-подгруппы.
В пределах класса иерархического распределения по группам можно выделить два разных метода для проведения распределения по группам:
Агломеративное или «восходящее» распределение по группам, при котором меньшие группы сливаются в более крупные, которые могут, например, удовлетворять более слабому критерию максимального расстояния, чем отдельные меньшие группы.
Разделяющее или «нисходящее» распределение по группам, при котором более крупная группа дробится на меньшие группы, которые могут удовлетворять более строгим требованиям к максимальным расстояниям, чем более крупная группа.
Следует иметь в виду, что иные способы и алгоритмы распределения по группам, нежели те, которые описаны в данном документе, могут использоваться без ослабления настоящего изобретения. Например, в некоторых вариантах осуществления может использоваться алгоритм «Цепь самого ближнего соседа» или способ «Распределение по группам по плотности».
Сначала будут описаны методы распределения по группам, которые используют итеративный метод, в котором устройство 609 распределения по группам стремится нарастить одну или несколько групп в каждой итерации, т.е. будет описан способ восходящего распределения по группам. В этом примере распределение по группам основывается на итеративном присоединении аудиопреобразователей к группе предыдущей итерации. В некоторых вариантах осуществления только одна группа рассматривается в каждой итерации. В других вариантах осуществления множество групп может рассматриваться в каждой итерации. В этом методе, дополнительный громкоговоритель может быть присоединен к данной группе, если громкоговоритель удовлетворяет подходящему критерию расстояния для одного или нескольких громкоговорителей в группе. В частности, громкоговоритель может быть присоединен к данной группе, если расстояние до громкоговорителя в данной группе меньше порогового значения. В некоторых вариантах осуществления пороговое значение может быть фиксированным значением, а значит громкоговоритель присоединяется, если он находится на расстоянии ближе заранее определенного значения от громкоговорителя группы. В других вариантах осуществления пороговое значение может быть переменным и, например, связанным с расстояниями до других громкоговорителей. Например, громкоговоритель может быть присоединен, если оно ниже фиксированного порогового значения, соответствующего максимально допустимому расстоянию, и ниже порогового значения, гарантирующего, что громкоговоритель действительно является ближайшим громкоговорителем к группе.
В некоторых вариантах осуществления устройство 609 распределения по группам может быть выполнен с возможностью слияния первой и второй группы, если было обнаружено, что громкоговоритель второй группы подходит для присоединения к первой группе.
Для описания иллюстративного метода распределения по группам можно рассмотреть иллюстративное размещение, показанное на Фиг. 7. Размещение состоит из 16 громкоговорителей, пространственные позиции которых, как предполагается, известны, т.е. для которых данные положения аудиопреобразователей были предоставлены устройству 609 распределения по группам.
Распределение по группам начинается с того, что во-первых идентифицируются все пары самых ближних соседей, т.е. для каждого громкоговорителя обнаруживается громкоговоритель, который является ближайшим к нему. На данном этапе следует отметить, что «расстояние» может определяться по-разному в разных вариантах осуществления, т.е. могут использоваться разные метрики пространственного расстояния. Для простоты описания предположим, что метрикой пространственного расстояния является «евклидово расстояние», т.е. наиболее распространенное определение расстояния между двумя точками в пространстве.
Пары, которые на данный момент обнаружены, являются группами или подмножествами самого низкого уровня для этого размещения, т.е. они формируют самые нижние ветви в иерархической древовидной структуре групп. Мы можем на этом первом этапе задать дополнительное требование, что пара громкоговорителей рассматривается как «группа», только если их расстояние между громкоговорителями (интервал) меньше некоторого значения Dmax. Это значение может быть выбрано в зависимости от приложения. Например, если целью является идентифицировать группы громкоговорителей, которые могут быть использованы для обработки массивов, мы можем исключить пары, в которых два громкоговорителя удалены друг от друга, например, более чем на 50 см, так как мы знаем, что приемлемая обработка массива невозможна при превышении такого интервала между громкоговорителями. Используя этот верхний предел в 50 см, мы обнаруживаем пары, приведенные в первом столбце таблицы, показанной на Фиг. 8. Также для каждой пары приведен соответствующий интервал δmax.
В следующей итерации обнаруживается самый ближний сосед для каждой из групп, которые были обнаружены на первом этапе, и этот самый ближний сосед добавляется к группе. Самый ближний сосед в этом случае задается как громкоговоритель вне группы, который имеет кратчайшее расстояние до любого из громкоговорителей в пределах группы (это известно как распределение по группам по «наименьшему», «одинарной связи» или «самому ближнему соседу»), причем расстояние определяется в соответствии с метрикой расстояния.
Итак, для каждой группы мы обнаруживаем громкоговоритель j вне группы (которую мы обозначили A), для которого:
имеет наименьшее значение из всех громкоговорителей вне A, при этом d(i,j) является используемой метрикой расстояния между позициями громкоговорителей i и j.
Таким образом, в этом примере требование для присоединения первого громкоговорителя к первой группе заключается в том, чтобы первый громкоговоритель был ближайшим громкоговорителем для любого громкоговорителя первой группы.
Кроме того, в этой итерации мы можем исключить самых ближних соседей, которые отдалены более чем на Dmax от всех громкоговорителей в группе, чтобы предотвратить добавление к группе громкоговорителей, которые находятся слишком далеко. Таким образом, присоединение может подчиняться требованию, чтобы расстояние не превышало заданного порогового значения.
Описанный выше способ дает в результате группы, которые наращиваются одним элементом (громкоговорителем) за один раз.
Слияние (или «связывание») групп может иметь возможность произойти, согласно некоторому правилу слияния (или «установления связи»), которое может зависеть от приложения.
Например, в примере с использованием обработки массивов громкоговорителей, если идентифицированный самый ближний сосед группы A уже является частью другой группы B, то целесообразно, чтобы эти две группы были слиты в одну, так как это дает в результате более крупный массив громкоговорителей, а значит более эффективную обработку массива, чем если бы только самый ближний сосед был добавлен к группе A (заметим, что расстояние между группами A и B всегда, по меньшей мере, равно максимальному интервалу в пределах обеих групп A и B, так что слияние групп A и B увеличит максимальный интервал в получающейся группе не больше, чем добавление только самого ближнего соседа к группе A. И поэтому не может быть никакого неблагоприятного эффекта от слияния групп в смысле получения в результате большего максимального интервала в пределах слившейся группы, чем если бы был добавлен только самый ближний сосед).
Таким образом, в некоторых вариантах осуществления, требование для присоединения первого громкоговорителя к первой группе заключается в том, чтобы первый громкоговоритель принадлежал группе, содержащей громкоговоритель, являющийся ближайшим громкоговорителем к любому громкоговорителю первой группы.
Следует отметить, что возможны различные варианты правила слияния, например, в зависимости от требований приложения.
Получающиеся в результате группы этой второй итерации распределения по группам (с правилом слияния, как описано выше) приведены во втором столбце таблицы, показанной на Фиг. 8, вместе с их соответствующим максимальным интервалом δmax.
Итерирование повторяется до тех пор, пока могут быть обнаружены новые группы более высокого уровня, после чего распределение по группам завершается.
В таблице, показанной на Фиг. 8, приведены все группы, которые идентифицируются для иллюстративного размещения, показанного на Фиг. 7.
Мы видим, что в общей сложности были идентифицированы десять групп. На самом высоком уровне распределения по группам есть две группы: одна, состоящая из шести громкоговорителей (1, 2, 3, 4, 15 и 16, обозначены эллипсоидом 701 на Фиг. 7, полученная после четырех этапов распределения по группам), и одна, состоящая из трех громкоговорителей (8, 9 и 10, обозначены эллипсоидом 703 на Фиг. 7, полученная после двух итераций распределения по группам). Есть шесть групп самого нижнего уровня, состоящие из двух громкоговорителей.
Следует отметить, что в итерации 3, в соответствии с описанным выше правилом слияния, сливаются две группы ((1, 2, 16) и (3, 4)), у которых нет общих громкоговорителей. Все другие слияния затрагивают группу с двумя громкоговорителями, один громкоговоритель которой уже принадлежит другой группе, так что фактически только второй громкоговоритель из группы с двумя громкоговорителями добавляется к другой группе.
Для каждой группы в таблице Фиг. 8 также приводится наибольший интервал δmax между громкоговорителями, который встречается в пределах группы. В восходящем методе δmax может задаваться для каждой группы как максимум из значений δmax для всех составляющих групп от предыдущего этапа распределения по группам и расстояния между двумя громкоговорителями, по которым имело место слияние на текущем этапе распределения по группам. Таким образом, для каждой группы, значение δmax всегда равно или больше, чем значение δmax ее подгрупп. Другими словами, в последовательных итерациях группы разрастаются из меньших групп в более крупные группы при монотонном увеличении максимального интервала.
В альтернативной разновидности описанного выше восходящего варианта осуществления, в каждой итерации распределения по группам обнаруживаются и сливаются только два самых ближних соседа (группы и/или отдельные громкоговорители) в наборе. Таким образом, в первой итерации, притом что все отдельные громкоговорители все еще в обособленной группе, мы начинаем с обнаружения двух громкоговорителей с наименьшим расстоянием между ними, и связываем их вместе, чтобы сформировать группу с двумя громкоговорителями. Затем процедура повторяется, обнаруживая и связывая пару самых ближних соседей (групп и/или отдельных громкоговорителей), и так далее. Эта процедура может выполняться, пока все громкоговорители не будут слиты в одну группу, или она может быть прервана, как только расстояние между самыми ближними соседями превысит некоторый предел, например 50 см.
Таким образом, в этом примере требование для присоединения первого громкоговорителя к первой группе заключается в том, чтобы расстояние между громкоговорителем первой группы и первым громкоговорителем было меньше, чем любое другое расстояние между парами громкоговорителей, содержащими громкоговорители разных групп; или чтобы расстояние между громкоговорителем первой группы и громкоговорителем группы, которой принадлежит первый громкоговоритель, было меньше, чем любое другое расстояние между парами громкоговорителей, содержащими громкоговорители разных групп.
Для примера, показанного на Фиг. 7, конкретный подход дает следующие этапы распределения по группам:
1+16→(1, 16); 3+4→(3, 4); 8+9→(8, 9); (8, 9)+10→(8, 9, 10); (1, 16)+2→(1, 2, 16); (1, 2, 16)+(3, 4)→(1, 2, 3, 4, 16); (1, 2, 3, 4, 16)+15→(1, 2, 3, 4, 15, 16).
Соответственно мы видим, что группы, полученные в результате этой процедуры, выделенные жирным шрифтом в таблице, показанной на Фиг. 8, образуют подмножество групп, которые были обнаружены при использовании первого примера распределения по группам. Это обусловлено тем, что в первом примере громкоговорители могут являться членом нескольких групп, которые не имеют иерархических взаимоотношений, тогда как во втором примере членство в группе является исключительным.
В некоторых вариантах осуществления может не потребоваться полная иерархическая структура распределения по группам, такая как была получена в результате описанных выше восходящих методов. Вместо этого может быть достаточно идентифицировать группы, которые удовлетворяют одному или нескольким конкретным требованиям к максимальному интервалу. Например, мы можем пожелать идентифицировать все группы самого высокого уровня, которые имеют максимальный интервал заданной пороговой величины Dmax (например, равной 50 см), например, потому что это считается максимальным интервалом, для которого может эффективно применяться конкретный алгоритм рендеринга.
Этого можно достичь следующим образом:
Начиная с одного из громкоговорителей, скажем с громкоговорителя 1, обнаруживаются все громкоговорители, которые имеют расстояние до этого громкоговорителя 1, которое меньше максимально допустимого значения Dmax.
Громкоговорители, имеющие большее расстояние, считаются расположенными слишком далеко от громкоговорителя 1, чтобы эффективно использоваться вместе с ним при использовании любого из рассматриваемых способов обработки рендеринга. Максимальное значение может быть установлено, например, на 25 или 50 см, в зависимости от того, какие типы, например, обработки массивов, рассматриваются. Полученная в результате группа громкоговорителей является первой итерацией в построении самого большого подмножества, членом которого является громкоговоритель 1, и которое удовлетворяет критерию максимального интервала.
Затем та же процедура выполняется для громкоговорителей (если таковые имеются), которые теперь находятся в группе громкоговорителя 1. Громкоговорители, которые теперь обнаруживаются, за исключением тех, которые уже были частью группы, добавляются в группу. Этот этап повторяется для вновь добавленных громкоговорителей, пока обнаруживаются дополнительные громкоговорители. На этой стадии была идентифицирована наибольшая группа, которой принадлежит громкоговоритель 1, и которая удовлетворяет критерию максимального интервала.
Применение этой процедуры к размещению, показанному на Фиг. 7, при Dmax=0,5 м и начиная с громкоговорителя 1, снова даст в результате группу, обозначенную эллипсоидом 701, вмещающую громкоговорители 1, 2, 3, 4, 15 и 16. В ходе этой процедуры эта группа/подмножество строится только в двух итерациях: после первого цикла подмножество вмещает громкоговорители 1, 2, 3 и 16, каждый из которых удален менее чем на Dmax от громкоговорителя 1. Во второй итерации добавляются громкоговорители 4 и 15, удаленные менее чем на Dmax от обоих громкоговорителей 2 и 3, и от громкоговорителя 16, соответственно. В следующей итерации дополнительный громкоговоритель не добавляется, и поэтому распределение по группам прерывается.
В последовательных итерациях другие группы, не перекрывающиеся с любым из ранее обнаруженных подмножеств, идентифицируются таким же образом. В каждой итерации должны рассматриваться только громкоговорители, которые еще не были идентифицированы как часть любого из ранее идентифицированных подмножеств.
В конце этой процедуры были идентифицированы все наибольшие группы, в которых все самые ближние соседи имеют расстояние между громкоговорителями не более Dmax.
Для иллюстративного размещения, показанного на Фиг. 7, обнаружена только одна дополнительная группа, опять же обозначенная эллипсоидом 703 и вмещающая громкоговорители 8, 9 и 10.
Чтобы обнаружить все группы, которые удовлетворяют другому требованию к максимальному интервалу Dmax, можно просто снова выполнить изложенную выше процедуру с этим новым значением Dmax. Обратим внимание, что если новый Dmax меньше предыдущего, то группы, которые тогда будут обнаружены, всегда являются подгруппами групп, обнаруженных с большим значением Dmax. Это означает, что если процедура должна быть выполнена для нескольких значений Dmax, целесообразно начинать с наибольшего значения и монотонно уменьшать значение, поскольку дальше каждую следующую оценку нужно применить только к группам, которые получены в результате предыдущей.
Например, если для размещения, показанного на Фиг. 7, используется значение Dmax=0,25 м вместо 0,5 м, обнаруживаются две подгруппы. Первая является первоначальной группой, вмещающей громкоговоритель 1, за вычетом громкоговорителя 15, тогда как вторая по-прежнему вмещает громкоговорители 8, 9 и 10. Если Dmax еще больше уменьшается, до 0,15 м, обнаруживается только одна группа, вмещающая громкоговорители 1 и 16.
В некоторых вариантах осуществления устройство 609 распределения по группам может быть выполнено с возможностью генерирования набора групп по первоначальному генерированию групп с последующим итеративным разделением групп; при этом каждое разделение групп происходит по факту расстояния между двумя аудиопреобразователями группы, превышающего пороговое значение. Таким образом, в некоторых вариантах осуществления может рассматриваться нисходящее распределение по группам.
Можно считать, что нисходящее распределение по группам работает противоположно восходящему распределению по группам. Оно может начинаться с помещения всех громкоговорителей в одну группу, с последующим разбиением группы в рекурсивных итерациях на меньшие группы. Каждое разбиение может быть сделано так, что метрика пространственного расстояния между двумя получившимися в результате новыми группами доводится до максимума. Это может быть довольно трудоемким в отношении реализации для многомерных конфигураций со многими элементами (громкоговорителями), поскольку, особенно в начальной фазе процесса, количество возможных разбиений, которые нужно оценить, может быть очень большим. Поэтому, в некоторых вариантах осуществления, такой способ распределения по группам может использоваться в сочетании с этапом предварительного распределения по группам.
Ранее описанный подход распределения по группам может использоваться для генерирования первоначального распределения по группам, которое может служить отправной точкой самого высокого уровня для процедуры нисходящего распределения по группам. Так, вместо того, чтобы начинать с того, что все громкоговорители находятся в одной первоначальной группе, мы могли бы сначала использовать процедуру распределения по группам низкой сложности, чтобы идентифицировать наибольшие группы, которые удовлетворяют самому широкому требованию к интервалу, которое считается полезным (например, максимальный интервал 50 см), а затем выполнить процедуру нисходящего распределения по группам по этим группам, дробя каждую группу на меньшие в последовательных итерациях до достижения наименьших возможных (с двумя громкоговорителями) групп. Это уберегает от того, что первые этапы при нисходящем распределении по группам дают в результате группы, которые неприменимы из-за слишком большого максимального интервала. Как обсуждалось ранее, эти первые этапы нисходящего распределения по группам, которые теперь отменяются, также являются наиболее требовательными к вычислительным ресурсам, так как нужно оценить много вариантов распределения по группам, поэтому устранение необходимости непосредственно выполнять их может значительно повысить эффективность процедуры.
В каждой итерации нисходящей процедуры группа разбивается в месте наибольшего интервала, который встречается в пределах группы. Обоснованием для этого является то, что этот наибольший интервал является ограничивающим фактором, который определяет максимальную частоту, для которой обработка массивов может эффективно применяться к группе. Разбиение группы по этому наибольшему интервалу дает в результате две новые группы, каждая из которых имеет меньший наибольший интервал, а значит более высокую максимальную эффективную частоту, чем родительская группа. Группы могут разбиваться дальше на меньшие группы с монотонным уменьшением максимального интервала, пока не останется группа, состоящая только из двух громкоговорителей.
Хотя и несложно обнаружить позицию, где должна быть разбита группа в случае одномерного набора (линейный массив), это не так для 2-мерных или 3-мерных конфигураций, так как есть много возможных способов разбиения группы на две подгруппы. В принципе можно все-таки рассмотреть все возможные разбиения на две подгруппы и обнаружить то, которое дает в результате наибольший интервал между ними. Этот интервал между двумя группами может задаваться как наименьшее расстояние между любой парой громкоговорителей с одним громкоговорителем, являющимся членом одной подгруппы, и другим громкоговорителем, являющимся членом другой подгруппы.
Соответственно, для каждого возможного разбиения на подгруппы A и B, мы можем определить значение:
Разбиение производится таким образом, чтобы это значение было максимальным.
В качестве примера рассмотрим группу из размещения, показанного на Фиг. 7, обозначенную эллипсоидом 701, вмещающую громкоговорители 1, 2, 3, 4, 15 и 16. Наибольший интервал (0,45 м) в этой группе обнаруживается между группой, состоящей из громкоговорителей 1, 2, 3, 4 и 16, и группой, состоящей только из громкоговорителя 15. Следовательно, первое разбиение приводит к удалению громкоговорителя 15 из группы. В новой группе наибольший интервал (0,25 м) обнаруживается между группой, состоящей из громкоговорителей 1, 2 и 16, и группой, состоящей из громкоговорителей 3 и 4, так что группа разбивается на эти две меньшие группы. Заключительное разбиение может быть сделано для оставшейся группы с тремя громкоговорителями, в которой наибольший интервал (0,22 м) обнаруживается между группой, состоящей из громкоговорителей 1 и 16, и группой, состоящей только из громкоговорителя 2. Итак, при заключительном разбиении удаляется громкоговоритель 2, и остается заключительная группа, состоящая из громкоговорителей 1 и 16.
Применение той же процедуры к группе, обозначенной эллипсоидом 703 на Фиг. 7, приводит к разбиению между группой, состоящей из громкоговорителей 8 и 9, и группой, состоящей только из громкоговорителя 10.
В системе все расстояния определяются в соответствии с подходящей метрикой расстояния.
В описанных выше примерах распределения по группам метрикой расстояния было евклидово пространственное расстояние между громкоговорителями, которое обычно бывает наиболее распространенным способом задания расстояния между двумя точками в пространстве.
Тем не менее, распределение по группам также может быть выполнено с использованием других метрик для пространственного расстояния. В зависимости от конкретных требований и предпочтений отдельного приложения, одно задание метрики расстояния может быть более подходящим, чем иное. В дальнейшем будут описаны несколько примеров разных сценариев использования и соответствующих возможных метрик пространственного расстояния.
Во-первых, евклидово расстояние между двумя точками i и j может задаваться как:
где in, jn представляют координаты точки i и j, соответственно, в измерении n, а N является числом измерений.
Метрика представляет собой наиболее распространенный способ задания пространственного расстояния между двумя точками в пространстве. Использование евклидово расстояния в качестве метрики расстояния означает, что мы определяем расстояния между громкоговорителями, не учитывая их ориентацию по отношению друг к другу, к другим, или к некоторой опорной позиции (например, предпочтительной позиции прослушивания). Для набора громкоговорителей, которые произвольно распределены в пространстве, это означает, что мы определяем и группы и их характеристики (например, пригодный для использования частотный диапазон или подходящий тип обработки) так, чтобы это не имело отношения к какому-то конкретному направлению наблюдения. Соответственно, характеристики в этом случае отражают определенные свойства самого массива, независимо от его контекста. Это может быть полезно в некоторых приложениях, но во многих сценариях использования это не является предпочтительным методом.
В некоторых вариантах осуществления может использоваться угловая или «проекционная» метрика расстояния относительно позиции прослушивания.
Ограничения эксплуатационных свойств для массива громкоговорителей фактически определяются максимальным интервалом в пределах массива, а также общей пространственной протяженностью (размером) массива. Однако, поскольку видимый или эффективный максимальный интервал и размер массива зависит от направления, с которого массив наблюдается, и так как мы, как правило, главным образом заинтересованы в эксплуатационных свойствах для массива применительно к некоторой области или направлению, во многих сценариях использования имеет смысл использовать метрику расстояния, которая принимает во внимание эту область, направление или точку наблюдения.
В частности, во многих сценариях использования может быть задана опорная позиция или предпочтительная позиция прослушивания. В таком случае мы хотели бы определить группы громкоговорителей, которые подходят для достижения определенного звукового восприятия в этой позиции прослушивания, а значит распределение по группам и получение характеристик групп должны быть связаны с этой позицией прослушивания.
Один из способов сделать это заключается в том, чтобы задать позицию каждого громкоговорителя через его угол φ относительно позиции прослушивания, и задать расстояние между двумя громкоговорителями по абсолютной разности между их соответственными углами:
или, как вариант, через косинус угла между позиционными векторами точек i и j:
Это известно как метрика расстояния по угловой близости или косинусоидальной близости. Если распределение по группам выполняется с использованием этой метрики расстояния, громкоговорители, которые расположены на одной линии, если смотреть из позиции прослушивания (то есть впереди или позади друг друга), считаются совмещенными.
Тогда легко определить максимальный интервал, который встречается в подмножестве, поскольку это фактически сводится к одномерной задаче.
Как и в случае евклидовой метрики расстояния, распределение по группам может быть ограничено громкоговорителями, которые удалены друг от друга менее чем на определенное максимальное расстояние Dmax. Это Dmax может быть задано непосредственно через максимальную угловую разность. Однако, так как важные эксплуатационные характеристики массива громкоговорителей (например, его пригодный для использования частотный диапазон) связаны с физическим расстоянием между громкоговорителями (посредством их связи с длиной волны воспроизводимого звука), часто предпочтительно использовать Dmax, выраженный в физических метрах, как в и случае евклидовой метрики расстояния. Чтобы учесть тот факт, что эксплуатационные свойства зависят от направления наблюдения по отношению к массиву, может использоваться проецируемое расстояние между громкоговорителями, а не евклидово расстояние по прямой между ними. А именно, расстояние между двумя громкоговорителями может быть задано как расстояние в направлении, ортогональном к биссектрисе угла между этими двумя громкоговорителями (если смотреть из позиции прослушивания).
Это проиллюстрировано на Фиг. 9 для группы с 3 громкоговорителями. Метрика расстояния дается формулой:
где ri и rj являются радиальными расстояниями от опорной позиции до громкоговорителя i и j, соответственно. Следует отметить, что проекционная метрика расстояния является формой углового расстояния.
Обратим внимание, что если все громкоговорители в группе находятся достаточно друг близко к другу, или если позиция прослушивания находится достаточно далеко от группы, биссектрисы между всеми парами в группе становятся параллельными, и задание расстояния является согласованным в пределах группы.
Характеризуя идентифицированные группы, проекционные расстояния могут использоваться для определения максимального интервала Dmax и размера L группы. Это будет также отражено в определенном эффективном частотном диапазоне, а также может изменить решения о том, какие технические методы обработки массивов могут быть эффективно применены к группе.
Если процедура распределения по группам в соответствии с ранее описанным восходящим методом применяется к размещению, показанному на Фиг. 7, с использованием угловой метрики расстояния, опорной позиции в (0,2) и максимальным проекционным расстоянием Dmax между громкоговорителями 50 см, это даст в результате следующую последовательность этапов распределения по группам:
8+9→(8, 9); 1+16→(1, 16); (8, 9)+10→(8, 9, 10); 3+4→(3, 4); (3, 4)+2→(2, 3, 4); (1, 16)+(2, 3, 4)→(1, 2, 3, 4, 16); (8, 9, 10)+11→(8, 9, 10, 11); (1, 2, 3, 4, 16)+15→(1, 2, 3, 4, 15, 16); (1, 2, 3, 4, 15, 16)+5→(1, 2, 3, 4, 5, 15, 16).
Мы видим, что в этом случае порядок распределения по группам несколько отличается от примера с использованием евклидовой метрики расстояния, а также обнаруживаем одну дополнительную группу, которая удовлетворяет критерию максимального расстояния. Это вызвано тем, что теперь мы рассматриваем проекционные расстояния, которые всегда равны или меньше, чем евклидово расстояние. На Фиг. 10 представлена таблица, в которой приведены группы и их соответствующие характеристики.
В ходе обработки для рендеринга, которая будет в итоге применяться к идентифицированным группам, любые различия в радиальных расстояниях громкоговорителей в пределах группы могут быть компенсированы посредством задержек сигналов.
Следует отметить, что хоть результат распределения по группам с использованием этой угловой метрики расстояния и очень похож на тот, что был получен с использованием евклидовой метрики расстояния, это только потому, что в этом примере громкоговорители распределены более или менее по кругу вокруг опорной позиции. В более общем случае результаты распределения по группам могут очень отличаться для разных метрик расстояния.
Поскольку угловая метрика расстояния является одномерной, распределение по группам в этом случае фактически является одномерным, а значит будет требовать существенно меньше вычислительных ресурсов. Действительно, на практике процедура нисходящего распределения по группам в этом случае, как правило, осуществима, потому что определение самого ближнего соседа в этом случае совершенно однозначно, и, следовательно, количество возможных распределений по группам для оценки ограничено.
В сценарии использования, в котором есть не просто одна предпочтительная позиция прослушивания, но и расширенная область прослушивания, в которой должно быть оптимизировано звуковое восприятие, вариант осуществления с использованием угловой или проекционной метрики расстояния по-прежнему может использоваться. В этом случае можно выполнить распределение по группам и получение характеристик идентифицированных групп по отдельности для каждой позиции в области прослушивания, или только для крайних позиций области прослушивания (например, в четырех углах в случае прямоугольной области прослушивания), и пусть самые важные позиции прослушивания определяют окончательное распределение по группам и характеристику групп.
В предыдущем примере метрика расстояния была задана по отношению к позиции прослушивания или области прослушивания с находящимся в центре пользователем. Это оправданно в большинстве сценариев использования, где ставится цель оптимизировать звуковое восприятие в определенной позиции или области. Однако, массивы громкоговорителей также могут использоваться, чтобы воздействовать на взаимное влияние воспроизводимого звука и комнаты. Например, звук может быть направлен в сторону стены, чтобы получить в результате виртуальные источники звука, или звук может быть направлен в сторону от стены, потолка или пола, чтобы предотвратить сильные отражения. В таком сценарии использования имеет смысл задавать метрику расстояния по отношению к некоторым аспектам геометрии помещения, а не к позиции прослушивания.
В частности, может использоваться проекционная метрика расстояния между громкоговорителями, как описано в предыдущем варианте осуществления, но теперь по отношению к направлению, ортогональному, например, стене. В этом случае, полученные в результате распределение по группам и характеристика для подмножеств будут указывать на эксплуатационные свойства массива для группы относительно стены.
Для простоты, подробно описанные выше примеры были представлены в двух измерениях. Тем не менее, описанные выше методы с тем же успехом применяются и к трехмерным конфигурациям громкоговорителей. В зависимости от сценария использования, можно выполнять распределение по группам по отдельности в двумерной горизонтальной плоскости и/или в одной или нескольких вертикальных плоскостях, или во всех трех измерениях одновременно. В случае если распределение по группам выполняется по отдельности в горизонтальной плоскости и в вертикальном измерении, для двух процедур распределения по группам могут быть использованы разные способы распределения по группам и метрики расстояния, как описано выше. В случае если распределение по группам делается в трех измерениях (то есть во всех трех измерениях одновременно), разные критерии для максимального интервала могут использоваться в горизонтальной плоскости и в вертикальном измерении. Например, тогда как в горизонтальной плоскости два громкоговорителя могут считаться принадлежащими одной и той же группе, если их угловое расстояние меньше 10 градусов, для двух громкоговорителей, которые смещены по вертикали, требование может быть слабее, например меньше 20 градусов.
Описанный подход может использоваться с целым рядом разных алгоритмов рендеринга. Возможные алгоритмы рендеринга могут, например, включать в себя:
Рендеринг с формированием пучка:
Формирование пучка является способом рендеринга, который соотносится с массивами громкоговорителей, т.е. группами из нескольких громкоговорителей, которые располагаются близко друг к другу (например, меньше нескольких дециметров между ними). Управление амплитудным и фазовым соотношением между отдельными громкоговорителями позволяет сделать звук «направленным» в определенных направлениях и/или источники «наведенными» на определенные позиции спереди или сзади массива громкоговорителей. Подробное описание этого способа может быть обнаружено, например, в работе Van Veen, B.D, Beamforming: a versatile approach to spatial filtering, Журнал ASSP, IEEE (Том:5, Выпуск: 2), Дата Публикации: апрель 1988. Хоть предмет и описывается с точки зрения датчиков (микрофонов), описанные принципы равным образом применяются и к формированию пучка от массива громкоговорителей вследствие акустического принципа взаимности.
Формирование пучка является примером обработки массива.
Типичным случаем использования, когда выгоден этот тип рендеринга, является тот, когда небольшой массив громкоговорителей помещается перед слушателем, притом что отсутствуют громкоговорители сзади или даже слева и справа спереди. В таких случаях можно создать полное восприятие объемного звучания для пользователя, благодаря «направленности» некоторых из аудиоканалов или объектов к боковым стенам комнаты прослушивания. Отражения звука от стен доходят до слушателя с боков и/или сзади, тем самым создавая восприятие «виртуального объемного звучания» с полным эффектом присутствия. Это способ рендеринга, который задействуется в разных потребительских товарах типа «звуковая панель».
Другим примером, в котором может с выгодой задействоваться рендеринг с формированием пучка, является то, когда звуковой канал или объект, который будет воспроизводиться с помощью рендеринга, содержит речь. Рендеринг этих речевых аудиокомпонентов в форме пучка, нацеленного в направлении пользователя за счет формирования пучка, может дать в результате улучшение разборчивости речи для пользователя, так как в комнате производится меньше многократных отражений звука.
Формирование пучка, как правило, не будет использоваться для (подчастей) конфигураций громкоговорителей, в которых интервал между громкоговорителями превышает несколько дециметров.
Соответственно, формирование пучка подходит для применения в сценариях, в которых одна или несколько групп идентифицируются при обнаружении относительно большого количества очень близко расположенных громкоговорителей. Таким образом, для каждой из таких групп может использоваться алгоритм рендеринга с формированием пучка, например, чтобы генерировать ощущаемые звуковые источники с направлений, в которых нет никакого громкоговорителя.
Рендеринг с подавлением перекрестных помех:
Это способ рендеринга, который способен создать восприятие трехмерного объемного звучания с полным эффектом присутствия от двух громкоговорителей. Это тесно связано с бинауральным рендерингом через наушники с использованием передаточных функций слухового аппарата человека (или HRTF - Head-Related Transfer Function). Поскольку громкоговорители используются вместо наушников, контуры обратной связи должны использоваться для устранения перекрестных помех от левого громкоговорителя к правому уху, и наоборот. Подробное описание этого способа может быть обнаружено, например, в работе Kirkeby, Ole; Rubak, Per; Nelson, Philip A.; Farino, Angelo, Design of Cross-Talk Cancellation Networks by Using Fast Deconvolution, Конференция AES:106 (май 1999) Номер доклада:4916.
Такой метод рендеринга может, например, подойти для сценария использования только с двумя громкоговорителями во фронтальной области, но когда все-таки желательно добиться полного пространственного восприятия от этого ограниченного размещения. Хорошо известно, что можно создать стабильную пространственную иллюзию для одной позиции прослушивания, используя подавление перекрестных помех, особенно когда громкоговорители находятся близко друг к другу. Если громкоговорители находятся далеко друг от друга, получающийся в результате пространственный образ становится более нестабильным и кажется раскрашенным из-за сложности перекрестных путей. Предлагаемое распределение по группам в этом примере может быть использован, чтобы решить, должен использоваться способ «виртуального стереофонического звучания», основанный на подавлении перекрестных помех и HRTF-фильтрах, или обычное стереофоническое воспроизведение.
Рендеринг, использующий стерео диполь:
Этот способ рендеринга использует два или более близко расположенных громкоговорителя, чтобы представить с помощью рендеринга широкий звуковой образ для пользователя посредством обработки пространственного аудиосигнала таким образом, что общий (суммарный) сигнал воспроизводится монофонически, тогда как разностный сигнал воспроизводится с диаграммой направленности излучения диполя. Подробное описание этого способа может быть обнаружено, например, в работе Kirkeby, Ole; Nelson, Philip A.; Hamada, Hareo, The 'Stereo Dipole': A Virtual Source Imaging System Using Two Closely Spaced Loudspeakers, Журнал AES Том 46, Выпуск 5, стр. 387-395; май 1998.
Такой метод рендеринга может, например, подойти для сценариев использования, в которых только очень компактное размещение непосредственно перед слушателем небольшого количества (скажем 2 или 3) близко расположенных громкоговорителей доступно для воспроизведения с помощью рендеринга полного фронтального звукового образа.
Рендеринг с синтезом волнового поля:
Это способ рендеринга, который использует массивы громкоговорителей, чтобы точно воссоздать первоначальное звуковое поле в пределах большого пространства прослушивания. Подробное описание этого способа может быть обнаружено, например, в работе Boone, Marinus M.; Verheijen, Edwin N. G. Sound Reproduction Applications with Wave-Field Synthesis, Конференция AES:104 (май 1998) Номер доклада:4689.
Синтез волнового поля является примером обработки массивов.
Это особенно подходит для звуковых сцен на основе объектов, но также совместимо с другими типами аудио (например, на основе каналов или сцен). Ограничением является то, что это подходит только для конфигураций громкоговорителей с большим количеством громкоговорителей, расположенных друг от друга на расстоянии не более, чем приблизительно 25 см. Алгоритм рендеринга может, в частности, применяться, если выявляются группы, которые содержат достаточное количество громкоговорителей, помещенных очень близко друг к другу. В частности, если группа покрывает существенную часть, по меньшей мере, или фронтальной, или тыловой или боковой зон области прослушивания. В таких случаях, способ может обеспечить более реалистичное восприятие, чем, например, стандартное стереофоническое воспроизведение.
Рендеринг с оптимизацией методом наименьших квадратов:
Это универсальный способ рендеринга, который пытается получить определенной целевое звуковое поле посредством численной процедуры оптимизации, в которой позиции громкоговорителей устанавливаются в качестве параметров, и сигналы громкоговорителей оптимизируются таким образом, чтобы свести к минимуму разницу между целевым и воспроизводимым звуковыми полями в пределах некоторой области прослушивания. Подробное описание этого способа может быть обнаружено, например, в работе Shin, Mincheol; Fazi, Filippo M.; Seo, Jeongil; Nelson, Philip A., Efficient 3-D Sound Field Reproduction, Конференция AES:130 (май 2011) Номер доклада:8404.
Такой метод рендеринга может, например, подойти для сценариев использования, подобных описанным для синтеза волнового поля и формирования пучка.
Рендеринг с векторным амплитудным панорамированием:
Это способ, который является по существу обобщением способа стереофонического предоставления, который поддерживает нестандартные конфигурации громкоговорителей, адаптируя закон амплитудного панорамирования между парами громкоговорителей к более чем двум громкоговорителям, расположенным в известных двумерных или трехмерных позициях в пространстве. Подробное описание этого способа может быть обнаружено, например, в работе V. Pulkki, «Virtual Sound Source Positioning Using Vector Base Amplitude Panning», журнал Общества звукоинженеров, том 45, № 6, 1997.
Такой метод рендеринга может, например, подойти для применения между группами громкоговорителей, когда расстояние между группами слишком велико, чтобы можно было использовать обработку массивов, но все еще достаточно близко, чтобы позволить панорамирование для обеспечения приемлемого результата (в частности, для сценария, когда расстояния от громкоговорителей относительно большое, но они (приблизительно) расположены на сфере вокруг области прослушивания). При этом, VBAP может быть режимом рендеринга «по умолчанию» для подмножеств громкоговорителя, которые не принадлежат общей идентифицированной группе, удовлетворяющей некоторому критерию максимального интервала между громкоговорителями.
Как описывалось ранее, в некоторых вариантах осуществления рендерер выполнен с возможностью рендеринга аудиокомпонентов в соответствии с множеством режимов рендеринга, и контроллер 611 рендерера может выбирать режимы рендеринга для громкоговорителей 603 в зависимости от распределения по группам.
В частности, рендерер 607 может быть выполнен с возможностью выполнения обработки массивов для рендеринга аудиокомпонентов с использованием громкоговорителей 603, которые имеют подходящие пространственные отношения. Таким образом, если распределение по группам идентифицирует группу громкоговорителей 603, которые отвечают надлежащему требованию по расстоянию, контроллер 611 рендерера может выбрать обработку массивов для того, чтобы воспроизвести с помощью рендеринга аудиокомпоненты от громкоговорителей 603 из конкретной группы.
Обработка массивов включает в себя рендеринг аудиокомпонента от множества громкоговорителей путем предоставления одного и того же сигнала на множество громкоговорителей с точностью до одного или нескольких весовых коэффициентов, которые могут влиять на фазу и амплитуду для отдельного громкоговорителя (или, соответственно, временную задержку и амплитуду во временной области). Посредством регулирования фазы и амплитуды можно управлять интерференцией между разными воспроизводимыми с помощью рендеринга аудиосигналами, тем самым позволяя в целом управлять рендерингом аудиокомпонента. Например, веса могут регулироваться, чтобы обеспечить положительную интерференцию в некоторых направлениях и отрицательную интерференцию в иных направлениях. Таким образом, характеристики направленности, например, могут регулироваться, и, например, может быть получено формирование пучка с главными пучками и режекциями в нужных направлениях. Обычно используются зависящие от частоты коэффициенты усиления, чтобы обеспечить общий желаемый эффект.
Конкретно, рендерер 607 может быть выполнен с возможностью выполнения рендеринга с формированием пучка и рендеринга с синтезом волнового поля. Первый может обеспечить особенно благоприятный рендеринг во многих сценариях, но требует, чтобы громкоговорители рабочего массива находились очень близко друг к другу (например, не больше, чем на расстоянии в 25 см друг от друга). Алгоритм синтеза волнового поля может быть вторым предпочтительным вариантом и может быть подходящим для расстояний между динамиками, возможно, до 50 см.
Благодаря этому, в таком сценарии, распределение по группам может идентифицировать группу громкоговорителей 603, которые имеют расстояние между динамиками менее 25 см. В таком случае контроллер 611 рендерера может выбрать для использования формирование пучка, чтобы воспроизвести с помощью рендеринга аудиокомпонент от громкоговорителей группы. Однако, если такая группа не идентифицируется, но вместо этого обнаруживается группа громкоговорителей 603, которые имеют расстояние между динамиками менее 50 см, контроллер 611 рендерера может вместо этого выбрать алгоритм синтеза волнового поля. Если такая группа не обнаружена, может использоваться другой алгоритм рендеринга, такой, например, как алгоритм VBAP.
Следует иметь в виду, что в некоторых вариантах осуществления может выполняться более сложный выбор, и, в частности, могут учитываться разные параметры групп. Например, синтез волнового поля может быть более предпочтительным, чем формирование пучка, если обнаруживается группа с большим количеством громкоговорителей при расстоянии между динамиками менее 50 см, тогда как группа с расстоянием между динамиками менее 25 см имеет только небольшое количество громкоговорителей.
Таким образом, в некоторых вариантах осуществления контроллер рендерера может выбрать рендеринг с обработкой массивов для первой группы согласно атрибуту первой группы, удовлетворяющему критерию. Критерием может быть, например, то, что группа содержит более заданного количества громкоговорителей и максимальное расстояние между ближайшими соседними громкоговорителями меньше заданного значения. Например, если более трех громкоговорителей обнаруживаются в группе, при этом нет громкоговорителя, находящегося больше, чем, скажем, в 25 см от другого громкоговорителя группы, то для группы может быть выбран рендеринг с формированием пучка. Если это не так, но если вместо этого обнаруживается группа больше чем с тремя громкоговорителями и при этом нет громкоговорителя, находящегося больше, чем, скажем, в 50 см от другого громкоговорителя группы, то для группы может быть выбран рендеринг с синтезом волнового поля.
В этих примерах специально рассматривается максимальное расстояние между ближайшими соседями группы. Парой ближайших соседей может считаться пара, в которой первый громкоговоритель группы является громкоговорителем, который является ближайшим ко второму громкоговорителю пары в соответствии с метрикой расстояния. Таким образом, расстояние, измеренное с использованием метрики расстояния, от второго громкоговорителя до первого громкоговорителя меньше, чем любое расстояние от второго громкоговорителя до любого другого громкоговорителя группы. Следует отметить что то, что первый громкоговоритель, является ближайшим соседом второго громкоговорителя, не обязательно означает, что второй громкоговоритель тоже является ближайшим соседом первого громкоговорителя. Действительно, ближайшим громкоговорителем для первого громкоговорителя может быть третий громкоговоритель, который ближе к первому громкоговорителю, чем второй громкоговоритель, но дальше от второго громкоговорителя, чем первый громкоговоритель.
Максимальное расстояние между ближайшими соседями является особенно важным для определения, использовать ли обработку массивов, поскольку эффективность обработки массивов (и особенно взаимная интерференция) зависит от этого расстояния.
Другим значимым параметром, который может использоваться, является максимальное расстояние между любыми двумя громкоговорителями в группе. В частности, для эффективного рендеринга с синтезом волнового поля требуется, чтобы общий размер используемого массива был достаточно большим. Следовательно, в некоторых вариантах осуществления, выбор может быть основан на максимальном расстоянии между любой парой преобразователей в группе.
Количество громкоговорителей в группе соответствует максимальному количеству преобразователей, которые могут использоваться для обработки массива. Это количество обеспечивает явное указание рендеринга, который может быть выполнен. Действительно, количество громкоговорителей в массиве обычно соответствует максимальному числу степеней свободы для обработки массива. Например, для формирования пучка, это может указывать на количество режекций и пучков, которые могут быть сгенерированы. Это может также влиять на то, насколько узким может быть сделан, например, главный пучок. Поэтому количество громкоговорителей в группе может быть полезно для выбора, использовать обработку массивов или нет.
Следует иметь в виду, что эти характеристики группы также могут использоваться для адаптации различных параметров алгоритма рендеринга, который используется для группы. Например, количество громкоговорителей может использоваться, чтобы выбрать, куда направлены режекции, расстояние между громкоговорителями может использоваться при определении весов и т.д. Действительно, в некоторых вариантах осуществления, алгоритм рендеринга может быть определен предварительно и может отсутствовать выбор этого на основании распределения по группам. Например, может быть предварительно выбран рендеринг с обработкой массивов. Тем не менее, параметры для обработки массивов могут быть изменены/настроены в зависимости от распределения по группам.
Действительно, в некоторых вариантах осуществления, устройство 609 распределения по группам может не только генерировать набор групп громкоговорителей, но также может генерировать указатель атрибута для одной или нескольких групп, и контроллер 611 рендерера может соответственно адаптировать рендеринг. Например, если указатель атрибута генерируется для первой группы, контроллер рендерера может адаптировать рендеринг для первой группы по указателю атрибута.
Таким образом, в дополнение к идентификации групп, они также могут быть охарактеризованы для облегчения оптимизации рендеринга звука, например, благодаря их использованию в процедуре выбора или принятия решения и/или регулированию параметров алгоритма рендеринга.
Например, как описано для каждой из идентифицированных групп, может быть определен максимальный интервал δmax в пределах этой группы, т.е. может быть определено максимальное расстояние между ближайшими соседями. Кроме того, общая пространственная протяженность, или размер, L группы может быть определена как максимальное расстояние между любыми двумя из громкоговорителей в пределах группы.
Эти два параметра (возможно, вместе с другими параметрами, такими как количество громкоговорителей в пределах подмножества и их характеристики, например, их ширина полосы частот) могут использоваться, чтобы определить пригодный для использования частотный диапазон для применения обработки массивов к подмножеству, а также чтобы определить применимые типы обработки массивов (например, формирование пучка, синтез волнового поля, обработка диполя и т.д.).
В частности, максимальная пригодная для использования частота fmax подмножества может быть определена в форме:
где c является скоростью звука.
Кроме того, нижний предел пригодного для использования частотного диапазона для подмножества может быть определен в форме:
которая отражает, что обработка массивов эффективна вплоть до частоты fmin, для которой соответствующая длина волны λmax составляет около полного размера L подмножества.
Таким образом, ограничение частотного диапазона для режима рендеринга может определяться и подаваться на контроллер 611 рендерера, который может соответственно адаптировать режим рендеринга (например, путем выбора подходящего алгоритма рендеринга).
Следует отметить, что конкретные критерии для определения частотного диапазона могут отличаться для разных вариантов осуществления, и вышеприведенные уравнения предназначены просто для иллюстрации примеров.
Следовательно, в некоторых вариантах осуществления, каждое из идентифицированных подмножеств может характеризоваться соответствующим пригодным для использования частотным диапазоном [fmin, fmax] для одного или нескольких режимов рендеринга. Это может, например, использоваться для выбора одного режима рендеринга (точнее говоря, обработки массивов) для этого частотного диапазона и другого режима рендеринга для других частот.
Значимость определяемого частотного диапазона зависит от типа обработки массивов. Например, в то время как для обработки с формированием пучка должны учитываться и fmin и fmax, fmin имеет меньшее значение для обработки диполя. Принимая эти соображения во внимание, значения fmin и/или fmax могут использоваться для определения того, какие типы обработки массивов применимы к конкретной группе, а какие нет.
В дополнение к описанным выше параметрам, каждая группа может характеризоваться одним или более из следующего: ее позиция, направление или ориентация относительно опорной позиции. Для определения этих параметров может быть задана центральная позиция каждой группы, например биссектриса угла между двумя наиболее удаленными от центра громкоговорителями группы, если смотреть от опорной позиции, или взвешенная позиция центра тяжести группы, которая является средним всех позиционных векторов для всех громкоговорителей в группе относительно опорной позиции. Кроме того, эти параметры могут использоваться для идентификации подходящих технических методов обработки рендеринга для каждой группы.
В предыдущих примерах распределение по группам выполнялось только на основании факторов пространственных расстояний между громкоговорителями в соответствии с метрикой расстояния. Тем не менее, в других вариантах осуществления, распределение по группам может дополнительно учитывать иные характеристики или параметры.
Например, в некоторых вариантах осуществления, устройство 609 распределения по группам может снабжаться данными алгоритмов рендеринга, которые указывают на характеристики алгоритмов рендеринга, которые могут быть выполнены с помощью рендерера. Например, данные алгоритмов рендеринга могут устанавливать, какие алгоритмы рендеринга способен выполнить рендерер 607 и/или ограничения для отдельных алгоритмов. Например, данные алгоритмов рендеринга могут указывать, что рендерер 607 дает возможность рендеринга с использованием VBAP максимум для трех громкоговорителей; формирования пучка, если количество громкоговорителей в массиве больше 2, но меньше 6, и если максимальное расстояние между соседями составляет меньше 25 см, и синтеза волнового поля максимум для 10 громкоговорителей, если максимальное расстояние между соседями составляет меньше 50 см.
Затем распределение по группам может быть выполнено в зависимости от данных алгоритмов рендеринга. Например, параметры алгоритма распределения по группам могут быть установлены в зависимости от данных алгоритмов рендеринга. Например, в приведенном выше примере распределение по группам может ограничить количество громкоговорителей десятью и разрешить присоединять новые громкоговорители к существующей группе только если расстояние, по меньшей мере, до одного громкоговорителя в группе составляет меньше 50 см. После распределения по группам может быть выбран алгоритм рендеринга. Например, если количество громкоговорителей более 5, а максимальное расстояние между соседями не более 50 см, выбирается синтез волнового поля. Иначе, если имеется более 2 громкоговорителей в группе, выбирается формирование пучка. Иначе, выбирается VBAP.
Если вместо этого данные алгоритмов рендеринга указывают, что допускается только рендеринг с использованием VBAP или синтеза волнового поля, если количество громкоговорителей в массиве больше 2, но меньше 6, и если максимальное расстояние между соседями составляет меньше 25 см, то распределение по группам может ограничить количество громкоговорителей пятью и разрешить присоединять новые громкоговорители к существующей группе только если расстояние, по меньшей мере, до одного громкоговорителя в группе составляет меньше 25 см.
В некоторых вариантах осуществления устройство 609 распределения по группам может снабжаться данными рендеринга, которые указывают на акустические характеристики рендеринга, по меньшей мере, некоторых громкоговорителей 603. Конкретно, данные рендеринга могут указывать частотную характеристику громкоговорителей 603. Например, данные рендеринга могут указывать, является ли отдельный громкоговоритель низкочастотным громкоговорителем (например, громкоговорителем для воспроизведения нижних звуковых частот), высокочастотным громкоговорителем (например, громкоговорителем для воспроизведения верхних звуковых частот) или широкополосным громкоговорителем. Затем эта информация может учитываться при распределении по группам. Например, может потребоваться, чтобы только громкоговорители с соответствующими частотными диапазонами группировались вместе, тем самым не допуская, например, групп, содержащих громкоговорители для воспроизведения нижних звуковых частот и громкоговорители для воспроизведения верхних звуковых частот, которые не подходят, например, для обработки массивов.
Кроме того, данные рендеринга могут указывать на диаграмму направленности излучения громкоговорителей 603 и/или ориентацию главной акустической оси громкоговорителей 603. Например, данные рендеринга могут указывать, имеет ли отдельный громкоговоритель относительно широкую или относительно узкую диаграмму направленности излучения, и в каком направлении ориентирована главная ось диаграммы направленности излучения. Эта информация может учитываться при распределении по группам. Например, может потребоваться, чтобы вместе группировались только громкоговорители, для которых диаграммы направленности излучения имеют достаточное наложение.
В качестве более сложного примера, распределение по группам может выполняться с использованием способов неконтролируемого статистического обучения. Каждый громкоговоритель k может быть представлен вектором признаков в многомерном пространстве, например,
где координатами в трехмерном пространстве являются xk, yk и zk. Частотная характеристика в этом варианте осуществления может быть охарактеризована одним параметром sk, который может представлять, например, центр тяжести спектра частотной характеристики. Наконец, горизонтальный угол относительно линии от позиции громкоговорителя до позиции прослушивания задается с помощью αk. В примере распределение по группам выполняется с учетом всего вектора признаков. При параметрическом бесконтрольном обучении сначала инициализируют N центров an групп, n = 0..N-1 в пространстве признаков. Обычно они инициализируются произвольно или выбираются из позиций громкоговорителей. Затем позиции an обновляются таким образом, чтобы они лучше представляли рассредоточение позиций громкоговорителей в пространстве признаков. Существуют различные способы для выполнения этого, а также можно разбить и заново скомпоновать группы в течение итерации аналогично тому, что было описано выше в контексте иерархического распределения по группам.
Следует понимать, что приведенное выше описание для ясности описывает варианты осуществления настоящего изобретения в отношении разных функциональных схем, модулей и обрабатывающих устройств. Тем не менее, будет очевидно, что любое подходящее распределение функциональных возможностей между разными функциональными схемами, модулями или обрабатывающими устройствами может использоваться без ослабления настоящего изобретения. Например, функциональные возможности, показанные как выполняемые обособленными обрабатывающими устройствами или управляющими устройствами, могут выполняться одним и тем же обрабатывающим устройством или управляющими устройствами. Следовательно, ссылки на конкретные функциональные модули или схемы следует рассматривать только как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, а не указывающие на строгую логическую или физическую структуру или организацию.
Настоящее изобретение может быть реализовано в любой подходящей форме, в том числе в аппаратных средствах, программном обеспечении, программно-аппаратных средствах или любой их комбинации. Настоящее изобретение в некоторых случаях может быть реализовано, по меньшей мере, частично в виде программного обеспечения, запущенного на одном или нескольких обрабатывающих устройствах и/или устройствах для цифровой обработки сигналов. Элементы и компоненты варианта осуществления настоящего изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. В действительности функциональные возможности могут быть реализованы в одном модуле, во множестве модулей или как часть других функциональных модулей. В связи с этим, настоящее изобретение может быть реализовано в одном модуле или может быть физически и функционально распределено между разными модулями, схемами и обрабатывающими устройствами.
Хоть настоящее изобретение и было описано применительно к некоторым вариантам осуществления, не предполагается ограничения конкретной формой, изложенной в данном документе. Вернее, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Дополнительно, хоть признак и может представляться описанным применительно к конкретным вариантам осуществления, специалисту в данной области техники будет понятно, что различные признаки описанных вариантов осуществления могут быть объединены в соответствии с настоящим изобретением. В формуле изобретения термин «содержащий» не исключает присутствие других элементов или этапов.
Кроме того, хоть и перечисленные по отдельности, множество средств, элементов, схем или этапов способа могут быть реализованы, например, с помощью одной схемы, модуля или обрабатывающего устройства. Дополнительно, хоть отдельные признаки и могут входить разные пункты формулы изобретения, они, возможно, могут быть успешно объединены, и вхождение в разные пункты формулы изобретения не подразумевает, что сочетание признаков не является допустимым и/или целесообразным. К тому же вхождение признака в одну категорию пунктов формулы изобретения не подразумевает ограничивание этой категорией, а скорее указывает, что в случае необходимости признак в равной степени применим и к другим категориям пунктов формулы изобретения. Кроме того, порядок признаков в формуле изобретения не подразумевают конкретного порядка, в котором должны работать признаки, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны быть выполнены в этом порядке. Скорее, этапы могут быть выполнены в любом подходящем порядке. Помимо этого, единичные ссылки не исключают множественности. Таким образом, использование единственного числа, упоминание терминов "первый", "второй" и т.д. не исключают множественности. Ссылочные позиции в формуле изобретения приведены просто в качестве поясняющего примера и не должны толковаться как ограничивающие каким-либо образом объем формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| УСТРОЙСТВО АУДИООБРАБОТКИ И СПОСОБ ДЛЯ ЭТОГО | 2014 |
|
RU2667630C2 |
| КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ АУДИОСИГНАЛОВ | 2013 |
|
RU2643644C2 |
| СИСТЕМА И СПОСОБ СЛЕЖЕНИЯ ЗА ДВИЖЕНИЕМ ГОЛОВЫ ДЛЯ ПОЛУЧЕНИЯ ПАРАМЕТРИЧЕСКОГО БИНАУРАЛЬНОГО ВЫХОДНОГО СИГНАЛА | 2016 |
|
RU2818687C2 |
| СИСТЕМА И СПОСОБ СЛЕЖЕНИЯ ЗА ДВИЖЕНИЕМ ГОЛОВЫ ДЛЯ ПОЛУЧЕНИЯ ПАРАМЕТРИЧЕСКОГО БИНАУРАЛЬНОГО ВЫХОДНОГО СИГНАЛА | 2016 |
|
RU2722391C2 |
| СПОСОБ ОБРАБОТКИ АУДИОСИГНАЛА, БЛОК ОБРАБОТКИ СИГНАЛОВ, СТЕРЕОФОНИЧЕСКИЙ РЕНДЕРЕР, АУДИОКОДЕР И АУДИОДЕКОДЕР | 2014 |
|
RU2642376C2 |
| УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ КОДИРОВАНИЯ, ДЕКОДИРОВАНИЯ, ОБРАБОТКИ СЦЕНЫ И ДРУГИХ ПРОЦЕДУР, ОТНОСЯЩИХСЯ К ОСНОВАННОМУ НА DirAC ПРОСТРАНСТВЕННОМУ АУДИОКОДИРОВАНИЮ | 2018 |
|
RU2759160C2 |
| УСТРОЙСТВО И СПОСОБ ДЛЯ ГЕНЕРАЦИИ МНОЖЕСТВА ЗВУКОВЫХ КАНАЛОВ | 2015 |
|
RU2676948C2 |
| РЕНДЕРИНГ ОТРАЖЕННОГО ЗВУКА ДЛЯ ОБЪЕКТНО-ОРИЕНТИРОВАННОЙ АУДИОИНФОРМАЦИИ | 2013 |
|
RU2602346C2 |
| УПРАВЛЕНИЕ АКУСТИЧЕСКОЙ ЭХОКОМПЕНСАЦИЕЙ ДЛЯ РАСПРЕДЕЛЕННЫХ АУДИОУСТРОЙСТВ | 2020 |
|
RU2818982C2 |
| ДИНАМИЧЕСКАЯ ОБРАБОТКА В УСТРОЙСТВАХ С ОТЛИЧАЮЩИМИСЯ ФУНКЦИОНАЛЬНЫМИ ВОЗМОЖНОСТЯМИ ВОСПРОИЗВЕДЕНИЯ | 2020 |
|
RU2783150C1 |
Изобретение относится к обработке аудиосигналов и предназначено для адаптации рендеринга к неизвестным конфигурациям аудиопреобразователей. Технический результат – обеспечение высококачественного восприятия звука за счет автоматической адаптации к конфигурациям аудиопреобразователей. Аудиоустройство содержит приемник для приема аудиоданных и данных положения аудиопреобразователей для множества аудиопреобразователей. Рендерер производит рендеринг аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей для аудиопреобразователей из аудиоданных. Кроме того, устройство распределения по группам группирует аудиопреобразователи в набор групп согласно данным положения аудиопреобразователей и расстояниям между аудиопреобразователями в соответствии с метрикой расстояния. Контроллер рендерера адаптирует рендеринг согласно распределению по группам. Устройство может, например, выбирать технические методы обработки массивов для конкретных подмножеств, вмещающих аудиопреобразователи, которые находятся достаточно близко друг к другу. 2 н. и 11 з.п. ф-лы, 10 ил.
1. Аудиоустройство, содержащее:
приемник (605) для приема аудиоданных и данных положения аудиопреобразователей для множества аудиопреобразователей (603);
рендерер (607) для рендеринга аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей для множества аудиопреобразователей (603) из аудиоданных;
устройство (609) распределения по группам для группирования множества аудиопреобразователей в набор групп аудиопреобразователей в ответ на расстояния между аудиопреобразователями из множества аудиопреобразователей в соответствии с метрикой пространственного расстояния, причем расстояния определяются из данных положения аудиопреобразователей, и распределение по группам содержит этап, на котором генерируют набор групп аудиопреобразователей в ответ на итеративное включение аудиопреобразователей в группы предыдущей итерации, при этом первый аудиопреобразователь включается в первую группу из набора групп аудиопреобразователей в ответ на соответствие первого аудиопреобразователя критерию расстояния по отношению к одному или нескольким аудиопреобразователям первой группы; и
контроллер (611) рендерера, выполненный с возможностью адаптации рендеринга в ответ на распределение по группам.
2. Аудиоустройство по п. 1, в котором рендерер (607) выполнен с возможностью рендеринга аудиоданных в соответствии с множеством режимов рендеринга; и контроллер (611) рендерера выполнен с возможностью независимого выбора режимов рендеринга из множества режимов рендеринга для разных сосуществующих групп аудиопреобразователей.
3. Аудиоустройство по п. 2, в котором рендерер (607) выполнен с возможностью выполнения рендеринга с обработкой массивов; и контроллер (611) рендерера выполнен с возможностью выбора рендеринга с обработкой массивов для первой группы из набора групп аудиопреобразователей в ответ на соответствие атрибута первой группы критерию.
4. Аудиоустройство по п. 1, в котором рендерер (607) выполнен с возможностью выполнения рендеринга с обработкой массивов; и контроллер (611) рендерера выполнен с возможностью адаптации рендеринга с обработкой массивов для первой группы из набора групп аудиопреобразователей в ответ на атрибут первой группы.
5. Аудиоустройство по п. 3 или 4, в котором атрибут представляет собой по меньшей мере одно из следующего: максимальное расстояние между аудиопреобразователями первой группы, являющимися ближайшими соседями, в соответствии с метрикой пространственного расстояния; максимальное расстояние между аудиопреобразователями первой группы в соответствии с метрикой пространственного расстояния; и количество аудиопреобразователей в первой группе.
6. Аудиоустройство по п. 1, в котором устройство (609) распределения по группам выполнено с возможностью генерирования указателя атрибута для первой группы из набора групп аудиопреобразователей; и контроллер (611) рендерера выполнен с возможностью адаптации рендеринга для первой группы в ответ на указатель атрибута.
7. Аудиоустройство по п. 6, в котором указатель атрибута указывает по меньшей мере на один атрибут, выбранный из следующего:
максимальное расстояние между аудиопреобразователями первой группы, являющимися ближайшими соседями, в соответствии с метрикой пространственного расстояния; и
максимальное расстояние между любыми двумя аудиопреобразователями первой группы.
8. Аудиоустройство по п. 6, в котором указатель атрибута указывает по меньшей мере на один атрибут, выбранный из следующего:
частотная характеристика одного или нескольких аудиопреобразователей первой группы;
количество аудиопреобразователей в первой группе;
ориентация первой группы относительно по меньшей мере одного из опорной позиции и геометрического атрибута среды рендеринга; и
пространственный размер первой группы.
9. Аудиоустройство по п. 1, в котором устройство (609) распределения по группам выполнено с возможностью генерирования набора групп аудиопреобразователей при выполнении требования, что в группе нет двух аудиопреобразователей, являющихся ближайшими соседями в соответствии с метрикой пространственного расстояния, с расстоянием, превышающим пороговое значение.
10. Аудиоустройство по п. 1, в котором устройство (609) распределения по группам дополнительно выполнено с возможностью приема данных рендеринга, указывающих акустические характеристики рендеринга, по меньшей мере, некоторых аудиопреобразователей из множества аудиопреобразователей, и группирования множества аудиопреобразователей в набор групп аудиопреобразователей в ответ на данные рендеринга.
11. Аудиоустройство по п. 1, в котором устройство (609) распределения по группам дополнительно выполнено с возможностью приема данных алгоритма рендеринга, указывающих характеристики алгоритмов рендеринга, которые могут быть выполнены рендерером (607), и группирования множества аудиопреобразователей в набор групп аудиопреобразователей в ответ на данные алгоритма рендеринга.
12. Аудиоустройство по п. 1, в котором метрикой пространственного расстояния является метрика углового расстояния, отражающая угловую разность между аудиопреобразователями относительно опорной позиции или направления.
13. Способ аудиообработки, причем способ содержит этапы, на которых:
принимают аудиоданные и данные положения аудиопреобразователей для множества аудиопреобразователей (603);
производят рендеринг аудиоданных путем генерирования сигналов возбуждения аудиопреобразователей для множества аудиопреобразователей (603) из аудиоданных;
группируют множество аудиопреобразователей в набор групп аудиопреобразователей в ответ на расстояния между аудиопреобразователями из множества аудиопреобразователей в соответствии с метрикой пространственного расстояния, причем расстояния определяются исходя из данных положения аудиопреобразователей, и распределение по группам содержит этап, на котором генерируют набор групп аудиопреобразователей в ответ на итеративное включение аудиопреобразователей в группы предыдущей итерации, при этом первый аудиопреобразователь включается в первую группу из набора групп аудиопреобразователей в ответ на соответствие первого аудиопреобразователя критерию расстояния по отношению к одному или нескольким аудиопреобразователям первой группы; и
адаптируют рендеринг в ответ на распределение по группам.
| FR 2970574 A1, 20.07.2012 | |||
| US 8351612 B2, 08.01.2013 | |||
| Многоступенчатая активно-реактивная турбина | 1924 |
|
SU2013A1 |
| ПОСЕГМЕНТНАЯ НАСТРОЙКА ПРОСТРАНСТВЕННОГО АУДИОСИГНАЛА К ДРУГОЙ УСТАНОВКЕ ГРОМКОГОВОРИТЕЛЯ ДЛЯ ВОСПРОИЗВЕДЕНИЯ | 2013 |
|
RU2625953C2 |
| ПРОСТРАНСТВЕННОЕ ВОСПРОИЗВЕДЕНИЕ ЗВУКА | 2011 |
|
RU2559713C2 |
| СПОСОБ ОПТИМАЛЬНОЙ ПЕРЕДАЧИ СООБЩЕНИЙ ЛЮБОЙ ФИЗИЧЕСКОЙ ПРИРОДЫ, НАПРИМЕР, СПОСОБ ОПТИМАЛЬНОГО ЗВУКОВОСПРОИЗВЕДЕНИЯ И СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ, СПОСОБ ОПТИМАЛЬНОГО, ПРОСТРАНСТВЕННОГО, АКТИВНОГО ПОНИЖЕНИЯ УРОВНЯ СИГНАЛОВ ЛЮБОЙ ФИЗИЧЕСКОЙ ПРИРОДЫ | 1997 |
|
RU2145446C1 |
| US 8160280 B2, 17.04.2012 | |||
| US 8139773 B2, 20.03.2012 | |||
| СПОСОБ ПЛАСТИКИ ПОСТТРАВМАТИЧЕСКОЙ ДЕФОРМАЦИИ ПЕРЕДНЕЙ СТЕНКИ ЛОБНОЙ ПАЗУХИ | 2011 |
|
RU2475193C1 |
