АВТОМАТИЧЕСКАЯ ЛОКАЛИЗАЦИЯ АУДИОУСТРОЙСТВ Российский патент 2024 года по МПК H04R3/00 H04S7/00 

Перекрестные ссылки на родственные заявки

По настоящей заявке испрашивается приоритет на основании заявки на патент Испании № P202031212, поданной 03 декабря 2020 г., и № P202130458, поданной 20 мая 2021 г., и предварительной заявки на патент США №63/155,369, поданной 02 марта 2021 г., №63/203,403, поданной 21 июля 2021 г., и №63/224,778, поданной 22 июля 2021 г., все из которых в полном объеме включены в данный документ путем ссылки.

Область техники, к которой относится изобретение

Данное изобретение относится к системам и способам автоматического определения местоположения аудиоустройств.

Уровень техники

Аудиоустройства, в том числе, не ограничиваясь, интеллектуальные аудиоустройства, широко применяются и становятся общими элементами многих домов. Хотя существующие системы и способы определения местоположения аудиоустройств обеспечивают преимущества, необходимы усовершенствованные системы и способы.

Обозначения и термины

На протяжении настоящего описания, в том числе и в формуле изобретения, термины «динамик», «громкоговоритель» и «преобразователь для воспроизведения аудиоданных» используются синонимично для обозначения любого излучающего звук преобразователя (или набора преобразователей). Обычная пара наушников включает в себя два динамика. Динамик может быть реализован таким образом, что он включает в себя множество преобразователей (например, низкочастотную головку и высокочастотную головку), которые могут возбуждаться посредством одной общей подачи звука в динамики либо множества подач звука в динамики. В некоторых примерах, подача(и) звука в динамики может подвергаться различной обработке в различных ветвях схемы, соединенных с различными преобразователями.

На протяжении настоящего описания, в том числе и в формуле изобретения, выражение «выполнение операции «для» сигнала или данных» (например, фильтрации, масштабирования, преобразования или применения усиления к сигналу или данным) используется в широком смысле для обозначения выполнения операции непосредственно для сигнала или данных либо для обработанной версии сигнала или данных (например, для версии сигнала, который подвергнут предварительной фильтрации или предварительной обработке до выполнения операции).

На протяжении настоящего описания, в том числе и в формуле изобретения, выражение «система» используется в широком смысле для обозначения устройства, системы или подсистемы. Например, подсистема, которая реализует декодер, может называться «системой декодера», и система, включающая в себя такую подсистему (например, система, которая формирует X выходных сигналов в ответ на множество вводов, причем подсистема формирует M вводов, и другие X-M вводов принимаются из внешнего источника), также может называться «системой декодера».

На протяжении настоящего описания, в том числе и в формуле изобретения, термин «процессор» используется в широком смысле для обозначения системы или устройства, программируемого или иным способом конфигурируемого (например, с помощью программного обеспечения или микропрограммного обеспечения) с возможностью выполнения операций для данных (например, аудио- или видео- или других данных изображений). Примеры процессоров включают в себя программируемую пользователем вентильную матрицу (либо другую конфигурируемую интегральную схему или набор микросхем), процессор цифровых сигналов, запрограммированный и/или иным способом выполненный с возможностью осуществления конвейерной обработки для аудиоданных или других звуковых данных, программируемый процессор общего назначения или компьютер и программируемую микропроцессорную интегральную схему или набор микросхем.

На протяжении настоящего описания, в том числе и в формуле изобретения, термин «соединен» или «соединенный» используется для обозначения прямого или опосредованного соединения. Таким образом, если первое устройство соединено со вторым устройством, то соединение может осуществляться через прямое соединение или через опосредованное соединение через другие устройства и соединения.

При использовании в данном документе «интеллектуальное устройство» представляет собой электронное устройство, в общем выполненное с возможностью связи с одним или более другими устройствами (или сетями) через различные беспроводные протоколы, такие как Bluetooth, ZigBee, связь ближнего радиуса действия, Wi-Fi, стандарт высококачественной связи в диапазоне видимого света (Li-Fi), 3G, 4G, 5G и т.д., которые могут работать в некоторой степени интерактивно и/или автономно. Несколько известных типов интеллектуальных устройств представляют собой смартфоны, интеллектуальные автомобили, интеллектуальные термостаты, интеллектуальные дверные звонки, интеллектуальные замки, интеллектуальные холодильники, телефоны-планшеты и планшетные компьютеры, интеллектуальные часы, интеллектуальные браслеты, интеллектуальные цепочки для ключей и интеллектуальные аудиоустройства. Термин «интеллектуальное устройство» также может означать устройство, которое демонстрирует некоторые свойства широкого применения вычислений, такие как искусственный интеллект.

В данном документе, выражение «интеллектуальное аудиоустройство» используется для обозначения интеллектуального устройства, которое представляет собой однозадачное аудиоустройство или многоцелевое аудиоустройство (например, аудиоустройство, которое реализует по меньшей мере некоторые аспекты функциональности виртуального помощника). Однозадачное аудиоустройство представляет собой устройство (например, телевизионный приемник (телевизор)), включающее в себя или соединенное по меньшей мере с одним микрофоном (и при необходимости также включающее в себя по меньшей мере один динамик и/или по меньшей мере одну камеру или соединенное с ними), которое проектируется в основном или главным образом с возможностью решения одной задачи. Например, хотя телевизор обычно может воспроизводить (и рассматривается как способный воспроизводить) аудиоданные из программного материала, в большинстве случаев современный телевизор выполняет некоторую операционную систему, в которой локально выполняются приложения , в том числе и приложение для просмотра телевизора. В этом смысле, однозадачное аудиоустройство, имеющее динамик(и) и микрофон(ы), зачастую выполнено с возможностью выполнения локального приложения и/или службы для непосредственного использования динамика(ов) и микрофона(ов). Некоторые однозадачные аудиоустройства могут быть выполнены с возможностью группировки для обеспечения воспроизведения аудиоданных в некоторой зоне либо в конфигурированной пользователем области.

Один общий тип многоцелевого аудиоустройства представляет собой аудиоустройство, которое реализует по меньшей мере некоторые аспекты функциональности виртуального помощника, хотя другие аспекты функциональности виртуального помощника могут быть реализованы посредством одного или более других устройств, таких как один или более серверов, с возможностью связи с которыми выполнено многоцелевое аудиоустройство. Такой многоцелевое аудиоустройство может называться в данном документе «виртуальным помощником». Виртуальный помощник представляет собой устройство (например, интеллектуальный динамик или интегрированное устройство голосового помощника), включающее в себя или соединенное по меньшей мере с одним микрофоном (и при необходимости также включающее в себя или соединенное по меньшей мере с одним динамиком и/или по меньшей мере одной камерой). В некоторых примерах, виртуальный помощник может обеспечивать возможность использования множества устройств (отличных от виртуального помощника) для приложений, которые в некотором смысле поддерживают облачный режим либо иным образом не реализуются полностью непосредственно в/на виртуальном помощнике. Другими словами по меньшей мере некоторые аспекты функциональности виртуального помощника, например, функциональность распознавания речи, могут быть реализованы (по меньшей мере частично) посредством одного или более серверов или других устройств, с которыми виртуальный помощник может поддерживать связь через сеть, к примеру, через Интернет. Виртуальные помощники могут иногда совместно работать, например, дискретным и условно заданным способом. Например, два или более виртуальных помощника могут совместно работать в том смысле, что один из них, например, помощник, который больше всего уверен в том, что услышал слово активации, отвечает на слово активации. Соединенные виртуальные помощники могут, в некоторых реализациях, формировать вид созвездия, которое может управляться посредством одного главного приложения, которое может представлять собой (или реализовывать) виртуальный помощник.

В данном документе, «слово активации» используется в широком смысле для обозначения любого звука (например, слово, произнесенное человеком, или некоторый другой звук), причем интеллектуальное аудиоустройство выполнено с возможностью активации в ответ на обнаружение («прослушивание») звука (с использованием по меньшей мере одного микрофона, включенного или соединенного с интеллектуальным аудиоустройством либо по меньшей мере еще одним микрофоном). В этом контексте, «активация» означает, что устройство переходит в состояние, в котором оно ждет (другими словами, прослушивает) звуковую команду. В некоторых случаях, то, что может называться в данном документе «словом активации», может включать в себя более одного слова, например словосочетание.

В данном документе, выражение «детектор слов активации» означает устройство (или программное обеспечение, которое включает в себя инструкции для конфигурирования устройства), выполненное с возможностью непрерывного выполнения поиска совмещения между звуковыми (например, речевыми) признаками в реальном времени и обученной моделью. Типично, событие произнесения слова активации инициируется каждый раз, когда посредством детектора слов активации определено, что вероятность того, что обнаружено слово активации, превышает предварительно заданное пороговое значение. Например, пороговое значение может составлять заданное пороговое значение, которое подстраивается таким образом, чтобы обеспечивать обоснованный компромисс между частотами ложных разрешений и ложных отклонений. После события произнесения слова активации устройство может переходить в состояние (которое может называться «активированным состоянием» или «состоянием внимания»), в котором оно прослушивает команду и пересылает принимаемую команду в более крупный модуль распознавания с большим объемом вычислений.

При использовании в данном документе, термины «программный поток» и «поток содержимого» означают совокупность одного или более аудиосигналов и в некоторых случаях видеосигналов по меньшей мере части которых предположительно должны прослушиваться вместе. Примеры включают в себя выбор музыки, звуковой дорожки к фильму, фильма, телевизионной программы, аудиочасти телевизионной программы, подкаста, живого голосового вызова, синтезированного голосового ответа из интеллектуального помощника и т.д. В некоторых случаях, поток содержимого может включать в себя множество версий по меньшей мере части аудиосигналов, например, идентичный диалог более чем на одном языке. В таких случаях, только одна версия аудиоданных либо ее часть (например, версия, соответствующая одному языку) предназначена для воспроизведения в любой момент.

Раскрытие изобретения

По меньшей мере некоторые аспекты настоящего изобретения могут быть реализованы через способы. Некоторые такие способы могут включать в себя местоположение аудиоустройства. Например, некоторые способы могут включать в себя локализацию аудиоустройств в аудиосреде. Некоторые такие способы могут включать в себя получение, посредством системы управления, данных направления поступления сигналов (DOA), соответствующих звуку, излучаемому посредством по меньшей мере первого интеллектуального аудиоустройства в аудиосреде. В некоторых реализациях, первое интеллектуальное аудиоустройство может включать в себя первое передающее аудиоустройство и первое приемное аудиоустройство. В некоторых примерах, данные DOA могут соответствовать звуку, принимаемому посредством по меньшей мере второго интеллектуального аудиоустройства в аудиосреде. В некоторых случаях, второе интеллектуальное аудиоустройство может включать в себя второе передающее аудиоустройство и второе приемное аудиоустройство. В некоторых примерах, данные DOA также могут соответствовать звуку, излучаемому посредством по меньшей мере второго интеллектуального аудиоустройства и принимаемому посредством по меньшей мере первого интеллектуального аудиоустройства.

Некоторые такие способы могут включать в себя прием, посредством системы управления, конфигурационных параметров. В некоторых примерах, конфигурационные параметры могут соответствовать аудиосреде и/или могут соответствовать одному или более аудиоустройств аудиосреды. Некоторые такие способы могут включать в себя минимизацию, посредством системы управления, функции стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и/или ориентации по меньшей мере первого интеллектуального аудиоустройства и второго интеллектуального аудиоустройства.

Согласно некоторым примерам, данные DOA также могут соответствовать звуку, принимаемому посредством одного или более пассивных приемных аудиоустройств в аудиосреде. В некоторых примерах, каждое из одного или более пассивных приемных аудиоустройств может включать в себя массив микрофонов, но, в некоторых случаях, в нем может отсутствовать излучатель аудиосигнала. В некоторых таких примерах, минимизация функции стоимости также может обеспечивать оцененное местоположение и ориентацию каждого из одного или более пассивных приемных аудиоустройств.

В некоторых примерах, данные DOA также могут соответствовать звуку, излучаемому посредством одного или более излучателей аудиосигнала в аудиосреде. В некоторых случаях, каждый из одного или более излучателей аудиосигнала может включать в себя по меньшей мере один звукоизлучающий преобразователь, но, в некоторых случаях, в нем может отсутствовать массив микрофонов. В некоторых таких примерах, минимизация функции стоимости также может обеспечивать оцененное местоположение каждого из одного или более излучателей аудиосигнала.

В некоторых реализациях, данные DOA также могут соответствовать звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, причем N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде. В некоторых примерах, данные DOA также могут соответствовать звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде. В некоторых таких примерах, минимизация функции стоимости может включать в себя оценку положения и/или ориентации третьего-N-ого интеллектуальных аудиоустройств.

Согласно некоторым примерам, конфигурационные параметры могут включать в себя число аудиоустройств в аудиосреде, один или более размеров аудиосреды и/или одно или более ограничений на местоположение и/или ориентацию аудиоустройства. В некоторых случаях, конфигурационные параметры могут включать в себя данные разрешения неоднозначности для вращения, перемещения в пространстве и/или масштабирования.

Некоторые способы могут включать в себя прием, посредством системы управления, конфигурации посевных точек для функции стоимости. В некоторых примерах конфигурация посевных точек может указывать корректное число передающих и приемных аудиоустройств в аудиосреде и произвольное местоположение и ориентацию для каждого из передающих и приемных аудиоустройств в аудиосреде.

Некоторые способы могут включать в себя прием, посредством системы управления, весового коэффициента, ассоциированного с одним или более элементов данных DOA. Весовой коэффициент, например, может указывать доступность и/или надежность одного или более элементов данных DOA.

Некоторые способы могут включать в себя получение, посредством системы управления, одного или более элементов данных DOA с использованием способа на основе формирования диаграммы направленности, способа на основе направленного отклика по мощности, способа на основе разности времен поступления сигналов, способа на основе структурированных сигналов либо комбинаций вышеозначенного.

Некоторые способы могут включать в себя прием, посредством системы управления, данных времени поступления сигналов (TOA), соответствующих звуку, излучаемому посредством по меньшей мере одного аудиоустройства аудиосреды и принимаемому посредством по меньшей мере еще одного аудиоустройства в аудиосреде. В некоторых таких примерах, функция стоимости может быть основана по меньшей мере частично на данных TOA. Некоторые такие способы могут включать в себя оценку по меньшей мере одного времени задержки при воспроизведении и/или оценку по меньшей мере одного времени задержки при записи. В некоторых примерах, функция стоимости может работать с повторно масштабированным положением, повторно масштабированным временем задержки и/или повторно масштабированным временем поступления сигналов.

Согласно некоторым примерам, функция стоимости может включать в себя первый член в зависимости только от данных DOA. В некоторых таких примерах, функция стоимости может включать в себя второй член в зависимости только от данных TOA. В некоторых таких примерах, первый член может включать в себя первый весовой коэффициент, и второй член может включать в себя второй весовой коэффициент. В некоторых случаях, один или более элементов TOA второго члена могут иметь весовой коэффициент элемента TOA, указывающий доступность и/или надежность каждого из одного или более элементов TOA.

В некоторых примерах, конфигурационные параметры могут включать в себя данные времени задержки при воспроизведении, данные времени задержки при записи, данные для разрешения неоднозначности симметрии времени задержки, данные разрешения неоднозначности для вращения, данные разрешения неоднозначности для перемещения в пространстве, данные разрешения неоднозначности для масштабирования и/или одну или более комбинаций вышеозначенного.

Некоторые другие аспекты настоящего изобретения могут быть реализованы через способы. Некоторые такие способы могут включать в себя местоположение устройства. Например, некоторые способы могут включать в себя локализацию устройств в аудиосреде. Некоторые такие способы могут включать в себя получение, посредством системы управления, данных направления поступления сигналов (DOA), соответствующих передачам по меньшей мере первого приемо-передающего устройства первого устройства в среде. Первое приемо-передающее устройство, в некоторых примерах, может включать в себя первое передающее устройство и первое приемное устройство. В некоторых случаях, данные DOA могут соответствовать передачам, принимаемым посредством по меньшей мере второго приемо-передающего устройства второго устройства в среде. В некоторых примерах, второе приемо-передающее устройство может включать в себя второе передающее устройство и второе приемное устройство. В некоторых случаях, данные DOA могут соответствовать передачам по меньшей мере из второго приемо-передающего устройства, принимаемым посредством по меньшей мере первого приемо-передающего устройства.

В некоторых примерах, первое устройство и второе устройство могут представлять собой аудиоустройства, и среда может представлять собой аудиосреду. Согласно некоторым таким примерам, первое передающее устройство и второе передающее устройство могут представлять собой передающие аудиоустройства. В некоторых таких примерах, первое приемное устройство и второе приемное устройство могут представлять собой приемные аудиоустройства. В некоторых реализациях, первое приемо-передающее устройство и второе приемо-передающее устройство могут быть выполнены с возможностью передачи и приема электромагнитных волн.

Некоторые такие способы могут включать в себя прием, посредством системы управления, конфигурационных параметров. В некоторых случаях, конфигурационные параметры могут соответствовать среде и/или могут соответствовать одному или более устройствам в среде. Некоторые такие способы могут включать в себя минимизацию, посредством системы управления, функции стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и/или ориентации по меньшей мере первого устройства и второго устройства.

В некоторых примерах, данные DOA также могут соответствовать передачам, принимаемым посредством одного или более пассивных приемных устройств в среде. Каждое из одного или более пассивных приемных устройств, например, может включать в себя массив приемных устройств, но в нем может отсутствовать передающее устройство. В некоторых таких примерах, минимизация функции стоимости также может обеспечивать оцененное местоположение и/или ориентацию каждого из одного или более пассивных приемных устройств.

Согласно некоторым примерам, данные DOA также могут соответствовать передачам из одного или более передающих устройств в среде. В некоторых случаях, в каждом из одного или более передающих устройств может отсутствовать массив приемных устройств. В некоторых таких примерах, минимизация функции стоимости также может обеспечивать оцененное местоположение каждого из одного или более передающих устройств.

В некоторых примерах, данные DOA также могут соответствовать передачам, излучаемым посредством третьего-N-ого приемо-передающих устройств третьего-N-ого устройств в среде, причем N соответствует общему числу приемо-передающих устройств в среде. В некоторых таких примерах данные DOA также могут соответствовать передачам, принимаемым посредством каждого из первого-N-ого приемо-передающих устройств из всех других приемо-передающих устройств в среде. В некоторых таких примерах, минимизация функции стоимости может включать в себя оценку положения и/или ориентации третьего-N-ого приемо-передающих устройств.

Некоторые или все операции, функции и/или способы, описанные в данном документе, могут осуществляться посредством одного или более устройств согласно инструкциям (например, программному обеспечению), сохраненным на одном или более постоянных носителях. Такие постоянные носители могут включать в себя запоминающие устройства, такие как запоминающие устройства, описанные в данном документе, в том числе, не ограничиваясь, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т.д. Соответственно, некоторые инновационные аспекты предмета изобретения, описанного в настоящем описании, могут быть реализованы на постоянном носителе, имеющем сохраненное программное обеспечение.

По меньшей мере некоторые аспекты настоящего изобретения могут быть реализованы через устройство. Например, одно или более устройств могут допускать осуществление по меньшей мере частично способов, раскрытых в данном документе. В некоторых реализациях, устройство может включать в себя интерфейсную систему и систему управления. Система управления может включать в себя один или более одно- или многомикросхемных процессоров общего назначения, процессоров цифровых сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA) или других программируемых логических устройств, дискретных вентилей или транзисторную логику, дискретные аппаратные компоненты либо комбинации вышеозначенного. В некоторых примерах, устройство может представлять собой одно из вышеуказанных аудиоустройств. Тем не менее, в некоторых реализациях устройство может представлять собой другой тип устройства, такое как мобильное устройство, переносной компьютер, сервер и т.д.

Подробности одной или более реализаций объекта изобретения, описанного в данном подробном описании, изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, аспекты и преимущества должны стать очевидными из описания, чертежей и формулы изобретения. Следует отметить, что относительные размеры нижеследующих чертежей могут не быть показаны в масштабе.

Краткое описание чертежей

Фиг. 1 показывает пример геометрических взаимосвязей между четырьмя аудиоустройствами в среде.

Фиг. 2 показывает излучатель аудиосигнала, расположенный в аудиосреде по фиг. 1.

Фиг. 3 показывает приемное аудиоустройство, расположенное в аудиосреде по фиг. 1.

Фиг. 4 является блок-схемой, которая приводит один пример способа, который может осуществляться системой управления устройства, такого как устройство, показанное на фиг. 10.

Фиг. 5 является блок-схемой, которая приводит другой пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA.

Фиг. 6 является блок-схемой, которая приводит один пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA и данных TOA.

Фиг. 7 является блок-схемой, которая приводит другой пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA и данных TOA.

Фиг. 8A показывает пример аудиосреды.

Фиг. 8B показывает дополнительный пример определения данных угловой ориентации слушателя.

Фиг. 8C показывает дополнительный пример определения данных угловой ориентации слушателя.

Фиг. 8D показывает один пример определения соответствующего вращения для координат аудиоустройства в соответствии со способом, описанным с обращением к фиг. 8C.

Фиг. 9A является блок-схемой, которая приводит один пример способа локализации.

Фиг. 9B является блок-схемой, которая приводит другой пример способа локализации.

Фиг. 10 является блок-схемой, которая показывает примеры компонентов устройства, допускающего реализацию различных аспектов данного изобретения.

Фиг. 11 показывает пример плана помещения для аудиосреды, которая в этом примере представляет собой жилое пространство.

Аналогичные ссылочные позиции и условные обозначения на различных чертежах указывают на аналогичные элементы.

Осуществление изобретения

Появление интеллектуальных динамиков, включающих в себя множество возбуждающих блоков и массивов микрофонов, в дополнение к существующим аудиоустройствам, включающим в себя телевизионные приемники и звуковые панели, и новых оснащенных микрофонами и громкоговорителями соединенных устройств, таких как лампочки и микроволновые печи, создает проблему того, что десятки микрофонов и громкоговорителей требуют определения местоположения относительно друг друга для обеспечения оркестровки. Аудиоустройства не могут предположительно находиться в канонических схемах размещения (к примеру, в дискретной схеме размещения громкоговорителей Dolby 5.1). В некоторых случаях, аудиоустройства в среде могут быть расположены случайно или по меньшей мере могут распределяться в среде нерегулярным и/или асимметричным образом.

Кроме того, аудиоустройства могут не предполагаться однородными или синхронными. При использовании в данном документе, аудиоустройства могут называться «синхронными» или «синхронизированными», если звуки обнаруживаются или излучаются посредством аудиоустройств согласно идентичному дискретизированному тактовому сигналу или синхронизированным дискретизированным тактовым сигналам. Например, первый синхронизированный микрофон первого аудиоустройства в среде может выполнять цифровую дискретизацию аудиоданных согласно первому дискретизированному тактовому сигналу, и второй микрофон второго синхронизированного аудиоустройства в среде может выполнять цифровую дискретизацию аудиоданных согласно первому дискретизированному тактовому сигналу. В качестве альтернативы или дополнения, первый синхронизированный динамик первого аудиоустройства в среде может излучать звук согласно тактовому сигналу компоновки динамиков, и второй синхронизированный динамик второго аудиоустройства в среде может излучать звук согласно тактовому сигналу компоновки динамиков.

Некоторые ранее раскрытые способы автоматического определения местоположения динамиков требуют синхронизированных микрофонов и/или динамиков. Например, некоторые ранее существующие инструментальные средства для локализации устройств основываются на синхронности выборок между всеми микрофонами в системе, требуя известных тестовых управляющих воздействий и пересылки полнополосных аудиоданных между датчиками.

Правообладатель настоящего изобретения создал несколько технологий локализации динамиков для кинотеатров и домашних условий, которые представляют собой отличные решения в вариантах использования, для которых они разработаны. Некоторые такие способы основаны на времени пролета сигналов, извлекаемом из импульсных откликов между источником звука и микрофоном(ами), которые размещены приблизительно совместно с каждым громкоговорителем. Хотя системные времена задержки в цепочках записи и воспроизведения также могут оцениваться, синхронность выборок между тактовыми сигналами требуется наряду с потребностью в известном тестовом управляющем воздействии, из которого можно оценивать импульсные отклики.

Недавние примеры локализации источников в этом контексте имеют ослабленные ограничения за счет необходимости синхронности микрофонов внутри устройства, но без необходимости синхронности между устройствами. Кроме того, некоторые такие способы снимают потребность в пересылке аудиоданных между датчиками посредством узкополосной пересылки сообщений, к примеру, через обнаружение времени поступления сигналов (TOA, также называемого «временем пролета сигналов») прямого (неотраженного) звука либо через обнаружение доминирующего направления поступления сигналов (DOA) прямого звука. Каждый подход имеет некоторые потенциальные преимущества и потенциальные недостатки. Например, некоторые ранее применявшиеся способы TOA могут определять геометрию устройства вплоть до неизвестного перемещения в пространстве, вращения и отражения вокруг одной из трех осей. Вращения отдельных устройств также неизвестны, если имеется всего один микрофон в расчете на устройство. Некоторые ранее развернутые способы DOA могут определять геометрию устройства вплоть до неизвестного перемещения в пространстве, вращения и масштаба. Хотя некоторые такие способы могут формировать удовлетворительные результаты при идеальных условиях, надежность таких способов относительно ошибки измерения не демонстрируется.

Некоторые варианты осуществления, раскрытые в этой заявке, обеспечивают возможность локализации совокупности интеллектуальных аудиоустройств на основе 1) DOA между каждой парой аудиоустройств в аудиосреде и 2) минимизации проблемы нелинейной оптимизации, спроектированной с возможностью ввода типа 1) данных. Другие варианты осуществления, раскрытые в заявке, обеспечивают возможность локализации совокупности интеллектуальных аудиоустройств на основе 1) DOA между каждой парой аудиоустройств в системе, 2) TOA между каждой парой устройств и 3) минимизации проблемы нелинейной оптимизации, спроектированной с возможностью ввода типов 1) и 2) данных.

Фиг. 1 показывает пример геометрических взаимосвязей между четырьмя аудиоустройствами в среде. В этом примере, аудиосреда 100 представляет собой помещение, которое включает в себя телевизионный приемник 101 и аудиоустройства 105a, 105b, 105c и 105d. Согласно этому примеру, аудиоустройства 105a-105d находятся в местоположениях 1-4, соответственно, аудиосреды 100. Аналогично другим примерам, раскрытым в данном документе, типы, числа, местоположения и ориентации элементов, показанных на фиг. 1, задаются только в качестве примера. Другие реализации могут иметь различные типы, числа и компоновки элементов, например, большее или меньшее число аудиоустройств, аудиоустройства в различных местоположениях, аудиоустройства, имеющие различные характеристики, и т.д.

В этой реализации, каждое из аудиоустройств 105a-105d представляет собой интеллектуальный динамик, который включает в себя систему микрофонов и систему динамиков, которая включает в себя по меньшей мере один динамик. В некоторых реализациях, каждая система микрофонов включает в себя массив по меньшей мере из трех микрофонов. Согласно некоторым реализациям, телевизионный приемник 101 может включать в себя систему динамиков и/или систему микрофонов. В некоторых таких реализациях, способ автоматической локализации может использоваться для автоматической локализации телевизионного приемника 101 или части телевизионного приемника 101 (например, телевизионного громкоговорителя, телевизионного приемо-передающего устройства и т.д.), например, как описано ниже с обращением к аудиоустройствам 105a-105d.

Некоторые варианты осуществления, описанные в настоящем описании, обеспечивают возможность автоматической локализации набора аудиоустройств, таких как аудиоустройства 105a-105d, показанные на фиг. 1, на основе направления поступления сигналов (DOA) между каждой парой аудиоустройств, на основе времени поступления сигналов (TOA) аудиосигналов между каждой парой устройств либо на основе как DOA, так и TOA аудиосигналов между каждой парой устройств. В некоторых случаях, аналогично примеру, показанному на фиг. 1, каждое из аудиоустройств оснащено по меньшей мере с одним задающим блоком и одним массивом микрофонов, причем массив микрофонов допускает предоставление направления поступления сигналов входящего звука. Согласно этому примеру, двуглавая стрелка 110ab представляет звук, передаваемый посредством аудиоустройства 105a и принимаемый посредством аудиоустройства 105b, а также звук, передаваемый посредством аудиоустройства 105b и принимаемого посредством аудиоустройства 105a. Аналогично, двуглавые стрелки 110ac, 110ad, 110bc, 110bd и 110cd представляют звуки, передаваемые и принимаемые посредством аудиоустройств 105a и аудиоустройства 105c, звуки, передаваемые и принимаемые посредством аудиоустройств 105a и аудиоустройства 105d, звуки, передаваемые и принимаемые посредством аудиоустройств 105b и аудиоустройства 105c, звуки, передаваемые и принимаемые посредством аудиоустройств 105b и аудиоустройства 105d, и звуки, передаваемые и принимаемые посредством аудиоустройств 105c и аудиоустройства 105d, соответственно.

В этом примере, каждое из аудиоустройств 105a-105d имеет ориентацию, представленную посредством стрелок 115a-115d, которая может задаваться различными способами. Например, ориентация аудиоустройства, имеющего один громкоговоритель, может соответствовать направлению, в котором обращен один громкоговоритель. В некоторых примерах, ориентация аудиоустройства, имеющего множество громкоговорителей, обращенных в различных направлениях, может указываться посредством направления, в котором обращен один из громкоговорителей. В других примерах, ориентация аудиоустройства, имеющего множество громкоговорителей, обращенных в различных направлениях, может указываться посредством направления вектора, соответствующего сумме аудиовывода в различных направлениях, в которых обращен каждый из множества громкоговорителей. В примере, показанном на фиг. 1, ориентации стрелок 115a-115d определены с обращением к декартовой системе координат. В других примерах ориентации стрелок 115a-115d могут быть определены с обращением к другому типу системы координат, например к сферической или цилиндрической системе координат.

В этом примере, телевизионный приемник 101 включает в себя электромагнитный интерфейс 103, который выполнен с возможностью приема электромагнитных волн. В некоторых примерах электромагнитный интерфейс 103 может быть выполнен с возможностью передачи и приема электромагнитных волн. Согласно некоторым реализациям по меньшей мере два из аудиоустройств 105a-105d могут включать в себя антенную систему, сконфигурированную в качестве приемо-передающего устройства. Антенная система может быть выполнена с возможностью передачи и приема электромагнитных волн. В некоторых примерах, антенная система включает в себя антенную решетку, имеющую по меньшей мере три антенны. Некоторые варианты осуществления, описанные в настоящем описании, обеспечивают возможность автоматической локализации набора устройств, таких как аудиоустройства 105a-105d и/или телевизионный приемник 101, показанный на фиг. 1 по меньшей мере частично на основе DOA электромагнитных волн, передаваемых между устройствами. Соответственно, двуглавые стрелки 110ab, 110ac, 110ad, 110bc, 110bd и 110cd также могут представлять электромагнитные волны, передаваемые между аудиоустройствами 105a-105d.

Согласно некоторым примерам, антенная система устройства (к примеру, аудиоустройства) может совместно размещаться с громкоговорителем устройства, например, рядом с громкоговорителем. В некоторых таких примерах, ориентация антенной системы может соответствовать ориентации громкоговорителей. В качестве альтернативы или дополнения, антенная система устройства может иметь известную или заданную ориентацию относительно одного или более громкоговорителей устройства.

В этом примере, аудиоустройства 105a-105d выполнены с возможностью беспроводной связи друг с другом и с другими устройствами. В некоторых примерах, аудиоустройства 105a-105d могут включать в себя сетевые интерфейсы, которые выполнены с возможностью связи между аудиоустройствами 105a-105d и другими устройствами через Интернет. В некоторых реализациях, процессы автоматической локализации, раскрытые в данном документе, могут выполняться посредством системы управления одного из аудиоустройств 105a-105d. В других примерах, процессы автоматической локализации могут выполняться посредством другого устройства аудиосреды 100, к примеру, которое может иногда называться «концентратором интеллектуального дома», который выполнен с возможностью беспроводной связи с аудиоустройствами 105a-105d. В других примерах, процессы автоматической локализации могут выполняться по меньшей мере частично, посредством устройства за пределами аудиосреды 100, к примеру, сервера, например, на основе информации, принимаемой из одного или более аудиоустройств 105a-105d и/или концентратора интеллектуального дома.

Фиг. 2 показывает излучатель аудиосигнала, расположенный в аудиосреде по фиг. 1. Некоторые реализации обеспечивают автоматическую локализацию одного или более излучателей аудиосигнала, к примеру, человека 205 по фиг. 2. В этом примере, человек 205 находится в местоположении 5. Здесь, звук, издаваемый человеком 205 и принимаемый посредством аудиоустройства 105a, представляется посредством одноглавой стрелки 210a. Аналогично, звуки, издаваемые человеком 205 и принимаемые посредством аудиоустройств 105b, 105c и 105d, представляются посредством одноглавых стрелок 210b, 210c и 210d. Излучатели аудиосигнала могут локализоваться либо на основе DOA звука излучателя аудиосигнала, захваченного посредством аудиоустройств 105a-105d и/или телевизионного приемника 101, либо на основе разностей в TOA звука излучателя аудиосигнала, измеренных посредством аудиоустройств 105a-105d и/или телевизионного приемника 101, либо на основе как основе DOA, так и разностей в TOA.

В качестве альтернативы или дополнения, некоторые реализации могут предоставлять автоматическую локализацию одного или более излучателей электромагнитных волн. Некоторые варианты осуществления, описанные в настоящем описании, обеспечивают возможность автоматической локализации одного или более излучателей электромагнитных волн по меньшей мере частично на основе DOA электромагнитных волн, передаваемых посредством одного или более излучателей электромагнитных волн. Если излучатель электромагнитных волн находится в местоположении 5, электромагнитные волны, излучаемые посредством излучателя электромагнитных волн и принимаемые посредством аудиоустройств 105a, 105b, 105c и 105d, также могут представляться посредством одноглавых стрелок 210a, 210b, 210c и 210c.

Фиг. 3 показывает приемное аудиоустройство, расположенное в аудиосреде по фиг. 1. В этом примере, микрофоны смартфона 305 активируются, но динамики смартфона 305 в данный момент не излучают звук. Некоторые варианты осуществления обеспечивают автоматическую локализацию одного или более пассивных приемных аудиоустройств, таких как смартфон 305 по фиг. 3, когда смартфон 305 не излучает звук. Здесь, звук, излучаемый посредством аудиоустройства 105a и принимаемый посредством смартфона 305, представляется посредством одноглавой стрелки 310a. Аналогично, звуки, излучаемые посредством аудиоустройств 105b, 105c и 105d и принимаемые посредством смартфона 305, представляются посредством одноглавых стрелок 310b, 310c и 310d.

Если приемное аудиоустройство оснащается массивом микрофонов и выполнено с возможностью определения DOA принимаемого звука, приемное аудиоустройство может локализоваться по меньшей мере частично на основе DOA звуков, излучаемых посредством аудиоустройств 105a-105d и захваченных посредством приемного аудиоустройства. В некоторых примерах, приемное аудиоустройство может локализоваться по меньшей мере частично на основе разности в TOA интеллектуальных аудиоустройств, захваченной посредством приемного аудиоустройства, независимо от того, оснащается или нет приемное аудиоустройство массивом микрофонов. Еще один другой вариант осуществления может предоставлять возможность автоматической локализации набора интеллектуальных аудиоустройств, одного или более излучателей аудиосигнала и одного или более приемных устройств, только на основе DOA либо на основе DOA и TOA, посредством комбинирования способов, описанных выше.

Локализация на основе направления поступления сигналов

Фиг. 4 является блок-схемой, которая приводит один пример способа, который может осуществляться посредством системы управления устройства, такого как устройство, показанное на фиг. 10. Блоки способа 400, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано.

Способ 400 представляет собой пример процесса локализации аудиоустройств. В этом примере, способ 400 включает в себя определение местоположения и ориентации двух или более интеллектуальных аудиоустройств, каждое из которых включает в себя систему громкоговорителей и массив микрофонов. Согласно этому примеру, способ 400 включает в себя определение местоположения и ориентации интеллектуальных аудиоустройств по меньшей мере частично на основе аудиосигнала, излучаемого каждым интеллектуальным аудиоустройством и захваченного каждым другим интеллектуальным аудиоустройством, согласно оценке DOA. В этом примере, начальные блоки способа 400 базируются на системе управления каждого интеллектуального аудиоустройства, чтобы иметь возможность извлекать DOA из входных аудиоданных, принятых посредством массива микрофонов этого интеллектуального аудиоустройства, например, посредством использования разностей времени поступления сигналов между отдельными микрофонными капсюлями массива микрофонов.

В этом примере, блок 405 включает в себя получение аудиосигнала, излучаемого посредством каждого интеллектуального аудиоустройства аудиосреды и захваченного посредством каждого другого интеллектуального аудиоустройства аудиосреды. В некоторых таких примерах, блок 405 может включать в себя предписание каждому интеллектуальному аудиоустройству излучать звук, который в некоторых случаях может представлять собой звук, имеющий заданную длительность, частотный спектр и т.д. Этот заданный тип звука может называться в данном документе «структурированным сигналом источника». В некоторых реализациях, интеллектуальные аудиоустройства могут представлять собой или могут включать в себя аудиоустройства 105a-105d по фиг. 1.

В некоторых таких примерах, блок 405 может включать в себя последовательный процесс предписания одному интеллектуальному аудиоустройству излучать звук в то время, когда другие интеллектуальные аудиоустройства «прослушивают» на предмет звука. Например, обращаясь к фиг. 1, блок 405 может включать в себя: (a) предписание аудиоустройству 105a излучать звук и прием данных микрофонов, соответствующих излучаемому звуку, из массивов микрофонов аудиоустройств 105b 105d; затем (b) предписание аудиоустройству 105b излучать звук и прием данных микрофонов, соответствующих излучаемому звуку, из массивов микрофонов аудиоустройств 105a, 105c и 105d; затем (c) предписание аудиоустройству 105c излучать звук и прием данных микрофонов, соответствующих излучаемому звуку, из массивов микрофонов аудиоустройств 105a, 105b и 105d; затем (d) предписание аудиоустройству 105d излучать звук и прием данных микрофонов, соответствующих излучаемому звуку, из массивов микрофонов аудиоустройств 105a, 105b и 105c. Излучаемые звуки могут быть идентичными или могут не быть идентичными, в зависимости от конкретной реализации.

В других примерах, блок 405 может включать в себя одновременный процесс предписание всем интеллектуальным аудиоустройствам излучать звук в то время, когда другие интеллектуальные аудиоустройства «прослушивают» на предмет звука. Например, блок 405 может включать в себя выполнение следующих этапов одновременно: (1) предписание аудиоустройству 105a излучать первый звук и прием данных микрофонов, соответствующих излучаемому первому звуку, из массивов микрофонов аудиоустройств 105b 105d; (2) предписание аудиоустройству 105b излучать второй звук, отличающийся от первого звука, и прием данных микрофонов, соответствующих излучаемому второму звуку, из массивов микрофонов аудиоустройств 105a, 105c и 105d; (3) предписание аудиоустройству 105c излучать третий звук, отличающийся от первого звука и второго звука, и прием данных микрофонов, соответствующих излучаемому третьему звуку, из массивов микрофонов аудиоустройств 105a, 105b и 105d; (4) предписание аудиоустройству 105d излучать четвертый звук, отличающийся от первого звука, второго звука и третьего звука, и прием данных микрофонов, соответствующих излучаемому четвертому звуку, из массивов микрофонов аудиоустройств 105a, 105b и 105c.

В этом примере, блок 410 включает в себя процесс предварительной обработки аудиосигналов, полученных через микрофоны. Блок 410, например, может включать в себя применение одного или более фильтров, процесса шумо- или эхоподавления и т.д. Ниже описаны некоторые дополнительные примеры предварительной обработки.

Согласно этому примеру, блок 415 включает в себя определение возможных вариантов DOA из предварительно обработанных аудиосигналов, получающихся в результате блока 410. Например, если блок 405 включает в себя излучение и прием структурированных сигналов источников, блок 415 может включать в себя один или более способов обращенной свертки, получая в итоге импульсные отклики и/или «псевдодиапазоны», из которых разность времен поступления сигналов доминирующих пиков может использоваться, в сочетании с известной геометрией массива микрофонов интеллектуальных аудиоустройств, для оценки возможных вариантов DOA.

Тем не менее, не все реализации способа 400 включают в себя получение сигналов микрофонов на основе излучения заданных звуков. Соответственно, некоторые примеры блока 415 включают в себя «слепые» способы, которые применяются к произвольным аудиосигналам, такие как мощность направленного отклика, формирование диаграммы направленности на стороне приемного устройства или другие аналогичные способы, из которых одно или более DOA могут извлекаться посредством подбора пиков. Ниже описаны некоторые примеры. Следует принимать во внимание, что хотя данные DOA могут определяться через слепые способы или с использованием структурированных сигналов источников, в большинстве случаев данные TOA могут определяться только с использованием структурированных сигналов источников. Кроме того, более точная информация DOA, в общем, может получаться с использованием структурированных сигналов источников.

Согласно этому примеру, блок 420 включает в себя выбор одного DOA, соответствующего звуку, излучаемому посредством каждого из других интеллектуальных аудиоустройств. Во многих случаях, массив микрофонов может обнаруживать прямые поступления и отраженный звук, который передан посредством идентичного аудиоустройства. Блок 420 может включать в себя выбор аудиосигналов, которые с наибольшей вероятностью должны соответствовать непосредственно передаваемому звуку. Ниже описаны некоторые дополнительные примеры определения возможных -вариантов DOA и выбора DOA из двух или более возможных вариантов DOA.

В этом примере, блок 425 включает в себя прием информации DOA, получающейся в результате реализации каждого интеллектуального аудиоустройства блока 420 (другими словами, прием набора DOA, соответствующих звуку, передаваемому из каждого интеллектуального аудиоустройства в каждое другое интеллектуальное аудиоустройство в аудиосреде), и выполнение способа локализации (например, реализацию алгоритма локализации через систему управления) на основе информации DOA. В некоторых раскрытых реализациях, блок 425 включает в себя минимизацию функции стоимости, возможно, подчиняющейся некоторым ограничениям и/или весовым коэффициентам, например, как описано ниже с обращением к фиг. 5. В некоторых таких примерах, функция стоимости принимает в качестве входных данных значения DOA из каждого интеллектуального аудиоустройства в каждое другое интеллектуальное устройство и возвращает в качестве выводов оцененное местоположение и оцененную ориентацию каждого из интеллектуальных аудиоустройств. В примере, показанном на фиг. 4, блок 430 представляет оцененные местоположения интеллектуального аудиоустройства и оцененные ориентации интеллектуального аудиоустройства, сформированные в блоке 425.

Фиг. 5 является блок-схемой, которая приводит другой пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA. Способ 500, например, может осуществляться посредством реализации алгоритма локализации через систему управления устройства, такого как устройство, показанное на фиг. 10. Блоки способа 500, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано.

Согласно этому примеру, данные DOA получаются в блоке 505. Согласно некоторым реализациям, блок 505 может включать в себя получение акустических данных DOA, например, как описано выше с обращением к блоки 405-420 по фиг. 4. В качестве альтернативы или дополнения, блок 505 может включать в себя получение данных DOA, соответствующих электромагнитным волнам, которые передаются и принимаются посредством каждого из множества устройств в среде.

В этом примере, алгоритм локализации принимает в качестве ввода данные DOA, полученные в блоке 505, из каждого интеллектуального устройства в каждое другое интеллектуальное устройство в аудиосреде, наряду с любыми конфигурационными параметрами 510, указываемыми для аудиосреды. В некоторых примерах, факультативные ограничения 525 могут применяться к данным DOA. Конфигурационные параметры 510, весовые коэффициенты 515 минимизации, факультативные ограничения 525 и начальная конфигурация 530, например, могут получаться из запоминающего устройства посредством системы управления, которая выполняет программное обеспечение для реализации функции 520 стоимости и алгоритма 535 нелинейного поиска. Конфигурационные параметры 510, например, могут включать в себя данные, соответствующие максимальным размерам помещения, ограничениям схемы размещения громкоговорителей, внешнему вводу для определения глобального перемещения в пространстве (например, 2 параметра), глобального вращения (1 параметр) и глобального масштаба (1 параметр), и т.д.

Согласно этому примеру, конфигурационные параметры 510 вводятся в функцию 520 стоимости и в алгоритм 535 нелинейного поиска. В некоторых примерах, конфигурационные параметры 510 подвергаются факультативным ограничениям 525. В этом примере, функция 520 стоимости принимает во внимание разности между измеренными DOA и DOA, оцененные посредством решения по локализации оптимизатора.

В некоторых вариантах осуществления, факультативные ограничения 525 налагают ограничения для возможного местоположения и/или ориентации аудиоустройства, к примеру, наложение такого условия, что аудиоустройства находятся на минимальном расстоянии друг от друга. В качестве альтернативы или дополнения, факультативные ограничения 525 могут налагать ограничения для фиктивных переменных минимизации, введенных в силу удобства, например, как описано ниже.

В этом примере, весовые коэффициенты 515 минимизации также вводятся в алгоритм 535 нелинейного поиска. Ниже описаны некоторые примеры.

Согласно некоторым реализациям, алгоритм 535 нелинейного поиска представляет собой алгоритм, который может находить локальные решения проблемы непрерывной оптимизации формы:

min C(x)

,

так что: g_L≤g(x)≤g_U,

и x_L≤x≤x_U

В вышеприведенных выражениях, представляют функцию 520 стоимости, и представляют функции ограничения, соответствующие факультативным ограничениям 525. В этих примерах, векторы g_L и g_U представляют нижние и верхние границы для ограничений, и векторы x_L и x_U представляют границы для переменных x.

Алгоритм 535 нелинейного поиска может варьироваться согласно конкретной реализации. Примеры алгоритма 535 нелинейного поиска включают в себя способы градиентного спуска, способ Бройдена-Флетчера-Голдфарба-Шэнно (BFGS), способ оптимизации по внутренним точкам (IPOPT) и т.д. Хотя некоторые алгоритмы нелинейного поиска требуют только значений функций стоимости и ограничений, некоторые другие способы также могут требовать первых производных (градиентов, якобиан) функции стоимости и ограничений, и некоторые другие способы также могут требовать вторых производных (гессиан) идентичных функций. Если требуются производные, они могут обеспечиваться в явном виде, или они могут автоматически вычисляться с использованием автоматических или числовых технологий дифференцирования.

Некоторые алгоритмы нелинейного поиска требуют информации начальных точек для начала минимизации, как предполагает начальная конфигурация 530, которая вводится в алгоритм 535 нелинейного поиска на фиг. 5. В некоторых примерах, информация начальных точек может обеспечиваться в виде конфигурации, состоящей из равного числа интеллектуальных аудиоустройств (другими словами, из числа, равного фактическому числу интеллектуальных аудиоустройств, для которых получены данные DOA) с соответствующими местоположениями и ориентациями. Местоположения и ориентации могут быть произвольными и не должны обязательно представлять собой фактические или аппроксимированные местоположения и ориентации интеллектуальных аудиоустройств. В некоторых примерах, информация начальных точек может указывать местоположения интеллектуального аудиоустройства, которые проходят вдоль оси или другой произвольной линии аудиосреды, местоположения интеллектуального аудиоустройства, которые проходят вдоль окружности, прямоугольника или другой геометрической формы в аудиосреде и т.д. В некоторых примерах, информация начальных точек может указывать произвольные ориентации интеллектуального аудиоустройства, которые могут представлять собой заданные ориентации интеллектуального аудиоустройства или случайные ориентации интеллектуального аудиоустройства.

В некоторых вариантах осуществления, функция 520 стоимости может формулироваться с точки зрения переменных комплексной плоскости следующим образом:

,

при этом звезда указывает комплексное сопряжение, полоса указывает абсолютное значение, и при этом:

z_nm=exp(iDOA_nm) представляет значение комплексной плоскости, задающее направление поступления сигналов интеллектуального устройства m, измеренное из устройства n, при этом i представляет мнимую единицу;

x_n=x_nx+ix_ny представляет значение комплексной плоскости, кодирующее положения x и y интеллектуального устройства n;

z_n=exp(iα_n) представляет комплексное значение, кодирующее угол α_n ориентации интеллектуального устройства n;

представляет весовой коэффициент, заданный для измерения DOA_nm;

N представляет число интеллектуальных аудиоустройств, для которых получаются данные DOA; и

x=(x₁, …, x_N), и z=(z₁, ..., z_N) представляют векторы комплексных положений и комплексных ориентаций, соответственно, всех N интеллектуальных аудиоустройств.

Согласно этому примеру, результаты минимизации представляют собой данные 540 местоположения устройства, указывающие двумерное положение интеллектуальных устройств, x_k (представляющий 2 действительных неизвестных в расчете на устройство), и данные 545 ориентации устройства, указывающие вектор z_k ориентации интеллектуальных устройств (представляющий 2 дополнительные действительные переменные в расчете на устройство). Из вектора ориентации, только угол α_k ориентации интеллектуального устройства является релевантным для проблемы (1 действительное неизвестное в расчете на устройство). Следовательно, в этом примере имеется 3 релевантных неизвестных в расчете на интеллектуальное устройство.

В некоторых примерах, блок 550 оценки результатов включает в себя вычисление остатка функции стоимости при результирующих положениях и ориентациях. Относительно более низкий остаток указывает относительно более точные значения локализации устройств. Согласно некоторым реализациям, блок 550 оценки результатов может включать в себя процесс обратной связи. Например, некоторые такие примеры могут реализовывать процесс обратной связи, который включает в себя сравнение остатка данной комбинации возможных вариантов DOA с другой комбинацией возможных вариантов DOA, например, как описано в нижеприведенном пояснении показателей надежности DOA.

Как отмечено выше, в некоторых реализациях блок 505 может включать в себя получение акустических данных DOA, как описано выше с обращением к блокам 405-420 по фиг. 4, которые включают в себя определение возможных вариантов DOA и выбор возможных вариантов DOA. Соответственно, фиг. 5 включает в себя пунктирную линию из блока 550 оценки результатов в блок 505 для представления одной процедуры факультативного процесса обратной связи. Кроме того, фиг. 4 включает в себя пунктирную линию из блока 430 (который может включать в себя оценку результатов в некоторых примерах) в блок 420 выбора возможных вариантов DOA для представления процедуры другого факультативного процесса обратной связи.

В некоторых вариантах осуществления, алгоритм 535 нелинейного поиска может не разрешать комплекснозначные переменные. В таких случаях, каждая комплекснозначная переменная может заменяться посредством пары действительных переменных.

В некоторых реализациях, может быть предусмотрена дополнительная предшествующая информация относительно доступности или надежности каждого измерения DOA. В некоторых таких примерах, громкоговорители могут локализоваться с использованием только поднабора всех возможных элементов DOA. Пропущенные элементы DOA, например, могут маскироваться с соответствующим нулевым весовым коэффициентом в функции стоимости. В некоторых таких примерах, весовые коэффициенты w_nm могут быть равны нулю или единице, например, нулю для этих измерений, которые либо пропущены, либо считаются недостаточно надежными, и единице для надежных измерений. В некоторых других вариантах осуществления, весовые коэффициенты w_nm могут иметь непрерывное значение от нуля до единицы, в качестве функции надежности измерения DOA. В тех вариантах осуществления, в которых предшествующая информация не доступна, весовые коэффициенты w_nm могут просто задаваться равными единице.

В некоторых реализациях условия (одно условие для каждого интеллектуального аудиоустройства) могут добавляться в качестве ограничений, чтобы обеспечивать нормализацию вектора, указывающего ориентацию интеллектуального аудиоустройства. В других примерах, эти дополнительные ограничения могут не требоваться, и вектор, указывающий ориентацию интеллектуального аудиоустройства, может оставляться ненормализованным. Другие реализации могут добавлять в качестве ограничений условия относительно близости интеллектуальных аудиоустройств, например, указывающие то, что , где D является минимальным расстоянием между интеллектуальными аудиоустройствами.

Вышеприведенная минимизация функции стоимости не определяет полностью абсолютное положение и ориентацию интеллектуальных аудиоустройств. Согласно этому примеру, функция стоимости остается инвариантной при глобальном вращении (1 независимый параметр), глобальном перемещении в пространстве (2 независимых параметра) и глобальном повторном масштабировании (1 независимый параметр), затрагивая одновременно все местоположения и ориентации интеллектуальных устройств. Это глобальное вращение, перемещение в пространстве и повторное масштабирование не могут определяться из минимизации функции стоимости. Различные схемы размещения, связанные посредством преобразований симметрии, являются полностью неразличимыми в этой инфраструктуре, и, считается, что они принадлежат идентичному классу эквивалентности. Следовательно, конфигурационные параметры должны предусматривать критерии для обеспечения возможности уникального задания схемы размещения интеллектуальных аудиоустройств, представляющей весь класс эквивалентности. В некоторых вариантах осуществления, может быть преимущественным выбирать критерии таким образом, что эта схема размещения интеллектуальных аудиоустройств задает опорный кадр, который находится близко к опорному кадру слушателя около опорного положения прослушивания. Ниже приведены примеры таких критериев. В некоторых других примерах, критерии могут быть чисто математическими и отдельными от реалистичного опорного кадра.

Критерии разрешения неоднозначности симметрии могут включать в себя опорное положение, фиксирующее симметрию глобального перемещения в пространстве (например, интеллектуальное аудиоустройство 1 должно находиться в начале системы координат); опорную ориентацию, фиксирующую двумерную вращательную симметрию (например, интеллектуальное устройство 1 должно ориентироваться к зоне аудиосреды, обозначенной в качестве передней стороны, к примеру, в которой телевизионный приемник 101 расположен на фиг. 1-3); и опорное расстояние, фиксирующее симметрию глобального масштабирования (например, интеллектуальное устройство 2 должно находиться на единичном расстоянии от интеллектуального устройства 1). Всего, имеется 4 параметра, которые не могут определяться из проблемы минимизации в этом примере, и которые должны быть обеспечены в качестве внешнего ввода. Следовательно, в этом примере имеется 3N-4 неизвестных, которые могут определяться из проблемы минимизации.

Как описано выше, в некоторых примерах, в дополнение к набору интеллектуальных аудиоустройств, может быть предусмотрено одно или более пассивных приемных аудиоустройств, оснащенных массивом микрофонов и/или одним или более излучателей аудиосигнала. В таких случаях, процесс локализации может использовать технологию для определения местоположения и ориентации интеллектуального аудиоустройства, местоположения излучателя и местоположения и ориентации пассивного приемного устройства, из аудиоданных, излучаемых посредством каждого интеллектуального аудиоустройства и каждого излучателя и захваченных посредством каждого другого интеллектуального аудиоустройства и каждого пассивного приемного устройства, на основании оценки DOA.

В некоторых таких примерах, процесс локализации может продолжаться аналогично вышеописанному. В некоторых случаях, процесс локализации может быть основан на идентичной функции стоимости, описанной выше, который показывается ниже для удобства читателя:

Тем не менее, если процесс локализации включает в себя пассивные приемные аудиоустройства и/или излучатели аудиосигнала, которые не представляют собой приемные аудиоустройства, переменные вышеприведенного уравнения должны интерпретироваться немного отличающимся способом. Теперь N представляет общее число устройств, включающих в себя N_smart интеллектуальных аудиоустройств, N_rec пассивных приемных аудиоустройств и N_emit излучателей, так что N=N_smart+N_rec+N_emit. В некоторых примерах, весовые коэффициенты могут иметь разреженную структуру, чтобы маскировать отсутствующие данные вследствие пассивных приемных устройств или устройств только с излучателем (либо других аудиоисточников без приемных устройств, таких как людей), так что для всех m, если устройство n представляет собой излучатель аудиосигнала без приемного устройства, и для всех n, если устройство m представляет собой приемное аудиоустройство. Как для интеллектуальных аудиоустройств, так и для пассивных приемных устройств могут определяться положение и угол, тогда как для излучателей аудиосигнала может получаться только положение. Общее число неизвестных составляет 3N_smart+3N_rec+2N_emit-4.

Комбинированная локализация на основе времени поступления сигналов и направления поступления сигналов

В нижеприведенном пояснении, подчеркиваются отличия между вышеописанными процессами локализации на основе DOA и комбинированной локализацией DOA и TOA этого раздела. Эти подробности, которые не приводятся в явном виде, предположительно могут быть идентичными подробностям в вышеописанных процессах локализации на основе DOA.

Фиг. 6 является блок-схемой, которая приводит один пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA и данных TOA. Способ 600, например, может осуществляться посредством реализации алгоритма локализации через систему управления устройства, такого как устройство, показанное на фиг. 10. Блоки способа 600, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано.

Согласно этому примеру, данные DOA получаются в блоках 605-620. Согласно некоторым реализациям, блоки 605-620 могут включать в себя получение акустических данных DOA из множества интеллектуальных аудиоустройств, например, как описано выше с обращением к блокам 405-420 по фиг. 4. В некоторых альтернативных реализациях, блоки 605-620 могут включать в себя получение данных DOA, соответствующих электромагнитным волнам, которые передаются и принимаются посредством каждого из множества устройств в среде.

Тем не менее, в этом примере, блок 605 также включает в себя получение данных TOA. Согласно этому примеру, данные TOA включают в себя измеренное TOA аудиоданных, излучаемых и принимаемого каждым интеллектуальным аудиоустройством в аудиосреде (например, каждой парой интеллектуальных аудиоустройств в аудиосреде). В некоторых вариантах осуществления, которые включают в себя излучение структурированных сигналов источников, аудиоданные, используемые для извлечения данных TOA, могут быть теми же, что и аудиоданные, используемые для извлечения данных DOA. В других вариантах осуществления, аудиоданные, используемые для извлечения данных TOA, могут быть отличными от аудиоданных, используемых для извлечения данных DOA.

Согласно этому примеру, блок 616 включает в себя обнаружение возможных вариантов TOA в аудиоданных, и блок 618 включает в себя выбор одного TOA для каждой пары интеллектуальных аудиоустройств из числа возможных вариантов TOA. Ниже описаны некоторые примеры.

Для получения данных TOA могут использоваться различные технологии. Один способ заключается в использовании аудиопоследовательности для калибровки помещения, к примеру, развертки (например, логарифмического синусоидального тона) или последовательности максимальной длины (MLS). При необходимости, может использоваться любая вышеуказанная последовательность с ограничением полосы частот близким диапазоном ультразвуковых аудиочастот (например, от 18 кГц до 24 кГц). В этом диапазоне аудиочастот, наиболее стандартное аудиоустройство имеет возможность излучать и записывать звук, но такой сигнал не может восприниматься людьми, поскольку он лежит за пределами нормальных возможностей человеческого слуха. Некоторые альтернативные реализации могут включать в себя восстановление элементов TOA из скрытого сигнала в первичном аудиосигнале, к примеру, сигнала расширения спектра методом прямой последовательности.

С учетом набора данных DOA из каждого интеллектуального аудиоустройства в каждое другое интеллектуальное аудиоустройство и набора данных TOA из каждой пары интеллектуальных аудиоустройств, способ 625 локализации по фиг. 6 может быть основан на минимизации определенной функции стоимости, возможно подчиняющейся некоторым ограничениям. В этом примере, способ 625 локализации по фиг. 6 принимает в качестве входных данных вышеописанные значения DOA и TOA и выводит оцененные данные 630 местоположения и ориентации, соответствующие интеллектуальным аудиоустройствам. В некоторых примерах, способ 625 локализации также может выводить времена задержки при воспроизведении и записи интеллектуальных аудиоустройств, например, вплоть до некоторых глобальных симметрий, которые не могут определяться из проблемы минимизации. Ниже описаны некоторые примеры.

Фиг. 7 является блок-схемой, которая приводит другой пример способа автоматической оценки местоположений и ориентаций устройства на основе данных DOA и данных TOA. Способ 700, например, может осуществляться посредством реализации алгоритма локализации через систему управления устройства, такого как устройство, показанное на фиг. 10. Блоки способа 700, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано.

За исключением нижеописанного, в некоторых примерах блоки 705, 710, 715, 720, 725, 730, 735, 740, 745 и 750 могут быть такими, как описано выше с обращением к блокам 505, 510, 515, 520, 525, 530, 535, 540, 545 и 550 по фиг. 5. Тем не менее, в этом примере, функция 720 стоимости и способ 735 нелинейной оптимизации модифицируются относительно функции 520 стоимости и способа 535 нелинейной оптимизации по фиг. 5 таким образом, что они работают как с данными DOA, так и с данными TOA. Данные TOA блока 708, в некоторых примерах, могут получаться таким образом, как описано выше с обращением к фиг. 6. Другое отличие, по сравнению с процессом по фиг. 5, заключается в том, что в этом примере, способ 735 нелинейной оптимизации также выводит данные 747 времени задержки при записи и воспроизведении, соответствующие интеллектуальным аудиоустройствам, например, как описано ниже. Соответственно, в некоторых реализациях, блок 750 оценки результатов может включать в себя оценку как данных DOA, так и данных TOA. В некоторых таких примерах, операции блока 750 могут включать в себя процесс обратной связи, заключающий в себе данные DOA и/или данные TOA. Например, некоторые такие примеры могут реализовывать процесс обратной связи, который включает в себя сравнение остатка данной комбинации возможных вариантов TOA/DOA с другой комбинацией возможных вариантов TOA/DOA, например, как описано в нижеприведенном пояснении показателей надежности TOA/DOA.

В некоторых примерах, блок 750 оценки результатов включает в себя вычисление остатка функции стоимости при итоговых положениях и ориентациях. Относительно более низкий остаток нормально указывает относительно более точные значения локализации устройств. Согласно некоторым реализациям, блок 750 оценки результатов может включать в себя процесс обратной связи. Например, некоторые такие примеры могут реализовывать процесс обратной связи, который включает в себя сравнение остатка данной комбинации возможных вариантов TOA/DOA с другой комбинацией возможных вариантов TOA/DOA, например, как описано в нижеприведенном пояснении показателей надежности TOA и DOA.

Соответственно, фиг. 6 включает в себя пунктирные линии из блока 630 (который может включать в себя оценку результатов в некоторых примерах) в блок 620 выбора возможных вариантов DOA и в блок 618 выбора возможных вариантов TOA для представления процедуры факультативного процесса обратной связи. В некоторых реализациях, блок 705 может включать в себя получение акустических данных DOA, как описано выше с обращением к блокам 605-620 по фиг. 6, которые включают в себя определение возможных вариантов DOA и выбор возможных вариантов DOA. В некоторых примерах, блок 708 может включать в себя получение акустических данных TOA, как описано выше с обращением к блокам 605-618 по фиг. 6, которые включают в себя определение возможных вариантов TOA и выбор возможных вариантов TOA. Хотя не показано на фиг. 7, некоторые факультативные процессы обратной связи могут включать в себя возвращение из блока 750 оценки результатов в блок 705 и/или в блок 708.

Согласно этому примеру, алгоритм локализации продолжается посредством минимизации функции стоимости, возможно подчиняющейся некоторым ограничениям, и может быть описан следующим образом. В этом примере, алгоритм локализации принимает в качестве ввода данные 705 DOA и данные 708 TOA, наряду с конфигурационными параметрами 710, указываемыми для среды прослушивания, и возможно некоторыми факультативными ограничениями 725. В этом примере, функция стоимости принимает во внимание разности между измеренным DOA и оцененным DOA и разности между измеренным TOA и оцененным TOA. В некоторых вариантах осуществления, ограничения 725 налагают ограничения для возможного местоположения, ориентации и/или времен задержки устройства, к примеру, наложение такого условия, что аудиоустройства находятся на минимальном расстоянии друг от друга, и/или наложение такого условия, что некоторые времена задержки устройства должны быть равны нулю.

В некоторых реализациях, функция стоимости может формулироваться следующим образом:

В вышеприведенном уравнении, представляют векторы воспроизводящих и записывающих устройств для каждого устройства, соответственно, и при этом W_DOA и W_TOA представляют глобальные весовые коэффициенты (также известные как предварительные коэффициенты) частей минимизации DOA и TOA, соответственно, отражающих относительную важность каждого из двух членов. В некоторых таких примерах, функция стоимости TOA может формулироваться следующим образом:

,

где:

TOA_nm представляет измеренное время поступления сигнала, перемещающегося из интеллектуального устройства m в интеллектуальное устройство n;

представляет весовой коэффициент, заданный для измерения TOA_nm; и

c представляет скорость звука.

Имеется вплоть до 5 действительных неизвестных в расчете на каждое интеллектуальное аудиоустройство: положения x_n устройства (2 действительных неизвестных в расчете на устройство), ориентации α_n устройства (1 действительное неизвестное в расчете на устройство) и времена l_n и k_n задержки при записи и воспроизведении (2 дополнительных неизвестных в расчете на устройство). Из них, только положения и время задержки устройства являются релевантными для части TOA функции стоимости. Число эффективных неизвестных может уменьшаться в некоторых реализациях, если имеются априорные известные ограничения или связи между временами задержки.

В некоторых примерах, может быть предусмотрена дополнительная предшествующая информация, например, относительно доступности или надежности каждого измерения TOA. В некоторых из этих примеров, весовые коэффициенты могут быть равны нулю или единице, например, нулю для этих измерений, которые не доступны (либо являются недостаточно надежными), и единице для надежных измерений. Таким образом, локализация устройств может оцениваться только с поднабором всех возможных элементов DOA и/или TOA. В некоторых других реализациях, весовые коэффициенты могут иметь непрерывное значение от нуля до единицы, например, в качестве функции надежности измерения TOA. В некоторых примерах, в которых предшествующая информация надежности не доступна, весовые коэффициенты могут просто задаваться равными единице.

Согласно некоторым реализациям, одно или более дополнительных ограничений могут накладываться на возможные значения времен задержки и/или на взаимосвязь различных времен задержки между собой.

В некоторых примерах, положение аудиоустройств может измеряться в стандартных единицах длины, таких как метры, и времена задержки и времена поступления могут указываться в стандартных единицах времени, таких как секунды. Тем не менее, зачастую имеет место то, что способы нелинейной оптимизации работают лучше, когда масштаб варьирования различных переменных, используемых в процессе минимизации, имеет идентичный порядок. Следовательно, некоторые реализации могут включать в себя повторное масштабирование измерений положения таким образом, что диапазон варьирования положений интеллектуального устройства располагается в диапазоне между -1 и 1, и повторное масштабирование времен задержки и времен поступления таким образом, что эти значения также располагаются в диапазоне между -1 и 1.

Вышеприведенная минимизация функции стоимости не определяет полностью абсолютное положение и ориентацию интеллектуальных аудиоустройств или время задержки. Информация TOA обеспечивает абсолютный масштаб расстояний, что означает, что функция стоимости более не является инвариантной при масштабном преобразовании, но по-прежнему остается инвариантной при глобальном вращении и глобальном перемещении в пространстве. Кроме того, времена задержки подчиняются дополнительной глобальной симметрии: функция стоимости остается инвариантной, если идентичная глобальная величина добавляется одновременно во все времена задержки при воспроизведении и записи. Эти глобальные преобразования не могут определяться из минимизации функции стоимости. Аналогичным образом, конфигурационные параметры должны предусматривать критерий для обеспечения возможности уникального определения схемы размещения устройств, представляющей весь класс эквивалентности.

В некоторых примерах, критерии разрешения неоднозначности симметрии могут включать в себя следующее: опорное положение, фиксирующее симметрию глобального перемещения в пространстве (например, интеллектуальное устройство 1 должно находиться в начале системы координат); опорную ориентацию, фиксирующую двумерную вращательную симметрию (например, интеллектуальное устройство 1 должно ориентироваться к передней стороне); и опорное время задержки (например, время задержки при записи для устройства 1 должно быть равно нулю). Всего, в этом примере имеется 4 параметра, которые не могут определяться из проблемы минимизации, и которые должны быть обеспечены в качестве внешнего ввода. Следовательно, имеется 5N-4 неизвестных, которые могут определяться из проблемы минимизации.

В некоторых реализациях, помимо набора интеллектуальных аудиоустройств, может быть предусмотрено одно или более пассивных приемных аудиоустройств, которые могут не оснащаться функционирующим массивом микрофонов и/или одним или более излучателями аудиосигнала. Включение времен задержки в качестве переменных минимизации обеспечивает возможность некоторым раскрытым способам локализовать приемные устройства и излучатели, для которых времена излучения и приема не известны точно. В некоторых таких реализациях может быть реализована функция стоимости TOA, описанная выше. Для удобства читателя эта функция стоимости вновь показана ниже:

Как описано выше с обращением к функции стоимости DOA, переменные функции стоимости должны интерпретироваться немного отличающимся способом, если функция стоимости используется для оценок локализации, предусматривающих пассивные приемные устройства и/или излучатели. Теперь N представляет общее число устройств, включающих в себя N_smart интеллектуальных аудиоустройств, N_rec пассивных приемных аудиоустройств и N_emit излучателей, так что N=N_smart+N_rec+N_emit. Весовые коэффициенты могут иметь разреженную структуру, чтобы маскировать отсутствующие данные вследствие пассивных приемных устройств или только излучателей, например, так что для всех m, если устройство n представляет собой излучатель аудиоданных, и для всех n, если устройство m представляет собой приемное аудиоустройство. Согласно некоторым реализациям, для интеллектуальных аудиоустройств должны определяться положения, ориентации и время задержки при записи и воспроизведении; для пассивных приемных устройств должны определяться положения, ориентации и время задержки при записи; и для излучателей аудиосигнала должны определяться положения и время задержки при воспроизведении. Согласно некоторым таким примерам, общее число неизвестных в силу этого составляет 5N_smart+4N_rec+3N_emit-4.

Разрешение неоднозначности глобального перемещения в пространстве и вращения

Решения только для проблем DOA и для комбинированных проблем TOA и DOA подчиняются неоднозначности глобального перемещения в пространстве и вращения. В некоторых примерах, неоднозначность перемещения в пространстве может разрешаться посредством трактовки источника только с излучателем в качестве слушателя и перемещения в пространстве всех устройств таким образом, что слушатель находится в начале координат.

Неоднозначности вращения могут разрешаться посредством наложения дополнительных ограничений на решение. Например, некоторые среды с множеством громкоговорителей могут включать в себя громкоговорители телевизионного приемника (телевизора) и диван, размещенный для просмотра телевизора. После определения местоположения громкоговорителей в среде, некоторые способы могут включать в себя нахождение вектора, соединяющего слушателя с направлением просмотра телевизора. Некоторые такие способы затем могут включать в себя предписание телевизору излучать звук из своих громкоговорителей и/или указание пользователю подойти к телевизору и определение местоположения речи пользователя. Некоторые реализации могут включать в себя рендеринг аудиообъекта, который панорамируется вокруг среды. Пользователь может обеспечивать пользовательский ввод (например, фразу «Стоп»), указывающий, когда аудиообъект находится в одном или более заданных положениях в среде, к примеру, в передней стороне среды, в местоположении телевизора в среде и т.д. Некоторые реализации включают в себя приложение для сотового телефона, оснащенное блоком инерциальных измерений, который предлагает пользователю указывать сотовым телефоном в двух заданных направлениях: сначала в направлении конкретного устройства, например, устройства с подсвечиваемыми светодиодами, затем в требуемом направлении просмотра пользователя, таком как передняя сторона среды, в местоположении телевизора в среде и т.д. Ниже описаны некоторые подробные примеры разрешения неоднозначности с обращением к фиг. 8A-8D.

Фиг. 8A показывает пример аудиосреды. Согласно некоторым примерам, данные местоположения аудиоустройства, выводимые посредством одного из раскрытых способов локализации, могут включать в себя оценку местоположения аудиоустройства для каждого из аудиоустройств 1-5, с обращением к системе 807 координат аудиоустройства. В этой реализации, система 807 координат аудиоустройства представляет собой декартову систему координат, имеющую местоположение микрофона аудиоустройства 2 в качестве своего начала координат. Здесь, ось X системы 807 координат аудиоустройства соответствует линии 803 между местоположением микрофона аудиоустройства 2 и местоположением микрофона аудиоустройства 1.

В этом примере местоположение слушателя определяется посредством указания слушателю 805, который показан сидящим на диване 103 (например, через аудиоуказание из одного или более громкоговорителей в среде 800a), определить один или более речевых фрагментов 827 и оценки местоположения слушателя согласно данным времени поступления сигналов (TOA). Данные TOA соответствуют данным микрофонов, полученным посредством множества микрофонов в среде. В этом примере, данные микрофонов соответствуют обнаружениям одного или более речевых фрагментов 827 посредством микрофонов по меньшей мере некоторых (например, 3, 4 или всех 5) аудиоустройств 1-5.

В качестве альтернативы или дополнения, местоположение слушателя может оцениваться согласно данным DOA, обеспеченным микрофонами по меньшей мере некоторых (например, 2, 3, 4 или всех 5) аудиоустройств 1-5. Согласно некоторым таким примерам, местоположение слушателя может определяться согласно пересечению линий 809a, 809b и т.д., соответствующих данным DOA.

Согласно этому примеру, местоположение слушателя соответствует началу системы 820 координат слушателя. В этом примере, данные угловой ориентации слушателя указываются посредством оси y' системы 820 координат слушателя, которая соответствует линии 813a между головой слушателя 810 (и/или носом 825 слушателя) и звуковой панелью 830 телевизионного приемника 101. В примере, показанном на фиг. 8A, линия 813a является параллельной с осью y'. Следовательно, угол Θ представляет угол между осью y и осью y'. В этом примере, блок 1225 по фиг. 12 может включать в себя вращение на угол Θ координат аудиоустройства вокруг начала системы 820 координат слушателя. Соответственно, хотя начало системы 807 координат аудиоустройства показывается как соответствующее аудиоустройству 2 на фиг. 8A, некоторые реализации включают в себя совместное размещение начала системы 807 координат аудиоустройства с началом системы 820 координат слушателя до вращения на угол Θ координат аудиоустройства вокруг начала системы 820 координат слушателя. Это совместное размещение может выполняться посредством преобразования координат из системы 807 координат аудиоустройства в систему 820 координат слушателя.

Местоположение звуковой панели 830 и/или телевизионного приемника 101, в некоторых примерах, может определяться посредством предписания звуковой панели излучать звук и оценки местоположения звуковой панели согласно данным DOA и/или TOA, которые могут соответствовать обнаружениям звука посредством микрофонов по меньшей мере некоторых (например, 3, 4 или всех 5) аудиоустройств 1-5. В качестве альтернативы или дополнения, местоположение звуковой панели 830 и/или телевизионного приемника 101 может определяться посредством указания пользователю подойти к телевизору и определения местоположения речи пользователя посредством данных DOA и/или TOA, которые могут соответствовать обнаружениям звука посредством микрофонов по меньшей мере некоторых (например, 3, 4 или всех 5) аудиоустройств 1-5. Некоторые такие способы могут включать в себя применение функции стоимости, например, как описано выше. Некоторые такие способы могут включать в себя триангуляцию. Такие примеры могут быть преимущественными в ситуациях, когда звуковая панель 830 и/или телевизионный приемник 101 не имеют ассоциированного микрофона.

В некоторых других примерах, в которых звуковая панель 830 и/или телевизионный приемник 101 имеют ассоциированный микрофон, местоположение звуковой панели 830 и/или телевизионного приемника 101 может определяться согласно способам TOA и/или DOA, таким как способы, раскрытые в данном документе. Согласно некоторым таким способам, микрофон может совместно размещаться со звуковой панелью 830.

Согласно некоторым реализациям, звуковая панель 830 и/или телевизионный приемник 101 могут иметь ассоциированную камеру 811. Система управления может быть выполнена с возможностью захвата изображения головы слушателя 810 (и/или носа 825 слушателя). В некоторых таких примерах, система управления может быть выполнена с возможностью определения линии 813a между головой слушателя 810 (и/или носом 825 слушателя) и камерой 811. Данные угловой ориентации слушателя могут соответствовать линии 813a. В качестве альтернативы или дополнения, система управления может быть выполнена с возможностью определения угла Θ между линией 813a и осью y системы координат аудиоустройства.

Фиг. 8B показывает дополнительный пример определения данных угловой ориентации слушателя. Согласно этому примеру, местоположение слушателя уже определено в блоке 1215 по фиг. 12. Здесь, система управления управляет громкоговорителями в среде 800b для рендеринга аудиообъекта 835 во множество местоположений в среде 800b. В некоторых таких примерах, система управления может предписывать громкоговорителям рендерировать аудиообъект 835 таким образом, что кажется, что аудиообъект 835 вращается вокруг слушателя 805, например, посредством рендеринга аудиообъекта 835 таким образом, что кажется, что аудиообъект 835 вращается вокруг начала системы 820 координат слушателя. В этом примере, изогнутая стрелка 840 показывает часть траектории аудиообъекта 835 по мере того, как он вращается вокруг слушателя 805.

Согласно некоторым таким примерам, слушатель 805 может обеспечивать пользовательский ввод (например, фразу «Стоп»), указывающий, когда аудиообъект 835 находится в направлении, в котором обращен слушатель 805. В некоторых таких примерах, система управления может быть выполнена с возможностью определения линии 813b между местоположением слушателя и местоположением аудиообъекта 835. В этом примере, линия 813b соответствует оси y' системы координат слушателя, которая указывает направление, в котором обращен слушатель 805. В альтернативных реализациях, слушатель 805 может обеспечивать пользовательский ввод, указывающий, когда аудиообъект 835 находится в передней стороне среды, в местоположении телевизора в среде, в местоположении аудиоустройства и т.д.

Фиг. 8C показывает дополнительный пример определения данных угловой ориентации слушателя. Согласно этому примеру, местоположение слушателя уже определено в блоке 1215 по фиг. 12. Здесь слушатель 805 использует ручное устройство 845 для обеспечения ввода в отношении направления просмотра слушателя 805 посредством указания ручным устройством 845 к телевизионному приемнику 101 или звуковой панели 830. Пунктирный контур ручного устройства 845 и руки слушателя указывает то, что во время до времени, в которое слушатель 805 указывает ручным устройством 845 к телевизионному приемнику 101 или звуковой панели 830, слушатель 805 указывает ручным устройством 845 к аудиоустройству 2 в этом примере. В других примерах, слушатель 805 может указывать ручным устройством 845 к другому аудиоустройству, к примеру, к аудиоустройству 1. Согласно этому примеру, ручное устройство 845 выполнено с возможностью определения угла α между аудиоустройством 2 и телевизионным приемником 101 или звуковой панелью 830, который аппроксимирует угол между аудиоустройством 2 и направлением просмотра слушателя 805.

Ручное устройство 845, в некоторых примерах, может представлять собой сотовый телефон, который включает в себя систему инерциальных датчиков и беспроводной интерфейс, сконфигурированный с возможностью обмена данными с системой управления, которая управляет аудиоустройствами в среде 800c. В некоторых примерах, ручное устройство 845 может выполнять приложение или «приложение», которое выполнено с возможностью управления ручным устройством 845 таким образом, чтобы выполнять необходимую функциональность, например, посредством обеспечения пользовательских указаний (например, через графический пользовательский интерфейс), посредством приема ввода, указывающего то, что ручное устройство 845 указывает в требуемом направлении, посредством сохранения соответствующих данных инерциальных датчиков и/или передачи соответствующих данных инерциальных датчиков в систему управления, которая управляет аудиоустройствами в среде 800c, и т.д.

Согласно этому примеру, система управления (которая может представлять собой систему управления ручного устройства 845, систему управления интеллектуального аудиоустройства в среде 800c или систему управления, которая управляет аудиоустройствами в среде 800c) выполнена с возможностью определения ориентации линий 813c и 850 согласно данным инерциальных датчиков, например, согласно данным гироскопа. В этом примере линия 813c является параллельной с осью y' и может использоваться для определения угловой ориентации слушателя. Согласно некоторым примерам, система управления может определять соответствующее вращение для координат аудиоустройства вокруг начала системы 820 координат слушателя согласно углу α между аудиоустройством 2 и направлением просмотра слушателя 805.

Фиг. 8D показывает один пример определения соответствующего вращения для координат аудиоустройства в соответствии со способом, описанным с обращением к фиг. 8C. В этом примере, начало системы 807 координат аудиоустройства совместно размещается с началом системы 820 координат слушателя. Совместное размещение начал системы 807 координат аудиоустройства и системы 820 координат слушателя становится возможным после того, как местоположение слушателя определяется. Совместное размещение начал системы 807 координат аудиоустройства и системы 820 координат слушателя может включать в себя преобразование местоположений аудиоустройства из системы 807 координат аудиоустройства в систему 820 координат слушателя. Угол α определен так, как описано выше с обращением к фиг. 8C. Соответственно, угол α соответствует требуемой ориентации аудиоустройства 2 в системе 820 координат слушателя. В этом примере, угол β соответствует ориентации аудиоустройства 2 в системе 807 координат аудиоустройства. Угол Θ, который составляет β-α в этом примере, указывает необходимое вращение, чтобы совмещать ось y системы 807 координат аудиоустройства с осью y' системы 820 координат слушателя.

Показатели надежности DOA

Как отмечено выше с обращением к фиг. 4, в некоторых примерах с использованием «слепых» способов, которые применяются к произвольным сигналам, включающих в себя мощность направленного отклика, формирование диаграммы направленности или другие аналогичные способы, для повышения точности и стабильности могут быть добавлены показатели надежности. Некоторые реализации включают в себя интегрирование во времени направленного отклика модуля формирования диаграммы направленности, чтобы отфильтровывать переходные части и обнаруживать только постоянные пики, а также усреднять случайные ошибки и флуктуации в этих постоянных DOA. Другие примеры могут использовать только ограниченные полосы частот в качестве ввода, которые могут подстраиваться под типы помещений или сигналов для лучшей производительности.

Для примеров с использованием «контролируемых» способов, которые включают в себя использование структурированных сигналов источников, и способов обращенной свертки, чтобы давать в результате импульсные отклики, может быть реализована предварительная обработка показателя для повышения точности и выраженности пиков DOA. В некоторых примерах, такая предварительная обработка может включать в себя усечение с амплитудной функцией кодирования со взвешиванием некоторой временной ширины, начинающейся в начале импульсного отклика в каждом канале микрофона. Такие примеры могут включать детектор начал импульсных откликов таким образом, что каждое начало канала может обнаруживаться независимо.

В некоторых примерах на основе «слепых» или «контролируемых» способов, как описано выше, для повышения точности DOA может быть добавлена еще одна дополнительная обработка. Важно отметить, что выбор DOA на основе обнаружения пиков (например, в ходе анализа мощности направленного отклика (SRP) или импульсного отклика) является чувствительным к акустике окружающей среды, которая может обуславливать захват сигналов непервичного тракта вследствие отражений и загораживаний устройства, которые ослабляют энергию приема и передачи. Эти случаи могут ухудшать точность DOA пар устройств и вводить ошибки в решение по локализации оптимизатора. В силу этого обоснованно рассмотрение всех пиков в пределах заданных пороговых значений в качестве возможных вариантов для DOA на основе экспериментально полученных проверочных данных. Один пример заданного порогового значения заключается в таком требовании, что пик должен больше средней мощности направленного отклика (SRP). Для всех обнаруженных пиков, пороговая обработка выраженности и удаление возможных вариантов ниже среднего уровня сигнала оказались простыми, но при этом эффективными технологиями начальной фильтрации. При использовании в данном документе, «выраженность» представляет собой показатель того, насколько большим является локальный пик по сравнению со своими смежными локальными минимумами, что отличается от пороговой обработки только на основе мощности. Один пример порогового значения выраженности заключается в таком требовании, что разность в мощности между пиком и его смежными локальными минимумами должна быть равна или выше порогового значения. Сохранение приемлемых возможных вариантов повышает шансы на то, что пара устройств должна содержать применимое DOA в своем наборе (в пределах разрешенного допуска по ошибкам из экспериментально полученных проверочных данных), хотя имеется шанс того, что она не должна содержать применимое DOA в случаях, если сигнал повреждается посредством сильных отражений/загораживаний. В некоторых примерах может быть реализован алгоритм выбора для выполнения одного из следующих действий: 1) выбор наилучшего применимого возможного варианта DOA в расчете на пару устройств; 2) выполнение определения того, что ни один из возможных вариантов не является применимым и в силу этого обнуление вклада оптимизации этой пары с матрицей весовых коэффициентов функции стоимости; или 3) выбор наилучшего логически выведенного возможного варианта, но применение недвоичного взвешивания к доле DOA в случаях, если затруднительно разрешать неоднозначность величины ошибки, которую переносит наилучший возможный вариант.

После начальной оптимизации с наилучшими логически выведенными возможными вариантами, в некоторых примерах решение по локализации может использоваться для вычисления вклада остаточной стоимости каждого DOA. Анализ выбросовых значений остаточной стоимости может представлять свидетельства пар DOA, которые оказывают наибольшее влияние на решение по локализации, при этом экстремальные выбросовые значения помечают эти DOA как потенциально некорректные или субоптимальные. Рекурсивная серия оптимизаций для выбросовых пар DOA на основе вкладов остаточной стоимости с оставшимися возможными вариантами и со взвешиванием, применяемым к вкладу этой пары устройств, затем может использоваться для обработки возможных вариантов согласно одному из вышеуказанных трех вариантов. Это представляет собой один пример процесса обратной связи, к примеру, как описано выше с обращением к фиг. 4-7. Согласно некоторым реализациям, повторные оптимизации и решения по обработке могут выполняться до тех пор, пока не будут оценены все обнаруженные возможные варианты, и не будут сбалансированы вклады остаточной стоимости выбранных DOA.

Недостаток выбора возможных вариантов на основе оценок оптимизатора заключается в том, что он требует большого объема вычислений и является чувствительным к порядку прохождения возможных вариантов. Альтернативная технология с меньшим вычислительным весовым коэффициентом включает в себя определение всех перестановок возможных вариантов в наборе и выполнение способа треугольного совмещения для локализации устройств для этих возможных вариантах. Релевантные способы треугольного совмещения раскрыты в предварительной заявке на патент США №62/992,068, поданной 19 марта 2020 г. и озаглавленной "Audio Device Auto-Location", которая настоящим включена в данный документ путем ссылки для всех целей. Результаты локализации затем могут оцениваться посредством вычисления совокупных и остаточных стоимости, которые обеспечивают результаты относительно возможных вариантов DOA, используемых в триангуляции. Логика решения для синтаксического анализа этих показателей может использоваться для определения наилучших возможных вариантов и их соответствующего взвешивания, что должно быть введено в проблему нелинейной оптимизации. В случаях, если список возможных вариантов является большим, что приводит в результате к высоким количествам перестановок, может применяться фильтрация и интеллектуальное прохождение по списку перестановок.

Показатели надежности TOA

Как описано выше с обращением к фиг. 6, использование решений на основе множества возможных вариантов TOA добавляет надежность по сравнению с системами, которые используют одиночные или минимальные значения TOA, и обеспечивает то, что ошибки оказывают минимальное влияние на нахождение оптимальной схемы размещения динамиков. После получения импульсного отклика системы, в некоторых примерах каждый из элементов TOA может восстанавливаться посредством поиска пика, соответствующего прямому звуку. В идеальных условиях (например, без шума, без преград в прямом тракте между источником и приемным устройством и динамики, указывающие непосредственно на микрофоны), этот пик может легко идентифицироваться в качестве наибольшего пика в импульсном отклике. Тем не менее, при присутствии шума, преград или неправильном совмещении динамиков и микрофонов, пик, соответствующий прямому звуку, не обязательно соответствует наибольшему значению. Кроме того, в таких условиях пик, соответствующий прямому звуку, может быть затруднительно изолировать от других отражений и/или шума. Идентификация прямого звука, в некоторых случаях, может представлять собой непростой процесс. Некорректная идентификация прямого звука должна ухудшать (и в некоторых случаях может полностью портить) процесс автоматической локализации. Таким образом, в случаях, когда имеется потенциал для ошибки в процессе идентификации прямого звука, может быть эффективным рассмотрение множества возможных вариантов для прямого звука. В некоторых таких случаях процесс выбора пиков может включать в себя две части: (1) алгоритм поиска прямого звука, который ищет подходящие возможные варианты пика, и (2) процесс оценки возможных вариантов пика для повышения вероятности подбора корректных элементов матрицы TOA.

В некоторых реализациях, процесс поиска возможных вариантов пиков прямого звука может включать в себя способ идентификации релевантных возможных вариантов для прямого звука. Некоторые такие способы могут быть основаны на следующих этапах: (1) идентификация одного первого опорного пика (например, максимума абсолютного значения импульсного отклика (IR)), «первого пика»; (2) оценка уровня шума вокруг (до и после) этого первого пика; (3) поиск альтернативных пиков до (и в некоторых случаях после) первого пика, которые составляют выше уровня шума; (4) ранжирование найденных пиков согласно их вероятности соответствия корректному TOA; и при необходимости (5) группировка близких пиков (для сокращения числа возможных вариантов).

После того, как идентифицированы возможные варианты пиков прямого звука, некоторые реализации могут включать в себя этап оценки множества пиков. В качестве результата поиска возможных вариантов пиков прямого звука, в некоторых примерах имеется одно или более значений возможных вариантов для каждого элемента матрицы TOA, ранжированных согласно их оцененной вероятности. Множество матриц TOA может формироваться посредством выбора между различными значениями возможных вариантов. Для оценки правдоподобия определенной матрицы TOA может быть реализован процесс минимизации (к примеру, процесс минимизации, описанный выше). Этот процесс может формировать остатки минимизации, которые являются хорошими оценками внутренней когерентности матриц TOA и DOA. Идеальная бесшумная матрица TOA должна приводить к нулевым остаткам, тогда как матрица TOA с некорректными матричными элементами должна приводить к большим остаткам. В некоторых реализациях, способ должен искать набор возможных вариантов элементов матрицы TOA, который создает матрицу TOA с наименьшими остатками. Это представляет собой один пример процесса оценки, описанного выше с обращением к фиг. 6 и 7, который может включать в себя блок 750 оценки результатов. В одном примере, процесс оценки может включать в себя выполнение следующих этапов: (1) выбор начальной матрицы TOA; (2) оценка начальной матрицы с остатками процесса минимизации; (3) изменение одного матричного элемента матрицы TOA из списка возможных вариантов TOA; (4) оценка заново матрицы с остатками процесса минимизации; (5) если остатки меньше, разрешение изменения, в противном случае его неразрешение; и (6) итеративное выполнение этапов 3-5. В некоторых примерах, процесс оценки может прекращаться, когда все возможные варианты TOA оценены, либо когда предварительно заданное максимальное число итераций достигнуто.

Пример способа локализации

Фиг. 9A является блок-схемой, которая показывает один пример способа локализации. Блоки способа 900, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано. В этой реализации, способ 900 включает в себя оценку местоположений и ориентаций аудиоустройств в среде. Блоки способа 900 могут выполняться посредством одного или более устройств, которые могут представлять собой (или могут включать в себя) устройство 1000, показанное на фиг. 10.

В этом примере, в блоке 905, получение, посредством системы управления, данных направления поступления сигналов (DOA), соответствующих звуку, излучаемому посредством по меньшей мере первого интеллектуального аудиоустройства в аудиосреде. Система управления, например, может представлять собой систему 1010 управления, которая описана ниже с обращением к фиг. 10. Согласно этому примеру, первое интеллектуальное аудиоустройство включает в себя первое передающее аудиоустройство и первое приемное аудиоустройство, и данные DOA соответствуют звуку, принимаемому посредством по меньшей мере второго интеллектуального аудиоустройства в аудиосреде. Здесь, второе интеллектуальное аудиоустройство включает в себя второе передающее аудиоустройство и второе приемное аудиоустройство. В этом примере, данные DOA также соответствуют звуку, излучаемому посредством по меньшей мере второго интеллектуального аудиоустройства и принимаемому посредством по меньшей мере первого интеллектуального аудиоустройства. В некоторых примерах, первое и второе интеллектуальные аудиоустройства могут представлять собой два из аудиоустройств 105a-105d, показанных на фиг. 1.

Данные DOA могут получаться различными способами, в зависимости от конкретной реализации. В некоторых случаях, определение данных DOA может включать в себя один или более связанных с DOA способов, которые описаны выше с обращением к фиг. 4 и/или в разделе «Показатели надежности DOA». Некоторые реализации могут включать в себя получение, посредством системы управления, одного или более элементов данных DOA с использованием способа на основе формирования диаграммы направленности, способа на основе направленного отклика по мощности, способа на основе разности времен поступления сигналов и/или способа на основе структурированных сигналов.

Согласно этому примеру, блок 910 включает в себя прием, посредством системы управления, конфигурационных параметров. В этой реализации, конфигурационные параметры соответствуют самой аудиосреде, одному или более аудиоустройствам в аудиосреде либо как аудиосреде, так и одному или более аудиоустройствам в аудиосреде. Согласно некоторым примерам, конфигурационные параметры могут указывать число аудиоустройств в аудиосреде, один или более размеров аудиосреды, одно или более ограничений на местоположение или ориентацию аудиоустройства и/или данные разрешения неоднозначности по меньшей мере для одного из вращения, перемещения в пространстве или масштабирования. В некоторых примерах, конфигурационные параметры могут включать в себя данные времени задержки при воспроизведении, данные времени задержки при записи и/или данные для разрешения неоднозначности симметрии времени задержки.

В этом примере, блок 915 включает в себя минимизацию, посредством системы управления, функции стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и ориентации по меньшей мере первого интеллектуального аудиоустройства и второго интеллектуального аудиоустройства.

Согласно некоторым примерам, данные DOA также могут соответствовать звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, где N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде. В таких примерах, данные DOA также могут соответствовать звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде. В таких случаях, минимизация функции стоимости может включать в себя оценку положения и ориентации третьего-N-ого интеллектуальных аудиоустройств.

В некоторых примерах, данные DOA также могут соответствовать звуку, принимаемому посредством одного или более пассивных приемных аудиоустройств в аудиосреде. Каждое из одного или более пассивных приемных аудиоустройств может включать в себя массив микрофонов, но в нем может отсутствовать излучатель аудиосигналов. Минимизация функции стоимости также может обеспечивать оцененное местоположение и ориентацию каждого из одного или более пассивных приемных аудиоустройств. Согласно некоторым примерам, данные DOA также могут соответствовать звуку, излучаемому посредством одного или более излучателей аудиосигнала в аудиосреде. Каждый из одного или более излучателей аудиосигнала может включать в себя по меньшей мере один звукоизлучающий преобразователь, но в нем может отсутствовать массив микрофонов. Минимизация функции стоимости также может обеспечивать оцененное местоположение каждого из одного или более излучателей аудиосигнала.

В некоторых примерах, способ 900 может включать в себя прием системой управления начальной конфигурации для функции стоимости. Начальная конфигурация, например, может указывать корректное число передающих и приемных аудиоустройств в аудиосреде и произвольное местоположение и ориентацию для каждого из передающих и приемных аудиоустройств в аудиосреде.

Согласно некоторым примерам, способ 900 может включать в себя прием, посредством системы управления, весового коэффициента, ассоциированного с одним или более элементов данных DOA. Весовой коэффициент, например, может указывать доступность и/или надежность одного или более элементов данных DOA.

В некоторых примерах, способ 900 может включать в себя прием, посредством системы управления, данных времени поступления сигналов (TOA), соответствующих звуку, излучаемому посредством по меньшей мере одного аудиоустройства в аудиосреде и принимаемому посредством по меньшей мере еще одного аудиоустройства в аудиосреде. В некоторых таких примерах, функция стоимости может быть основана по меньшей мере частично на данных TOA. Некоторые такие реализации могут включать в себя оценку по меньшей мере одного времени задержки при воспроизведении и/или по меньшей мере одного времени задержки при записи. Согласно некоторым таким примерам, функция стоимости может работать с повторно масштабированным положением, повторно масштабированным временем задержки и/или повторно масштабированным временем поступления сигналов.

В некоторых примерах, функция стоимости может включать в себя первый член в зависимости только от данных DOA и второй член в зависимости только от данных TOA. В некоторых таких примерах, первый член может включать в себя первый весовой коэффициент, и второй член может включать в себя второй весовой коэффициент. Согласно некоторым таким примерам, один или более элементов TOA второго члена могут иметь весовой коэффициент элемента TOA, указывающий доступность или надежность каждого из одного или более элементов TOA.

Фиг. 9B является блок-схемой, которая приводит другой пример способа локализации. Блоки способа 950, как и других способов, описанных в данном документе, не обязательно выполняются в указанном порядке. Кроме того, такие способы могут включать в себя большее или меньшее число блоков, чем показано и/или описано. В этой реализации, способ 950 включает в себя оценку местоположений и ориентаций устройств в среде. Блоки способа 950 могут выполняться посредством одного или более устройств, которые могут представлять собой (или могут включать в себя) устройство 1000, показанное на фиг. 10.

В этом примере, на блоке 955, получение, посредством системы управления, данных направления поступления сигналов (DOA), соответствующих передачам по меньшей мере первого приемо-передающего устройства первого устройства в среде. Система управления, например, может представлять собой систему 1010 управления, которая описана ниже с обращением к фиг. 10. Согласно этому примеру, первое приемо-передающее устройство включает в себя первое передающее устройство и первое приемное устройство, и данные DOA соответствуют передачам, принимаемым посредством по меньшей мере второго приемо-передающего устройства второго устройства в среде, причем второе приемо-передающее устройство также включает в себя второе передающее устройство и второе приемное устройство. В этом примере, данные DOA также соответствуют передачам по меньшей мере из второго приемо-передающего устройства, принимаемым посредством по меньшей мере первого приемо-передающего устройства. Согласно некоторым примерам, первое приемо-передающее устройство и второе приемо-передающее устройство могут быть выполнены с возможностью передачи и приема электромагнитных волн. В некоторых примерах, первое и второе интеллектуальные аудиоустройства могут представлять собой два из аудиоустройств 105a-105d, показанных на фиг. 1.

Данные DOA могут получаться различными способами, в зависимости от конкретной реализации. В некоторых случаях, определение данных DOA может включать в себя один или более связанных с DOA способов, которые описаны выше с обращением к фиг. 4 и/или в разделе «Показатели надежности DOA». Некоторые реализации могут включать в себя получение, посредством системы управления, одного или более элементов данных DOA с использованием способа на основе формирования диаграммы направленности, способа на основе направленного отклика по мощности, способа на основе разности времен поступления сигналов и/или способа на основе структурированных сигналов.

Согласно этому примеру, блок 960 включает в себя прием, посредством системы управления, конфигурационных параметров. В этой реализации конфигурационные параметры соответствуют самой среде, одному или более устройствам в аудиосреде либо как среде, так и одному или более устройствам в аудиосреде. Согласно некоторым примерам, конфигурационные параметры могут указывать число аудиоустройств в среде, одно или более измерений среды, одно или более ограничений на местоположение или ориентацию устройства и/или данные разрешения неоднозначности по меньшей мере для одного из вращения, перемещения в пространстве или масштабирования. В некоторых примерах, конфигурационные параметры могут включать в себя данные времени задержки при воспроизведении, данные времени задержки при записи и/или данные для разрешения неоднозначности симметрии времени задержки.

В этом примере, блок 965 включает в себя минимизацию функции стоимости посредством системы управления по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и ориентации по меньшей мере первого устройства и второго устройства.

Согласно некоторым реализациям, данные DOA также могут соответствовать передачам, излучаемым посредством третьего-N-ого приемо-передающих устройств третьего-N-ого устройств в среде, где N соответствует общему числу приемо-передающих устройств в среде, и при этом данные DOA также соответствуют передачам, принимаемым посредством каждого из первого-N-ого приемо-передающих устройств из всех других приемо-передающих устройств в среде. В некоторых таких реализациях, минимизация функции стоимости также может включать в себя оценку положения и ориентации третьего-N-ого приемо-передающих устройств.

В некоторых примерах, первое устройство и второе устройство могут представлять собой интеллектуальные аудиоустройства, и среда может представлять собой аудиосреду. В некоторых таких примерах, первое передающее устройство и второе передающее устройство могут представлять собой передающие аудиоустройства. В некоторых таких примерах, первое приемное устройство и второе приемное устройство могут представлять собой приемные аудиоустройства. Согласно некоторым таким примерам, данные DOA также могут соответствовать звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, где N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде. В таких примерах, данные DOA также могут соответствовать звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде. В таких случаях, минимизация функции стоимости может включать в себя оценку положения и ориентации третьего-N-ого интеллектуальных аудиоустройств. В качестве альтернативы или дополнения, в некоторых примерах данные DOA могут соответствовать электромагнитным волнам, излучаемым и принимаемым посредством устройств в среде.

В некоторых примерах, данные DOA также могут соответствовать звуку, принимаемому посредством одного или более пассивных приемных устройств в среде. Каждое из одного или более пассивных приемных устройств может включать в себя массив приемных устройств, но в нем может отсутствовать передающее устройство. Минимизация функции стоимости также может обеспечивать оцененное местоположение и ориентацию каждого из одного или более пассивных приемных устройств. Согласно некоторым примерам, данные DOA также могут соответствовать передачам из одного или более передающих устройств в среде. В некоторых таких примерах, в каждом из одного или более передающих устройств может отсутствовать массив приемных устройств. Минимизация функции стоимости также может обеспечивать оцененное местоположение каждого из одного или более передающих устройств.

В некоторых примерах, способ 950 может включать в себя прием посредством системы управления начальной конфигурации для функции стоимости. Начальная конфигурация, например, может указывать корректное число передающих устройств и приемных устройств в аудиосреде и произвольное местоположение и ориентацию для каждого из передающих устройств и приемных устройств в аудиосреде.

Согласно некоторым примерам, способ 950 может включать в себя прием, посредством системы управления, весового коэффициента, ассоциированного с одним или более элементов данных DOA. Весовой коэффициент, например, может указывать доступность и/или надежность одного или более элементов данных DOA.

В некоторых примерах, способ 950 может включать в себя прием, посредством системы управления, данных времени поступления сигналов (TOA), соответствующих звуку, излучаемому посредством по меньшей мере одного аудиоустройства в аудиосреде и принимаемому посредством по меньшей мере еще одного аудиоустройства в аудиосреде. В некоторых таких примерах, функция стоимости может быть основана по меньшей мере частично на данных TOA. Некоторые такие реализации могут включать в себя оценку по меньшей мере одного времени задержки при воспроизведении и/или по меньшей мере одного времени задержки при записи. Согласно некоторым таким примерам, функция стоимости может работать с повторно масштабированным положением, повторно масштабированным временем задержки и/или повторно масштабированным временем поступления сигналов.

В некоторых примерах, функция стоимости может включать в себя первый член в зависимости только от данных DOA и второй член в зависимости только от данных TOA. В некоторых таких примерах, первый член может включать в себя первый весовой коэффициент, и второй член может включать в себя второй весовой коэффициент. Согласно некоторым таким примерам, один или более элементов TOA второго члена могут иметь весовой коэффициент элемента TOA, указывающий доступность или надежность каждого из одного или более элементов TOA.

Фиг. 10 является блок-схемой, которая показывает примеры компонентов устройства, способного реализовать различные аспекты данного изобретения. Устройство 1000, например, может быть выполнено с возможностью осуществления способов, описанных выше с обращением к фиг. 9A и/или 9B. Согласно некоторым примерам, устройство 1000 может представлять собой или может включать в себя интеллектуальное аудиоустройство (к примеру, интеллектуальный динамик), которое выполнено с возможностью осуществления по меньшей мере некоторых способов, раскрытых в данном документе. В других реализациях, устройство 1000 может представлять собой или может включать в себя другое устройство, которое выполнено с возможностью осуществления по меньшей мере некоторых способов, раскрытых в данном документе. В некоторых таких реализациях, устройство 1000 может представлять собой или может включать в себя концентратор интеллектуального дома или сервер.

В этом примере, устройство 1000 включает в себя интерфейсную систему 1005 и систему 1010 управления. Интерфейсная система 1005, в некоторых реализациях, может быть выполнена с возможностью приема ввода из каждого из множества микрофонов в среде. Интерфейсная система 1005 может включать в себя один или более сетевых интерфейсов и/или один или более интерфейсов внешних устройств (к примеру, один или более интерфейсов универсальной последовательной шины (USB)). Согласно некоторым реализациям, интерфейсная система 1005 может включать в себя один или более беспроводных интерфейсов. Интерфейсная система 1005 может включать в себя одно или более устройств для реализации пользовательского интерфейса, к примеру, один или более микрофонов, один или более громкоговорителей, систему отображения, систему датчиков касания и/или систему датчиков жестов. В некоторых примерах, интерфейсная система 1005 может включать в себя один или более интерфейсов между системой 1010 управления и системой памяти, такой как факультативная система 1015 памяти, показанная на фиг. 10. Тем не менее, система 1010 управления может включать в себя систему памяти.

Система 1010 управления, например, может включать в себя одно- или многомикросхемный процессор общего назначения, процессор цифровых сигналов (DSP), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) или другое программируемое логическое устройство, дискретный логический элемент или транзисторную логику и/или дискретные аппаратные компоненты. В некоторых реализациях, система 1010 управления может постоянно размещаться более чем в одном устройстве. Например, часть системы 1010 управления может постоянно размещаться в устройстве в аудиосреде 100, которое проиллюстрировано на фиг. 1 (к примеру, в одном из аудиоустройств 105a-105d или в концентраторе интеллектуального дома), и другая часть системы 1010 управления может постоянно размещаться в устройстве, которое находится за пределами аудиосреды 100, к примеру, на сервере, в мобильном устройстве (например, смартфоне или планшетном компьютере) и т.д. Интерфейсная система 1005, в некоторых таких примерах, также может постоянно размещаться более чем в одном устройстве.

В некоторых реализациях, система 1010 управления может быть выполнена с возможностью осуществления по меньшей мере частично способов, раскрытых в данном документе. Согласно некоторым примерам, система 1010 управления может быть выполнена с возможностью реализации способов, описанных выше, например, с обращением к фиг. 4-9B.

В некоторых примерах, устройство 1000 может включать в себя факультативную систему 1020 микрофонов, которая проиллюстрирована на фиг. 10. Система 1020 микрофонов может включать в себя один или более микрофонов. В некоторых примерах, система 1020 микрофонов может включать в себя массив микрофонов. В некоторых примерах устройство 1000 может включать в себя факультативную систему 1025 громкоговорителей, которая проиллюстрирована на фиг. 10. Система 1025 громкоговорителей может включать в себя один или более громкоговорителей. В некоторых примерах, система 1020 микрофонов может включать в себя массив громкоговорителей. В некоторых таких примерах устройство 1000 может представлять собой или может включать в себя аудиоустройство. Например, устройство 1000 может представлять собой или может включать в себя одно из аудиоустройств 105a-105d, показанных на фиг. 1.

В некоторых примерах, устройство 1000 может включать в себя факультативную антенную систему 1030, которая показана на фиг 10. Согласно некоторым примерам, антенная система 1030 может включать в себя массив антенн. В некоторых примерах, антенная система 1030 может быть выполнена с возможностью передачи и/или приема электромагнитных волн. Согласно некоторым реализациям, система 1010 управления может быть выполнена с возможностью оценки расстояния между двумя аудиоустройствами в среде на основе данных антенн из антенной системы 1030. Например, система 1010 управления может быть выполнена с возможностью оценки расстояния между двумя аудиоустройствами в среде согласно направлению поступления сигналов данных антенн и/или интенсивности принимаемых сигналов данных антенн.

Некоторые или все из способов, описанных в данном документе, могут осуществляться посредством одного или более устройств согласно инструкциям (например, программному обеспечению), сохраненным на одном или более постоянных носителях. Например, некоторые или все из способов, описанных в данном документе, могут осуществляться посредством системы 1010 управления согласно инструкциям, сохраненным на одном или более постоянных носителях. Такие постоянные носители могут включать в себя запоминающие устройства, такие как запоминающие устройства, описанные в данном документе, в том числе, не ограничиваясь, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т.д. Один или более постоянных носителей, например, могут постоянно размещаться в факультативной системе 1015 памяти, показанной на фиг. 10, и/или в системе 1010 управления. Соответственно, различные инновационные аспекты объекта изобретения, описанного в настоящем описании, могут быть реализованы в одном или более постоянных носителях, имеющих сохраненное программное обеспечение. Программное обеспечение, например, может включать в себя инструкции для управления по меньшей мере одним устройством таким образом, чтобы обрабатывать аудиоданные. Программное обеспечение, например, может выполняться посредством одного или более компонентов системы управления, к примеру, системы 1010 управления по фиг. 10.

Фиг. 11 показывает пример плана помещения для аудиосреды, которое в этом примере представляет собой жилое пространство. Аналогично другим чертежам, приведенным в данном документе, типы и числа элементов, показанные на фиг. 11, приведены лишь в качестве примера. Другие реализации могут включать в себя большее количество, меньшее количество и/или другие типы и числа элементов.

Согласно этому примеру, среда 1100 включает в себя гостиную 1110 в верхнем левом углу, кухню 1115 внизу по центру и спальню 1122 в нижнем правом углу. Прямоугольники и окружности, распределенные по жилому пространству, представляют набор громкоговорителей 1105a-1105h по меньшей мере некоторые из которых могут представлять собой интеллектуальные динамики в некоторых реализациях, размещенные в местоположениях, удобных для пространства, но без соблюдения предписанной схемы размещения стандарта (размещенные произвольно). В некоторых примерах, телевизионный приемник 1130 может быть выполнен с возможностью по меньшей мере частичной реализации одного или более раскрытых вариантов осуществления. В этом примере, среда 1100 включает в себя камеры 1111a-1111e, которые распределены по всей среде. В некоторых реализациях одно или более интеллектуальных аудиоустройств в среде 1100 также могут включать в себя одну или более камер. Одно или более интеллектуальных аудиоустройств могут представлять собой однозадачные аудиоустройства или виртуальные помощники. В некоторых таких примерах, одна или более камер факультативной системы 130 датчиков могут постоянно размещаться в/на телевизионном приемнике 1130, в мобильном телефоне или в интеллектуальном динамике, к примеру, в одном или более громкоговорителей 1105b, 1105d, 1105e или 1105h. Хотя камеры 1111a-1111e не показаны на каждой иллюстрации среды 1100, представленного в настоящем описании, тем не менее, в некоторых реализациях каждая из сред 1100 может включать в себя одну или более камер.

Некоторые аспекты настоящего изобретения включают в себя систему или устройство, сконфигурированное (например, программируемое) с возможностью выполнения одного или более примеров раскрытых способов, и материальный машиночитаемый носитель (например, диск), который сохраняет код для реализации одного или более примеров раскрытых способов либо их этапов. Например, некоторые раскрытые системы могут представлять собой или включать в себя программируемый процессор общего назначения, процессор цифровых сигналов или микропроцессор, программируемый с помощью программного обеспечения или микропрограммного обеспечения и/или иным способом сконфигурированный с возможностью выполнения любых из множества операций для данных, в том числе и вариант осуществления раскрытых способов или их этапов. Такой процессор общего назначения может представлять собой или включать в себя компьютерную систему, включающую в себя устройство ввода, запоминающее устройство и подсистему обработки, которая запрограммирована (и/или иным способом выполнена) с возможностью выполнения одного или более примеров раскрытых способов (либо их этапов) в ответ на данные, вводимые в нее.

Некоторые варианты осуществления могут быть реализованы в виде конфигурируемого (например, программируемого) процессора цифровых сигналов (DSP), который конфигурирован (например, запрограммирован и иным образом выполнен) с возможностью выполнения требуемой обработки для аудиосигнала(ов), что включает в себя и выполнение одного или более примеров раскрытых способов. В качестве альтернативы, варианты осуществления раскрытых систем (либо их элементов) могут быть реализованы в виде процессора общего назначения (например, в виде персонального компьютера (PC) или другой компьютерной системы или микропроцессора, который может включать в себя устройство ввода и запоминающее устройство), который программируется с помощью программного обеспечения или микропрограммного обеспечения и/или иным способом конфигурируется с возможностью выполнения любых из множества операций, в том числе и одного или более примеров раскрытых способов. В качестве альтернативы, элементы некоторых вариантов осуществления системы согласно изобретению реализованы в виде процессора общего назначения или DSP, выполненного (например, программируемого) с возможностью выполнения одного или более примеров раскрытых способов, и система также включает в себя другие элементы (например, один или более громкоговорителей и/или один или более микрофонов). Процессор общего назначения, выполненный с возможностью выполнения одного или более примеров раскрытых способов, может соединяться с устройством ввода (например, мышью и/или клавиатурой), запоминающим устройством и устройством отображения.

Другой аспект настоящего изобретения представляет собой машиночитаемый носитель (например, диск или другой материальный носитель хранения данных), который сохраняет код для выполнения (например, код, исполняемый с возможностью выполнения) одного или более примеров раскрытых способов или их этапов.

При том, что в данном документе описаны конкретные варианты осуществления и применения изобретения, специалистам в данной области техники должно быть очевидно, что возможно множество других вариантов осуществления и применения, описанных в данном документе, не выходящих за рамки объема данного изобретения.

Изобретение относится к системам и способам автоматического определения местоположения аудиоустройств. Техническим результатом изобретения является обеспечение возможности локализации совокупности интеллектуальных аудиоустройств на основе данных направления поступления сигналов (DOA) между каждой парой аудиоустройств в аудиосреде и минимизации проблемы нелинейной оптимизации без необходимости синхронности между устройствами. Заявленный способ может включать в себя прием данных направления поступления сигналов (DOA), соответствующих звуку, излучаемому посредством первого интеллектуального аудиоустройства в аудиосреде, которое включает в себя первое передающее аудиоустройство и первое приемное аудиоустройство, причем данные DOA соответствуют звуку, принимаемому посредством второго интеллектуального аудиоустройства в аудиосреде, которое включает в себя второе передающее аудиоустройство и второе приемное аудиоустройство, причем данные DOA соответствуют звуку, излучаемому посредством второго интеллектуального аудиоустройства и принимаемому посредством первого интеллектуального аудиоустройства, прием конфигурационных параметров, соответствующих аудиосреде, аудиоустройствам или и тому, и другому, и минимизацию функции стоимости на основе данных DOA и конфигурационных параметров для оценки положения и ориентации первого и второго интеллектуальных аудиоустройств. Заявлены также устройство и система локализации аудиоустройств в аудиосреде и постоянный носитель. 4 н. и 10 з.п. ф-лы, 15 ил.

1. Способ локализации аудиоустройств в аудиосреде, при этом способ содержит этапы, на которых:

- получают посредством системы управления данные направления поступления сигналов (DOA), соответствующие звуку, излучаемому посредством по меньшей мере первого интеллектуального аудиоустройства в аудиосреде, причем первое интеллектуальное аудиоустройство включает в себя первое передающее аудиоустройство и первое приемное аудиоустройство, причем данные DOA соответствуют звуку, принимаемому посредством по меньшей мере второго интеллектуального аудиоустройства в аудиосреде, причем второе интеллектуальное аудиоустройство включает в себя второе передающее аудиоустройство и второе приемное аудиоустройство, причем данные DOA также соответствуют звуку, излучаемому посредством по меньшей мере второго интеллектуального аудиоустройства и принимаемому посредством по меньшей мере первого интеллектуального аудиоустройства;

- принимают посредством системы управления конфигурационные параметры, причем конфигурационные параметры соответствуют аудиосреде, соответствуют одному или более аудиоустройствам в аудиосреде или соответствуют как аудиосреде, так и одному или более аудиоустройствам в аудиосреде; и

- минимизируют посредством системы управления функцию стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и ориентации по меньшей мере первого интеллектуального аудиоустройства и второго интеллектуального аудиоустройства,

причём данные DOA также соответствуют звуку, принимаемому посредством одного или более пассивных приемных аудиоустройств в аудиосреде, причем каждое из одного или более пассивных приемных аудиоустройств включает в себя массив микрофонов, но в нем отсутствует излучатель аудиосигнала, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение и ориентацию каждого из одного или более пассивных приемных аудиоустройств,

причём данные DOA также соответствуют звуку, излучаемому посредством одного или более излучателей аудиосигнала в аудиосреде, причем каждый из одного или более излучателей аудиосигнала включает в себя по меньшей мере один звукоизлучающий преобразователь, но в нем отсутствует массив микрофонов, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение каждого из одного или более излучателей аудиосигнала,

причём данные DOA также соответствуют звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, причем N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде, при этом данные DOA также соответствуют звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде, и при этом минимизация функции стоимости включает в себя этап, на котором оценивают положение и ориентацию третьего-N-ого интеллектуальных аудиоустройств,

при этом конфигурационные параметры включают в себя по меньшей мере одно из числа аудиоустройств в аудиосреде, одного или более измерений аудиосреды, одного или более ограничений на местоположение или ориентацию аудиоустройства или данных разрешения неоднозначности по меньшей мере для одного из вращения, перемещения в пространстве или масштабирования.

2. Способ по п. 1, дополнительно содержащий этап, на котором принимают посредством системы управления начальную конфигурацию для функции стоимости, причем начальная конфигурация указывает корректное число передающих и приемных аудиоустройств в аудиосреде и произвольное местоположение и ориентацию для каждого из передающих и приемных аудиоустройств в аудиосреде.

3. Способ по любому из пп. 1, 2, дополнительно содержащий этап, на котором принимают посредством системы управления весовой коэффициент, ассоциированный с одним или более элементами данных DOA, причем весовой коэффициент указывает по меньшей мере одно из доступности или надежности одного или более элементов.

4. Способ по любому из пп. 1-3, дополнительно содержащий этап, на котором получают посредством системы управления один или более элементов данных DOA с использованием по меньшей мере одного из способа на основе формирования диаграммы направленности, способа на основе направленного отклика по мощности, способа на основе разности времени поступления сигналов или способа на основе структурированных сигналов.

5. Способ по любому из пп. 1-4, дополнительно содержащий этап, на котором принимают посредством системы управления данные времени поступления сигналов (ТОА), соответствующие звуку, излучаемому посредством по меньшей мере одного аудиоустройства в аудиосреде и принимаемому посредством по меньшей мере еще одного аудиоустройства в аудиосреде, и при этом функция стоимости основана по меньшей мере частично на данных ТОА.

6. Способ по п. 5, дополнительно содержащий этап, на котором оценивают по меньшей мере одно время задержки при воспроизведении, оценивают по меньшей мере одно время задержки при записи или оценивают по меньшей мере одно время задержки при воспроизведении и по меньшей мере одно время задержки при записи.

7. Способ по п. 6, в котором функция стоимости работает по меньшей мере с одним из повторно масштабированного положения, повторно масштабированного времени задержки или повторно масштабированного времени поступления сигналов.

8. Способ по любому из пп. 5-7, в котором функция стоимости включает в себя первый член, зависящий только от данных DOA, и второй член, зависящий только от данных ТОА.

9. Способ по п. 8, в котором первый член включает в себя первый весовой коэффициент, и при этом второй член включает в себя второй весовой коэффициент.

10. Способ по п. 8, в котором один или более элементов ТОА второго члена имеют весовой коэффициент элемента ТОА, указывающий доступность или надежность каждого из одного или более элементов ТОА.

11. Способ по любому из пп. 1-10, в котором конфигурационные параметры включают в себя по меньшей мере одно из: данных времени задержки при воспроизведении; данных времени задержки при записи; данных для разрешения неоднозначности симметрии времени задержки; данные разрешения неоднозначности для вращения; данные разрешения неоднозначности для перемещения в пространстве; или данные разрешения неоднозначности для масштабирования.

12. Устройство для локализации аудиоустройств в аудиосреде, причём устройство включает в себя интерфейсную систему и систему управления, причём система управления выполнена с возможностью:

- получения данных направления поступления сигналов (DOA), соответствующих звуку, излучаемому посредством по меньшей мере первого интеллектуального аудиоустройства в аудиосреде, причем первое интеллектуальное аудиоустройство включает в себя первое передающее аудиоустройство и первое приемное аудиоустройство, причем данные DOA соответствуют звуку, принимаемому посредством по меньшей мере второго интеллектуального аудиоустройства в аудиосреде, причем второе интеллектуальное аудиоустройство включает в себя второе передающее аудиоустройство и второе приемное аудиоустройство, причем данные DOA также соответствуют звуку, излучаемому посредством по меньшей мере второго интеллектуального аудиоустройства и принимаемому посредством по меньшей мере первого интеллектуального аудиоустройства;

- приёма конфигурационных параметров, причем конфигурационные параметры соответствуют аудиосреде, соответствуют одному или более аудиоустройствам в аудиосреде или соответствуют как аудиосреде, так и одному или более аудиоустройствам в аудиосреде; и

- минимизации функции стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и ориентации по меньшей мере первого интеллектуального аудиоустройства и второго интеллектуального аудиоустройства,

причём данные DOA также соответствуют звуку, принимаемому посредством одного или более пассивных приемных аудиоустройств в аудиосреде, причем каждое из одного или более пассивных приемных аудиоустройств включает в себя массив микрофонов, но в нем отсутствует излучатель аудиосигнала, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение и ориентацию каждого из одного или более пассивных приемных аудиоустройств,

причём данные DOA также соответствуют звуку, излучаемому посредством одного или более излучателей аудиосигнала в аудиосреде, причем каждый из одного или более излучателей аудиосигнала включает в себя по меньшей мере один звукоизлучающий преобразователь, но в нем отсутствует массив микрофонов, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение каждого из одного или более излучателей аудиосигнала,

причём данные DOA также соответствуют звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, причем N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде, при этом данные DOA также соответствуют звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде, и при этом минимизация функции стоимости включает в себя этап, на котором оценивают положение и ориентацию третьего-N-ого интеллектуальных аудиоустройств,

при этом конфигурационные параметры включают в себя по меньшей мере одно из числа аудиоустройств в аудиосреде, одного или более измерений аудиосреды, одного или более ограничений на местоположение или ориентацию аудиоустройства или данных разрешения неоднозначности по меньшей мере для одного из вращения, перемещения в пространстве или масштабирования.

13. Система локализации аудиоустройств в аудиосреде, причём система включает в себя интерфейсную систему и систему управления, причём система управления выполнена с возможностью:

- получения данных направления поступления сигналов (DOA), соответствующих звуку, излучаемому посредством по меньшей мере первого интеллектуального аудиоустройства в аудиосреде, причем первое интеллектуальное аудиоустройство включает в себя первое передающее аудиоустройство и первое приемное аудиоустройство, причем данные DOA соответствуют звуку, принимаемому посредством по меньшей мере второго интеллектуального аудиоустройства в аудиосреде, причем второе интеллектуальное аудиоустройство включает в себя второе передающее аудиоустройство и второе приемное аудиоустройство, причем данные DOA также соответствуют звуку, излучаемому посредством по меньшей мере второго интеллектуального аудиоустройства и принимаемому посредством по меньшей мере первого интеллектуального аудиоустройства;

- приёма конфигурационных параметров, причем конфигурационные параметры соответствуют аудиосреде, соответствуют одному или более аудиоустройствам в аудиосреде или соответствуют как аудиосреде, так и одному или более аудиоустройствам в аудиосреде; и

- минимизации функции стоимости по меньшей мере частично на основе данных DOA и конфигурационных параметров для оценки положения и ориентации по меньшей мере первого интеллектуального аудиоустройства и второго интеллектуального аудиоустройства,

причём данные DOA также соответствуют звуку, принимаемому посредством одного или более пассивных приемных аудиоустройств в аудиосреде, причем каждое из одного или более пассивных приемных аудиоустройств включает в себя массив микрофонов, но в нем отсутствует излучатель аудиосигнала, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение и ориентацию каждого из одного или более пассивных приемных аудиоустройств,

причём данные DOA также соответствуют звуку, излучаемому посредством одного или более излучателей аудиосигнала в аудиосреде, причем каждый из одного или более излучателей аудиосигнала включает в себя по меньшей мере один звукоизлучающий преобразователь, но в нем отсутствует массив микрофонов, и при этом минимизация функции стоимости также обеспечивает оцененное местоположение каждого из одного или более излучателей аудиосигнала,

причём данные DOA также соответствуют звуку, излучаемому посредством третьего-N-ого интеллектуальных аудиоустройств в аудиосреде, причем N соответствует общему числу интеллектуальных аудиоустройств в аудиосреде, при этом данные DOA также соответствуют звуку, принимаемому посредством каждого из первого-N-ого интеллектуальных аудиоустройств из всех других интеллектуальных аудиоустройств в аудиосреде, и при этом минимизация функции стоимости включает в себя этап, на котором оценивают положение и ориентацию третьего-N-ого интеллектуальных аудиоустройств,

при этом конфигурационные параметры включают в себя по меньшей мере одно из числа аудиоустройств в аудиосреде, одного или более измерений аудиосреды, одного или более ограничений на местоположение или ориентацию аудиоустройства или данных разрешения неоднозначности по меньшей мере для одного из вращения, перемещения в пространстве или масштабирования.

14. Постоянный носитель, сохраняющий программное обеспечение, причем программное обеспечение включает в себя инструкции для управления одним или более устройствами для осуществления способа по любому из пп. 1-11.