УСТРОЙСТВО ДЛЯ ОБЕСПЕЧЕНИЯ ПРЕДСТАВЛЕНИЯ СИГНАЛА ПОВЫШАЮЩЕГО МИКШИРОВАНИЯ НА ОСНОВЕ ПРЕДСТАВЛЕНИЯ СИГНАЛА ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ, УСТРОЙСТВО ДЛЯ ОБЕСПЕЧЕНИЯ БИТОВОГО ПОТОКА, ПРЕДСТАВЛЯЮЩЕГО МНОГОКАНАЛЬНЫЙ ЗВУКОВОЙ СИГНАЛ, СПОСОБЫ, КОМПЬЮТЕРНАЯ ПРОГРАММА И БИТОВЫЙ ПОТОК, ИСПОЛЬЗУЮЩИЙ ПЕРЕДАЧУ СИГНАЛОВ С КОНТРОЛЕМ ИСКАЖЕНИЯ Российский патент 2016 года по МПК G10L19/00 

Область применения

Осуществления согласно изобретению связаны с устройством для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включены в представление битового потока звукового содержания, и информации о визуализации. Другое осуществление согласно изобретению связано с устройством для обеспечения битового потока, представляющего многоканальный звуковой сигнал. Другое осуществление согласно изобретению связано со способом обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включены в представление битового потока звукового содержания, и информации о визуализации. Другое осуществление согласно изобретению связано со способом обеспечения битового потока, представляющего многоканальный звуковой сигнал, другое осуществление согласно изобретению связано с компьютерной программой, выполняющей один из способов. Другое осуществление согласно изобретению связано с битовым потоком, представляющим многоканальный звуковой сигнал.

Уровень техники

В области обработки звуковых сигналов, передачи звуковых сигналов и сохранения звуковых сигналов существует возрастающее желание управлять многоканальным содержанием для улучшения впечатления от прослушивания. Использование многоканального звукового содержания способствует существенному улучшению впечатления пользователя. Например, может быть получено трехмерное впечатление от прослушивания, которое улучшает впечатление пользователя при использовании в развлекательных целях. Однако, многоканальное звуковое содержание также полезно в профессиональной среде, например, в случае проведения телефонных конференций, потому что может быть улучшена разборчивость речи говорящего посредством многоканального звукового воспроизведения.

Также желательно иметь хорошее соотношение между качеством звука и требованиями к скорости передачи звука, чтобы избежать чрезмерной ресурсной нагрузки, вызванной применением многоканального звукового сигнала.

В последнее время были предложены параметрические методы передачи, эффективные относительно скорости битового потока, и/или хранения звуковых сцен, содержащих множественные звуковые объекты, например, Бинауральное Кодирование Реплик (Тип I) (см., например, ссылка [ВСС]), Кодирование Объединенного Источника (см., например, ссылка [JSC]), и MPEG Кодирование Пространственного Звукового Объекта (SAOC) (см., например, ссылки [SAOC1], [SAOC2] и предварительно не опубликованная ссылка [SAOC]).

Эти методы направлены на перцепционное восстановление желательного выхода звуковой сцены, а не соответствия волновой формы сигнала.

Фиг.8 показывает системный обзор такой системы (здесь: MPEG SAOC). MPEG SAOC система 800, показанная на фиг.8, включает SAOC кодирующее устройство 810 и SAOC декодер 820. SAOC кодирующее устройство 810 получает множество объектных сигналов x₁-x_N, которые могут быть представлены, например, как сигналы временного интервала или как сигналы частотно-временной области (например, в форме комплекта коэффициентов преобразования типа преобразования Фурье, или в форме сигналов поддиапазона QMF). SAOC кодирующее устройство 810 обычно также получает коэффициенты понижающего микширования d₁-d_n, которые связаны с объектными сигналами x₁-x_N. Отдельные комплекты коэффициентов понижающего микширования могут быть доступными для каждого канала сигнала понижающего микширования. SAOC кодирующее устройство 810 обычно формируется, чтобы получить канал сигнала понижающего микширования посредством объединения объектных сигналов x₁-x_N в соответствии со связанными коэффициентами понижающего микширования d₁-d_N. Как правило, имеется меньше каналов понижающего микширования, чем объектных сигналов x₁-x_N. Чтобы сделать возможным (по крайней мере, приблизительно) разделение (или отдельную обработку) объектных сигналов на стороне SAOC декодера 820, SAOC кодирующее устройство 810 предоставляет как один или несколько сигналов понижающего микширования (обозначены как каналы понижающего микширования) 812, так и дополнительную информацию 814. Дополнительная информация 814 описывает характеристики объектных сигналов x₁-x_N, чтобы обеспечить специфическую для объекта обработку на стороне декодера.

SAOC декодер 820 формируется, чтобы получить один или несколько сигналов понижающего микширования 812 и дополнительную информацию 814. Кроме того, SAOC декодер 820 обычно формируется, чтобы получить пользовательскую информацию о взаимодействии и/или пользовательскую управляющую информацию 822, которая описывает желательную установку визуализации. Например, пользовательская информация о взаимодействии/пользовательская управляющая информация 822 может описывать установку громкоговорителя и желательное пространственное размещение объектов, обеспечивающих объектные сигналы x₁-x_N.

SAOC декодер 820 формируется, чтобы обеспечить, например, множество декодированных сигналов канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ . Сигналы канала повышающего микширования могут, например, быть связаны с индивидуальными громкоговорителями схемы визуализации с множеством громкоговорителей. SAOC декодер 820 может, например, включать разделитель объектов 820а, который формируется, чтобы восстановить, по крайней мере приблизительно, объектные сигналы x₁-x_N на основе одного или нескольких сигналов понижающего микширования 812 и дополнительной информации 814, таким образом получая восстановленные объектные сигналы 820b. Однако восстановленные объектные сигналы 820b могут немного отклоняться от оригинальных объектных сигналов x₁-x_N, например, потому что дополнительная информация 814 недостаточна для идеальной реконструкции ввиду ограничений скорости передачи битового потока. SAOC декодер 820 может далее включать микшер 820с, который может формироваться, чтобы получить восстановленные объектные сигналы 820b и пользовательскую информацию о взаимодействии/пользовательскую управляющую информацию 822 и обеспечить на их основе сигналы канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ . Микшер 820с может формироваться, чтобы использовать пользовательскую информацию о взаимодействии/пользовательскую управляющую информацию 822, чтобы определить вклад отдельных восстановленных объектных сигналов 820b в сигналы канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ . Пользовательская информация о взаимодействии/пользовательская управляющая информация 822 может, например, включать параметры визуализации (также обозначаемые как коэффициенты визуализации), которые определяют вклад отдельных восстановленных объектных сигналов 822 в сигналы канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ .

Однако следует отметить, что во многих осуществлениях разделение объекта, которое обозначено разделителем объектов 820а на фиг.8, и микширование, которое обозначено микшером 820с на фиг.8, выполняется на едином этапе. С этой целью могут быть вычислены общие параметры, которые описывают прямое отображение одного или нескольких сигналов понижающего микширования 812 на сигналы канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ . Эти параметры могут быть вычислены на основе дополнительной информации и пользовательской информации о взаимодействии/пользовательской управляющей информации 822.

Теперь со ссылкой на Фиг.9а, 9b и 9с будут описаны различные устройства для получения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной дополнительной информации. Фиг.9а показывает блок-схему MPEG SAOC системы 900, включающую SAOC декодер 920. SAOC декодер 920 включает, в качестве отдельных функциональных блоков, декодер объектов 922 и микшер/рендерер 926. Декодер объектов 922 обеспечивает множество восстановленных объектных сигналов 924 в зависимости от представления сигнала понижающего микширования (например, в форме одного или нескольких сигналов понижающего микширования, представленных во временном интервале или в частотно-временной области) и объектно-связанной дополнительной информации (например, в форме мета данных объекта). Микшер/рендерер 926 получает восстановленные объектные сигналы 924, связанные с множеством N объектов, и обеспечивает, на их основе, один или несколько сигналов канала повышающего микширования 928. В SAOC декодере 920 извлечение объектного сигнала 924 осуществляется отдельно от микширования/визуализации, которое обеспечивает отделение функциональных возможностей декодирования объекта от функциональных возможностей микширования/визуализации, но приводит к относительно высокой сложности вычислений.

Теперь со ссылкой на фиг.9b будет кратко обсуждена другая MPEG SAOC система 930, которая включает SAOC декодер 950. SAOC декодер 950 обеспечивает множество сигналов канала повышающего микширования 958 в зависимости от представления сигнала понижающего микширования (например, в форме одного или нескольких сигналов понижающего микширования) и объектно-связанной дополнительной информации (например, в форме мета данных объекта). SAOC декодер 950 включает объединенный декодер объекта и микшер/рендерер, который формируется для получения сигналов канала повышающего микширования 958 в объединенном процессе микширования без разделения декодирования объекта и микширования/визуализации, где параметры указанного объединенного процесса повышающего микширования зависят как от объектно-связанной дополнительной информации, так и от информации о визуализации. Объединенный процесс повышающего микширования зависит также от информации о понижающем микшировании, которая рассматривается как часть объектно-связанной дополнительной информации.

Чтобы резюмировать вышесказанное, предоставление сигналов канала повышающего микширования 928, 958 может быть выполнено в одноэтапном процессе или двухэтапном процессе.

Теперь со ссылкой на фиг.9с будет описана MPEG SAOC система 960. SAOC система 960 включает SAOC - MPEG Окружающий транскодер 980, а не SAOC декодер.

SAOC - MPEG Окружающий транскодер включает транскодер дополнительной информации 982, который формируется для получения объектно-связанной дополнительной информации (например, в форме мета данных объекта) и, дополнительно, информации об одном или нескольких сигналах понижающего микширования и информации о визуализации. Транскодер дополнительной информации также формируется для предоставления MPEG Окружающей дополнительной информации (например, в форме MPEG Окружающего битового потока) на основе полученных данных. Соответственно, транскодер дополнительной информации 982 формируется, чтобы преобразовывать объектно-связанную (параметрическую) дополнительную информацию, полученную от объектного кодирующего устройства, в связанную с каналом (параметрическую) дополнительную информацию, с учетом информации о визуализации и, дополнительно, информации о содержании одного или нескольких сигналов понижающего микширования.

Дополнительно, SAOC - MPEG Окружающий транскодер 980 может формироваться, чтобы управлять одним или несколькими сигналами понижающего микширования, описанными, например, представлением сигнала понижающего микширования, для получения управляемого представления сигнала понижающего микширования 988. Однако, манипулятор сигнала понижающего микширования 986 может быть опущен, чтобы представление сигнала понижающего микширования на выходе 988 SAOC - MPEG Окружающего транскодера 980 было идентично представлению сигнала понижающего микширования на входе SAOC - MPEG Окружающего транскодера. Манипулятор сигнала понижающего микширования 986 может, например, использоваться, если связанная с каналом MPEG Окружающая дополнительная информация 984 не позволяет обеспечить желательное впечатление от прослушивания на основе представления сигнала понижающего микширования на входе SAOC - MPEG Окружающего транскодера 980, что может иметь место в некоторых совокупностях визуализации.

Соответственно, SAOC - MPEG Окружающий транскодер 980 обеспечивает представление сигнала понижающего микширования 988 и MPEG Окружающий битовый поток 984 таким образом, что множество сигналов канала повышающего микширования, которые представляют звуковые объекты в соответствии с информацией о визуализации на входе SAOC - MPEG Окружающего транскодера 980, может быть получено посредством использования MPEG Окружающего декодера, который получает MPEG Окружающий битовый поток 984 и представление сигнала понижающего микширования 988.

Чтобы резюмировать вышесказанное, могут использоваться различные концепции декодирования SAOC-кодированных звуковых сигналов. В некоторых случаях используется SAOC декодер, который обеспечивает сигналы канала повышающего микширования (например, сигналы канала повышающего микширования 928, 958) в зависимости от представления сигнала понижающего микширования и объектно-связанной параметрической дополнительной информации. Примеры этой концепции можно увидеть на Фиг.9а и 9b. Альтернативно, SAOC-кодированная звуковая информация может быть транскодирована для получения представления сигнала понижающего микширования (например, представление сигнала понижающего микширования 988) и связанной с каналом дополнительной информации (например, связанный с каналом MPEG Окружающий битовый поток 984), которые могут использоваться MPEG Окружающим декодером, чтобы обеспечить желательные сигналы канала повышающего микширования.

В MPEG SAOC системе 800, краткий обзор которой дан на фиг.8, общая обработка выполняется способом частотной селекции и может быть описана в каждом частотном диапазоне следующим образом:

- N входных объектных звуковых сигналов x₁-x_N микшируется с понижением как часть процесса обработки кодирующего устройства SAOC. Для монопонижающего микширования коэффициенты понижающего микширования обозначены d₁-d_N. Кроме того, SAOC кодирующее устройство 810 извлекает дополнительную информацию 814, описывающую характеристики входных звуковых объектов. Для MPEG SAOC отношение мощностей объектов относительно друг друга - самая основная форма такой дополнительной информации.

- Сигнал (или сигналы) понижающего микширования 812 и дополнительная информация 814 передаются и/или сохраняются. Чтобы закончить, звуковой сигнал понижающего микширования может быть сжат посредством использования известных перцепционных звуковых кодирующих устройств, таких как MPEG-1 Уровень II или III (также известный как «mp3»), MPEG Усовершенствованное Звуковое Кодирование (ААС), или любое другое кодирующее устройство.

- На стороне получения SAOC декодер 820 концептуально пытается восстановить оригинальный сигнал объекта («разделение объекта»), используя переданную дополнительную информацию 814 (и, естественно, один или несколько сигналов понижающего микширования 812). Затем эти приближенные (аппроксимированные) объектные сигналы (также определяемые как восстановленные объектные сигналы 820b) смешиваются в целевую сцену, представленную М звуковыми выходными каналами (которые могут, например, быть представлены сигналами канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ ), посредством использования матрицы визуализации. Для моновыхода коэффициенты матрицы визуализации представлены r₁-r_N.

- Практически, разделение сигналов объекта выполняется редко (или даже никогда не выполняется), поскольку и стадия разделения (обозначенная объектным сепаратором 820а), и стадия микширования (обозначенная микшером 820с) объединены в единую стадию транскодирования, которая часто приводит к значительному снижению сложности вычислений.

Было установлено, что такая схема чрезвычайно эффективна как в отношении скорости передачи битового потока (необходимо передать только несколько каналов понижающего микширования плюс некоторую дополнительную информацию вместо N (обычно дискретных) объектных звуковых сигналов плюс дополнительную информацию о визуализации, или дискретную систему), так и вычислительной сложности (сложность обработки связана главным образом с числом каналов на выходе, а не с числом звуковых объектов). Дальнейшие преимущества для пользователя на стороне получения включают свободу выбора установки визуализации (моно, стерео, окружающая, виртуализованное воспроизведение в наушниках и так далее) и свойство интерактивности пользователя: матрица визуализации, и таким образом сцена на выходе, могут быть согласованно установлены и изменены пользователем по желанию, по личному предпочтению или по другим критериям. Например, можно расположить конкретных говорящих из одной группы вместе в одной пространственной области, чтобы максимизировать их дифференциацию от остальных говорящих. Эта интерактивость достигается посредством обеспечения пользовательского интерфейса декодера.

Для каждого переданного звукового объекта может быть отрегулирован его относительный уровень и (для не моновизуализаци) пространственное положение визуализации. Это может происходить в реальном времени, поскольку пользователь меняет положение ползунков связанного графического пользовательского интерфейса (GUI) (например, уровень объекта = +5 дБ, положение объекта = -30°).

Однако было обнаружено, что выбор параметров на стороне декодера для обеспечения представления сигнала повышающего микширования (например, сигналы канала повышающего микширования $${\stackrel{\wedge }{y}}_1-{\stackrel{\wedge }{y}}_M$$ ) в некоторых случаях приводит к ухудшению слышимости.

Было установлено, что благодаря параметрическому подходу, основанному на понижающем микшировании/разделении/микшировании, субъективное качество звукового выхода зависит от настройки параметров визуализации. Было установлено, что изменения относительного уровня объекта влияют на конечное качество звука больше, чем изменения пространственного положения визуализации («повторное панорамирование»). Предельные настройки параметров относительного уровня (например, +20 дБ) могут даже привести к неприемлемому качеству на выходе.

Несмотря на то, что это является просто результатом нарушения некоторых перцепционных допущений, лежащих в основе этой схемы, для коммерческого продукта все же недопустимо производить плохой звук и артефакты, зависящие от настроек на пользовательском интерфейсе.

Американская патентная заявка 61/173456 под заголовком «Способы, устройства и компьютерные программы для обработки звукового сигнала, позволяющие избежать искажений» и Международная Патентная Заявка РСТ/ЕР2010/055717 под заголовком «Устройства для обеспечения одного или нескольких отрегулированных параметров для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, декодер звуковых сигналов, транскодер звуковых сигналов, кодирующее устройство звуковых сигналов, звуковой битовый поток, способ и компьютерная программа, использующая объектно-связанную параметрическую информацию» (далее обозначаемая как «пример контроля искажений») описывают процесс уменьшения искажения от изменения коэффициента усиления объекта в SAOC системе. Указанные документы описывают различные концепции контроля искажения и уменьшения искажения, и эти концепции могут применяться в комбинации с осуществлениями согласно изобретению.

Ввиду вышеизложенного обсуждения, целью данного изобретения является создание концепции, которая позволит сократить или предотвратить искажения при обеспечении представления сигнала повышающего микширования на основе представления сигнала понижающего микширования.

Краткое изложение сущности изобретения

Осуществление согласно изобретению предусматривает устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включены в представление битового потока звукового содержания, и в зависимости от информации о визуализации. Устройство включает ограничитель искажений, формируемый, чтобы настраивать параметры повышающего микширования (например, коэффициенты усиления или элементы матрицы визуализации) посредством использования схемы контроля искажений, чтобы избежать или ограничить слышимые искажения, которые вводятся как следствие несоответствующего выбора параметра визуализации (например, элементы определенной пользователем матрицы визуализации). Ограничитель искажений формируется, чтобы получить параметр управления ограничением искажения, который включен в представление битового потока звукового содержания, и чтобы регулировать схему контроля искажений в зависимости от параметра управления ограничением искажения.

Это осуществление согласно изобретению основывается на ключевой идее о том, что существенные преимущества могут быть достигнуты посредством регулирования схемы контроля искажений в зависимости от параметра управления ограничением искажения, который включается в представление битового потока звукового содержания, потому что это позволяет регулировать схему контроля искажений, которая применяется на стороне звукового декодера (например, устройство для обеспечения представления сигнала повышающего микширования) посредством использования управляющей информации (например, параметр управления ограничением искажения), который предоставляется звуковым кодирующим устройством (например, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал). Соответственно, кодирующее устройство звукового сигнала может регулировать схему контроля искажений на стороне декодера, которая в свою очередь дает кодирующему устройству возможность обеспечивать большую или меньшую свободу пользователю декодера относительно регулирования параметров визуализации. Соответственно, кодирующее устройство звукового сигнала, которое обычно имеет лучшее знание объектов звуковых сигналов, представленных представлением сигнала понижающего микширования, может способствовать должному регулированию схемы контроля искажений посредством использования ее знания звуковых объектных сигналов. Это позволяет получить улучшенные результаты при обеспечении представления сигнала повышающего микширования. Кроме того, кодирующее устройство звукового сигнала может обеспечить соответствующий параметр управления ограничением искажения в соответствии с требованиями контент-провайдера, обеспечивающего звуковые объектные сигналы, которые представлены представлением сигнала понижающего микширования таким образом, что чрезмерная деградация представления сигнала повышающего микширования вследствие несоответствующей настройки параметров визуализации может быть предотвращена на стороне кодирующего устройства звукового сигнала, например, в соответствии с требованиями контент-провайдера.

Таким образом, множество преимуществ может быть получено посредством подхода в соответствии с изобретением к оценке параметра управления ограничением искажения, который извлекается на стороне декодера из представления битового потока звукового содержания, чтобы приспособить, например, один или несколько параметров схемы контроля искажений, применяемой на стороне декодера.

В предпочтительном осуществлении устройство для обеспечения представления сигнала повышающего микширования формируется, чтобы получить желательную матрицу визуализации от входного интерфейса. В этом случае ограничитель искажения формируется, чтобы получить измененную матрицу визуализации в зависимости от желательной матрицы визуализации и одного или нескольких параметров управления ограничением искажения. Устройство для обеспечения представления сигнала повышающего микширования формируется, чтобы обеспечить представление сигнала повышающего микширования в зависимости от измененной матрицы визуализации. Соответственно, параметр управления ограничением искажения, который извлекается декодером звукового сигнала (например, устройство для обеспечения представления сигнала повышающего микширования) из представления битового потока звукового содержания, может использоваться, чтобы обеспечить измененную матрицу визуализации, которая помогает избежать чрезмерных слышимых искажений в представлении сигнала повышающего микширования. Сокращение слышимых искажений может быть достигнуто, даже если ввод желательной матрицы визуализации через входной интерфейс (например, пользователем) является несоответствующим (и вызывает существенные слышимые искажения в представлении сигнала повышающего микширования). Таким образом, параметр управления ограничением искажения может оцениваться ограничителем искажения, чтобы определить, как получается измененная матрица визуализации в зависимости от желательной матрицы визуализации от входного интерфейса, тем самым обеспечивая некоторую степень регулирования кодирующему устройству звукового сигнала.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить одно или несколько предельных значений матрицы визуализации, которые включаются в представление битового потока звукового содержания, и которые описывают минимальные и максимальные значения элементов матрицы визуализации (также обозначаемые как записи). В этом случае ограничитель искажения далее формируется, чтобы ограничить один или несколько элементов измененной матрицы визуализации в соответствии с одним или несколькими предельными значениями матрицы визуализации при получении измененной матрицы визуализации в зависимости от желательной матрицы визуализации. Соответственно, параметры управления ограничением искажения, которые включают предельные значения матрицы визуализации, могут использоваться, чтобы избежать чрезвычайных параметров настройки визуализации, которые определяются как нежелательные кодирующим устройством звукового сигнала, обеспечивающим представление битового потока звукового содержания. Таким образом, можно избежать или, по крайней мере, ограничить слышимые искажения, которые вводились бы как следствие несоответствующей настройки параметров визуализации.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить измененную матрицу визуализации в зависимости от желательной матрицы визуализации, опорной матрицы визуализации и одного или нескольких параметров управления ограничением искажения. Использование опорной матрицы визуализации обеспечивает особые преимущества, потому что опорная матрица визуализации может определить настройку визуализации, которая обеспечивает достаточно хорошее или даже оптимальное качество представления сигнала повышающего микширования. Соответственно, допустимые изменения параметров визуализации относительно указанной опорной матрицы визуализации, могут определяться параметрами управления ограничением искажения, которые обеспечивают эффективную спецификацию диапазонов, в которых должны лежать измененные параметры визуализации.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы ограничить одни или несколько элементов измененной матрицы визуализации относительно опорной матрицы визуализации (или относительно элементов опорной матрицы визуализации) в соответствии с одним или несколькими предельными значениями матрицы визуализации, которые описаны параметрами управления ограничением искажения. Соответственно, ограничение матрицы визуализации может быть эффективно выполнено в соответствии с опорной матрицей визуализации.

Кроме того, один или несколько параметров управления ограничением искажения может определить то, как получается опорная матрица визуализации. Например, один или несколько параметров управления ограничением искажения могут устанавливать постоянную времени фильтра для получения элементов опорной матрицы визуализации. Однако, другая информация о конфигурации, которая описывает то, как получается опорная матрица визуализации, может также быть определена одним или несколькими параметрами управления ограничением искажения.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы применить индивидуальные для объекта параметры управления ограничением искажения для получения измененной матрицы визуализации в зависимости от желательной (например, определенный пользователем) матрицы визуализации. Соответственно, различия сигналов звуковых объектов, которые известны кодирующему устройству звукового сигнала, обеспечивающему представление битового потока звукового содержания, могут рассматриваться схемой контроля искажения посредством использования индивидуальных для объектов параметров управления ограничением искажения, которые извлекаются из представления битового потока звукового содержания.

В предпочтительном осуществлении устройство для обеспечения сигнала повышающего микширования формируется, чтобы применить один или несколько измененных коэффициентов усиления к звуковым образцам представления сигнала понижающего микширования, или к объектно-связанной дополнительной информации, связанной со звуковыми объектами, описанными сигналом понижающего микширования, чтобы обеспечить представление сигнала повышающего микширования в зависимости от измененных коэффициентов усиления. В этом случае ограничитель искажения формируется, чтобы получить один или несколько измененных коэффициентов усиления в зависимости от одного или нескольких желательных коэффициентов усиления и одного или нескольких параметров управления ограничением искажения. Соответственно, параметры управления ограничением искажения, которые извлечены из представления битового потока звукового содержания, используются для соответствующего регулирования коэффициентов усиления, которые обеспечивают контроль (соответствующего) выбора коэффициентов усиления со стороны кодирующего устройства звукового сигнала, обеспечивающего представление битового потока звукового содержания.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить контрольный уровень для параметра усиления, который должен быть ограничен посредством использования сглаживающего фильтра, имеющего постоянную времени. В этом случае ограничитель искажения формируется, чтобы использовать контрольный уровень для ограничения данного параметра. Кроме того, ограничитель искажения формируется, чтобы получить параметр постоянной времени, который включается в представление битового потока звукового содержания (например, посредством извлечения параметра постоянной времени из представления битового потока звукового содержания), и отрегулировать постоянную времени сглаживающего фильтра в зависимости от параметра постоянной времени. Таким образом, кодирующее устройство звукового сигнала, которое знает временные характеристики сигналов звукового объекта лучше, чем декодер звукового сигнала (устройство для обеспечения представления сигнала повышающего микширования), может включать подходящий параметр постоянной времени, который обеспечивает значащую деривацию (дифференцирование) контрольного уровня в представлении битового потока звукового содержания для использования декодером звукового сигнала. Поэтому определенные характеристики звукового сигнала, которые известны кодирующему устройству звукового сигнала, могут эксплуатироваться схемой контроля искажения.

В предпочтительном осуществлении ограничитель параметра формируется, чтобы получить активационный параметр контроля искажения, который включается в представление битового потока звукового содержания, и чтобы включить или отключить схему контроля искажения в зависимости от активационного параметра контроля искажения. Соответственно кодирующее устройство звукового сигнала, которое обеспечивает представление битового потока звукового содержания, может активировать схему контроля искажения или может дезактивировать схему контроля искажения. Соответственно кодирующее устройство звукового сигнала, обеспечивающее представление битового потока звукового содержания, может выборочно заставить декодер звукового сигнала применять соответствующую схему контроля искажения, которая помогает избежать неудовлетворенности пользователя звуковым содержанием, что важно, согласно оценке звукового кодирующего устройства или контент-провайдера. Кодирующее устройство звукового сигнала может обеспечить соответствующее ограничение настройки параметров визуализации в этом случае. С другой стороны, звуковой декодер может селективно отключить схему контроля искажения, чтобы обеспечить пользователю максимальную гибкость относительно настройки параметров визуализации для звукового содержания, для которого такая максимальная гибкость способствует лучшему удовлетворению пользователя, чем применение схемы контроля искажения.

В предпочтительном осуществлении ограничитель параметра формируется, чтобы получить заданный активационный параметр матрицы визуализации, который включается в представление битового потока звукового содержания. В этом случае ограничитель параметра формируется, чтобы ввести в действие, в ответ на активное состояние предварительно заданного активационного параметра матрицы визуализации, чтобы использовалась предварительно заданная информация о матрице визуализации, включенная в представление битового потока звукового содержания, а не определенная пользователем информация о матрице визуализации, для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования. Соответственно декодер звукового сигнала может достигнуть, в некоторых ситуациях того, что будет получено представление сигнала повышающего микширования посредством использования информации о матрице визуализации, определенной кодирующим устройством звукового сигнала, а не пользователем. Соответственно кодирующее устройство звукового сигнала может включать предварительно заданную информацию о матрице визуализации в битовый поток и активизировать предварительно заданный активационный параметр матрицы визуализации (или признак (флагах)), указывающий на то, что предварительно заданная информация о матрице визуализации должна использоваться декодером звукового сигнала. Соответственно декодер звукового сигнала может гарантировать то, что художественная ценность звукового содержания, которая может быть обеспечена соответствующей настройкой матрицы визуализации в соответствии с предварительно заданной информацией о матрице визуализации, становится очевидной для пользователя. Соответственно, можно избежать неудовлетворенности пользователя, которая может возникнуть в таких случаях, в которых только соответствующая настройка параметров визуализации обеспечивает хорошее впечатление от прослушивания.

В предпочтительном осуществлении ограничитель параметра формируется, чтобы получить психоакустический параметр ограничения искажения, который включается в представление битового потока звукового содержания. В этом случае, ограничитель искажения формируется, чтобы отрегулировать один или несколько параметров повышающего микширования в зависимости от психоакустической модели искажения таким образом, чтобы ограничить меру (которая может быть, например, оценкой) искажений, вызванных деривацией (дифференцированием) представления сигнала повышающего микширования от представления сигнала понижающего микширования. В этом случае ограничитель искажения формируется, чтобы установить один или несколько параметров, используемых для регулирования одного или нескольких параметров повышающего микширования в зависимости от психоакустической модели искажения (например, параметр, описывающий то, как отрегулировать один или несколько параметров повышающего микширования в зависимости от выходного значения психоакустической модели искажения), или один или несколько параметров психоакустической модели искажения, в зависимости от психоакустического параметра ограничения искажения. Соответственно, использованием психоакустической модели искажения для соответствующего ограничения параметров повышающего микширования (например, параметры визуализации) можно управлять со стороны звукового кодирующего устройства, которое снова дает звуковому кодирующему устройству возможность способствовать предотвращению существенного искажения представления сигнала повышающего микширования.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы получить обновленный параметр управления ограничением искажения один раз на звуковой фрейм, чтобы получить изменяющуюся во времени схему контроля искажения. Эта концепция имеет то преимущество, что схема контроля искажения может быть отрегулирована динамически под контролем кодирующего устройства звукового сигнала, которое обеспечивает один или несколько параметров управления ограничением искажения в пределах представления битового потока звукового содержания таким образом, что строгая или смягченная схема контроля искажения может быть выбрана звуковым кодирующим устройством. Таким образом, кодирующее устройство звукового сигнала может предоставить пользователю максимально возможную гибкость посредством регулирования схемы контроля искажения, которая должна быть смягчена посредством обеспечения соответствующих параметров управления ограничением искажения в представлении битового потока звукового содержания для менее важных пассажей (отрывков) звукового содержания, и предоставить меньшую гибкостью посредством регулирования схемы контроля искажения, которая должна быть строгой, посредством обеспечения соответствующих параметров управления ограничением искажения, для более важных звуковых фреймов. Таким образом, хороший компромисс между гибкостью пользователя и впечатлением от прослушивания может быть достигнут соответствующим контролем, который может быть осуществлен со стороны звукового кодирующего устройства при помощи звукового декодера, обсужденного здесь.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы оценить динамический признак (флаг) обновления в пределах части конфигурации представления битового потока звукового содержания. В этом случае ограничитель искажения формируется для оценки части конфигурации представления битового потока звукового содержания, чтобы получить параметр управления ограничением искажения, если динамический признак (флаг) обновления является неактивным, и оценить части фрейма представления битового потока звукового содержания, чтобы многократно получать обновления параметра управления ограничением искажения, если динамический признак (флаг) обновления является активным. Соответственно звуковой декодер может переключаться между статическим режимом, в котором один или несколько параметров управления ограничением искажения передаются только один раз на последовательность звуковых фреймов (с последовательностью которых связана одиночная, общая часть конфигурации, например), и динамическим режимом работы, в котором один или несколько параметров управления ограничением искажения передаются более часто или даже один раз на звуковой фрейм. Это позволяет адаптировать передачу параметров управления ограничением искажения для получения низкой скорости передачи битового потока параметров управления ограничением искажения, если временное изменение параметров управления ограничением искажения является ненужным, и чтобы получить хорошее временное разрешение параметров управления ограничением искажения, если это желательно, например, ввиду характерных особенностей сигналов звуковых объектов.

В предпочтительном осуществлении ограничитель искажения формируется, чтобы селективно обновить параметр управления ограничением искажения в зависимости от признака (флага), указывающего на присутствие параметра управления ограничением искажения в части фрейма звукового содержания, таким образом, что интервалы обновления (измеренные, например, в единицах звуковых фреймов) для параметров управления ограничением искажения определяются динамически посредством представления битового потока звукового содержания. Соответственно, в одиночном куске звуковой информации, включающем множественные звуковые фреймы, обновление параметров управления ограничением искажения может быть выполнено в нерегулярных случаях или через нерегулярные интервалы времени (например, с неровным числом звуковых фреймов между ними), которое может быть хорошо приспособлено к нерегулярным временным изменениям звуковых сигналов.

Осуществление согласно изобретению создает устройство для обеспечения представления битового потока многоканального звукового сигнала. Устройство включает микшер понижающего микширования, формируемый, чтобы обеспечить сигнал понижающего микширования на основе множества сигналов звуковых объектов. Кроме того, устройство включает источник дополнительной информации, формируемый, чтобы предоставить объектно-связанную параметрическую дополнительную информацию, описывающую характеристики сигналов звукового объекта и параметры понижающего микширования, и один или несколько параметров управления ограничением искажения для регулирования применения схемы контроля искажения на стороне устройства для обеспечения представления сигнала повышающего микширования. Устройство для обеспечения битового потока также включает средство формирования битового потока, формируемый для обеспечения битового потока, включающего представления сигнала понижающего микширования, объектно-связанную параметрическую дополнительную информацию и один или несколько параметров управления ограничением искажения.

Указанное устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, является подходящим для обеспечения представления битового потока звукового содержания, которое может использоваться обсуждавшимся выше устройством для обеспечения представления сигнала повышающего микширования. Устройство для обеспечения битового потока позволяет включать параметры управления ограничением искажения в битовый поток таким образом, что схема контроля искажения на стороне декодера может быть отрегулирована по желанию, на стороне кодирующего устройства.

Для получения дальнейшей информации о деталях и преимуществах делается ссылка на вышеприведенное обсуждение устройства для обеспечения представления сигнала повышающего микширования.

Другое осуществление согласно изобретению создает способ обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включаются в представление битового потока звукового содержания, и в зависимости от информации о визуализации.

Другое осуществление согласно изобретению создает способ обеспечения битового потока, представляющего многоканальный звуковой сигнал.

Другое осуществление согласно изобретению создает компьютерную программу для выполнения одного из указанных способов.

Способы и компьютерная программа основываются на тех же самых ключевых идеях, что и обсуждавшееся выше устройство.

Другое осуществление согласно изобретению создает битовый поток, представляющий многоканальный звуковой сигнал. Битовый поток включает представление сигнала понижающего микширования, объединяющего звуковые сигналы множества звуковых объектов и объектно-связанную параметрическую дополнительную информацию, описывающую характеристики звуковых объектов. Битовый поток также включает один или несколько параметров управления ограничением искажения для регулирования применения схемы контроля искажения на стороне устройства для обеспечения представления сигнала повышающего микширования. Указанный битовый поток обычно предоставляется обсужденным выше устройством для обеспечения битового потока, представляющего многоканальный звуковой сигнал, и может типично оцениваться обсужденным выше устройством для обеспечения представления сигнала повышающего микширования. Битовый поток обеспечивает эффективное регулирование схемы контроля искажения.

Краткое описание иллюстраций

Осуществления согласно данному изобретению будут впоследствии описаны со ссылкой на приложенные чертежи, в которых:

фиг.1 показывает блок-схему устройства для обеспечения представления сигнала повышающего микширования согласно осуществлению изобретения;

фиг.2 показывает блок-схему устройства для обеспечения представления сигнала повышающего микширования согласно другому осуществлению изобретения;

фиг.3 показывает блок-схему устройства для обеспечения представления сигнала повышающего микширования согласно другому осуществлению изобретения;

фиг.4 показывает блок-схему SAOC контроля искажения с передачей сигналов битового потока;

фиг.5 показывает блок-схему устройства для обеспечения битового потока, представляющего многоканальный звуковой сигнал согласно осуществлению изобретения;

фиг.6 показывает схематическое представление битового потока, представляющего многоканальный звуковой сигнал согласно осуществлению изобретения;

фиг.7 показывает блок-схему примера для SAOC контроля искажения;

фиг.8 показывает блок-схему MPEG SAOC эталонной системы;

фиг.9а показывает блок-схему SAOC эталонной системы, использующей отдельный декодер и микшер;

фиг.9b показывает блок-схему SAOC эталонной системы, использующей интегрированный декодер и микшер; и

фиг.9с показывает блок-схему SAOC эталонной системы, использующей SAOC - MPEG транскодер.

Детальное описание осуществлений

1. Устройство для обеспечения представления сигнала повышающего микширования согласно фиг.1

Фиг.1 показывает блок-схему устройства 100 для обеспечения представления сигнала повышающего микширования 120 на основе представления сигнала понижающего микширования 110 и объектно-связанной параметрической информации 112 (которая может рассматриваться как параметрическая дополнительная информация). Представление сигнала понижающего микширования 110 и объектно-связанная параметрическая информация 112 могут быть включены в представление битового потока звукового содержания. Устройство 100 может формироваться, чтобы обеспечить представление сигнала повышающего микширования в зависимости от информации о визуализации 114, которая может вводиться, например, посредством использования пользовательского интерфейса. Устройство 100 может получать один или несколько параметров управления ограничением искажения 116, которые обычно также включаются в представление битового потока звукового содержания.

Устройство 100 включает процессор сигнала 130, который формируется для обеспечения представления сигнала повышающего микширования 120 в зависимости от представления сигнала понижающего микширования 110 и объектно-связанной параметрической информации 112, учитывающей отрегулированные параметры повышающего микширования 132. Устройство 100 включает ограничитель искажения 140, формируемый для получения отрегулированных параметров повышающего микширования 132 посредством использования схемы контроля искажения 142, чтобы избежать или ограничить слышимые искажения, которые вызваны несоответствующим выбором параметров визуализации информации о визуализации 114. Ограничитель искажения 140 формируется для получения одного или нескольких параметров управления ограничением искажения 116, которые включаются в представление битового потока звукового содержания, и для регулирования схемы контроля искажения в зависимости от одного или нескольких параметров управления ограничением искажения 116.

В дальнейшем функциональные возможности устройства 100 будут обсуждены более детально. Процессор сигнала 130 обеспечивает представление сигнала повышающего микширования 120. С этой целью учитываются представление сигнала понижающего микширования 110 и объектно-связанная параметрическая информация 112. Кроме того, делается попытка в большинстве случаев (но не обязательно во всех случаях) обеспечить представление сигнала повышающего микширования 120 в соответствии с информацией о визуализации 114, которая предоставляется, например, пользователем через пользовательский интерфейс. Однако, если бы информация о визуализации 114 использовалась бы без схемы контроля искажения, это иногда приводило бы к слышимым искажениям представления сигнала повышающего микширования 120, например, если бы пользователь выбрал предельные настройки визуализации. Чтобы избежать чрезмерных слышимых искажений, отрегулированные параметры повышающего микширования 132 (которые могут быть параметрами визуализации или другими параметрами повышающего микширования) предоставляются ограничителем искажения 140 на основе информации о визуализации 114 и с использованием схемы контроля искажения 142.

Схема контроля искажения 142 приспособлена для получения отрегулированных параметров повышающего микширования 132 из информации о визуализации 114 посредством использования регулируемого правила отображения, которое может, например, включать линейное, кусками линейное или нелинейное отображение. Схема контроля искажения 142 может регулироваться ограничителем искажения 140 в зависимости от одного или нескольких параметров настройки схемы контроля искажения. С этой целью ограничитель искажения 140 может рассматривать один или несколько параметров управления ограничением искажения 116, которые включаются в представление битового потока звукового содержания и которые предпочтительно извлекаются из представления битового потока звукового содержания посредством использования анализатора битового потока, не показанного на фиг.1 (который может, тем не менее, быть частью устройства 100 в некоторых осуществлениях). Схема контроля искажения 142 (или правило отображения, определяющее схему контроля искажения) может в некоторых осуществлениях учитывать информацию представления сигнала понижающего микширования 110 и/или объектно-связанную параметрическую информацию 112, чтобы получить отрегулированные параметры повышающего микширования 132 в зависимости от информации о визуализации 114. Параметры регулирования схемы контроля искажения, которые предпочтительно используются для регулирования схемы контроля искажения, могут, например, включать ограничивающие параметры, параметры линейной комбинации, или другие функциональные параметры, определяющие отображение информации о визуализации 114 на отрегулированных параметрах повышающего микширования 132.

Чтобы резюмировать, ограничитель искажения 140 обеспечивает отрегулированные параметры повышающего микширования 132 таким образом, что чрезмерное слышимое искажение представления сигнала повышающего микширования 120 может быть предотвращено, даже если информация о визуализации 114 выбирается соответствующим образом и без использования схемы контроля искажения 142 привела бы к чрезмерному искажению представления сигнала повышающего микширования 120. Таким образом, использование ограничителя искажения и регулирование схемы контроля искажения 142 помогают улучшить впечатление от прослушивания. Посредством настройки схемы контроля искажения 142, зависящей от одного или нескольких параметров управления ограничением искажения 116, которые включаются в представление битового потока звукового содержания, контроль сокращения искажений может производиться от стороны кодирующего устройства звукового сигнала, обеспечивающего представление битового потока звукового содержания.

2. Устройство для обеспечения представления сигнала повышающего микширования согласно фиг.2

В дальнейшем устройство 200 для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включаются в представление битового потока звукового содержания, и в зависимости от информации о визуализации будет описано со ссылкой на фиг.2, который показывает блок-схему такого устройства 200.

Здесь нужно заметить, что информация, полученная устройством 200 на фиг.2, и информация, предоставленная устройством 200, подобна информации, полученной и предоставленной устройством 100, так что идентичные номера ссылок используются для распознавания идентичной информации. Кроме того, некоторые из средств устройства 200 идентичны средствам устройства 100, так что идентичные номера ссылок используются в описании для обозначения таких идентичных или эквивалентных средств.

Устройство 200 формируется для получения представления сигнала понижающего микширования 110, объектно-связанной параметрической информации 112, информации о визуализации 114, и одного или нескольких параметров управления ограничением искажения 116. Кроме того, устройство 200 формируется, чтобы обеспечить представление сигнала повышающего микширования 120 посредством использования, например, процессора сигнала 130.

Устройство 200 включает ограничитель искажения 240, который использует схему контроля искажения 242. Схема контроля искажения 242 включает вычислитель/блок оценки искажения 242а и модификатор информации о визуализации 242b. Вычислитель/блок оценки искажения 242а формируется, например, чтобы получить, по крайней мере, часть представления сигнала понижающего микширования 110 и, по крайней мере, часть объектно-связанной параметрической информации 112, и информацию о визуализации 114. Вычислитель/ блок оценки искажения 242а формируется, чтобы вычислить или оценить меру искажения, которая вводилась бы в представление сигнала повышающего микширования 120 посредством применения информации о визуализации 114 к представлению сигнала понижающего микширования 110, учитывая объектно-связанную параметрическую информацию 112. Модификатор информации о визуализации 242b формируется для обеспечения отрегулированных параметров визуализации 132 на основе информации о визуализации 114 с учетом вычисленной или предполагаемой информации об искажении, предоставляемой вычислителем/блоком оценки искажения 242а таким образом, что отрегулированные параметры визуализации 132 приводят к уменьшению искажения по сравнению с оригинальными параметрами визуализации 114, используемыми процессором сигнала 130 для получения представления сигнала повышающего микширования 120.

Однако модификатор информации о визуализации 242b может учитывать параметр регулирования схемы контроля искажения, который предоставляется ограничителем искажения 240 в зависимости от параметра управления ограничением искажения 116 и который влияет на предоставление отрегулированных параметров визуализации 132.

Например, параметр регулирования схемы контроля искажения (который получен на основе параметра управления ограничением искажения 116, или который даже идентичен параметру управления ограничением искажения 116) может, например, определить, как мера искажения вычисляется или оценивается вычислителем/блоком оценки искажения 242а. Например, указанный параметр регулирования схемы контроля искажения может определить, как различные искажения оцениваются абсолютно или относительно друг друга для получения вычисленного или предполагаемого значения искажения. Альтернативно, или в дополнение, параметр регулирования схемы контроля искажения может определить, как мера искажения, полученная вычислителем/блоком оценки искажения 242а, влияет на предоставление отрегулированных параметров визуализации 132 на основе информации о визуализации 114.

В некоторых осуществлениях вычислитель/блок оценки искажения 242а и модификатор информации о визуализации 242b могут быть объединены так, что отрегулированные параметры визуализации 132 предоставляются таким образом, что отрегулированные параметры визуализации 132 обеспечивают определенную (ограниченную) степень искажения представления сигнала повышающего микширования 120, где на эту степень искажения представления сигнала повышающего микширования 120 может влиять (или регулировать) параметр регулирования схемы контроля искажения.

3. Устройство для обеспечения представления сигнала повышающего микширования согласно фиг.3

В дальнейшем устройство 300 для обеспечения представления сигнала повышающего микширования 120 на основе представления сигнала понижающего микширования 110 и объектно-связанной параметрической информации 112, которые включаются в представление битового потока звукового содержания, и в зависимости от информации о визуализации 114 будет описано со ссылкой на фиг.3. Здесь следует заметить, что идентичные номера ссылки обозначают идентичную или эквивалентную информацию, средства и функциональные возможности в обсуждении осуществлений.

Устройство 300 включает ограничитель искажения 340, который формируется, чтобы использовать схему контроля искажения 342 и обеспечить отрегулированные параметры повышающего микширования 132 в зависимости от информации о визуализации 114, а также в зависимости от параметра управления ограничением искажения 116.

Схема контроля искажения 342 включает ограничитель информации о визуализации 342а, который формируется, чтобы ограничить числовой диапазон величин информации о визуализации 114 для получения отрегулированных параметров визуализации 132. Ограничение величин информации о визуализации 114 может выполняться в зависимости от параметра регулирования схемы контроля искажения, который получается посредством ограничителя искажения 340 в зависимости от параметра управления ограничением искажения 116 или который даже идентичен параметру управления ограничением искажения 116. Схема контроля искажения 342 может дополнительно включать вычислитель контрольного значения 342b, который может формироваться, чтобы обеспечить контрольное значение ограничения в зависимости от объектно-связанной параметрической информации 112 и, предпочтительно, но не обязательно, также в зависимости от параметра регулирования схемы контроля искажения, который получается из, (или идентичнен) параметра управления ограничением искажения 116. Соответственно, ограничитель информации о визуализации 342 может дополнительно рассматривать контрольное значение ограничения, предоставляемое вычислителем контрольного значения 342b, при ограничении числового диапазона величин информации о визуализации в процессе получения отрегулированных параметров визуализации 132.

Соответственно, ограничитель искажения 340 может осуществлять регулируемое ограничение числового диапазона величин информации о визуализации 114 так, чтобы получить отрегулированные параметры визуализации 132 из значений информации о визуализации 114, которая может быть определенной пользователем информацией о визуализации. Регулируемое ограничение может быть отрегулировано в зависимости от одного или нескольких параметров управления ограничением искажения 116, где параметры управления ограничением искажения 116 могут определять один или несколько различных параметров регулируемого ограничения (например, минимальное значение, максимальное значение, допустимое отклонение от контрольного значения, режим вычисления контрольного значения, и т.д.).

4. SAOC контроль искажения с изобретательной передачей сигналов битового потока согласно фиг.4

4.1 Краткий обзор архитектуры

В дальнейшем концепция SAOC контроля искажения с изобретательной передачей сигналов битового потока будет обсуждена со ссылкой на фиг.4, которая показывает блок-схему SAOC системы управления искажением 400.

SAOC система управления искажением 400 включает SAOC кодирующее устройство 410 и SAOC декодер/транскодер 420.

SAOC кодирующее устройство 410 формируется, чтобы получить множество сигналов звуковых объектов 412а-412N и обеспечить на их основе сигнал понижающего микширования 414. Сигнал понижающего микширования 414 может, например, быть эквивалентным представлению сигнала понижающего микширования 110, и может быть одноканальным сигналом или многоканальным сигналом, таким как, например, двухканальный сигнал.

SAOC кодирующее устройство 410 также формируется, чтобы предоставить объектно-связанную параметрическую информацию 416, которая включает, например, SAOC параметры. SAOC параметры могут, например, описывать характеристики сигналов звуковых объектов 412а-412N. Например, SAOC параметры могут описывать разность объектных уровней (OLDs) звуковых объектов, представленных сигналами звукового объекта 412а-412N. Кроме того, SAOC параметры могут описывать межобъектную корреляцию IOC (канал входа-выхода) звуковых объектов, представленных сигналами звуковых объектов 412а-412N. Кроме того, SAOC параметры могут характеризовать понижающее микширование, которое выполняется, чтобы получить сигнал понижающего микширования 414 посредством линейного объединения сигналов звуковых объектов 412а-412N. Например, SAOC параметры могут описывать усиление понижающего микширования DMG и разность уровней канала понижающего микширования DCLD. SAOC параметры 416 могут, например, быть эквивалентными объектно-связанной параметрической информации 112.

SAOC декодер 410 может также обеспечить один или несколько параметров ограничителя искажения 418, которые можно рассматривать как один или несколько параметров управления ограничением искажения и которые могут быть эквивалентными параметрам управления ограничением искажения 116.

Представление сигнала понижающего микширования 414, SAOC параметры 416 и параметры ограничителя искажения 418 передаются от SAOC кодирующего устройства 410 к SAOC декодеру и/или SAOC транскодеру 420.

Как правило, представление сигнала понижающего микширования 414 (предпочтительно в закодированной форме), SAOC параметры 416 (обычно в закодированной форме) и параметры ограничителя искажения 418 (обычно в закодированной форме) все включены в представление битового потока звукового содержания. Другими словами, SAOC кодирующее устройство 410 обеспечивает битовый поток, который включает параметры 414, 416, 418.

SAOC декодер или SAOC транскодер или SAOC декодер/транскодер 420 получает представление сигнала понижающего микширования 414, SAOC параметры 416 и один или несколько параметров ограничителя искажения 418. SAOC декодер/транскодер 420 может, например, реализовывать функциональные возможности SAOC декодера 820 согласно фиг.8, SAOC декодера 920 согласно фиг.9а, интегрированного декодера и микшера 950 согласно фиг.9b или SAOC-MPEG Окружающего транскодера 980 фиг.9с.

Однако, в дополнение к указанным SAOC декодерам или транскодерам, SAOC декодер/транскодер 420 включает ограничитель искажения 422, который формируется, чтобы получить и оценить один или несколько параметров ограничителя искажения 418. Кроме того, SAOC декодер/транскодер 420 может формироваться, чтобы также получить информацию о взаимодействии/управляющую информацию 424, которая представляет, например, выбор пользователем желательных параметров визуализации. SAOC декодер/транскодер 420, следовательно, формируется, чтобы обеспечить представление сигнала повышающего микширования, например, в форме множества декодированных каналов звукового сигнала 428а-428М.

SAOC декодер/транскодер 420 формируется, чтобы применить коэффициенты усиления или параметры визуализации для получения представления сигнала повышающего микширования 428а-428М из сигнала понижающего микширования 414. Например, SAOC декодер/транскодер 420 может формироваться, чтобы умножить компоненты сигнала (например, значения спектральной области), представляющие сигнал понижающего микширования 414 (который может быть одноканальным сигналом понижающего микширования или сигналом понижающего микширования с 2 каналами) на множество соответствующих значений усиления (например, матрица значений усиления), чтобы получить сигналы звукового каналы 428а-428М из представления сигнала понижающего микширования. Например, линейное объединение двух или нескольких каналов представления сигнала понижающего микширования 414 может быть сформировано, чтобы получить представление одного из сигналов звукового канала 428а-428М. Альтернативно, или в дополнение, может быть применен ряд параметров визуализации, чтобы отобразить представление одного или нескольких сигналов понижающего микширования 414 на сигналах звукового канала 428а-428М. В этом случае параметры визуализации могут использоваться, чтобы вычислить правило отображения для отображения представления одного или нескольких сигналов понижающего микширования 414 на сигналах звукового канала 428а-428М. Например, параметры визуализации могут служить линейными факторами при определении такого правила отображения. Однако, в некоторых осуществлениях возможно другое применение параметров визуализации.

4.2 Способы ограничения искажения

В дальнейшем будут описаны некоторые способы ограничения искажения, которые могут быть применены в SAOC декодере/транскодере 420, а также в SAOC декодерах или транкодерах 100, 200, 300.

Ограничение искажения может быть достигнуто посредством ограничения диапазона значений некоторых параметров в SAOC системе декодера/транскодера. Здесь параметры относятся к коэффициентам, коэффициентам усиления или матричным элементам в системе, которые непосредственно не представляют звуковые образцы, но влияют на выходные звуковые образцы посредством математической схемы в SAOC.

Особый интерес может представлять возможность налагать ограничение на кодопреобразующие параметры (то есть индивидуальные элементы в кодопреобразующей матрице). Это эффективно в вычислительном отношении, потому что кодопреобразующая матрица не увеличивается с ростом числа объектов. Кодопреобразующая матрица может описывать отображение сигналов звукового канала представления сигнала понижающего микширования на сигналы звукового канала представления сигнала повышающего микширования.

Ограничитель искажения в SAOC декодере/транскодере, который показан, например, на фиг.2 и 7, выполняет ограничение диапазона параметров, основанное на одной или нескольких постоянных ограничения усиления. Параметры, которые подлежат ограничению, могут быть коэффициентами усиления, которые будут применены к звуковым образцам. Тогда одна или несколько постоянных ограничения усиления могут быть выражены как диапазон уровней усиления в децибелах.

Например, постоянная ограничения усиления q=10 децибелов может использоваться для ограничения диапазона параметра р согласно:

$$p`=\{\begin{array}{c}q,\text{ p}>\text{q}\\ \text{-q p}<\text{-q}\\ p,otherwise\end{array}$$

Здесь р′ определен как новый ограниченный параметр (чтобы заменить р). И р, р′ и q здесь выражены как логарифмические (в децибелах) величины.

Здесь следует заметить, что значение р′ может, например, представлять отрегулированные параметры повышающего микширования 132 и что значения р могут быть получены в зависимости от информации о визуализации. Ограничение диапазона значений р′ может, например, быть выполнено посредством использования схемы контроля искажения, и ограничитель искажения 140 может регулировать параметр q (который может считаться параметром регулирования схемы контроля искажения) в зависимости от параметра управления ограничением искажения 116. Вышеупомянутое правило для получения р′ может рассматриваться как регулируемая схема контроля искажения, которая регулируется в зависимости от параметра регулирования схемы контроля искажения q.

Более передовой подход должен позволить постоянной ограничения усиления q определять максимально допустимое отклонение от другого контрольного уровня для параметра. Этот контрольный уровень может, например, быть получен из сглаженной/фильтрованной/усредненной версии (сглаженная/фильтрованная/усредненная вдоль оси времени) последовательности параметров (поскольку она обновляется, например, один раз или несколько раз в каждом SAOC фрейме). Тогда ограничение может быть определено согласно:

$$p"=\{\begin{array}{c}r+q,\text{ p}>r+\text{q}\\ \text{r-q p}<r\text{-q}\\ p,otherwise\end{array}$$

Здесь p" определяется как новый более усовершенствованный ограниченный параметр (чтобы заменить p), a r определяется как сглаженная/фильтрованная/усредненная версия (сглаженная/фильтрованная/усредненная вдоль оси времени) последовательности параметров р. оба p, и p", r и q здесь выражены как логарифмические (в децибелах) величины.

Например, значение p" может представлять один или несколько отрегулированных параметров 132 (например, отрегулированные кодопреобразующие параметры или отрегулированные параметры визуализации). Значение р может быть получено, например, в зависимости от информации о визуализации 114 и, дополнительно, другой информации, такой как, например, информации от представления сигнала понижающего микширования 110 или информации от объектно-связанной параметрической информации 112.

Ограничение значений р для получения р" может выполняться посредством использования схемы контроля искажения, и параметр q может регулироваться ограничителем искажения 140 в зависимости от параметра управления ограничением искажения 116. Дополнительно, сглаживающая/фильтрующая/усредняющая постоянная времени, которая используется для получения r посредством сглаживания значений р, может также регулироваться ограничителем искажения 140 в зависимости от одного или нескольких параметров управления ограничением искажения.

Другой способ ограничения действует только на матрицу визуализации. Матрица визуализации является входным интерфейсом (или входной величиной) для SAOC декодера/транскодера. Следовательно, этот способ не требует никакой модификации в SAOC системе декодера/транскодера.

Простой способ ограничения ограничивает диапазон (устанавливает минимальные и максимальные значения) элементов матрицы визуализации.

Альтернативный способ ограничения ограничивает модификации элементов матрицы визуализации относительно опорной матрицы визуализации. Опорная матрица визуализации может быть, например, матрицей визуализации, которая дает постоянное понижающее микширование в качестве выхода. Например, параметр ограничения q=10 децибелам препятствует отклонению элементов матрицы визуализации от определенного контрольного значения (или от индивидуальных контрольных значений) более чем ±10 децибелов (то есть не меньше чем коэффициент 10^∧ (-10/20), не больше, чем коэффициент 10^∧ (10/20)).

Диапазон для параметров (матричные элементы) в матрице визуализации может быть различным для индивидуальных объектов, так как они хорошо изолированы в матрице визуализации. Например, допустимы следующие ограниченные диапазоны:

- объект барабана ±3 децибела

- объект баса ±10 децибелов

- объект меллотрона ±6 децибелов

- объект гитары 1 ±3dB

- объект гитары 2 ±3dB

- вокальный объект ±0 децибелов

- объект флейты ±12 децибелов

Другими словами, диапазон регулирования для индивидуальных параметров визуализации может быть отрегулирован (установлен) индивидуально, то есть способом, индивидуальным для объекта. Индивидуальные для объекта диапазоны изменения могут быть получены из множества параметров управления ограничением искажения 116, которые включаются в представление битового потока звукового содержания и которые извлекаются из указанного представления битового потока звукового содержания анализатором битового потока. Соответственно, звуковое кодирующее устройство может эффективно отправлять звуковому декодеру (например, устройство 100, 200, 300, 420) информацию об индивидуальных для объекта диапазонах регулирования. Предоставление индивидуальных для объекта диапазонов регулирования на стороне кодирующего устройства обеспечивает определенные преимущества вследствие того, что типы объекта достаточно точно известны на стороне кодирующего устройства, так что кодирующее устройство лучше всего подходит для предоставления надежной информации о допустимых диапазонах регулирования.

В дальнейшем гибкий подход к ограничению будет обсужден более детально.

Чтобы преодолеть ограничения традиционных концепций, данное изобретение предлагает использовать данные, помогающие схеме контроля искажения работать оптимально в каждой ситуации. Эти данные (то есть данные для регулирования схемы контроля искажения, например параметры управления ограничением искажения) могут быть заданы на стороне SAOC кодирующего устройства и передаваться в SAOC битовый поток, чтобы позднее он был доступен для схемы контроля искажения в SAOC декодере/транскодере. Это проиллюстрировано на фиг.4 (и это можно также увидеть на фиг.1, 2 и 3).

Переданные данные («маркированные параметры ограничителя искажения» на фиг.4 и обозначенные как параметры управления ограничением искажения 116 на фиг.1, 2, и 3) могут включать следующую информацию:

- Величины, ограничивающие параметр:

- например, постоянная, ограничивающая усиление q, которая была разъяснена в вышеупомянутых примерах;

- например, ограничивающий диапазон или ограничивающие диапазоны (например, минимальные и максимальные значения) элементов матрицы визуализации;

- например, ограничивающий диапазон или ограничивающие диапазоны элементов матрицы визуализации относительно опорной матрицы визуализации (например, матрица визуализации, которая дает постоянное понижающее микширование в качестве выхода);

- например, постоянная времени для сглаживающего фильтра, который используется для получения контрольного уровня параметра (подлежащего ограничению) из сглаженной/фильтрованной/усредненной версии параметра;

- Особые случаи ограничения:

- недопустимы вообще никакие модификации (временно заблокированные функциональные возможности визуализации SAOC);

- допустимы только предварительные настройки матрицы визуализации (считанные с битового потока);

- нет ограничений (временно заблокирован ограничитель искажения SAOC);

- любые параметры, ограничивающие регулирование искажения, из психоакустической модели измерения искажения, обсужденные при регулировании искажения.

Таким образом, постоянная ограничения усиления q, которая используется для того, чтобы ограничить числовой диапазон одного или нескольких коэффициентов усиления или одного или нескольких элементов матрицы визуализации, может быть извлечена из SAOC битового потока.

Альтернативно, или дополнительно, один или несколько параметров, ограничивающих диапазон элемента матрицы визуализации, или ограничивающих диапазоны элементов матрицы визуализации (например, способом, индивидуальным для объекта), могут быть извлечены из SAOC битового потока.

Альтернативно, или дополнительно, один или несколько параметров, ограничивающих диапазон элемента матрицы визуализации относительно опорной матрицы визуализации, или ограничивающих диапазоны элементов матрицы визуализации относительно опорной матрицы визуализации, могут быть извлечены из SAOC битового потока.

Альтернативно, или дополнительно, постоянная времени для сглаживающего фильтра, который используется для получения контрольного уровня параметра, подлежащего ограничению, может быть извлечена из SAOC битового потока.

В некоторых случаях, битовый поток может включать параметр или признак (флаг), указывающий на то, что SAOC функциональные возможности визуализации должны быть отключены.

Альтернативно, или дополнительно, SAOC битовый поток может включать параметр или признак (флаг), указывающий на то, что заданная матрица визуализации, которая описывается SAOC битовым потоком, или одна из множества заданных матриц визуализации, описанных битовым потоком, должна использоваться для визуализации представления сигнала повышающего микширования, а не для предоставленного пользователем ввода матрицы визуализации через пользовательский интерфейс. Соответственно, возможность пользователя задавать определенную пользователем матрицу визуализации может быть временно заблокирована звуковым декодером/транскодером, если звуковой декодер/транскодер идентифицирует это условие на основе параметра битового потока или признака (флага) битового потока.

Альтернативно, или дополнительно, SAOC битовый поток может включать признак (флаг) или параметр, указывающий на то, что SAOC ограничитель искажения должен быть временно отключен таким образом, чтобы не было никаких ограничений искажения.

Альтернативно, или дополнительно, SAOC битовый поток может включать параметр для регулирования ограничения искажения, основанный на психоакустической модели меры искажения. Таким образом, ограничитель искажения может регулировать схему контроля искажения, которая основывается на психоакустической модели искажения, в зависимости от параметра, извлеченного из SAOC битового потока. Например, ограничитель искажения может регулировать любую из схем ограничения искажения, описанных в РТС/ЕР 2010/055717 (и также в US 61/173,456) в зависимости от параметра управления ограничением искажения, извлеченного из SAOC битового потока.

4.3 Преимущества гибкого подхода к ограничению

В соответствии с изобретением передача данных SAOC схемы контроля искажения, которая была подробно описана выше, может потенциально разрешить все ограничения традиционных подходов к контролю искажения.

Следует заметить, что существуют ограничения традиционных подходов к контролю искажения, проистекающие из-за недостатка гибкости, которые могут быть преодолены в осуществлениях согласно изобретению. Вот некоторые из ограничений, которые могут быть преодолены посредством использования осуществлений изобретения:

- Параметры контроля искажения при традиционном контроле искажения не приспособлены, чтобы быть оптимальными для каждой ситуации.

Было обнаружено, что выбор параметров контроля искажения, которые оптимальны (с точки зрения звукового качества/качества обслуживания), часто зависит, например, от:

- тип содержания (контента): речь, музыка (рок / классика), звуковая дорожка кинофильма, и т.д.

- свойства сигнала низкого уровня: переходные процессы, структура гармоника - шум, спектральный наклон, динамическая тонкая структура (быстрая/медленная временная огибающая мощности), и т.д.

- SAOC свойства: число управляемых объектов, присутствующих в понижающем микшировании, степень разделения/наложения объекта в канале временном/частотном/понижающего микширования, и т.д.

- Свойства системы: тип кодер-декодера понижающего микширования (mp3, AAC, РСМ, и т.д) и скорость передачи битов (показывающая общее качество звука и искажение в понижающем микшировании), присутствие параметрических кодированных частей в понижающем микшировании (например, SBR (буферный регистр памяти), как включено в НЕ-ААС, см. ссылки [SBR1], [SBR2], или параметрический стерео сигнал, как описано в ссылке [PS]), конфигурация канала (моно, стерео, многоканальный), звуковая полоса пропускания, частота дискретизации и т.д.

- Параметры контроля искажения неточны, потому что оригинальные звуковые объекты обычно недоступны на стороне SAOC декодера.

Было обнаружено, что извлечению параметров контроля искажения может помочь анализ оригинальных (дискретных) звуковых объектов, так как они чистые/неискаженные и параметрически не разлагаемые от понижающего микширования. Эти оригинальные объекты обычно недоступны на стороне SAOC декодера.

- Традиционное звуковое кодирующее устройство не может гарантировать качество визуализации на стороне декодера.

Было обнаружено, что для некоторых применений SAOC желательно установить минимальный уровень качества от стороны кодирующего устройства. Было обнаружено, что также желательно, чтобы этот минимальный уровень качества достигался независимо от пользовательского взаимодействия (выбор матрицы визуализации и конфигурации воспроизведения) на стороне декодера. В то время как в некоторых случаях контроль искажения стремится к установке постоянного уровня качества на стороне SAOC декодера, может быть желательно иметь различные уровни качества для различных услуг (например, организация телеконференций, высококачественная загрузка музыки, радиопередачи) из-за, например, художественной целостности, репутация/профиль поставщика услуг, ожидаемые навыки пользователя (уровень функциональных возможностей интерфейса пользователя против легкости в использовании).

Изобретательная передача данных SAOC схемы контроля искажения (например, от звукового кодирующего устройства к звуковому декодеру через битовый поток) потенциально может устранить все ограничения, обсужденные ранее. Например, SAOC декодер может использовать различные настройки ограничения искажения (различные настройки ограничения качества/функциональных возможностей, которые описываются, например, параметром управления ограничением искажения 116 или параметрами ограничителя искажения 418) для, например, организации телеконференций, управления диалогом (в звуковых книгах или радиовещании), музыкальные ремиксы («музыка 2.0»).

Данное изобретение обеспечивает как далее усовершенствованное функционирование, так и функциональные возможности посредством использования передачи сигналов в битовом потоке, чтобы направлять процесс контроля искажения.

5. Пример ссылки

В дальнейшем базовый пример для SAOC контроля искажения будет описан со ссылкой на фиг.7, который не охватывает все изобретательные преимущества. Система 700 согласно фиг.7 включает SAOC кодирующее устройство 710 и SAOC декодер/транскодер 720. SAOC кодирующее устройство 710 получает множество сигналов звукового объекта 712а - 712N и обеспечивает, на их основе, сигнал понижающего микширования 714, и SAOC параметры 718. SAOC декодер/транскодер 720 получает сигнал понижающего микширования 714 (который будет одноканальным сигналом или многоканальным сигналом) и SAOC параметры 718 от SAOC кодирующего устройства 710. SAOC декодер/транскодер 720 обеспечивает, на их основе, множество каналов звукового сигнала 728а - 728М. С этой целью, SAOC декодер/транскодер 720 может использовать ограничитель искажения 722 и может учитывать информацию о взаимодействии или управляющую информацию 724, которую получает, например, от пользовательского интерфейса.

Однако, система 700 согласно фиг.7 типично приводит к слышимым искажениям в некоторых случаях.

6. Устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал согласно фиг.5

В дальнейшем устройство для обеспечения представления битового потока многоканального звукового сигнала будет описано со ссылкой на фиг.5, который показывает блок - схему такого устройства 500.

Устройство 500 формируется для получения множества сигналов звукового объекта 510а-510N. Кроме того, устройство 500 формируется, чтобы обеспечить битовый поток 520, представляющий многоканальный звуковой сигнал.

Устройство 500 включает микшер понижающего микширования 530, который формируется, чтобы обеспечивать сигнал понижающего микширования 532 на основе множества сигналов звукового объекта 510а-510N. Устройство 500 также включает источник дополнительной информации 540, который формируется, чтобы предоставить объектно-связанную параметрическую дополнительную информацию 542, описывающую характеристики сигналов звукового объекта 510а-510N и параметры понижающего микширования, использовавшиеся микшером понижающего микширования 530. Источник дополнительной информации формируется также, чтобы обеспечить один или несколько параметров управления ограничением искажения 544 для регулирования применения схемы контроля искажения на стороне устройства для обеспечения представления сигнала повышающего микширования. Устройство 500 также включает средство формирования битового потока 550, который формируется для обеспечения битового потока 520, включающего представление сигнала понижающего микширования 532, объектно-связанную параметрическую дополнительную информацию 542 и один или несколько параметров управления ограничением искажения 544.

Соответственно, устройство 500 обеспечивает битовый поток 520, который включает информацию, необходимую для регулирования схемы контроля искажения 142, 242, 342 в устройстве 100, 200, 300, и ограничитель искажения 422 в устройстве 420.

Источник дополнительной информации 540 может формироваться, чтобы обеспечить параметр управления ограничением искажения 544 в зависимости от характеристик сигналов звукового объекта 510а-510N. Например, источник дополнительной информации может обеспечить параметр управления ограничением искажения 544 в зависимости от информации о типе содержания (контента), полученной на основе сигналов звукового объекта 510а-510N, или предоставленной посредством использования дополнительной информации (например, ввод через пользовательский интерфейс).

Альтернативно, или дополнительно, источник дополнительной информации 540 может обеспечить параметры управления ограничением искажения в зависимости от свойств низкого уровня, например, информации о переходных процессах, информации о структуре гармоника - шум, информации о спектральном наклоне, информации о динамической тонкой структуре, и т.д. одного или нескольких сигналов звукового объекта 510а-510N.

Альтернативно, или дополнительно, источник дополнительной информации 540 может обеспечивать параметры управления ограничением искажения в зависимости от характеристик SAOC, таких как число управляемых объектов, присутствующих в сигнале понижающего микширования 532, или в зависимости от присутствия параметрических кодированных частей в понижающем микшировании, или в зависимости от конфигурации канала, или в зависимости от звуковой полосы пропускания, или в зависимости от частоты дискретизации.

Источник дополнительной информации 540 может использовать анализ оригинальных («дискретных») звуковых объектов (или сигналов звукового объекта 510а-510N), чтобы обеспечить параметры управления ограничением искажения 544. Источник дополнительной информации 540 может, например, приспособить параметры управления ограничением искажения к изменяемой настройке минимального уровня качества визуализации звукового сигнала, предоставленного битовым потоком 520.

Чтобы резюмировать, устройство 500 для обеспечения представления битового потока многоканального звукового сигнала может обеспечить битовый поток 520 таким образом, чтобы битовый поток 520 включал один или несколько параметров управления ограничением искажения 544 и, следовательно, обеспечивал регулирование качества визуализации. С этой целью могут учитываться характеристики сигналов звукового объекта 510а-510N и может учитываться дополнительная информация или пользовательский ввод с пользовательского интерфейса для настройки параметров управления ограничением искажения 544.

7. Битовый поток

В дальнейшем будет описан битовый поток 600, представляющий многоканальный звуковой сигнал.

Битовый поток 600 включает представление 610 сигнала понижающего микширования (например, сигнала понижающего микширования 532, который может быть эквивалентным представлению сигнала понижающего микширования 110, 414). Битовый поток 600 также включает объектно-связанную параметрическую дополнительную информацию 620, которая может быть SAOC дополнительной информацией. Объектно-связанная параметрическая дополнительная информация 620 может, например, включать информацию о разности уровней объекта 622, информацию о межобъектной корреляции 624, информацию об усилении понижающего микширования 626 и информацию о разности уровней канала понижающего микширования 628; такая дополнительная информация известна из области пространственного кодирования звукового объекта (SAOC). Битовый поток 600 также включает один или несколько параметров управления ограничением искажения 630, как было описано выше.

Следует заметить, что данные изобретательной схемы контроля, искажения (то есть параметры управления ограничением искажения 630, 116, 418) могут быть переданы в заголовок SAOC битового потока (например, в SAOC определенную часть конфигурации SAOC битового потока, которая называется «SAOCSpecificConfig») для минимальной скорости передачи служебных данных. Однако, данные изобретательной схемы контроля искажения могут также передаваться в данных полезной нагрузки (например, в данных SAOC фрейма, которые обычно называются «SAOCFrame») для обеспечения изменяющейся во времени передачи сигналов (например, адаптивное управление сигналом).

Как правило, но не обязательно, хорошим способом внесения данных схемы контроля искажения может быть использование механизма расширения в SAOC битовом потоке: в некоторых осуществлениях данные схемы контроля искажения (или, по крайней мере, часть данных схемы контроля искажения) могут быть помещены в части синтаксиса, названные «SAOCExtensionConfig» и «SAOCExtensionFrame» для заголовка и случая полезной нагрузки соответственно.

Другими словами, в некоторых осуществлениях данные схемы контроля искажения могут быть включены в SAOC заголовок, который типично включается в битовый поток один раз на одну часть звукового сигнала. Альтернативно, или дополнительно, данные схемы контроля искажения могут включаться в данные фрейма SAOC битового потока. Соответственно, данные схемы контроля искажения могут быть переданы один раз на звуковой фрейм. Признак (флаг) в SAOC заголовке, который включает SAOC конфигурацию, может указать, какое из этих двух решений (данные схемы контроля искажения только в заголовке или данные схемы контроля искажения в данных звукового фрейма) было применено.

Кроме того, в некоторых осуществлениях данные схемы контроля искажения могут быть включены только в некоторые звуковые фреймы, где может сообщаться посредством использования параметра или признака (флага), какие из звуковых фреймов включают данные схемы контроля искажения. Соответственно данные SAOC схемы контроля искажения могут передаваться через нерегулярные временные интервалы в пределах одиночной части звукового сигнала (с которой связана одиночная SAOC часть конфигурации).

8. Альтернативы выполнения

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или приспособление соответствуют стадии способа или характеристике стадии способа. Аналогично, аспекты, описанные в контексте стадии способа, также представляют описание соответствующего блока или элемента или характеристики соответствующего устройства. Некоторые или все стадии способа могут выполняться аппаратными средствами устройства (или с их использованием), например, микропроцессор, программируемый компьютер или электронная схема. В некоторых осуществлениях одна или несколько самых важных стадий способа могут быть выполнены таким устройством.

Кодированный звуковой сигнал по изобретению может сохраняться на цифровом носителе данных или может передаваться по каналу передачи, такому как беспроводной канал передачи или проводной канал передачи, такой как Интернет.

В зависимости от определенных требований к выполнению осуществления изобретения могут выполняться в аппаратных средствах или в программном обеспечении. Выполнение может реализовываться посредством использования цифрового носителя данных, например дискета, DVD, Blue-Ray, CD, ROM (постоянное запоминающее устройство, ПЗУ), PROM (программируемое постоянное запоминающее устройство, ППЗУ), EPROM (стираемое программируемое постоянное запоминающее устройство, СППЗУ), EEPROM (электрически стираемое программируемое постоянное запоминающее устройство, ЭСППЗУ) или флэш-память с хранящимися на них электронно-считываемыми управляющими сигналами, которые взаимодействуют (или могут взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Поэтому цифровой носитель данных может быть читаемым посредством компьютера.

Некоторые осуществления согласно изобретению включают носитель информации с сохраненными на нем электронно считываемыми управляющими сигналами, которые могут взаимодействовать с программируемой компьютерной системой таким образом, чтобы выполнялся один из описанных здесь способов.

В общем, осуществления данного изобретения могут реализовываться как компьютерный программный продукт с управляющей программой; управляющая программа служит для выполнения одного из способов, когда компьютерный программный продукт запущен на компьютере. Управляющая программа может, например, храниться на машиночитаемом носителе.

Другие осуществления включают хранящуюся на машиночитаемом носителе компьютерную программу для выполнения одного из способов, описанных здесь.

Другими словами, осуществление изобретательного способа представляет собой, поэтому, компьютерную программу, имеющую управляющую программу для выполнения одного из описанных здесь способов, когда компьютерная программа запущена на компьютере.

Дальнейшее осуществление изобретательных способов, поэтому, представляет собой носитель информации (или цифровую запоминающую среду, или читаемую компьютером среду), включающий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов. Носитель информации, цифровая запоминающая среда или записанная среда типично являются реальными и/или непереходными.

Дальнейшее осуществление изобретательного способа, поэтому, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов могут, например, формироваться, чтобы быть переданными через канал передачи данных, например, через Интернет.

Дальнейшее осуществление включает средство обработки, например компьютер, или программируемое логическое устройство, формируемое для или приспособленное к выполнению одного из описанных здесь способов.

Дальнейшее осуществление включает компьютер с установленной на нем компьютерной программой для выполнения одного из описанных здесь способов.

В некоторых осуществлениях программируемое логическое устройство (например, логическая матрица с эксплуатационным программированием) может использоваться для выполнения некоторых или всех функциональных возможностей описанных здесь способов. В некоторых осуществлениях логическая матрица с эксплуатационным программированием может взаимодействовать с микропроцессором для выполнения одного из описанных здесь способов. В общем, способы предпочтительно выполняются любыми аппаратными средствами устройства.

Описанные выше осуществления просто иллюстрируют принципы данного изобретения. Следует понимать, что модификации и изменения схем и деталей, описанных здесь, будут очевидны для специалистов, сведущих в этой области техники. Поэтому, цель состоит в том, чтобы ограничиться только областью патентной формулы, а не определенными деталями, представленными здесь посредством описания и объяснения осуществлений.

9. Заключение

Таким образом, осуществления согласно изобретению производят передачу сигналов с контролем искажения в MPEG пространственном кодировании звукового объекта SAOC.

Осуществления согласно данному изобретению обеспечивают как дальнейшее улучшение работы, так и функциональные возможности посредством использования передачи сигналов в битовом потоке для управления процессом регулирования искажения.

Предпочтительные осуществления согласно изобретению включают способы, устройства, или компьютерные программы для кодирования или декодирования звукового сигнала как было обсуждено выше. Дальнейшие осуществления согласно изобретению включают кодированный сигнал, произведенный, как было обсуждено выше, или использовавшийся декодером или способом декодирования, как было обсуждено выше.

10. Ссылки

[ВСС] К.Фоллер и Ф.Баумгарт, «Бинауральное кодирование реплики - Вторая часть: Схемы и применения», IEEE обработка речи и звукового сигнала, издание 11, номер 6, ноябрь 2003 г.

[JSC] К.Фоллер, «Параметрическое совместное кодирование звуковых источников», 120-ое Соглашение AES, Париж, 2006 г., Предпринт 6752.

[SAOC1] Дж.Герре, С.Диш, Дж.Гилперт, О.Гельмут: «От SAC до SAOC -Современные разработки в параметрическом кодировании пространственного звукового сигнала», 22-ая Региональная Конференция AES, Кембридж, Великобритания, апрель 2007 г.

[SAOC2] Дж.Энгегард, Б.Реш, К.Фальч, О.Гельмут, Дж.Гилперт, А.Хольцер, Л.Терентьев, Дж.Брибаарт, Дж.Коппенс Э.Шуйджерс и У.Омен: «Пространственное кодирование звукового объекта, (SAOC) - Вступающий в силу MPEG стандарт на кодирование звукового сигнала, основанное на параметрическом объекте», 124-ое Соглашение AES, Амстердам 2008 г, Предпринт 7377.

[SAOC] ISO/IEC, «MPEG звуковые технологии - Часть 2: Пространственное кодирование звукового объекта (SAOC)», ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.

[SBR1] ISO/IEC, «MPEG звуковые технологии - Часть 2: Пространственное кодирование звукового объекта (SAOC)», ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.

[SBR2] М.Диц, Л.Лильерид, К.Кеэрлинг и О.Кунц, «Репликация спектральной полосы - новый подход в звуковом кодировании», в 112^-ом Соглашении AES, Мюнхен, Германия, май 2002 г., Предпринт 5553.

[PS] «Параметрическое стереокодирование низкой сложности в MPEG-4", Хейко Пурнхаген, Семинар по цифровой звукозаписи (DAFx), стр 163-168, Неаполь, Италия, октябрь 2004 г.

Изобретение относится к области обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включены в представление битового потока звукового содержания, и информации о визуализации. Технический результат заключается в улучшении разборчивости речи говорящего посредством многоканального звукового воспроизведения. Технический результат достигается за счет устройства для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включаются в представление битового потока звукового содержания, которое в зависимости от информации о визуализации включает ограничитель искажения, формируемый для регулирования параметров повышающего микширования посредством использования схемы контроля искажения, чтобы избежать или ограничить слышимые искажения, которые вызваны несоответствующим выбором параметров визуализации. Ограничитель искажения формируется, чтобы получить параметр управления ограничением искажения, который включается в представление битового потока звукового содержания и чтобы регулировать схему контроля искажения в зависимости от параметра управления ограничением искажения. 6 н. и 12 з.п. ф-лы, 11 ил.

1. Устройство (100; 200; 300; 400) для обеспечения представления сигнала повышающего микширования (120; 428а-428М) на основе представления сигнала понижающего микширования (110, 414) и объектно-связанной параметрической информации (112; 416), которые включаются в представление битового потока звукового содержания, и в зависимости от информации о визуализации (114; 424), характеризующееся тем, что включает ограничитель искажения (140; 240; 340; 422), формируемый для регулирования параметров повышающего микширования посредством использования схемы контроля искажения (142), чтобы избежать или ограничить слышимые искажения, которые вызваны несоответствующим выбором параметров визуализаций 114; 424), где ограничитель искажения формируется, чтобы получить параметр управления ограничением искажения (116; 418; q), который включается в представление битового потока звукового содержания, и чтобы отрегулировать схему контроля искажения в зависимости от параметра управления ограничением искажения, где ограничитель искажения формируется, чтобы оценить динамический признак (флаг) обновления в части конфигурации представления битового потока звукового содержания, и где ограничитель искажения формируется, чтобы оценить часть конфигурации представления битового потока звукового содержания для получения параметра управления ограничением искажения, если динамический признак обновления неактивен, и чтобы оценить часть фрейма представления битового потока звукового содержания для многократного получения обновлений параметра управления ограничением искажения, если динамический признак обновления активен.

2. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что устройство для обеспечения представления сигнала повышающего микширования формируется, чтобы получить информацию о желательной матрице визуализации (114; 424) от входного интерфейса, где ограничитель искажения (140; 240; 340; 422) формируется, чтобы получить информацию об измененной матрице визуализации (132; p′; p″) в зависимости от информации о желательной матрице визуализации и одного или нескольких параметров управления ограничением искажения (116; 418; q), и где устройство для обеспечения представления сигнала повышающего микширования формируется, чтобы обеспечить представление сигнала повышающего микширования (120; 428а-428М) в зависимости от информации об измененной матрице визуализации.

3. Устройство (100; 200; 300; 400) по п. 2, характеризующееся тем, что ограничитель искажения формируется, чтобы получить одно или несколько предельных значений матрицы визуализации (r, q), которые включаются в представление битового потока звукового содержания и которые описывают минимальные и максимальные значения элементов матрицы визуализации, и чтобы ограничить один или несколько элементов информации об измененной матрице визуализации (132; p′; p″) в соответствии с одним или несколькими предельными значениями матрицы визуализации (r, q) при получении информации об измененной матрице визуализации в зависимости от информации о желательной матрице визуализации.

4. Устройство (100; 200; 300; 400) по п. 2, характеризующееся тем, что ограничитель искажения формируется, чтобы получить информацию об измененной матрице визуализации (132; p′; p″) в зависимости от информации о желательной матрице визуализации (114; 424), информации об опорной матрице визуализации (r) и одного или нескольких параметров управления ограничением искажения (q).

5. Устройство (100; 200; 300; 400) по п. 4, характеризующееся тем, что ограничитель искажения формируется, чтобы ограничить один или несколько элементов (p′, p″) измененной матрицы визуализации (132) относительно информации об опорной матрице визуализации (r) в соответствии с одним или несколькими предельными значениями матрицы визуализации (q).

6. Устройство (100; 200; 300; 400) по п. 2, характеризующееся тем, что ограничитель искажения формируется, чтобы применить индивидуальные для объекта параметры управления ограничением искажения (q) для получения информации об измененной матрице визуализации в зависимости от информации о желательной матрице визуализации.

7. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что устройство для обеспечения представления сигнала повышающего микширования формируется, чтобы применить один или несколько измененных коэффициентов усиления (p′, p″) к звуковым образцам представления сигнала понижающего микширования (110, 414) или к объектно-связанной дополнительной информации, связанной со звуковыми объектами, описанными сигналом понижающего микширования, для обеспечения представления сигнала повышающего микширования (120; 428а-428М) в зависимости от коэффициентов усиления, и где ограничитель искажения формируется, чтобы получить один или несколько измененных коэффициентов усиления (p′, p″) в зависимости от одного или нескольких желательных коэффициентов усиления (p) и одного или нескольких параметров управления ограничением искажения (116; 418; q).

8. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы получить контрольный уровень (r) для коэффициента усиления, который будет ограничен посредством использования сглаживающего фильтра, имеющего постоянную времени, где ограничитель искажения формируется, чтобы использовать контрольный уровень (r) для ограничения данного коэффициента, и где ограничитель искажения формируется, чтобы получить параметр постоянной времени, который включается в представление битового потока звукового содержания, и чтобы отрегулировать постоянную времени сглаживающего фильтра в зависимости от параметра постоянной времени.

9. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы получить параметр активации контроля искажения, который включается в представление битового потока звукового содержания, и чтобы включить или отключить схему контроля искажения в зависимости от параметра активации контроля искажения.

10. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы получить заданный параметр активации матрицы визуализации, который включается в представление битового потока звукового содержания, и где ограничитель искажения формируется, чтобы сделать так, чтобы в ответ на активное состояние заданного параметра активации матрицы визуализации, информация о заданной матрице визуализации, включенная в представление битового потока звукового содержания, а не определенная пользователем информация о матрице визуализации, использовалась для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования.

11. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы получить психоакустический параметр ограничения искажения, который включается в представление битового потока звукового содержания, где ограничитель искажения формируется, чтобы отрегулировать один или несколько параметров повышающего микширования в зависимости от психоакустической модели искажения так, чтобы ограничить меру искажений, вызванных деривацией представления сигнала повышающего микширования от представления сигнала понижающего микширования, и где ограничитель искажения формируется, чтобы установить один или несколько параметров, используемых для регулирования одного или нескольких параметров повышающего микширования в зависимости от психоакустической модели искажения, или одного или нескольких параметров психоакустической модели искажения в зависимости от психоакустического параметра ограничения искажения.

12. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы получить обновленный параметр управления ограничением искажения один раз на звуковой фрейм для получения схемы контроля искажения, изменяющейся во времени.

13. Устройство (100; 200; 300; 400) по п. 1, характеризующееся тем, что ограничитель искажения формируется, чтобы селективно обновлять параметр управления ограничением искажения в зависимости от признака (флага), указывающего на присутствие параметра управления ограничением искажения в части фрейма представления битового потока звукового содержания, чтобы интервалы обновления для параметра управления ограничением искажения динамически определялись посредством представления битового потока звукового содержания.

14. Устройство (500) для обеспечения битового потока (520), представляющего многоканальный звуковой сигнал, характеризующееся тем, что включает микшер понижающего микширования (530), формируемый для обеспечения сигнала понижающего микширования (532) на основе множества сигналов звукового объекта (510a-510N); источник дополнительной информации (540), формируемый для предоставления объектно-связанной параметрической дополнительной информации (542), описывающей характеристики сигналов звукового объекта (510a-510N), и параметров понижающего микширования, и одного или нескольких параметров управления ограничением искажения (544) для регулирования применения схемы контроля искажения на стороне устройства (100; 200; 300; 400) для обеспечения представления сигнала повышающего микширования; и средство формирования битового потока (550), формируемого для обеспечения битового потока (520), включающего представление сигнала понижающего микширования (532), объектно-связанную параметрическую дополнительную информацию (542) и один или несколько параметров управления ограничением искажения (544), где устройство формируется, чтобы обеспечить битовый поток так, чтобы часть конфигурации битового потока включала динамический признак (флаг) обновления, и так, чтобы часть конфигурации битового потока включала параметр управления ограничением искажения, если динамический признак обновления неактивен, и так, чтобы часть фрейма битового потока включала многократные обновления параметра управления ограничением искажения, если динамический признак обновления активен.

15. Способ обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и объектно-связанной параметрической информации, которые включаются в представление битового потока звукового содержания, и в зависимости от информации о визуализации, характеризующийся тем, что включает настройку параметров повышающего микширования посредством использования схемы контроля искажения, чтобы избежать или ограничить слышимые искажения, которые вызваны несоответствующим выбором параметров визуализации, где получается параметр управления ограничением искажения, который включается в представление битового потока звукового содержания, и где схема контроля искажения регулируется в зависимости от параметра управления ограничением искажения; где оценивается динамический признак обновления в части конфигурации представления битового потока звукового содержания, и где часть конфигурации представления битового потока звукового содержания оценивается, чтобы получить параметр управления ограничением искажения, если динамический признак обновления неактивен, и где часть фрейма представления битового потока звукового содержания оценивается, чтобы многократно получать обновления параметра управления ограничением искажения, если динамический признак обновления активен.

16. Способ обеспечения представления битового потока многоканального звукового сигнала, характеризующийся тем, что включает получение сигнала понижающего микширования на основе множества сигналов звукового объекта; обеспечение объектно-связанной параметрической дополнительной информации, описывающей характеристики сигналов звукового объекта и параметры понижающего микширования; обеспечение одного или нескольких параметров управления ограничением искажения для регулирования применения схемы контроля искажения на стороне устройства для обеспечения представления сигнала повышающего микширования; и обеспечение битового потока, включающего представление сигнала понижающего микширования, объектно-связанную параметрическую дополнительную информацию и один или несколько параметров управления ограничением искажения, где битовый поток предоставляется таким образом, что часть конфигурации битового потока включает динамический признак обновления, и таким образом, что часть конфигурации битового потока включает параметр управления ограничением искажения, если динамический признак обновления неактивен, и таким образом, что часть фрейма битового потока включает повторяемые обновления параметра управления ограничением искажения, если динамический признак обновления активен.

17. Носитель информации с записанной на него компьютерной программой для выполнения способа по п. 15, когда компьютерная программа запущена на компьютере.

18. Носитель информации с записанной на него компьютерной программой для выполнения способа по п. 16, когда компьютерная программа запущена на компьютере.