Изобретение относится к кодированию и/или декодированию аудио для многоканальных сигналов.
Многоканальный аудиосигнал - это аудиосигнал, имеющий два или более аудиоканалов. Хорошо известными примерами многоканальных аудиосигналов являются двухканальные стереоаудиосигналы и 5.1-канальные аудиосигналы, имеющие два передних аудиоканала, два задних аудиоканала, один центральный аудиосигнал и дополнительный канал низкочастотного усиления (LFE). Эти 5.1-канальные аудиосигналы используются в системах DVD (цифровых универсальных дисков) и SACD (усовершенствованных компакт-дисков). Вследствие возрастающей популярности многоканального материала эффективное кодирование многоканального материала становится более важным.
В области техники обработки звука широко распространено преобразовывать некоторое число аудиоканалов в другое число аудиоканалов. Это преобразование может быть выполнено по различным причинам. Например, аудиосигнал может быть преобразован в другой формат, чтобы предоставить более удобные возможности для пользователей. К примеру, традиционное стереокодирование содержит только два канала, тогда как современные усовершенствованные аудиосистемы типично используют пять или шесть каналов, как в популярных системах объемного звучания 5.1. Соответственно два стереоканала могут быть преобразованы в пять или шесть каналов, чтобы полностью использовать преимущества усовершенствованной аудиосистемы.
Другой причиной преобразования каналов является эффективность кодирования. Обнаружено, что, к примеру, аудиосигналы объемного звучания могут быть кодированы как стереоканальные аудиосигналы, комбинированные с параметрическим битовым потоком, описывающим многоканальные пространственные свойства аудиосигнала. Декодер может воспроизводить аудиосигналы объемного звучания с очень удовлетворительной степенью точности. Таким образом, может быть достигнута существенная экономия скорости передачи данных.
Известна система многоканального аудиокодирования 5.1-2-5.1. В этой известной системе аудиокодирования входной аудиосигнал 5.1 кодируется и представляется посредством двух каналов понижающего микширования и ассоциативно связанных параметров. Сигналы понижающего микширования совместно упоминаются как пространственное понижающее микширование. В известной системе пространственное понижающее микширование формирует стереоаудиосигнал, имеющий стереокартину, которая сравнима в отношении качества с фиксированным ITU-понижающим микшированием из входных каналов 5.1. Пользователи, имеющие только стереофоническое оборудование, могут прослушивать это пространственное стереофоническое понижающее микширование, тогда как слушатели с 5.1-Канальным оборудованием могут прослушивать 5.1-канальное воспроизведение, которое осуществляется с помощью этого пространственного понижающего микширования и ассоциативно связанных параметров. 5.1-канальное оборудование декодирует/восстанавливает 5.1-канальный аудиосигнал из пространственного стереофонического понижающего микширования (т.е. стереоаудиосигнала) и ассоциативно связанных параметров.
Тем не менее, пространственное стереофоническое понижающее микширование зачастую, как считается, имеет худшее качество в сравнении с исходным стереосигналом или явно сформированным стереосигналом. Например, профессиональные звуковые инженеры зачастую находят пространственное стереофоническое понижающее микширование нечетким и неинтересным. По этой причине зачастую формируется художественное стереофоническое понижающее микширование, которое отличается от пространственного стереофонического понижающего микширования. Например, добавляются дополнительная реверберация или источники, расширяется стереокартина и т.п. Чтобы пользователи могли пользоваться художественным стереофоническим понижающим микшированием, это художественное стереофоническое понижающее микширование в отличие от пространственного понижающего микширования может передаваться посредством носителя передачи или сохраняться на носителе данных. Тем не менее, поскольку параметрические данные для формирования сигнала 5.1 из стереосигнала основаны на исходном сигнале понижающего микширования, этот подход серьезно влияет на качество воспроизведения 5.1-канального аудиосигнала. В частности, входной 5.1-канальный аудиосигнал кодирует в пространственное стереофоническое понижающее микширование и ассоциативно связанные параметры. Посредством замены пространственного стереофонического понижающего микширования на художественное стереофоническое понижающее микширование пространственное понижающее микширование может быть более недоступно на стороне декодирования системы, и высококачественное восстановление 5.1-канального аудиосигнала невозможно.
Возможным подходом для того чтобы повысить качество 5.1-канального аудиосигнала, является включение в состав дополнительных данных сигнала пространственного понижающего микширования. Например, помимо художественного стереофонического понижающего микширования сигнал пространственного стереофонического понижающего микширования может быть включен в тот же битовый поток или может быть передан параллельно. Тем не менее, это существенно повышает скорость передачи данных и тем самым требования по полосе пропускания канала связи или хранению данных и снижает отношение "качество к скорости передачи данных" для кодированного многоканального сигнала.
Следовательно, улучшенная система кодирования/декодирования многоканального аудиосигнала должна быть полезна, в частности система, предоставляющая лучшую производительность, качество и/или отношение "качество к скорости передачи данных", должна быть полезна.
Следовательно, изобретение предпочтительно стремится уменьшить, облегчить или устранить один или более вышеупомянутых недостатков по отдельности или в любом сочетании.
Согласно первому аспекту изобретения, предусмотрен многоканальный аудиокодер для кодирования N-канального аудиосигнала, причем многоканальный аудиокодер содержит средство формирования первого M-канального сигнала для N-канального аудиосигнала, при этом M меньше N; средство формирования первых улучшающих данных для первого M-канального сигнала относительно N-канального аудиосигнала; средство формирования второго M-канального сигнала для N-канального аудиосигнала; улучшающее средство для формирования вторых улучшающих данных для второго M-канального сигнала относительно первого M-канального сигнала; средство формирования кодированного выходного сигнала, содержащего второй M-канальный сигнал, первые улучшающие данные и вторые улучшающие данные; при этом улучшающее средство выполнено с возможностью динамически выбирать между формированием вторых улучшающих данных как абсолютных улучшающих данных или как относительных улучшающих данных относительно второго M-канального сигнала.
Изобретение может предоставлять эффективное кодирование многоканального сигнала. В частности, может быть достигнуто эффективное кодирование с повышенным отношением "качество к скорости передачи данных". Изобретение может предоставлять возможность одному M-канальному сигналу заменить другой M-канальный сигнал с меньшим влиянием на многоканальное формирование на основе улучшающих данных, связанных с первым M-канальным сигналом. В частности, художественное понижающее микширование может передаваться вместо пространственного понижающего микширования, при этом обеспечивая эффективное многоканальное восстановление в декодере на основе улучшающих данных, ассоциативно связанных с пространственным понижающим микшированием. Динамический выбор улучшающих данных позволяет значительно снижать размер улучшающих данных и/или повышать качество сигнала, который может быть сформирован.
Абсолютные улучшающие данные описывают первый M-канальный сигнал без ссылки на второй M-канальный сигнал, тогда как относительные улучшающие данные описывают первый M-канальный сигнал со ссылкой на второй M-канальный сигнал.
Средство формирования первого и/или второго M-канального сигнала может формировать сигналы посредством обработки N-канального сигнала или, к примеру, посредством приема M-канального сигнала(ов) из внутренних или внешних источников.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью выбирать между абсолютными улучшающими данными и относительными улучшающими данными в ответ на характеристику N-канального сигнала.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Выбор может выполняться, к примеру, посредством оценки одного или более параметров, извлеченных из характеристики сегмента N-канального сигнала и, в частности, на основе одного или более параметров, извлеченных из первого и/или второго M-канального сигнала (которые сами могут быть извлечены из N-канального сигнала).
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью выбирать между абсолютными улучшающими данными и относительными улучшающими данными в ответ на относительную характеристику абсолютных улучшающих данных и относительных улучшающих данных.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию.
Согласно необязательному признаку изобретения, относительная характеристика - это энергия сигнала абсолютных улучшающих данных относительно энергии сигнала относительных улучшающих данных.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию. В частности, улучшающее средство может выбирать тип улучшающих данных с наименьшей энергией сигнала.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью разделять второй M-канальный сигнал на блоки сигналов и отдельно выбирать между абсолютными улучшающими данными и относительными улучшающими данными для каждого блока сигналов.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию. Блоки сигналов могут быть разделены во временной и/или частотной области, и каждый блок сигналов, в частности, может содержать группу временно/частотных мозаик. Разделение на блоки сигналов может быть применено к первому M-канальному сигналу и/или N-канальному сигналу.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью выбирать между абсолютными улучшающими данными и относительными улучшающими данными для блока сигналов на основе только характеристик, ассоциативно связанных с блоком сигналов.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию. В частности, улучшающее средство может выбирать тип улучшающих данных, которые имеют наименьшую энергию сигнала.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью формировать улучшающие данные как комбинацию абсолютных улучшающих данных и относительных улучшающих данных в ходе интервала времени переключения между формированием улучшающих данных как абсолютных улучшающих данных и как относительных улучшающих данных.
Это может обеспечить улучшенное переключение и, в частности, снизить искажения, ассоциативно связанные с переключением. Может быть достигнуто повышенное качество звука. Комбинация в ходе интервала времени переключения может быть применена при переключении от абсолютных к относительным улучшающим данным и/или от относительных к абсолютным улучшающим данным. Комбинация может быть достигнута с помощью методики перекрытия с суммированием.
Согласно необязательному признаку изобретения, комбинация содержит интерполяцию между абсолютными улучшающими данными и относительными улучшающими данными.
Это может обеспечить практичную и эффективную реализацию с высоким качеством. Может быть достигнуто повышенное качество звука.
Согласно необязательному признаку изобретения, средство формирования кодированного выходного сигнала выполнено с возможностью включать в себя данные, указывающие то, используются ли относительные улучшающие данные или абсолютные улучшающие данные.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию. Данные индикации, в частности, могут включать в себя индикацию выбора для каждого блока сигналов.
Согласно необязательному признаку изобретения, вторые улучшающие данные содержат первую часть улучшающих данных и вторую часть улучшающих данных, причем вторая часть предоставляет более высококачественное представление первого M-канального сигнала, чем первая часть.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных". Первая часть может иметь более низкую скорость передачи данных, чем вторая часть. Вторая часть может содержать данные, которые позволяют декодеру более точно восстанавливать первый M-канальный сигнал.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью динамически выбирать только между формированием второй части как абсолютных улучшающих данных или как относительных улучшающих данных.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных".
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью формировать относительные данные второй части относительно опорного сигнала, сформированного посредством применения улучшающих данных первой части к первому M-канальному сигналу.
Это может обеспечить эффективную производительность и, в частности, предоставить кодированному сигналу улучшенное отношение "качество к скорости передачи данных".
Согласно другому аспекту изобретения, предусмотрен многоканальный аудиодекодер для декодирования N-канального аудиосигнала, причем многоканальный аудиодекодер содержит средство приема кодированного аудиосигнала, содержащее первый M-канальный сигнал для N-канального аудиосигнала, причем M меньше N, первые улучшающие данные для многоканального расширения, причем первые улучшающие данные являются относительными ко второму M-канальному сигналу, отличному от первого M-канального сигнала; вторые улучшающие данные для первого M-канального сигнала относительно второго M-канального сигнала, причем вторые улучшающие данные содержат абсолютные улучшающие данные и относительные улучшающие данные относительно первого M-канального сигнала, и данные индикации, указывающие, являются вторые улучшающие данные для блока сигналов абсолютными улучшающими данными или относительными улучшающими данными; средство формирования для формирования M-канального многоканального сигнала расширения в ответ на первый M-канальный сигнал и вторые улучшающие данные; и средство формирования N-канального декодированного сигнала в ответ на M-канальный многоканальный сигнал расширения и первые улучшающие данные; при этом средство формирования выполнено с возможностью выбирать между применением вторых улучшающих данных как абсолютных улучшающих данных или относительных улучшающих данных в ответ на данные индикации.
Изобретение может предоставлять эффективное и высокопроизводительное декодирование многоканального сигнала. В частности, может быть достигнуто эффективное декодирование сигнала с улучшенным качеством для данной скорости передачи данных. Изобретение может предоставлять возможность одному M-канальному сигналу заменить другой M-канальный сигнал с меньшим влиянием на многоканальное формирование на основе улучшающих данных, связанных с первым M-канальным сигналом. В частности, художественное понижающее микширование может передаваться вместо пространственного понижающего микширования, при этом обеспечивая эффективное многоканальное восстановление в декодере на основе улучшающих данных, ассоциативно связанных с пространственным понижающим микшированием.
Абсолютные улучшающие данные описывают второй M-канальный сигнал без ссылки на первый M-канальный сигнал, тогда как относительные улучшающие данные описывают второй M-канальный сигнал со ссылкой на первый M-канальный сигнал.
Согласно необязательному признаку изобретения, средство формирования выполнено с возможностью применять вторые улучшающие данные к первому M-канальному сигналу во временной области.
Это может обеспечить эффективную производительность и, в частности, предоставить декодированному сигналу улучшенное качество для данной скорости передачи данных. Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию.
Согласно необязательному признаку изобретения, средство формирования выполнено с возможностью применять вторые улучшающие данные к первому M-канальному сигналу в частотной области.
Это может обеспечить эффективную производительность и, в частности предоставить декодированному сигналу улучшенное качество для данной скорости передачи данных. Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию.
В частности, во многих вариантах осуществления применение в частотной области может снижать требуемые частотно-временные преобразования. Частотной областью может, к примеру, быть область гребенки квадратурных зеркальных фильтров (QMF) или модифицированного дискретного косинусного преобразования (MDCT).
Согласно необязательному признаку изобретения, вторые улучшающие данные содержат первую часть улучшающих данных и вторую часть улучшающих данных, причем вторая часть предоставляет более высококачественное представление первого M-канального сигнала, чем первая часть.
Это может обеспечить эффективную производительность и, в частности, предоставить декодированному сигналу улучшенное качество для данной скорости передачи данных. Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию. Вторая часть может содержать данные, которые позволяют декодеру более точно восстанавливать первый M-канальный сигнал.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью динамически выбирать только между применением вторых улучшающих данных второй части как абсолютных улучшающих данных или относительных улучшающих данных.
Это может обеспечить эффективную производительность и, в частности, предоставить декодированному сигналу улучшенное качество для данной скорости передачи данных. Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию.
Согласно необязательному признаку изобретения, улучшающее средство выполнено с возможностью формировать M-канальное многоканальное расширение посредством применения относительных улучшающих данных второй части к сигналу, сформированному посредством применения улучшающих данных первой части к первому M-канальному сигналу.
Это может обеспечить эффективную производительность и, в частности, предоставить декодированному сигналу улучшенное качество для данной скорости передачи данных. Альтернативно или дополнительно это может обеспечить эффективную и/или несложную реализацию.
Согласно другому аспекту изобретения, предусмотрен способ кодирования N-канального аудиосигнала, при этом способ содержит формирование первого M-канального сигнала для N-канального аудиосигнала, при этом M меньше N; формирование первых улучшающих данных для первого M-канального сигнала относительно N-канального аудиосигнала; формирование второго M-канального сигнала для N-канального аудиосигнала; формирование вторых улучшающих данных для второго M-канального сигнала относительно первого M-канального сигнала; формирование кодированного выходного сигнала, содержащего второй M-канальный сигнал, первые улучшающие данные и вторые улучшающие данные; при этом формирование вторых улучшающих данных содержит динамический выбор между формированием вторых улучшающих данных как абсолютных улучшающих данных или как относительных улучшающих данных относительно второго M-канального сигнала.
Согласно другому аспекту изобретения, предусмотрен способ декодирования N-канального аудиосигнала, при этом способ содержит прием кодированного аудиосигнала, содержащего первый M-канальный сигнал для N-канального аудиосигнала, причем M меньше N, первые улучшающие данные для многоканального расширения, причем первые улучшающие данные являются относительными ко второму M-канальному сигналу, отличному от первого M-канального сигнала; вторые улучшающие данные для первого M-канального сигнала относительно второго M-канального сигнала, причем вторые улучшающие данные содержат абсолютные улучшающие данные и относительные улучшающие данные относительно первого M-канального сигнала, и данные индикации, указывающие, являются ли вторые улучшающие данные для блока сигналов абсолютными улучшающими данными или относительными улучшающими данными; формирование M-канального многоканального сигнала расширения в ответ на первый M-канальный сигнал и вторые улучшающие данные; и формирование N-канального декодированного сигнала в ответ на M-канальный многоканальный сигнал расширения и первые улучшающие данные; при этом формирование M-канального многоканального сигнала расширения содержит выбор между применением вторых улучшающих данных как абсолютных улучшающих данных или относительных улучшающих данных в ответ на данные индикации.
Согласно другому аспекту изобретения, предусмотрен кодированный многоканальный аудиосигнал для N-канального аудиосигнала, содержащий данные M-канального сигнала для N-канального аудиосигнала, причем M меньше N; первые улучшающие данные для многоканального расширения, при этом первые улучшающие данные являются относительными ко второму M-канальному сигналу, отличному от первого M-канального сигнала; вторые улучшающие данные для первого M-канального сигнала относительно второго M-канального сигнала, причем вторые улучшающие данные содержат абсолютные улучшающие данные и относительные улучшающие данные относительно первого M-канального сигнала, и данные индикации, указывающие, являются вторые улучшающие данные для блока сигналов абсолютными улучшающими данными или относительными улучшающими данными.
Согласно другому аспекту изобретения, предусмотрен носитель данных, имеющих сохраненный сигнал, описанный выше.
Согласно другому аспекту изобретения, предусмотрено передающее устройство для передачи кодированного многоканального аудиосигнала, причем передающее устройство содержит многоканальный аудиокодер, описанный выше.
Согласно другому аспекту изобретения, предусмотрено приемное устройство для приема многоканального аудиосигнала, причем приемное устройство содержит многоканальный аудиодекодер, описанный выше.
Согласно другому аспекту изобретения, предусмотрена система передачи, содержащая передающее устройство для передачи кодированного многоканального аудиосигнала посредством канала передачи в приемное устройство, при этом передающее устройство содержит многоканальный аудиокодер, описанный выше, а приемное устройство содержит многоканальный аудиодекодер, описанный выше.
Согласно другому аспекту изобретения, предусмотрен способ передачи кодированного многоканального аудиосигнала, причем способ содержит кодирование N-канального аудиосигнала, при этом кодирование содержит формирование первого M-канального сигнала для N-канального аудиосигнала, при этом M меньше N; формирование первых улучшающих данных для первого M-канального сигнала относительно N-канального аудиосигнала; формирование второго M-канального сигнала для N-канального аудиосигнала; формирование вторых улучшающих данных для второго M-канального сигнала относительно первого M-канального сигнала; формирование кодированного выходного сигнала, содержащего второй M-канальный сигнал, первые улучшающие данные и вторые улучшающие данные; при этом формирование вторых улучшающих данных содержит динамический выбор между формированием вторых улучшающих данных как абсолютных улучшающих данных или как относительных улучшающих данных относительно второго M-канального сигнала.
Согласно другому аспекту изобретения, предусмотрен способ приема кодированного многоканального аудиосигнала, при этом способ содержит декодирование кодированного многоканального аудиосигнала, при этом декодирование содержит прием кодированного аудиосигнала, содержащего первый M-канальный сигнал для N-канального аудиосигнала, причем M меньше N, первые улучшающие данные для многоканального расширения, причем первые улучшающие данные являются относительными ко второму M-канальному сигналу, отличному от первого M-канального сигнала; вторые улучшающие данные для первого M-канального сигнала относительно второго M-канального сигнала, причем вторые улучшающие данные содержат абсолютные улучшающие данные и относительные улучшающие данные относительно первого M-канального сигнала, и данные индикации, указывающие, являются ли вторые улучшающие данные для блока сигналов абсолютными улучшающими данными или относительными улучшающими данными; формирование M-канального многоканального сигнала расширения в ответ на первый M-канальный сигнал и вторые улучшающие данные; и формирование N-канального декодированного сигнала в ответ на M-канальный многоканальный сигнал расширения и первые улучшающие данные; при этом формирование M-канального многоканального сигнала расширения содержит выбор между применением вторых улучшающих данных как абсолютных улучшающих данных или относительных улучшающих данных в ответ на данные индикации.
Согласно другому аспекту изобретения, предусмотрен способ кодирования N-передачи и приема аудиосигнала, при этом способ содержит кодирование N-канального аудиосигнала, при этом кодирование содержит формирование первого M-канального сигнала для N-канального аудиосигнала, при этом M меньше N; формирование первых улучшающих данных для первого M-канального сигнала относительно N-канального аудиосигнала; формирование второго M-канального сигнала для N-канального аудиосигнала; формирование вторых улучшающих данных для второго M-канального сигнала относительно первого M-канального сигнала; при этом формирование вторых улучшающих данных содержит динамический выбор между формированием вторых улучшающих данных как абсолютных улучшающих данных или как относительных улучшающих данных относительно второго M-канального сигнала, формирующего кодированный выходной сигнал, содержащего второй M-канальный сигнал, первые улучшающие данные и вторые улучшающие данные; передачу кодированного выходного сигнала из передающего устройства в приемное устройство; прием в приемном устройстве кодированного выходного сигнала; декодирование кодированного выходного сигнала, при этом декодирование содержит формирование M-канального многоканального сигнала расширения в ответ на второй M-канальный сигнал и вторые улучшающие данные, при этом формирование M-канального многоканального сигнала расширения содержит выбор между применением вторых улучшающих данных как абсолютных улучшающих данных или относительных улучшающих данных, и формирование N-канального декодированного сигнала в ответ на M-канальный многоканальный сигнал расширения и первые улучшающие данные.
Согласно другому аспекту изобретения, предусмотрен машиночитаемый программный продукт, работающий для того, чтобы инструктировать процессор выполнять этапы способа, описанные выше.
Согласно другому аспекту изобретения, предусмотрен многоканальный аудиорекордер, содержащий многоканальный аудиокодер, описанный выше.
Согласно другому аспекту изобретения, предусмотрен многоканальный аудиопроигрыватель (60), содержащий многоканальный аудиодекодер, описанный выше.
Эти и другие аспекты, признаки и преимущества изобретения должны стать очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.
Варианты осуществления изобретения описаны далее только в качестве примера со ссылкой на чертежи, из которых:
Фиг. 1 иллюстрирует блок-схему многоканального аудиокодера согласно некоторым вариантам осуществления изобретения;
Фиг. 2 иллюстрирует блок-схему многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения;
Фиг. 3 иллюстрирует блок-схему системы передачи согласно некоторым вариантам осуществления изобретения;
Фиг. 4 иллюстрирует блок-схему многоканального аудиопроигрывателя/рекордера согласно некоторым вариантам осуществления изобретения;
Фиг. 5 иллюстрирует блок-схему многоканального аудиокодера согласно некоторым вариантам осуществления изобретения;
Фиг. 6 иллюстрирует блок-схему генератора улучшающих данных согласно некоторым вариантам осуществления изобретения;
Фиг. 7 иллюстрирует блок-схему многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения;
Фиг. 8 иллюстрирует блок-схему элементов многоканального аудиодекодера;
Фиг. 9 иллюстрирует блок-схему элементов многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения;
Фиг. 10 иллюстрирует блок-схему элементов многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения; и
Фиг. 11 иллюстрирует блок-схему элементов многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения.
Последующее описание посвящено вариантам осуществления изобретения, применимым к кодеру 5.1-к-2 и/или декодеру 2-к-5.1. Тем не менее, следует принимать во внимание, что изобретение не ограничено этим вариантом применения.
Фиг. 1 иллюстрирует блок-схему многоканального аудиокодера 10 согласно некоторым вариантам осуществления изобретения. Этот многоканальный аудиокодер 10 выполнен с возможностью кодирования N аудиосигналов 101 в M аудиосигналов 102 и ассоциативно связанных параметрических данных 104, 105. При этом M и N являются целыми числами, причем N>M и M≥1. Примером многоканального аудиокодера 10 является кодер 5.1-к-2, в котором N равно 6, т.е. 5+1 каналов, а M равно 2. Этот многоканальный аудиокодер кодирует 5.1-канальный входной аудиосигнал в 2-канальный выходной аудиосигнал, к примеру выходной стереоаудиосигнал, и ассоциативно связанные параметры. Другими примерами многоканального аудиокодера 10 являются кодеры 5.1-к-1, 6.1-к-2, 6.1-к-1, 7.1-к-2 и 7.1-к-1. Также допустимы кодеры, имеющие другие значения для N и M, пока N больше M и пока M больше или равно 1.
Кодер 10 содержит первый блок 110 кодирования и соединенный с ним второй блок 120 кодирования. Первый блок 110 кодирования принимает N входных аудиосигналов 101 и кодирует N аудиосигналов 101 на M аудиосигналов 102 и первые ассоциативно связанные параметрические данные 104. M аудиосигналов 102 и первые ассоциативно связанные параметрические данные 104 представляют N аудиосигналов 101. Кодирование N аудиосигналов 101 на M аудиосигналов 102, выполняемое первым блоком 110, также может упоминаться как понижающее микширование, а M аудиосигналов 102 также могут упоминаться как пространственное понижающее микширование 102. Блоком 110 может быть традиционный параметрический многоканальный аудиокодер, который кодирует многоканальный аудиосигнал 101 в аудиосигнал 102 моно- или стереофонического понижающего микширования и ассоциативно связанные параметры 104. Ассоциативно связанные параметры 104 позволяют декодеру восстанавливать многоканальный аудиосигнал 101 из аудиосигнала 102 моно- или стереофонического понижающего микширования. Следует отметить, что понижающее микширование 102 также может иметь более двух каналов.
Первый блок 110 предоставляет пространственное понижающее микширование 102 во второй блок 120. Второй блок 120 формирует из пространственного понижающего микширования 102 вторые улучшающие данные в форме вторых ассоциативно связанных параметрических данных 105. Вторые ассоциативно связанные параметрические данные 105 представляют пространственное понижающее микширование 102, т.е. эти параметры 105 содержат характеристики или свойства пространственного понижающего микширования 102, которые позволяют декодеру восстанавливать, по меньшей мере, часть пространственного понижающего микширования 102, к примеру, посредством синтезирования сигнала, аналогичного пространственному понижающему микшированию 102. Ассоциативно связанные параметрические данные содержат, по меньшей мере, первые и вторые ассоциативно связанные параметрические данные 104 и 105.
Вторые ассоциативно связанные параметрические данные 105 содержат модифицирующие параметры, обеспечивающие восстановление пространственного понижающего микширования 102 из K(=M) дополнительных аудиосигналов 103. Таким образом, декодер может выполнять даже лучшее восстановление пространственного понижающего микширования 102. Это восстановление может выполняться на основе альтернативного понижающего микширования 103, т.е. K дополнительных аудиосигналов 103, такого как художественное понижающее микширование. Декодер может применять модифицирующие параметры к сигналу 103 альтернативного понижающего микширования, с тем чтобы он был более похож на пространственное понижающее микширование 102.
Второй блок 120 может принимать на входах альтернативное понижающее микширование 103. Альтернативное понижающее микширование 103 может приниматься из источника, внешнего для кодера 10 (показанного на фиг. 1), или альтернативно альтернативное понижающее микширование 103 может формироваться в рамках кодера 10 (не показан), к примеру, из N аудиосигналов 101. Второй блок 120 может сравнивать, по меньшей мере, часть из пространственного понижающего микширования 102 с альтернативным понижающим микшированием 103 и формировать модифицирующие параметры 105, представляющие разность между пространственным понижающим микшированием 102 и альтернативным понижающим микшированием 103, к примеру, разность между свойством пространственного понижающего микширования 102 и свойством альтернативного понижающего микширования 103. В примере альтернативным понижающим микшированием 103 конкретно является художественное понижающее микширование, ассоциативно связанное с пространственным понижающим микшированием.
В этом примере второй блок 120 может дополнительно формировать модифицирующие параметры как абсолютные значения, которые непосредственно представляют пространственное понижающее микширование 102 без какой-либо ссылки на альтернативное понижающее микширование 103. Помимо этого, второй блок 120 содержит функциональность выбора между относительными и абсолютными модифицирующими параметрами для выходного сигнала декодера. В частности, этот выбор выполняется динамически и может осуществляться для отдельных блоков сигнала в зависимости от характеристик сигнала и/или параметрических данных.
Помимо этого, второй блок 120 может содержать функциональность для включения индикации того, какие модифицирующие параметры (абсолютные или относительные) использовались для различных секций кодированного сигнала. Например, для каждого блока сигналов может быть включен бит данных, чтобы указать то, относительные или абсолютные параметрические данные включены для этого блока сигналов.
Модифицирующие параметры 105 предпочтительно содержат (разность между) одно или более статистических свойств, таких как дисперсия, ковариантность и корреляция, либо отношение этих свойств, либо (разность между) для сигналов понижающего микширования. Следует отметить, что дисперсия сигнала эквивалентна энергии или мощности этого сигнала. Эти статистические свойства сигналов обеспечивают хорошее восстановление пространственного понижающего микширования.
Фиг. 2 иллюстрирует блок-схему многоканального аудиодекодера 20 согласно некоторым вариантам осуществления изобретения. Декодер 20 выполнен с возможностью декодирования K аудиосигналов 103 и ассоциативно связанных параметрических данных 104, 105 на N аудиосигналов 203. При этом K и N являются целыми числами, причем N>K и K≥1. K аудиосигналов 103, т.е. альтернативное понижающее микширование 103 и ассоциативно связанные параметрические данные 104, 105 представляют N аудиосигналов 203, т.е. многоканальный аудиосигнал 203. Примером многоканального аудиодекодера 20 является декодер 2-к-5.1, в котором N равно 6, т.е. 5+1 каналов, а K равно 2. Этот многоканальный аудиодекодер декодирует 2-канальный входной аудиосигнал, к примеру входной стереоаудиосигнал, и ассоциативно связанные параметры в 5.1-канальный выходной аудиосигнал. Другими примерами многоканального аудиодекодера 20 являются декодеры 1-к-5.1, 2-к-6.1, 1-к-6.1, 2-к-7.1 и 1-к-7.1. Также допустимы декодеры, имеющие другие значения для N и K, пока N больше K и пока K больше или равно 1.
Многоканальный аудиодекодер 20 содержит первый блок 210 и соединенный с ним второй блок 220. Первый блок 210 принимает альтернативное понижающее микширование 103 и улучшающие данные в форме модифицирующих параметров 105 и восстанавливает M дополнительных аудиосигналов 202, т.е. пространственное понижающее микширование 202 или его аппроксимацию, из альтернативного понижающего микширования 103 и модифицирующих параметров 105. При этом M является целым числом, причем M≥1. Модифицирующие параметры 105 представляют пространственное понижающее микширование 202. Первый блок 210, в частности, выполнен с возможностью определять то, являются модифицирующие параметры 105 абсолютными или относительными модифицирующими параметрами, и применять параметры соответствующим образом. В частности, первый блок 210 может определять, являются модифицирующие параметры 105 для отдельных блоков сигналов относительными или абсолютными параметрами, на основе явных данных в принимаемом битовом потоке. Например, один бит данных может быть включен для каждого блока сигналов, указывающий то, являются параметры абсолютными или относительными модифицирующими параметрами в этом блоке сигналов.
Второй блок 220 принимает пространственное понижающее микширование 202 из первого блока 210 и модифицирующие параметры 104. Второй блок 220 декодирует пространственное понижающее микширование 202 и модифицирующие параметры 104 на многоканальный аудиосигнал 203. Вторым блоком 220 может быть традиционный параметрический многоканальный аудиодекодер, который декодирует аудиосигнал 202 моно- или стереофонического понижающего микширования и ассоциативно связанные параметры 104 на многоканальный аудиосигнал 203.
Первый блок 210 может быть выполнен с возможностью определения того, необходимо или желательно восстанавливать сигнал 202 из входного сигнала 103. Это восстановление может быть неприменимо, когда сигнал 202 пространственного понижающего микширования предоставляется в первый блок 210 вместо альтернативного понижающего микширования 103. Первый блок 210 может определить это посредством формирования из входного сигнала 103 аналогичных или таких же свойств сигнала, как содержащиеся в модифицирующих параметрах 105, и посредством сравнения этих сформированных свойств сигнала с модифицирующими параметрами 105. Если это сравнение показывает, что сформированные свойства сигнала равны или практически равны модифицирующим параметрам 105, то входной сигнал 103 в достаточной степени похож на сигнал 202 пространственного понижающего микширования, и первый блок 210 может перенаправлять входной сигнал 103 во второй блок 220. Если сравнение показывает, что сформированные свойства сигнала не равны или практически равны модифицирующим параметрам 105, то входной сигнал 103 не похож в достаточной степени на сигнал 202 пространственного понижающего микширования, и первый блок 210 может восстанавливать/аппроксимировать сигнал 202 пространственного понижающего микширования из входного сигнала 103 и модифицирующих параметров 105.
Первый блок 210 может формировать из альтернативного понижающего микширования дополнительные модифицирующие параметры/свойства, представляющие альтернативное понижающее микширование 103. В этом случае первый блок 210 может восстанавливать пространственное понижающее микширование 202 из альтернативного понижающего микширования 103 и (разности между) модифицирующих параметров 105 и дополнительных модифицирующих параметров.
Модифицирующие параметры 105 и дополнительные модифицирующие параметры соответственно могут включать в себя статистические свойства пространственного понижающего микширования 202 и альтернативного понижающего микширования 103 соответственно. Эти статистические свойства, такие как дисперсия, корреляция и ковариантность и т.д., предоставляют хорошие представления сигналов, из которых они извлечены. Они полезны для восстановления пространственного понижающего микширования 202, к примеру, посредством преобразования альтернативного понижающего микширования таким образом, что его ассоциативно связанные свойства соответствуют свойствам, содержащимся в модифицирующих параметрах 105.
Фиг. 3 иллюстрирует блок-схему варианта осуществления системы 70 передачи согласно некоторым вариантам осуществления изобретения. Система 70 передачи содержит передающее устройство 40 для передачи кодированного многоканального аудиосигнала посредством канала 30 передачи, к примеру линии проводной или беспроводной связи, в приемное устройство 50. Передающее устройство 40 содержит многоканальный аудиокодер 10, описанный выше, для кодирования многоканального аудиосигнала 101 в пространственное понижающее микширование 102 и ассоциативно связанные параметры 104, 105. Передающее устройство 40 дополнительно содержит средство 41 передачи кодированного многоканального аудиосигнала, содержащего параметры 104, 105 и пространственное понижающее микширование 102 или альтернативное понижающее микширование 103, посредством канала 30 передачи в приемное устройство 50. Приемное устройство 50 содержит средство 51 приема кодированного многоканального аудиосигнала и многоканальный аудиодекодер 20, описанный выше, для декодирования альтернативного понижающего микширования 103 или пространственного понижающего микширования 102 и ассоциативно связанных параметров 104, 105 в многоканальный аудиосигнал 203.
Фиг. 4 иллюстрирует блок-схему варианта осуществления многоканального аудиопроигрывателя/рекордера 60 согласно некоторым вариантам осуществления изобретения. Аудиопроигрыватель/рекордер 60 содержит многоканальный аудиодекодер 20 и/или многоканальный аудиокодер 10 согласно некоторым вариантам осуществления изобретения. Аудиопроигрыватель/рекордер 60 может иметь собственное устройство хранения, например полупроводниковое запоминающее устройство или жесткий диск. Аудиопроигрыватель/рекордер 60 может также использовать съемное средство хранения, как (записываемые) DVD-диски или (записываемые) компакт-диски. Сохраненные кодированные многоканальные аудиосигналы, содержащие альтернативное понижающее микширование 103 и параметры 104, 105, могут быть декодированы посредством декодера 20 и проиграны или воспроизведены посредством аудиопроигрывателя/рекордера 60. Кодер 10 может кодировать многоканальные аудиосигналы для хранения в средстве хранения.
Фиг. 5 иллюстрирует блок-схему многоканального аудиокодера 10 согласно некоторым вариантам осуществления изобретения. Кодером по фиг. 5, в частности, может быть кодер 10 по фиг. 1. Кодер 10 содержит первый блок 110 и соединенный с ним второй блок 120. Первый блок 110 принимает 5.1-канальный многоканальный аудиосигнал 101, содержащий левый передний, левый задний, правый передний, правый задний, центральный аудиосигналы и аудиосигнал низкочастотного усиления lf, lr, rf, rr, co и lfe соответственно. Второй блок 120 принимает художественное стереофоническое понижающее микширование 103, содержащее левый художественный и правый художественный аудиосигналы la и ra соответственно. Многоканальный аудиосигнал 101 и художественное понижающее микширование 103 являются аудиосигналами временной области. В первом и втором блоке 110 и 120 эти сигналы 101 и 103 сегментируются и преобразуются в частотно-временную область.
В первом блоке 110 параметрические данные 104 извлекаются в три стадии. На первой стадии три пары аудиосигналов lf и rf, rf и rr и co и lfe соответственно сегментируются, и сегментированные сигналы преобразуются в частотную область в блоках 112, 113 и 114 сегментации и преобразования соответственно. Результирующие представления частотной области сегментированных сигналов показаны как сигналы частотной области Lf, Lr, Rf, Rr, Co и LFE соответственно. На второй стадии три пары этих сигналов частотной области Lf и Lr, Rf и Rr и Co и LFE соответственно низводятся в блоках 115, 116 и 117 понижающего микширования соответственно, чтобы сформировать моноаудиосигналы L, R и C соответственно и ассоциативно связанные параметры 141, 142 и 143 соответственно. Блоками 115, 116 и 117 понижающего микширования могут быть традиционные параметрические стереокодеры MPEG4. В завершение на третьей стадии три моноаудиосигнала L, R и C низводятся в блоке 118 понижающего микширования, чтобы получить пространственное стереофоническое понижающее микширование 102 и ассоциативно связанные параметры 144. Пространственное понижающее микширование 102 содержит сигналы Lo и Ro.
Параметрические данные 141, 142, 143 и 144 содержатся в первых улучшающих данных в форме первых ассоциативно связанных параметрических данных 104. Параметрические данные 104 и пространственное понижающее микширование 102 представляют входные сигналы 101 5.1.
Во втором блоке сигнал 103 художественного понижающего микширования, представленный во временной области посредством аудиосигналов la и ra соответственно, сначала сегментируется в блоке 121 сегментирования. Результирующий сегментированный аудиосигнал 127 содержит сигналы las и ras соответственно. Затем сегментированный аудиосигнал 127 преобразуется в частотную область посредством преобразователя 122.
Результирующий сигнал 126 частотной области содержит сигналы La и Ra. В завершение сигнал 126 частотной области, который является представлением частотной области сегментированного художественного понижающего микширования 103, и представление частотной области сегментированного пространственного понижающего микширования 102 предоставляются в генератор 123, который формирует дополнительные (вторые) улучшающие данные в форме модифицирующих параметров 105, которые позволяют декодеру модифицировать/преобразовывать художественное понижающее микширование 103 так, чтобы оно в большей степени было похожим на пространственное понижающее микширование 102.
В конкретном примере сегментированный сигнал 127 временной области также предоставляется в блок 124 выбора. Другими двумя входами в этот блок 124 выбора являются представление частотной области пространственного стереофонического понижающего микширования 102 и управляющий сигнал 128. Управляющий сигнал 128 определяет то, должен блок 124 выбора выводить художественное понижающее микширование 103 или пространственное понижающее микширование 102 в качестве части кодированного многоканального аудиосигнала. Пространственное понижающее микширование 102 может быть выбрано, когда художественное понижающее микширование недоступно. Управляющий сигнал 128 может быть задан вручную или может быть автоматически сформирован посредством изменения наличия художественного понижающего микширования 103. Управляющий сигнал 128 может быть включен в параметрический битовый поток, с тем чтобы соответствующий декодер 20 мог его использовать, как описано ниже. Таким образом, конкретный примерный кодер позволяет быть сформированным сигналу, который включает в себя пространственное понижающее микширование 102 или художественное понижающее микширование 103.
Выходной сигнал 102, 103 блока 124 выбора показан как сигналы lo и ro. Если художественное стереофоническое понижающее микширование 127 должно быть выведено посредством блока 124 выбора, сегментированные сигналы временной области las и ras объединяются в блоке 124 выбора посредством алгоритма перекрытия с суммированием в сигналы lo и ro. Если пространственное понижающее микширование 102 должно быть выведено, как указано посредством управляющего сигнала 128, блок 124 выбора преобразует сигналы Lo и Ro обратно во временную область и объединяет их посредством алгоритма перекрытия с суммированием в сигналы lo и ro. Сигналы временной области lo и ro формируют стереофоническое понижающее микширование кодера 10 5.1-к-2.
Далее представлено подробное описание генератора 123. Функция генератора 123 состоит в том, чтобы определять вторые улучшающие данные и, в частности, модифицирующие параметры, которые описывают преобразование художественного понижающего микширования 103, так чтобы он в некотором смысле походил на исходное пространственное понижающее микширование 102.
В общем, это преобразование может быть описано следующим образом:
где L a и R a - это векторы, содержащие выборки временно/частотной мозаики левого и правого канала художественного понижающего микширования 103, а L d и R d - это векторы, содержащие выборки временно/частотной мозаики левого и правого канала модифицированного художественного понижающего микширования, A 1,..., A N содержат выборки временно/частотной мозаики необязательных вспомогательных каналов, а T - это матрица преобразования. Отметим, что вектор V задается как вектор-столбец. Модифицированное художественное понижающее микширование - это художественное понижающее микширование 103, которое преобразовано посредством преобразования таким образом, чтобы оно походило на исходное пространственное понижающее микширование 102. Вспомогательные каналы A 1,..., A N - это в описываемой системе сигналы пространственного понижающего микширования или их низкочастотное содержимое.
Матрица преобразования (N+2)x2 T описывает преобразование из художественного понижающего микширования 103 и вспомогательных каналов в модифицированное художественное понижающее микширование. Матрица преобразования T или ее элементы предпочтительно содержатся в модифицирующих параметрах 105, с тем чтобы декодер 20 мог восстанавливать, по меньшей мере, часть матрицы преобразования T. Затем декодер 20 может применять матрицу преобразования T к художественному понижающему микшированию 103, чтобы восстановить пространственное понижающее микширование 102 (как описано ниже).
Альтернативно модифицирующие параметры 105 содержат свойства сигнала, к примеру значения энергии или мощности или значения корреляции, пространственного понижающего микширования 102. Декодер 20 затем может формировать эти свойства сигнала из художественного понижающего микширования 103. Свойства сигнала пространственного понижающего микширования 102 и художественного понижающего микширования 103 позволяют декодеру 20 составлять матрицу преобразования T (описанную ниже) и применять ее к художественному понижающему микшированию 103, чтобы восстанавливать пространственное понижающее микширование 102 (также описанное ниже).
В частности, генератор 123 выполнен с возможностью формировать относительные и абсолютные данные модификации и выбирать между этими данными для отдельных блоков (или сегментов) сигналов. Таким образом, модифицирующие параметры 105 кодированного сигнала содержат и абсолютные данные модификации и относительные данные модификации для различных блоков сигналов. В отличие от абсолютных данных модификации относительные данные модификации описывают пространственное понижающее микширование 102 относительно художественного понижающего микширования 103. В частности, относительные данные модификации могут быть дифференциальными данными, которые позволяют выборкам художественного понижающего микширования быть модифицированными так, чтобы соответствовать (в большей степени) выборкам пространственного понижающего микширования, тогда абсолютные данные понижающего микширования могут непосредственно соответствовать выборкам пространственного понижающего микширования без какой-либо ссылки или базирования на выборках художественного понижающего микширования.
Следует принимать во внимание, что существует несколько способов модификации художественного стереофонического понижающего микширования 103, чтобы иметь сходство с исходным стереофоническим понижающим микшированием 102, в том числе:
I. Совпадение форм сигналов.
II. Совпадение статистических свойств:
a) совпадение энергии или мощности левого и правого канала;
b) совпадение ковариационной матрицы левого и правого канала.
III. Получение наилучшего совпадения формы сигнала в рамках ограничения совпадения энергии или мощности левого и правого канала.
IV. Сочетание вышеозначенных способов I-III.
Для простоты вспомогательные каналы A 1,..., A N по (1) сначала не рассматриваются, так что матрица преобразования T может быть записана следующим образом:
и относительные улучшающие данные, например, могут быть сформированы следующим образом:
I. Совпадение форм сигналов (способ I)
Совпадение форм сигналов художественного понижающего микширования 103 и пространственного понижающего микширования 102 может быть получено посредством выражения левого и правого сигнала модифицированного художественного понижающего микширования как линейной комбинации левого и правого сигнала художественного стереофонического понижающего микширования 103:
Далее матрица T по (2) может быть записана следующим образом:
Способ, чтобы выбирать параметры α1, α2, β1 и β2, заключается в том, чтобы минимизировать квадрат евклидова расстояния между сигналами пространственного понижающего микширования Ls и Rs и их оценками (т.е. модифицированными сигналами художественного понижающего микширования L d и R d ), следовательно:
И
II. Совпадение статистических свойств (способ II)
Ниже описан способ II.a) совпадения энергии левого и правого сигнала. Модифицированный левый и правый сигнал художественного понижающего микширования, обозначенные как L d и R d соответственно, в таком случае вычисляются следующим образом:
где в случае реальных параметров α и β задаются посредством:
, 
,
так что матрица трансформации T может быть записана следующим образом:
При этих вариантах можно обеспечить то, что сигналы L d и R d соответственно имеют такую же энергию, как и сигналы L s и R s соответственно.
Способ II.b) Для совпадения ковариационных матриц художественного стереофонического понижающего микширования 103 и пространственного стереофонического понижающего микширования 102 эти матрицы могут быть разложены с помощью разложения по собственным значениям следующим образом:
C a =U a S a U a H,
где ковариационная матрица художественного стереофонического понижающего микширования 103, C a, задается посредством:
U a - это единичная матрица, а S a - это диагональная матрица, C 0 - это ковариационная матрица пространственного стереофонического понижающего микширования 102, U 0 - это единичная матрица, а S 0 - диагональная матрица. При вычислении:
получается два взаимно некоррелированных сигнала L aw и R aw (вследствие умножения с матрицей U a), причем эти сигналы имеют единичную энергию (вследствие умножения с матрицей S a -1/2). Посредством вычисления:
первая ковариационная матрица [ L a R a] преобразуется в ковариационную матрицу, которая равна единичной матрице, т.е. ковариационной матрице [ L a R a]U a S a -1/2. Применение любой произвольной единичной матрицы U r не изменяет ковариационную структуру, и применение S 0 1/2 U 0 H приводит к ковариационной структуре, равной структуре пространственного понижающего микширования 102.
Зададим матрицу S 0w и сигналы L 0w и R 0w следующим образом:
Матрица U r может быть выбрана таким образом, чтобы наилучшее совпадение формы сигнала в отношении минимального евклидова расстояния в квадрате получалось между сигналами L 0w и L aw и сигналами R 0w и R aw, где L aw и R aw задаются посредством (11). При этом варианте U r совпадение формы сигнала в рамках статистического способа может быть использовано.
Из (12) можно видеть, что матрица преобразования T задается следующим образом:
III. Наилучшее совпадение формы сигнала в рамках ограничения по энергии (способ III)
При условии (3) параметры α1, α2, β1 и β2 могут быть получены посредством минимизации (4) и (5) в рамках ограничений по энергии:
, 
IV. Способ сочетания (способ IV)
В отношении сочетания различных способов возможные комбинации включают в себя сочетание способов II.a) и II.b) или сочетание способов II.a) и III. Это можно осуществлять следующим образом:
a) Если совпадение формы сигнала между L s и L d и между R s и R d, которое получено при использовании способа II.b)/III, хорошее, использовать способ II.b)/III.
b) Если совпадение формы сигнала плохое, использовать способ II.a).
c) Обеспечить постепенный переход между двумя способами посредством соединения их матриц преобразования как функцию от качества этого совпадения формы сигнала.
Это может быть выражено математически следующим образом.
С помощью (3) и (2) матрица преобразования T может быть записана в своей общей форме следующим образом:
Эта матрица перезаписывается с помощью двух векторов, T L и T R, следующим образом:
Качество совпадения формы сигнала между L s и L d, получаемое посредством использования способа II.b) или способа III, выражается посредством γL. Она задается следующим образом:
Качество совпадения формы сигнала между R s и R d, получаемое посредством использования способа II.b) или способа III, выражается посредством γR. Она задается следующим образом:
И γL, и γR имеют значения от 0 до 1. Коэффициент смешивания левого канала δL и коэффициент смешивания правого канала δR могут быть заданы следующим образом:
где μL,min, μL,max, μR,min и μR,max - это значения от 0 до 1, и μL,min<μL,max μR,min,<μR,max. Уравнение (20) обеспечивает то, что коэффициенты смешивания δL и δR имеют значения от 0 до 1.
Задаем матрицу преобразования T способа II.a), II.b) и III соответственно, как T e , которая задается посредством (8), T a , которая задается посредством (14), и T ce соответственно. Каждая матрица преобразования может быть разделена на два сектора аналогично разделению T в (17) следующим образом:
Матрица преобразования T для объединения способа II.a) и способа II.b) получается следующим образом:
Матрица преобразования T для объединения способа II.a) и способа III получается следующим образом:
Теперь с учетом двух вспомогательных каналов, соответствующих двум каналам улучшающего уровня, уравнение (1) выше может быть перезаписано следующим образом:
где L a, R a (как и ранее) содержат выборки временно/частотной мозаики левого и правого канала художественного понижающего микширования, соответственно L d, R d содержат выборки временно/частотной мозаики левого и правого канала модифицированного художественного понижающего микширования соответственно, а L enh, R enh содержат выборки временно/частотной мозаики сигналов улучшающего уровня. Матрица преобразования 4x2 T', таким образом, описывает преобразование из художественного понижающего микширования и сигналов улучшающего уровня в модифицированное художественное понижающее микширование. В отношении уравнения (1) единственными двумя используемыми вспомогательными каналами являются сигналы улучшающего уровня L enh, R enh.
В конкретной примерной системе второй улучшающий уровень может содержать два различных уровня данных.
Первый тип данных содержит параметры, содержащиеся в матрице T уравнения (1). Эти параметры в данном примере вычисляются для полной полосы пропускания сигналов и преобразуют художественное стереофоническое понижающее микширование так, что оно в некотором смысле походит на пространственное понижающее микширование. Таким образом, этот тип параметров может предоставлять модифицированное художественное понижающее микширование, которое в большей степени напоминает исходное пространственное понижающее микширование, но не (обязательно) позволяет декодеру точно формировать пространственное понижающее микширование. Для каждой временно/частотной мозаики требуется только четыре параметра, а именно требуются значения T (T11, T12, T21 и T22). Эти параметры могут быть кодированы либо абсолютно либо дифференциально, и кодер 10 может, в частности, динамически переключаться между абсолютным и дифференциальным кодированием.
Второй тип данных соответствует фактическому пространственному понижающему микшированию и является конкретным примером представления версии с ограниченной полосой пропускания пространственного понижающего микширования. В частности, этот тип данных представляет низкочастотную часть пространственного понижающего микширования (к примеру, частоты ниже, скажем, 1,7 кГц). Это дает возможность очень точно восстанавливать эту часть пространственного понижающего микширования в декодере вместо просто формирования сигнала, который имеет такие же, к примеру, статистические свойства (как в случае с матрицей T). Этот тип данных может кодироваться абсолютно или относительно к художественному понижающему микшированию. В частности, этот тип данных может дифференциально кодироваться. Например, матрица преобразования T применяется к художественному понижающему микшированию (см., к примеру, уравнение (26)), и разность этого сигнала и пространственного понижающего микширования может быть кодирована.
Таким образом, в некоторых вариантах осуществления вторые улучшающие данные делятся на первую и вторую часть улучшающих данных, при этом первая часть описывает пространственное понижающее микширование менее точно, чем вторая часть. Типично соответствующая скорость передачи данных первой части вторых улучшающих данных ниже скорости второй части. Улучшающие данные второй части вторых улучшающих данных могут относиться только к части понижающего микширования и, в частности, могут относиться к низкочастотной части.
В некоторых вариантах осуществления генератор 123 может быть выполнен с возможностью выбирать между абсолютными и относительными данными для первой части и второй части вторых улучшающих данных отдельно или вместе. В других вариантах осуществления генератор 123 может выбирать только между абсолютными и относительными данными для одной из частей данных. В частности, в следующих вариантах осуществления описывается то, когда первая часть вторых улучшающих данных содержит параметры T, тогда как вторая часть содержит низкочастотное представление пространственного понижающего микширования, и динамический выбор между абсолютными и относительными данными применяется только ко второй части вторых улучшающих данных.
Относительные данные для второй части вторых улучшающих данных могут в этих вариантах осуществления, к примеру, быть сформированы как дифференциальные значения относительно художественного понижающего микширования после того, как улучшающие данные первой части применены (т.е. как дифференциальные значения относительно модифицированного художественного понижающего микширования).
Далее описываются варианты осуществления, в которых генератор 123 выбирает только между относительными и абсолютными данными для второй части вторых улучшающих данных.
Абсолютные улучшающие данные для части первой и второй части вторых улучшающих данных в этом примере могут быть извлечены для ассоциативно связанных временно/частотных мозаик посредством задания:
L enh= L s,
,
где L s, R s содержат выборки временно/частотной мозаики левого и правого канала пространственного стереофонического понижающего микширования соответственно. Таким образом, в конкретном примере абсолютные улучшающие данные просто соответствуют фактическим выборкам временно/частотных мозаик пространственного понижающего микширования 102, которые могут заменять соответствующие выборки временно/частотных мозаик художественного понижающего микширования 103.
Более того, для части первой и второй части вторых улучшающих данных относительные улучшающие данные для ассоциативно связанных временно/частотных мозаик могут быть, в частности, извлечены как дифференциальные данные посредством задания:
L enh= L s-T 11 L a-T 21 R a,
.
При этом параметры T11, T12, T21 и T22 составляют матрицу T по уравнению (2):
Таким образом, генератор 123 может формировать абсолютные улучшающие данные и относительные улучшающие данные для художественного понижающего микширования 103, позволяющие декодеру формировать модифицированное художественное понижающее микширование, которое в большей степени схоже с пространственным понижающим микшированием 102, используемым для формирования многоканальных улучшающих данных.
Генератор 123 дополнительно выполнен с возможностью выбирать между абсолютными и относительными улучшающими данными. Этот выбор в конкретном примере выполняется для отдельных блоков сигналов (к примеру, отдельных сегментов) и основан на характеристиках сигналов в рамках этих блоков сигналов. В частности, генератор 123 может оценивать характеристики абсолютных улучшающих данных и относительных улучшающих данных для данного блока сигналов и может принимать решение о том, какие данные следует включить в улучшающий уровень для данного блока сигналов. Помимо этого, генератор 123 может включать в себя указание того, какие данные выбраны, тем самым позволяя декодеру корректно применять принимаемые улучшающие данные.
В некоторых вариантах осуществления генератор 123 может оценивать декодирование, чтобы определять то, могут абсолютные улучшающие данные или относительные улучшающие данные быть наиболее эффективно кодированы (к примеру, с наименьшим числом битов для данной точности). Лобовой подход может быть использован для того, чтобы фактически кодировать оба типа улучшающих данных и сравнивать размер кодированных данных. Тем не менее, это может быть сложным подходом в некоторых вариантах осуществления, и в примерном кодере 10 генератор 123 оценивает энергию сигналов абсолютных улучшающих данных относительно энергии сигналов относительных улучшающих данных и выбирает, какой тип данных включить на основе сравнения между ними.
В частности, для аудиокодеров часто бывает полезным, в отношении скорости передачи данных кодировать сигнал с минимально малой энергией. Соответственно генератор 123 выбирает тип улучшающих данных, которые имеют наименьшую энергию сигнала. В частности, относительные улучшающие данные выбираются, когда:
и в противном случае выбираются абсолютные улучшающие данные.
Проблемы с переключением между различными улучшающими данными заключаются в том, что могут возникать определенные заметные помехи. В примерном кодере 10 генератор 123 также содержит функциональность для постепенного переключения между различными улучшающими данными. Таким образом, вместо непосредственного переключения от одного типа улучшающих данных в одном блоке сигналов к другому типу в следующем блоке сигналов переключение выполняется постепенно от одного набора данных к другому.
Таким образом, в течение интервала времени (который может иметь продолжительность менее или более одного блока сигналов) генератор 123 формирует улучшающие данные как комбинацию абсолютных улучшающих данных и относительных улучшающих данных. Комбинация может достигаться, например, посредством интерполяции между различными типами данных или может использовать методику перекрытия с суммированием.
В качестве конкретного примера вместо внезапного переключения между различными типами улучшающих данных:
L enh= L s-T 11 L a-T 21 R a, R enh= R s-T 12 L a-T 22 R a или L enh= L s, R enh= R s
улучшающие данные, которые передаются, могут быть сформированы следующим образом:
где значение α для k-го кадра данных может быть определено следующим образом:
где αk обозначает значение α в k-том кадре, а δ - это скорость адаптации. Значение δ=0,33 позволяет предоставлять достоверно свободное от помех кодирование во многих сценариях. Сигналы L enh и R enh, представленные в уравнении (29), могут быть получены с помощью интерполяции параметров или методики перекрытия с суммированием и кодированы и добавлены в битовый поток. Помимо этого, решение касательно дифференциальных или абсолютных улучшающих данных включается в битовый поток, тем самым давая возможность декодеру извлекать то же значение α, что и используемое в кодере.
Следует принимать во внимание, что хотя описание ориентировано на использование дифференциальных и абсолютных режимов с (внутриканальным) кодированием каждого из этих M-каналов по отдельности, другие варианты осуществления могут использовать другой подход к кодированию. Например, для M=2 следующим шагом может быть то, чтобы применить, к примеру, M/S-кодирование (кодирование с выделением центрального и разностного кодирования, а именно кодирование суммирующего и разностного сигнала) при выполнении (внутриканального) кодирования стереосигнала. Во многих вариантах осуществления это может быть преимущественным как в дифференциальном, так и в абсолютном режиме (внутриканального) кодирования отдельных каналов.
Элементы матрицы преобразования T' могут быть действительными или комплексными. Эти элементы могут кодироваться на модифицирующие параметры следующим образом: элементы матрицы преобразования T, которые являются действительными и положительными, могут квантоваться логарифмически, аналогично HD-параметрам, используемым в параметрическом стерео MPEG4. Можно задавать верхний предел для значений параметров, чтобы не допустить избыточного усиления слабых сигналов. Этот верхний предел может быть либо фиксированным либо функцией от корреляции между автоматически сформированным левым каналом и художественным левым каналом и корреляции между автоматически сформированным правым каналом и художественным правым каналом. Из элементов T', которые являются комплексными, амплитуда может быть квантована с помощью HD-параметров, а фаза может быть квантована линейно. Элементы T', которые являются действительными и, возможно, отрицательными, могут быть кодированы посредством взятия логарифма абсолютного значения элемента, при этом предоставляя различение отрицательных и положительных значений.
Фиг. 6 подробнее иллюстрирует пример генератора 123 по фиг. 5. В примере генератор 123 содержит процессор 145 блоков сигналов, который принимает пространственные и художественные понижающего микширования 102, 126 частотной области и разделяет сигналы на блоки сигналов. Каждый блок сигналов соответствует интервалу времени заранее определенной длительности. В некоторых вариантах осуществления блоки сигналов альтернативно или дополнительно могут быть разделены в частотной области и, к примеру, подканалы преобразования могут быть сгруппированы в различных блоках сигналов.
Процессор 145 блоков сигналов соединен с процессором 146 абсолютных улучшающих данных, который формирует абсолютные улучшающие данные для отдельных блоков сигналов, как описано выше. Помимо этого, процессор 145 блоков сигналов соединен с процессором 147 относительных улучшающих данных, который формирует относительные улучшающие данные для отдельных блоков сигналов, как описано выше. Относительные и абсолютные улучшающие данные определяются на основе характеристик сигналов в рамках блока сигналов и, в частности, улучшающие данные для данной группы временно/частотных мозаик могут быть определены только на основе этой группы временно/частотных мозаик.
Процессор 146 абсолютных улучшающих данных соединен с процессором 148 первой энергии сигналов, который определяет энергию сигналов абсолютных улучшающих данных в каждом блоке сигналов, как описано выше. Аналогично процессор 147 относительных улучшающих данных соединен со вторым процессором 149 энергии сигналов, который определяет энергию сигналов относительных улучшающих данных в каждом блоке сигналов, как описано выше.
Первый и второй процессоры 148, 149 энергии сигналов соединены с процессором 150 выбора, который выбирает для каждого блока сигналов абсолютные или относительные улучшающие данные в зависимости от того, какой тип имеет наименьшую энергию сигналов.
Процессор 150 выбора предоставляется в процессор 151 улучшающих данных, который дополнительно соединен с процессором 146 улучшающих данных и процессором 147 относительных улучшающих данных. Процессор 151 выбора принимает управляющий сигнал, указывающий то, какой тип улучшающих данных выбран, и в соответствии с этим он формирует улучшающие данные в качестве выбранных улучшающих данных. Более того, процессор 151 выбора выполнен с возможностью осуществлять постепенное переключение, в том числе интерполяцию, между абсолютными и относительными параметрами в ходе интервала времени переключения.
Процессор 151 выбора соединен с процессором 152 кодирования, который кодирует улучшающие данные в соответствии с заданным протоколом. Помимо этого, процессор 152 кодирования кодирует данные, указывающие то, какой тип данных выбран в каждом блоке сигналов, например, посредством задания бита для каждого блока сигналов, чтобы указать тип данных. Кодированные данные из процессора 152 кодирования включаются в кодированный битовый поток, формируемый кодером 10.
Фиг. 7 иллюстрирует блок-схему другого варианта осуществления многоканального аудиодекодера согласно некоторым вариантам осуществления изобретения, которым, в частности, может быть аудиодекодер 20 по фиг. 2.
Декодер 20 содержит первый блок 210 и соединенный с ним второй блок 220. Первый блок 210 принимает сигналы понижающего микширования lo и ro и модифицирующие параметры 105 в качестве входов. Входы могут приниматься, например, как один битовый поток из кодера 10 по фиг. 1 или 5. Сигналы понижающего микширования lo и ro могут быть частью пространственного понижающего микширования 102 или художественного понижающего микширования 103.
Первый блок 210 содержит блок 211 сегментации и преобразования и блок 212 модификации понижающего микширования. Сигналы понижающего микширования lo и ro соответственно сегментируются и сегментированные сигналы преобразуются в частотную область в блоке 211 сегментации и преобразования. Результирующие преобразования частотной области сигналов понижающего микширования показаны как сигналы частотной области Lo и Ro соответственно. Затем сигналы частотной области Lo и Ro обрабатываются в блоке 212 модификации понижающего микширования. Функция блока 212 модификации понижающего микширования заключается в том, чтобы модифицировать входное понижающее микширование таким образом, чтобы оно напоминало пространственное понижающее микширование 202, т.е. восстанавливать пространственное понижающее микширование 202 из художественного понижающего микширования 103 и модифицирующих параметров 105.
Если пространственное понижающее микширование 102 принимается посредством декодера 20, блок 212 модификации понижающего микширования не должен модифицировать сигналы понижающего микширования Lo и Ro, и эти сигналы понижающего микширования Lo и Ro просто могут передаваться во второй блок 220 в качестве сигналов понижающего микширования Ld и Rd пространственного понижающего микширования 202. Управляющий сигнал 217 может указывать то, есть ли необходимость в модификации входного понижающего микширования, т.е. является входное понижающее микширование пространственным понижающим микшированием или альтернативным понижающим микшированием. Управляющий сигнал 217 может быть сформирован внутренне в декодере 20, к примеру, посредством анализа входного понижающего микширования и ассоциативно связанных параметров 105, которые могут описывать свойства сигналов требуемого пространственного понижающего микширования. Если входное понижающее микширование совпадает с требуемыми свойствами сигнала, управляющий сигнал 217 может быть установлен так, чтобы указывать то, что нет необходимости в модификации. Альтернативно управляющий сигнал 217 может быть установлен вручную или его значение может приниматься как часть кодированного многоканального аудиосигнала, к примеру, в наборе 105 параметров.
Если кодер 20 принимает художественное понижающее микширование 103, и управляющий сигнал 217 указывает то, что принимаемые сигналы понижающего микширования Lo и Ro должны быть модифицированы посредством блока 212 модификации понижающего микширования, декодер может работать двумя способами в зависимости от представления принимаемых модифицирующих параметров. Если параметры представляют относительное преобразование от художественного понижающего микширования к пространственному понижающему микшированию (т.е. если параметры являются относительными улучшающими данными), переменные преобразования получаются напрямую посредством применения модифицирующих параметров к художественному понижающему микшированию обратно операции, выполняемой в кодере. В различных вариантах осуществления это может быть применено, например, ко второй части вторых улучшающих данных.
С другой стороны, если передаваемые параметры представляют абсолютные свойства пространственного понижающего микширования, декодер может непосредственно заменять выборки художественного понижающего микширования посредством выборок пространственного понижающего микширования. Например, если вторая часть вторых улучшающих данных состоит просто в выборках временно/частотных мозаик пространственного понижающего микширования, декодер может непосредственно заменять соответствующие выборки временно/частотных мозаик художественного понижающего микширования на них. Следует принимать во внимание, что декодер также может сначала вычислить соответствующие свойства фактически передаваемого художественного понижающего микширования. С помощью этой информации (переданных параметров и вычисленных свойств переданного художественного понижающего микширования) затем определяются переменные преобразования, которые описывают преобразование от (свойств) переданного художественного понижающего микширования к (свойствам) пространственному понижающему микшированию. Более конкретно матрица преобразования T может быть определена либо с помощью способа II.a), либо (немного модифицированного) II.b), которые описаны выше.
Способ II.a) может быть использован, если абсолютная энергия передается в первой части вторых улучшающих данных. Переданные (абсолютные) параметры E Ls и E Rs представляют энергию левого и правого сигнала пространственного понижающего микширования соответственно и задаются следующим образом:
, 
Энергия передаваемого понижающего микширования E DLs и E Drs вычисляется в декодере. С помощью этих переменных можно вычислить параметры α и β по (7) следующим образом:
Матрица преобразования T задается следующим образом:
В частности, блок 212 модификации понижающего микширования содержит функциональность для извлечения художественного понижающего микширования и модифицирующих параметров 105 из принимаемого битового потока. Художественное понижающее микширование делится на блоки сигналов (соответствующие блокам сигналов, используемых посредством декодера). Для каждого блока сигналов блок 212 модификации понижающего микширования оценивает индикацию принимаемых данных битового потока, чтобы определить, относительные или абсолютные улучшающие данные предоставляются для первой и второй части этого блока сигналов. Блок 212 модификации понижающего микширования затем применяет первую и вторую часть вторых улучшающих данных как абсолютные улучшающие данные или относительные улучшающие данные в ответ на данные индикации.
Обнаружилось, что низкая сложность, но высокая производительность может быть достигнута, когда элементы матрицы преобразования T12 и T21 задаются равными нулю. Далее некоторые конкретные реализации блока 212 модификации понижающего микширования описаны с этим ограничением. Тем не менее, следует принимать во внимание, что реализации легко могут быть расширены до случая, когда T12 и/или T21 отличны от нуля.
В случае, когда улучшающие данные второй части вторых улучшающих данных не передаются для сигнала художественного понижающего микширования, первый блок 210 может быть реализован так, как показано на фиг. 8. Каналы стереофонического понижающего микширования временной области lo и ro сначала сегментируются и преобразуются в частотную область посредством QMF-преобразования, приводя к тому, что сигналы La и Ra представляют временно/частотную мозаику художественного стереофонического понижающего микширования. Далее эти сигналы преобразуются с помощью матрицы преобразования T, приводя к сигналам T11La и T22Ra.
Следует принимать во внимание, что улучшающие данные могут быть сформированы и применены во временной и/или частотной области. Таким образом, можно включить кодированные улучшающие данные временной области (Lenh, Renh) в битовый поток. Тем не менее, в некоторых вариантах применения может быть полезно включить кодированные улучшающие данные частотной области вместо улучшающих данных временной области. Например, во многих кодерах улучшающие данные формируются в частотной области для временно/частотных мозаик, и чтобы сформировать сигнал временной области, преобразование из частотной во временную область необходимо в кодере. Более того, чтобы применять эти улучшающие данные, декодер преобразует данные из временной области в частотную область. Тем самым преобразования временных областей могут быть уменьшены посредством включения улучшающих данных в частотную область.
В некоторых вариантах осуществления различные временно-частотные преобразования могут быть использованы для художественного понижающего микширования и улучшающих данных. Например, кодирование художественного понижающего микширования может использовать QMF-преобразование, тогда как улучшающие данные используют MDCT-преобразование. В этом случае улучшающие данные могут быть включены в (MDCT) частотную область, и преобразование непосредственно между двумя частотными областями может выполняться посредством блока 212 модификации понижающего микширования, как проиллюстрировано на фиг. 9.
В примере матрицей преобразования T* может быть просто матрица преобразования T по уравнению (2). Тем не менее, чтобы уменьшить помехи переключения, T* может соответствовать матрице преобразования T по уравнению (2), но модифицированной для постепенного переключения. В частности, матрица T* может включать в себя коэффициент α, определенный посредством уравнения (30), где решение касательно абсолютных или относительных улучшающих данных извлекается из битового потока. Эта схема используется для тех блоков сигналов/частотных диапазонов, где данные улучшающего уровня второй части вторых улучшающих данных имеются, в противном случае может быть использован подход по фиг. 8.
Если улучшающие данные (Lenh, Renh) предоставляются во временной области, подход, аналогичный подходу по фиг. 9, может быть использован, как проиллюстрировано на фиг. 10. Тем не менее, в этом случае частотно-частотное преобразование заменяется временно-частотным преобразованием, которым особенно может быть преобразование из временной в QMF-область, когда QMF-преобразования используются для кодирования художественного понижающего микширования. Таким образом, в этом примере улучшающие данные применяются в частотной области.
Во многих вариантах осуществления может быть использована реализация декодера для улучшающих данных временной области, которые используют только одно преобразование из временной в частотную область в первом блоке 210.
В частности, могут быть использованы следующие параметры дифференциальных улучшающих данных:
при условии, что матрица T, заданная посредством уравнения (27), является несингулярной (следовательно, существует ее инверсия). Теперь уравнение (1) может быть изменено на следующее:
Фиг. 11 иллюстрирует эффективную реализацию блока 212 модификации понижающего микширования для улучшающих данных временной области на основе уравнений (34) и (35). Для простоты T12 и T21 матрицы T задаются равными нулю. В сравнении с реализацией по фиг. 10 только одно преобразование из временной в QMF-область требуется посредством реализации по фиг. 11.
Таким образом, как описано выше, блок 212 модификации понижающего микширования формирует сигнал 202, который в значительной степени походит на пространственное понижающее микширование, используемое для многоканальных улучшающих данных. Это может быть эффективно использовано вторым блоком 220, чтобы расширить двухканальный аудиосигнал до полного многоканального сигнала объемного звучания. Более того, посредством динамического и гибкого выбора наиболее подходящего типа улучшающих данных (относительных или абсолютных) для каждого блока сигналов значительно более эффективное кодирование достигается, и достигается многоканальное кодирование/декодирование с улучшенным отношением "качество к скорости передачи данных".
Вторым блоком 220 может быть традиционный многоканальный кодер 2-к-5.1, который декодирует восстановленное пространственное понижающее микширование 202 и ассоциативно связанные параметрические данные 104 в 5.1-канальный выходной сигнал 203. Как описано выше, параметрические данные 104 содержат параметрические данные 141, 142, 143 и 144. Второй блок 220 выполняет обратную обработку относительно первого блока 110 в кодере 10. Второй блок 220 содержит блок 221 повышающего сведения, который преобразует стереофоническое понижающее микширование 202 и ассоциативно связанные параметры 144 в три моноаудиосигнала L, R и C. Далее каждый из моноаудиосигналов L, R и C соответственно декоррелируются в декорреляторах 222, 225 и 228 соответственно. Следовательно, матрица смешивания 223 преобразует моноаудиосигнал L, его декоррелированный эквивалент и ассоциативно связанные параметры 141 в сигналы Lf и Lr. Аналогично матрица 226 смешивания преобразует моноаудиосигнал R, его декоррелированный эквивалент и ассоциативно связанные параметры 142 в сигналы Rf и Rr, а матрица 229 смешивания преобразует моноаудиосигнал C, его декоррелированный эквивалент и ассоциативно связанные параметры 143 в сигналы Co и LFE. Наконец, три пары сегментированных сигналов частотной области Lf и Lr, Rf и Rf, Co и LFE соответственно преобразуются во временную область и комбинируются посредством алгоритма перекрытия с суммированием в обратных преобразователях 224, 227 и 230 соответственно, чтобы получить три пары выходных сигналов lf и lr, rf и rr и co и lfe соответственно. Выходные сигналы lf, lr, rf, rr, co и lfe формируют декодированный многоканальный аудиосигнал 203.
Многоканальный аудиокодер 10 и многоканальный аудиодекодер 20 может быть реализован посредством цифровых аппаратных средств или посредством программного обеспечения, которое приводится в исполнение посредством процессора цифровых сигналов или микропроцессора общего назначения.
Следует принимать во внимание, что вышеприведенное описание для понятности имеет описанные варианты осуществления со ссылкой на различные функциональные блоки и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными блоками или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная так, чтобы быть выполненной посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные блоки должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру, или организацию.
Изобретение может быть реализовано в любой надлежащей форме, включая аппаратные средства, программное обеспечение, микропрограммное обеспечение или любое их сочетание. Необязательно изобретение может быть реализовано, по меньшей мере, частично как компьютерное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически функциональность может быть реализована в одном блоке, множестве блоков или как часть других функциональных блоков. По существу, изобретение может быть реализовано в одном блоке или может быть физически и функционально распределено между различными блоками и процессорами.
Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не предназначено для того, чтобы быть ограниченным конкретной изложенной в данном документе формой. Вместо этого область применения настоящего изобретения ограничена прилагаемой формулой изобретения. Дополнительно, хотя признак, как предполагается, описан в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретение термин "содержит" не исключает наличия других элементов или этапов.
Более того, хотя перечислены по отдельности, множество средств, элементов или этапов способа может быть реализовано посредством, к примеру, одного блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть с пользой объединены, и их включение в различные пункты формулы изобретения не подразумевает, что сочетание признаков не является выполнимым и/или полезным. Так же включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориями по мере необходимости. Более того, порядок признаков в формуле изобретения не налагает какой-либо конкретный порядок, в котором признаки должны осуществляться, и, в частности, порядок отдельных этапов в пункте способа не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого этапы могут выполняться в любом надлежащем порядке. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность. Номера ссылок в формуле изобретения предоставлены просто в качестве поясняющего примера, и они не должны истолковываться как ограничивающие область применения формулы изобретения каким-либо образом.
Изобретение относится к кодированию и декодированию аудио для многоканальных сигналов. Техническим результатом является улучшение производительности, качества и/или отношения «качество к скорости передачи данных». Указанный технический результат достигается тем, что многоканальный аудиокодер (10) кодирует N-канальный аудиосигнал. Средство формирования (110) формирует первый кодированный М-канальный сигнал, например пространственное стереофоническое понижающее микширование, для N-канального сигнала (N>M). Блоки (115, 116, 117) формируют ассоциативно связанные параметрические данные для первого М-канального сигнала относительно N-канального аудиосигнала. Второй М-канальный сигнал, такой как художественное стереосведение, формируется для N-канального сигнала. Затем генератор (123) формирует модифицирующие параметры для второго М-канального сигнала относительно первого М-канального сигнала. Блок (120) формирует кодированный выходной сигнал, содержащий второй М-канальный сигнал, ассоциативно связанные параметрические данные и модифицирующие параметры. Генератор (123) может динамически выбирать между формированием модифицирующих параметров как в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных относительно второго М-канального сигнала. Декодер (20) может выполнять обратную операцию и может применять модифицирующие параметры как абсолютные или относительные модифицирующие параметры в зависимости от индикации в принятом битовом потоке. 18 н. и 15 з.п. ф-лы, 11 ил.
1. Многоканальный аудиокодер (10) для кодирования N-канального аудиосигнала, причем многоканальный аудиокодер (10) содержит:
средство формирования (110) первого М-канального сигнала для N-канального аудиосигнала, при этом М меньше N;
средство формирования (115, 116, 117, 118) ассоциативно связанных параметрических данных для первого М-канального сигнала относительно N-канального аудиосигнала;
средство формирования (121) второго М-канального сигнала для N-канального аудиосигнала;
генератор (123) модифицирующих параметров для формирования модифицирующих параметров для второго М-канального сигнала относительно первого М-канального сигнала;
средство формирования (120) кодированного выходного сигнала, содержащего второй М-канальный сигнал, ассоциативно связанные параметрические данные и модифицирующие параметры; и
при этом генератор (123) модифицирующих параметров выполнен с возможностью динамически выбирать между формированием модифицирующих параметров в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных относительно второго М-канального сигнала.
2. Многоканальный аудиокодер (10) по п.1, в котором генератор (123) модифицирующих параметров выполнен с возможностью выбирать между абсолютными модифицирующими данными и относительными модифицирующими данными в ответ на относительную характеристику абсолютных модифицирующих данных и относительных модифицирующих данных.
3. Многоканальный аудиокодер (10) по п.2, в котором относительная характеристика представляет собой энергию сигнала абсолютных модифицирующих данных относительно энергии сигнала относительных модифицирующих данных.
4. Многоканальный аудиокодер (10) по п.1, в котором генератор (123) модифицирующих параметров выполнен с возможностью разделять второй М-канальный сигнал на блоки сигналов и отдельно выбирать между абсолютными модифицирующими данными и относительными модифицирующими данными для каждого блока сигналов.
5. Многоканальный аудиокодер (10) по п.4, в котором генератор (123) модифицирующих параметров выполнен с возможностью выбирать между абсолютными модифицирующими данными и относительными модифицирующими данными для блока сигналов только на основе характеристик, ассоциативно связанных с блоком сигналов.
6. Многоканальный аудиокодер (10) по п.1, в котором генератор (123) модифицирующих параметров выполнен с возможностью формирования модифицирующих параметров в качестве комбинации абсолютных модифицирующих данных и относительных модифицирующих данных в ходе интервала времени переключения между формированием модифицирующих параметров в качестве абсолютных модифицирующих данных и в качестве относительных модифицирующих данных.
7. Многоканальный аудиокодер (10) по п.6, в котором комбинация содержит интерполяцию между абсолютными модифицирующими данными и относительными модифицирующими данными.
8. Многоканальный аудиокодер (10) по п.1, в котором средство формирования (120) кодированного выходного сигнала выполнено с возможностью включать в себя данные индикации, указывающие на то, используются ли относительные модифицирующие данные или абсолютные модифицирующие данные.
9. Многоканальный аудиокодер (10) по п.1, в котором модифицирующие параметры содержат первую часть модифицирующих данных и вторую часть модифицирующих данных, причем вторая часть предоставляет более высококачественное представление первого М-канального сигнала, чем первая часть.
10. Многоканальный аудиокодер (10) по п.9, в котором генератор (123) модифицирующих параметров выполнен с возможностью динамически выбирать только между формированием второй части в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных.
11. Многоканальный аудиокодер (10) по п.9, в котором генератор (123) модифицирующих параметров выполнен с возможностью формировать относительные данные второй части относительно опорного сигнала, сформированного посредством применения модифицирующих данных первой части к первому М-канальному сигналу.
12. Многоканальный аудиодекодер (20) для декодирования N-канального аудиосигнала, причем многоканальный аудиодекодер (20) содержит:
средство приема (210) кодированного аудиосигнала, содержащего:
первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
ассоциативно связанные параметрические данные для многоканального расширения, причем ассоциативно связанные параметрические данные являются относительными ко второму М-канальному сигналу, отличному от первого М-канального сигнала;
модифицирующие параметры для первого М-канального сигнала относительно второго М-канального сигнала, причем модифицирующие параметры содержат абсолютные модифицирующие данные и относительные модифицирующие данные относительно первого М-канального сигнала, и
данные индикации, указывающие то, являются ли модифицирующие параметры для блока сигналов абсолютными модифицирующими данными или относительными модифицирующими данными;
средство (212) формирования для формирования М-канального многоканального сигнала расширения в ответ на первый М-канальный сигнал и модифицирующие параметры; и
средство формирования (220) N-канального декодированного сигнала в ответ на М-канальный многоканальный сигнал расширения и ассоциативно связанные параметрические данные; и
при этом средство (212) формирования выполнено с возможностью выбирать между применением модифицирующих параметров в качестве абсолютных модифицирующих данных или относительных модифицирующих данных в ответ на данные индикации.
13. Многоканальный аудиодекодер (20) по п.12, в котором средство (212) формирования выполнено с возможностью применять модифицирующие параметры к первому М-канальному сигналу во временной области.
14. Многоканальный аудиодекодер (20) по п.12, в котором средство (212) формирования выполнено с возможностью применять модифицирующие параметры к первому М-канальному сигналу в частотной области.
15. Многоканальный аудиодекодер (10) по п.12, в котором модифицирующие параметры содержат первую часть модифицирующих данных и вторую часть модифицирующих данных, причем вторая часть предоставляет более высококачественное представление первого М-канального сигнала, чем первая часть.
16. Многоканальный аудиодекодер (20) по п.15, в котором средство (212) формирования выполнено с возможностью выбирать только между применением модифицирующих параметров второй части в качестве абсолютных модифицирующих данных или относительных модифицирующих данных.
17. Многоканальный аудиодекодер (20) по п.15, в котором средство (212) формирования выполнено с возможностью формировать М-канальное многоканальное расширение посредством применения относительных модифицирующих данных второй части к сигналу, сформированному посредством применения модифицирующих данных первой части к первому М-канальному сигналу.
18. Способ кодирования N-канального аудиосигнала, при этом способ содержит этапы, на которых:
формируют первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
формируют ассоциативно связанные параметрические данные для первого М-канального сигнала относительно N-канального аудиосигнала;
формируют второй М-канальный сигнал для N-канального аудиосигнала;
формируют модифицирующие параметры для второго М-канального сигнала относительно первого М-канального сигнала;
формируют кодированный выходной сигнал, содержащий второй М-канальный сигнал, ассоциативно связанные параметрические данные и модифицирующие параметры; и
при этом формирование модифицирующих параметров содержит динамический выбор между формированием модифицирующих параметров в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных относительно второго М-канального сигнала.
19. Способ декодирования N-канального аудиосигнала, при этом способ содержит этапы, на которых:
принимают кодированный аудиосигнал, содержащий:
первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
ассоциативно связанные параметрические данные для многоканального расширения, причем ассоциативно связанные параметрические данные являются относительными ко второму М-канальному сигналу, отличному от первого М-канального сигнала;
модифицирующие параметры для первого М-канального сигнала относительно-второго М-канального сигнала, причем модифицирующие параметры содержат абсолютные модифицирующие данные и относительные модифицирующие данные относительно первого М-канального сигнала, и
данные индикации, указывающие то, являются ли модифицирующие параметры для блока сигналов абсолютными модифицирующими данными или относительными модифицирующими данными;
формируют М-канальный многоканальный сигнал расширения в ответ на первый М-канальный сигнал и модифицирующие параметры; и
формируют N-канальный декодированный сигнал в ответ на М-канальный многоканальный сигнал расширения и ассоциативно связанные параметрические данные; и
при этом формирование М-канального многоканального сигнала расширения содержит выбор между применением модифицирующих параметров в качестве абсолютных модифицирующих данных или относительных модифицирующих данных в ответ на данные индикации.
20. Носитель данных, на котором сохранен кодированный многоканальный аудиосигнал для N-канального аудиосигнала, используемый в способе декодирования N-канального аудиосигнала, при этом кодированный многоканальный аудиосигнал содержит:
данные М-канального сигнала для N-канального аудиосигнала, причем М меньше N;
ассоциативно связанные параметрические данные для многоканального расширения, причем ассоциативно связанные параметрические данные являются относительными ко второму М-канальному сигналу, отличному от первого М-канального сигнала;
модифицирующие параметры для первого М-канального сигнала относительно второго М-канального сигнала, причем модифицирующие параметры содержат абсолютные модифицирующие данные и относительные модифицирующие данные относительно первого М-канального сигнала; и
данные индикации, указывающие то, являются ли модифицирующие параметры для блока сигналов абсолютными модифицирующими данными или относительными модифицирующими данными.
21. Передающее устройство (40) для передачи кодированного многоканального аудиосигнала, при этом передающее устройство (40) содержит многоканальный аудиокодер (10) по п.1.
22. Приемное устройство (50) для приема кодированного многоканального аудиосигнала, при этом приемное устройство (50) содержит многоканальный аудиодекодер (20) по п.12.
23. Система для передачи и приема аудиосигнала, содержащая передающее устройство (40) для передачи кодированного многоканального аудиосигнала посредством канала (30) передачи в приемное устройство (50), при этом передающее устройство (40) содержит многоканальный аудиокодер (10) по п.1, а приемное устройство содержит многоканальный аудиодекодер (20) по п.12.
24. Способ передачи кодированного многоканального аудиосигнала, причем способ содержит кодирование N-канального аудиосигнала, при этом кодирование содержит этапы, на которых:
формируют первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
формируют ассоциативно связанные параметрические данные для первого М-канального сигнала относительно N-канального аудиосигнала;
формируют второй М-канальный сигнал для N-канального аудиосигнала;
формируют модифицирующие параметры для второго М-канального сигнала относительно первого М-канального сигнала;
формируют кодированный выходной сигнал, содержащий второй М-канальный сигнал, ассоциативно связанные параметрические данные и модифицирующие параметры; и
при этом формирование модифицирующих параметров содержит динамический выбор между формированием модифицирующих параметров в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных относительно второго М-канального сигнала.
25. Способ приема кодированного многоканального аудиосигнала, причем способ содержит декодирование кодированного многоканального аудиосигнала, при этом декодирование содержит этапы, на которых:
принимают кодированный многоканальный аудиосигнал, содержащий:
первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
ассоциативно связанные параметрические данные для многоканального расширения, причем ассоциативно связанные параметрические данные являются относительными ко второму М-канальному сигналу, отличному от первого М-канального сигнала;
модифицирующие параметры для первого М-канального сигнала относительно второго М-канального сигнала, причем модифицирующие параметры содержат абсолютные модифицирующие данные и относительные модифицирующие данные относительно первого М-канального сигнала, и
данные индикации, указывающие то, являются ли модифицирующие параметры для блока сигналов абсолютными модифицирующими данными или относительными модифицирующими данными;
формируют М-канальный многоканальный сигнал расширения в ответ на первый М-канальный сигнал и модифицирующие параметры; и
формируют N-канальный декодированный сигнал в ответ на М-канальный многоканальный сигнал расширения и ассоциативно связанные параметрические данные; и
при этом формирование М-канального многоканального сигнала расширения содержит выбор между применением модифицирующих параметров в качестве абсолютных модифицирующих данных или относительных модифицирующих данных в ответ на данные индикации.
26. Способ передачи и приема аудиосигнала, при этом способ содержит этапы, на которых:
кодируют N-канальный аудиосигнал, при этом кодирование содержит этапы, на которых:
формируют первый М-канальный сигнал для N-канального аудиосигнала, причем М меньше N;
формируют ассоциативно связанные параметрические данные для первого М-канального сигнала относительно N-канального аудиосигнала;
формируют второй М-канальный сигнал для N-канального аудиосигнала;
формируют модифицирующие параметры для второго М-канального сигнала относительно первого М-канального сигнала, при этом формирование модифицирующих параметров содержит динамический выбор между формированием модифицирующих параметров в качестве абсолютных модифицирующих данных или в качестве относительных модифицирующих данных относительно второго М-канального сигнала;
формируют кодированный выходной сигнал, содержащий второй М-канальный сигнал, ассоциативно связанные параметрические данные и модифицирующие параметры;
передают кодированный выходной сигнал из передающего устройства в приемное устройство;
принимают, в приемном устройстве, кодированный выходной сигнал;
декодируют кодированный выходной сигнал, при этом декодирование содержит этапы, на которых:
формируют М-канальный многоканальный сигнал расширения в ответ на второй М-канальный сигнал и модифицирующие параметры, при этом формирование М-канального многоканального сигнала расширения содержит выбор между применением модифицирующих параметров в качестве абсолютных модифицирующих данных или относительных модифицирующих данных, и
формируют N-канальный декодированный сигнал в ответ на М-канальный многоканальный сигнал расширения и ассоциативно связанные параметрические данные.
27. Носитель данных, на котором сохранен компьютерный программный продукт, функционирующий для того, чтобы предписывать процессору выполнять этапы способа по п.18.
28. Носитель данных, на котором сохранен компьютерный программный продукт, функционирующий для того, чтобы предписывать процессору выполнять этапы способа по п.19.
29. Носитель данных, на котором сохранен компьютерный программный продукт, функционирующий для того, чтобы предписывать процессору выполнять этапы способа по п.24.
30. Носитель данных, на котором сохранен компьютерный программный продукт, функционирующий для того, чтобы предписывать процессору выполнять этапы способа по п.25.
31. Носитель данных, на котором сохранен компьютерный программный продукт, функционирующий для того, чтобы предписывать процессору выполнять этапы способа по п.26.
32. Многоканальный аудиорекордер (60), содержащий многоканальный аудиокодер (10) по п.1.
33. Многоканальный аудиопроигрыватель (60), содержащий многоканальный аудиодекодер (20) по п.12.
| WO 2004008805 А1, 22.01.2004 | |||
| WO 2000060746 А2, 12.10.2000 | |||
| US 6694027 В1, 17.02.2004 | |||
| WO 2003090208 А1, 30.10.2003 | |||
| СПОСОБ ТРАНСЛЯЦИИ СТЕРЕОФОНИЧЕСКОГО СИГНАЛА | 1992 |
|
RU2047941C1 |
| СПОСОБ ТРАНСЛЯЦИИ СТЕРЕОФОНИЧЕСКОГО СИГНАЛА | 2000 |
|
RU2161868C1 |
