Настоящее изобретение относится к кодированию, декодированию и к обработке аудиосигнала и, в частности, к кодированию и декодированию аудио, применяющему синусоидальную замену.
Обработка аудиосигналов становится все более важной. Проблемы возникают, когда современным кодеком воспринимаемого аудио требуется обеспечить удовлетворительное качество аудио при все более низких скоростях передачи битов. Более того, часто допустимое время ожидания также очень небольшое, например для приложений двунаправленной связи или распределенных игр и т.п.
Современные аудиокодеки, например USAC (Унифицированное кодирование речи и аудио) часто переключаются между кодированием с предсказанием во временной области и кодированием в области преобразования, тем не менее музыкальный контент по-прежнему преимущественно кодируется в области преобразования. На низких скоростях передачи битов, например < 14 кбит/с, тональные компоненты в музыкальных элементах часто звучат плохо, когда они кодированы посредством преобразующих кодеров, что делает задачу кодирования аудио с достаточным качеством еще более трудной.
Более того, ограничения по малой задержке приводят, как правило, к субоптимальной частотной характеристике блока фильтров преобразующего кодера (из-за оптимизированной к малой задержке формы окна и/или длины преобразования) и поэтому негативно сказываются на воспринимаемом качестве у таких кодеков.
В соответствии с классической психоакустической моделью задаются предварительные условия для прозрачности по отношению к шуму квантования. На высоких скоростях передачи битов это относится к приспособленному для восприятия оптимальному временному/частотному распределению шума квантования, которое подчиняется уровням маскировки человеческого слуха. Однако на низких скоростях передачи битов нельзя достичь прозрачности. Поэтому на низких скоростях передачи битов может применяться стратегия уменьшения требований к уровням маскировки.
Уже предоставлены кодеки высшего класса для музыкального контента, в частности, преобразующие кодеры на основе Модифицированного дискретного косинусного преобразования (MDCT), которые квантуют и передают спектральные коэффициенты в частотной области. Однако на очень низких скоростях передачи данных можно кодировать только очень мало спектральных линий каждого временного кадра с помощью доступных битов для того кадра. В результате, в кодированный сигнал неминуемо вносятся артефакты временной модуляции и так называемые вибрирующие [воющие] артефакты.
Заметнее всего эти типы артефактов воспринимаются в квазистационарных тональных компонентах. Это главным образом происходит, если из-за ограничений по задержке приходится выбирать форму окна преобразования, которая вызывает значительные перекрестные помехи между соседними спектральными коэффициентами (спектральное уширение) из-за известного эффекта утечки. Однако, несмотря на это, обычно только один или более этих соседних спектральных коэффициентов остаются ненулевыми после грубого квантования кодером с низкой скоростью передачи битов.
Как указано выше, в известном уровне техники в соответствии с одним подходом применяются преобразующие кодеры. Все современные аудиокодеки с высоким коэффициентом сжатия, которые хорошо подходят для кодирования музыкального контента, опираются на кодирование с преобразованием. Самыми известными примерами являются Усовершенствованное кодирование аудио (AAC) MPEG2/4 и Унифицированное кодирование речи и аудио (USAC) MPEG-D. USAC имеет переключаемое ядро, состоящее из модуля Линейного предсказания с алгебраическим кодовым возбуждением (ACELP) плюс модуля Кодированного возбуждения с преобразованием (TCX) (см. [5]), предназначенного преимущественно для кодирования речи, и в качестве альтернативы, AAC, предназначенного преимущественно для кодирования музыки. Как и AAC, TCX также является способом кодирования на основе преобразования. При настройках для низкой скорости передачи битов эти схемы кодирования предрасположены к проявлению вибрирующих артефактов, особенно если лежащие в основе схемы кодирования основываются на Модифицированном дискретном косинусном преобразовании (MDCT) (см. [1]).
Для воспроизведения музыки преобразующие кодеры являются предпочтительной методикой для сжатия аудиоданных. Однако на низких скоростях передачи битов традиционные преобразующие кодеры проявляют сильные вибрирующие артефакты и артефакты резкости. Большинство артефактов возникают из слишком редко кодированных тональных спектральных компонент. Это главным образом происходит, если они спектрально размываются субоптимальной спектральной передаточной функцией (эффект утечки), которая преимущественно спроектирована для соблюдения строгих ограничений по задержке.
В соответствии с другим подходом в известном уровне техники схемы кодирования являются полностью параметрическими для переходов, синусоид и шума. В частности, для средних и низких скоростей передачи битов стандартизованы полностью параметрические аудиокодеки, самыми известными из которых являются Часть 3, подраздел 7 MPEG-4 "Гармонические и индивидуальные компоненты плюс шум" (HILN) (см. [2]) и Часть 3, подраздел 8 MPEG-4 "Синусоидальное кодирование" (SSC) (см. [3]). Однако параметрические кодеры страдают от неприятно искусственного звука и с увеличением скорости передачи битов плохо масштабируются в направлении воспринимаемой прозрачности.
Дополнительный подход предоставляет гибридное кодирование сигнала по форме и параметрическое кодирование. В [4] предлагается гибрид кодирования сигнала по форме на основе преобразования и MPEG 4-SSC (только синусоидальная часть). В итерационном процессе синусоиды извлекаются и вычитаются из сигнала, чтобы образовать разностный сигнал, который должен быть кодирован с помощью методик кодирования с преобразованием. Извлеченные синусоиды кодируются с помощью набора параметров и передаются наряду с остатком. В [6] предоставляется гибридный подход к кодированию, который раздельно кодирует синусоиды и остаток. В [7] на веб-странице так называемого кодека Перекрывающегося преобразования с ограниченной энергией (CELT)/Ghost описывается идея использования блока осцилляторов для гибридного кодирования.
На средних или более высоких скоростях передачи битов преобразующие кодеры хорошо подходят для кодирования музыки из-за их естественного звука. Здесь требования к прозрачности лежащей в основе психоакустической модели выполняются полностью или почти полностью. Однако на низких скоростях передачи битов кодерам приходится серьезно нарушать требования психоакустической модели, и в такой ситуации преобразующие кодеры предрасположены к вибрирующим артефактам, артефактам резкости и музыкального шума.
Хотя полностью параметрические аудиокодеки больше всего подходят для меньших скоростей передачи битов, однако известно, что они звучат неприятно искусственно. Кроме того, эти кодеки не масштабируются плавно до воспринимаемой прозрачности, поскольку неосуществимо постепенное уточнение довольно грубой параметрической модели.
Гибридное кодирование сигнала по форме и параметрическое кодирование потенциально преодолевают ограничения отдельных подходов и могли бы извлекать выгоду из взаимно-ортогональных свойств обеих методик. Однако на текущем уровне техники это затруднено из-за недостатка взаимодействия между частью кодирования с преобразованием и параметрической частью гибридного кодека. Проблемы относятся к разделению сигнала между параметрической и преобразующей частью кодека, управлению запасом разрядов между преобразующей и параметрической частью, к методикам сигнализации параметров и прозрачному объединению выхода параметрического и преобразующего кодека.
Цель настоящего изобретения - предоставить усовершенствованные идеи для гибридного кодирования и декодирования аудио. Цель настоящего изобретения достигается с помощью устройства по п. 1, устройства по п. 12, способа по п. 29, способа по п. 30 и компьютерной программы по п. 31.
Предоставляется устройство для генерирования выходного аудиосигнала (сигнала вывода аудио) на основе кодированного спектра аудиосигнала.
Устройство содержит блок обработки для обработки кодированного спектра аудиосигнала, чтобы получить декодированный спектр аудиосигнала. Декодированный спектр аудиосигнала содержит множество спектральных коэффициентов, где каждый из спектральных коэффициентов имеет спектральное местоположение в кодированном спектре аудиосигнала и спектральное значение, где спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением в кодированном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов.
Кроме того, устройство содержит определитель псевдокоэффициентов для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение.
Кроме того, устройство содержит блок модификации спектра для установки одного или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала.
Кроме того, устройство содержит блок спектрально-временного преобразования для преобразования модифицированного спектра аудиосигнала во временную область, чтобы получить сигнал преобразования временной области.
Кроме того, устройство содержит управляемый осциллятор для генерирования сигнала осциллятора временной области, причем управляемый осциллятор управляется спектральным местоположением и спектральным значением по меньшей мере одного из упомянутого одного или более псевдокоэффициентов.
Кроме того, устройство содержит смеситель для смешивания сигнала преобразования временной области и сигнала осциллятора временной области, чтобы получить выходной аудиосигнал.
Предложенные идеи улучшают воспринимаемое качество традиционных кодеков блочного преобразования на низких скоростях передачи битов. Предлагается заменить локальные тональные области в спектрах аудиосигналов, перекрывающие соседние локальные минимумы, охватывающие локальный максимум, псевдолиниями (также называемыми псевдокоэффициентами), в некоторых вариантах осуществления имеющими сходную энергию или уровень с упомянутыми областями, которые должны быть заменены.
В соответствии с вариантами осуществления предоставляется кодирование аудио с малой задержкой и низкой скоростью передачи битов. Некоторые варианты осуществления основываются на новой и оригинальной идее, называемой ToneFilling (TF). Термин "ToneFilling" означает методику кодирования, в которой иным образом плохо кодированные естественные тоны заменяются сходными для восприятия и при этом чистыми синусоидными тонами. В силу этого избегают артефактов амплитудной модуляции на некоторой скорости, зависящих от спектрального положения синусоиды относительно спектрального местоположения ближайшего элемента выборки MDCT (известных как "вибрирующие").
В соответствии с вариантами осуществления взвешивается степень раздражения у всех возможных артефактов. Это относится к воспринимаемым особенностям, например высоте, гармоничности, модуляции, и к стационарности артефактов. Все особенности оцениваются в Модели раздражения при восприятии звука (SPAM). Управляемая по такой модели ToneFilling обеспечивает значительные преимущества. Ошибка высоты и модуляции, которая вносится в результате замены естественного тона чистым синусоидным тоном, взвешивается по отношению к влиянию аддитивного шума и плохой стационарности ("вибрирование"), вызванных редко квантованным естественным тоном.
ToneFilling предоставляет значительные отличия от кодеков синусоиды-плюс-шум. Например, TF заменяет тоны синусами вместо вычитания синусоид. Сходные для восприятия тоны имеют такие же локальные Центры тяжести (COG), как и исходная звуковая компонента, которая должна быть заменена. В соответствии с вариантами осуществления исходные тоны удаляются в аудиоспектре (от левого к правому основанию функции COG). Обычно разрешение по частоте у синусоиды, используемой для замены, является как можно более крупным, чтобы минимизировать дополнительную информацию, в то же время учитывая относящиеся к восприятию требования, чтобы избежать ощущения нестройности.
В некоторых вариантах осуществления ToneFilling может проводиться выше нижней граничной частоты из-за упомянутых, относящихся к восприятию требований, но не ниже нижней граничной частоты. При проведении ToneFilling тоны представляются посредством спектральных псевдолиний в преобразующем кодере. Однако в оснащенном ToneFilling кодере псевдолинии подвергаются обычной обработке, управляемой по классической психоакустической модели. Поэтому при проведении ToneFilling отсутствует потребность в априорных ограничениях параметрической части (на скорости x передачи битов заменяются y-тональные компоненты). Достигается такая тесная интеграция в преобразующий кодек.
Функциональные возможности ToneFilling могут применяться на кодере путем обнаружения локальных COG (сглаженные оценки; максимальные показатели качества) путем удаления тональных компонент, путем генерирования замененных псевдолиний (например, псевдокоэффициентов), которые переносят информацию об уровне посредством амплитуды псевдолиний, информацию о частоте посредством спектрального положения псевдолиний и точную информацию о частоте (смещение на половину элемента) посредством знака псевдолиний. Псевдокоэффициенты (псевдолинии) обрабатываются последующим квантователем в кодеке почти так же, как и любой обычный спектральный коэффициент (спектральная линия).
Кроме того, ToneFilling может применяться на декодере путем обнаружения изолированных спектральных линий, где истинные псевдокоэффициенты (псевдолинии) могут отмечаться с помощью массива признаков (например, битовое поле). Декодер может связать информацию о псевдолинии для создания синусоидальных путей. Схема зарождения/продолжения/угасания может применяться для синтеза непрерывных путей.
Для декодирования псевдокоэффициенты (псевдолинии) могут отмечаться как таковые с помощью массива признаков, передаваемого в дополнительной информации. Разрешение по частоте в половину элемента у псевдолиний может сигнализироваться с помощью знака псевдокоэффициентов (псевдолиний). На декодере псевдолинии можно удалить из спектра перед блоком обратного преобразования и синтезировать отдельно с помощью блока осцилляторов. Со временем пары осцилляторов можно связать, и применяется интерполяция параметров для обеспечения плавно разворачивающегося выхода осциллятора.
Начала и смещения управляемых параметрами осцилляторов могут иметь такую форму, что они точно соответствуют временным характеристикам операции с окнами у преобразующего кодека, соответственно обеспечивая плавный переход между сгенерированными преобразующим кодеком частями и сгенерированными осциллятором частями выходного сигнала.
Предоставленные идеи хорошо и без усилий включаются в существующие схемы кодирования с преобразованием типа AAC, TCX или сходные конфигурации. Управление точностью квантования параметров может неявно выполняться с помощью существующего регулирования скорости кодека.
В соответствии с вариантом осуществления, каждый из спектральных коэффициентов может иметь по меньшей мере одного из непосредственного предшественника и непосредственного последователя, где непосредственный предшественник упомянутого спектрального коэффициента может быть одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в последовательности, где непосредственный последователь упомянутого спектрального коэффициента может быть одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в последовательности. Определитель псевдокоэффициентов может быть сконфигурирован для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала путем определения по меньшей мере одного спектрального коэффициента последовательности, который имеет спектральное значение, которое отличается от предопределенного значения, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению.
В варианте осуществления предопределенное значение может быть нулем.
В соответствии с вариантом осуществления, определитель псевдокоэффициентов может быть сконфигурирован для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала путем определения по меньшей мере одного спектрального коэффициента последовательности в качестве кандидата-псевдокоэффициента, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению. Определитель псевдокоэффициентов может быть сконфигурирован для определения, является ли кандидат-псевдокоэффициент псевдокоэффициентом, путем определения, указывает ли дополнительная информация, что упомянутый кандидат-псевдокоэффициент является псевдокоэффициентом.
В варианте осуществления управляемый осциллятор может быть сконфигурирован для генерирования сигнала осциллятора временной области, имеющего частоту сигнала осциллятора, чтобы частота сигнала осциллятора у сигнала осциллятора зависела от спектрального местоположения одного из упомянутого одного или более псевдокоэффициентов.
В некоторых вариантах осуществления частота сигнала у сигнала осциллятора генерируется путем проведения интерполяции между спектральным местоположением двух или более временно последовательных псевдокоэффициентов.
В соответствии с вариантом осуществления псевдокоэффициенты являются значениями со знаком, содержащими компоненту знака. Управляемый осциллятор может быть сконфигурирован для генерирования сигнала осциллятора временной области, чтобы частота сигнала осциллятора у сигнала осциллятора, кроме того, зависела от компоненты знака одного из одного или более псевдокоэффициентов, чтобы частота сигнала осциллятора имела первое значение частоты, когда компонента знака имеет первое значение знака, и чтобы частота сигнала осциллятора имела другое второе значение частоты, когда компонента знака имеет другое второе значение.
В варианте осуществления управляемый осциллятор может быть сконфигурирован для генерирования сигнала осциллятора временной области, где амплитуда сигнала осциллятора может зависеть от спектрального значения одного из одного или более псевдокоэффициентов, чтобы амплитуда сигнала осциллятора имела первое значение амплитуды, когда спектральное значение имеет третье значение, и чтобы амплитуда сигнала осциллятора имела другое второе значение амплитуды, когда спектральное значение имеет четвертое значение, причем второе значение амплитуды больше первого значения амплитуды, когда четвертое значение больше третьего значения.
В соответствии с некоторыми вариантами осуществления значение амплитуды у сигнала осциллятора генерируется путем проведения интерполяции между спектральными значениями двух или более временно последовательных псевдокоэффициентов. Например, в некоторых вариантах осуществления амплитуда сигнала осциллятора генерируется путем проведения интерполяции между моментами времени, для которых передается значение.
В варианте осуществления управляемый осциллятор также может дополнительно управляться посредством экстраполированных параметров, выведенных из псевдокоэффициента предыдущего кадра, например, чтобы скрыть потерю кадра данных во время передачи или чтобы сгладить нестабильную работу управления осциллятором.
В соответствии с некоторыми вариантами осуществления значение амплитуды у сигнала осциллятора генерируется путем проведения интерполяции между спектральными значениями двух или более псевдокоэффициентов. Например, в некоторых вариантах осуществления амплитуда сигнала осциллятора генерируется путем проведения интерполяции между моментами времени, для которых передается значение.
В соответствии с вариантом осуществления модифицированный спектр аудиосигнала может быть спектром MDCT, содержащим коэффициенты MDCT. Блок спектрально-временного преобразования может быть сконфигурирован для преобразования спектра MDCT из области MDCT во временную область путем преобразования по меньшей мере некоторых из коэффициентов декодированного спектра аудиосигнала во временную область.
В варианте осуществления смеситель может быть сконфигурирован для смешивания сигнала преобразования временной области и сигнала осциллятора временной области путем сложения во временной области сигнала преобразования временной области с сигналом осциллятора временной области.
Кроме того, предоставляется устройство для кодирования входного спектра аудиосигнала. Входной спектр аудиосигнала содержит множество спектральных коэффициентов, где каждый из спектральных коэффициентов имеет спектральное местоположение во входном спектре аудиосигнала и спектральное значение. Спектральные коэффициенты последовательно упорядочиваются в соответствии с их спектральным местоположением во входном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов. Каждый из спектральных коэффициентов имеет по меньшей мере одного из одного или более предшественников и имеет по меньшей мере одного из одного или более последователей, где каждый из предшественников упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который предшествует упомянутому спектральному коэффициенту в последовательности. Каждый из последователей упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который следует за упомянутым спектральным коэффициентом в последовательности.
Устройство содержит определитель экстремумов для определения одного экстремума или большего количества экстремумов, предпочтительно в большем спектральном разрешении, которое обеспечивается лежащим в основе частотно-временным преобразованием.
Например, входной спектр аудиосигнала может быть спектром MDCT, имеющим множество коэффициентов MDCT.
Определитель экстремумов может определять экстремум или экстремумы в спектре сравнения, где значение сравнения коэффициента в спектре сравнения назначается каждому из коэффициентов MDCT спектра MDCT. Однако спектр сравнения может иметь большее спектральное разрешение, чем входной спектр аудиосигнала. Например, спектр сравнения может быть спектром Дискретного преобразования Фурье (DFT) (четно или нечетно составленного DFT), имеющим вдвое большее спектральное разрешение, чем входной спектр аудиосигнала MDCT. При этом только каждое второе спектральное значение спектра DFT назначается спектральному значению спектра MDCT. Однако можно учитывать другие коэффициенты спектра сравнения, когда определяется экстремум или экстремумы спектра сравнения. При этом коэффициент спектра сравнения может определяться как экстремум, который не назначается спектральному коэффициенту входного спектра аудиосигнала, но который имеет непосредственного предшественника и непосредственного последователя, которые назначаются соответственно спектральному коэффициенту входного спектра аудиосигнала и непосредственному последователю того спектрального коэффициента входного спектра аудиосигнала. Таким образом, можно считать, что упомянутый экстремум спектра сравнения (например, спектра DFT высокого разрешения) назначается спектральному местоположению во входном спектре аудиосигнала (MDCT), который располагается между упомянутым спектральным коэффициентом входного спектра аудиосигнала (MDCT) и упомянутым непосредственным последователем упомянутого спектрального коэффициента входного спектра аудиосигнала (MDCT). Такая ситуация может кодироваться путем выбора подходящего значения знака у псевдокоэффициента, что объясняется позднее. При этом достигается разрешение меньше элемента выборки.
Кроме того, устройство содержит модификатор спектра для модификации входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения по меньшей мере одного из предшественников или по меньшей мере одного из последователей по меньшей мере одного из коэффициентов экстремума в предопределенное значение. Кроме того, модификатор спектра сконфигурирован, чтобы не устанавливать спектральные значения одного или более коэффициентов экстремума в предопределенное значение, либо сконфигурирован, чтобы заменять по меньшей мере один из одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения.
Кроме того, устройство содержит блок обработки для обработки модифицированного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала.
Кроме того, устройство содержит генератор дополнительной информации для генерирования и передачи дополнительной информации, где генератор дополнительной информации сконфигурирован для нахождения одного или более кандидатов-псевдокоэффициентов в модифицированном входном спектре аудиосигнала, сгенерированном модификатором спектра, где генератор дополнительной информации сконфигурирован для выбора по меньшей мере одного из кандидатов-псевдокоэффициентов в качестве выбранных кандидатов, и где генератор дополнительной информации сконфигурирован для генерирования дополнительной информации, чтобы дополнительная информация указывала выбранные кандидаты как псевдокоэффициенты.
Определитель экстремумов сконфигурирован для определения одного или более коэффициентов экстремума, предпочтительно в большем спектральном разрешении, которое обеспечивается лежащим в основе частотно-временным преобразованием, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения по меньшей мере одного из его предшественников, и спектральное значение которого больше спектрального значения по меньшей мере одного из его последователей. Либо каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, и определитель экстремумов сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения по меньшей мере одного из его предшественников, и значение сравнения которого больше значения сравнения по меньшей мере одного из его последователей.
В соответствии с вариантами осуществления, дополнительная информация, сгенерированная генератором дополнительной информации, может иметь статический, предопределенный размер, либо ее размер может оцениваться итерационно адаптивным к сигналу способом. В этом случае декодеру также передается фактический размер дополнительной информации. Поэтому в соответствии с вариантом осуществления генератор 440 дополнительной информации сконфигурирован для передачи размера дополнительной информации.
В варианте осуществления модификатор спектра сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными в модифицированном спектре аудиосигнала.
В соответствии с вариантом осуществления каждый из спектральных коэффициентов имеет по меньшей мере одного из непосредственного предшественника в качестве одного из его предшественников и непосредственного последователя в качестве одного из его последователей, где непосредственный предшественник упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в последовательности, где непосредственный последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в последовательности.
Модификатор спектра может быть сконфигурирован для модификации входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения непосредственного предшественника или непосредственного последователя по меньшей мере одного из коэффициентов экстремума в предопределенное значение, где модификатор спектра может быть сконфигурирован, чтобы не устанавливать спектральные значения одного или более коэффициентов экстремума в предопределенное значение, либо может быть сконфигурирован, чтобы заменять по меньшей мере один из одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения. Следует отметить, что когда определитель экстремумов определяет коэффициенты экстремума на основе спектра сравнения (например, энергетического спектра), то спектральные коэффициенты, которые могут быть, например, локальным максимумом спектра сравнения (например, энергетического спектра), не должны быть локальным максимумом входного спектра аудиосигнала (например, спектра MDCT).
Определитель экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения его непосредственного предшественника, и спектральное значение которого больше спектрального значения его непосредственного последователя. Либо каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, и определитель экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения его непосредственного предшественника, и значение сравнения которого больше значения сравнения его непосредственного последователя.
В соответствии с вариантом осуществления определитель экстремумов может быть сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из одного или более минимальных коэффициентов являлся одним из спектральных коэффициентов, спектральное значение которого меньше спектрального значения одного из его предшественников, и спектральное значение которого меньше спектрального значения одного из его последователей, либо где каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, где определитель экстремумов сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из минимальных коэффициентов являлся одним из спектральных коэффициентов, значение сравнения которого меньше значения сравнения одного из его предшественников, и значение сравнения которого меньше значения сравнения одного из его последователей. В таком варианте осуществления модификатор спектра может быть сконфигурирован для определения значения представления на основе спектральных значений или значений сравнения одного или более коэффициентов экстремума и одного или более минимальных коэффициентов, чтобы значение представления отличалось от предопределенного значения. Кроме того, модификатор спектра может быть сконфигурирован для изменения спектрального значения одного из коэффициентов входной последовательности аудиосигнала путем установки упомянутого спектрального значения в значение представления.
В соответствии с вариантом осуществления модификатор спектра может быть сконфигурирован для определения, меньше ли порогового значения разность значений между одним из значения сравнения или спектрального значения одного из коэффициентов экстремума. Кроме того, модификатор спектра может быть сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными в модифицированном спектре аудиосигнала в зависимости от того, меньше ли разность значений порогового значения.
В варианте осуществления определитель экстремумов может быть сконфигурирован для определения одной или более подпоследовательностей последовательности спектральных значений, чтобы каждая из подпоследовательностей содержала множество последующих спектральных коэффициентов входного спектра аудиосигнала. Последующие спектральные коэффициенты могут последовательно упорядочиваться в подпоследовательности в соответствии с их спектральным положением. Каждая из подпоследовательностей может иметь первый элемент, являющийся первым в упомянутой последовательно упорядоченной подпоследовательности, и последний элемент, являющийся последним в упомянутой последовательно упорядоченной подпоследовательности. Кроме того, каждая из подпоследовательностей может содержать точно два из минимальных коэффициентов и точно один из коэффициентов экстремума, причем один из минимальных коэффициентов является первым элементом подпоследовательности, а другой из минимальных коэффициентов является последним элементом подпоследовательности. В таком варианте осуществления модификатор спектра может быть сконфигурирован для определения значения представления на основе спектральных значений или значений сравнения коэффициентов одной из подпоследовательностей. Модификатор спектра может быть сконфигурирован для изменения спектрального значения одного из коэффициентов упомянутой подпоследовательности путем установки упомянутого спектрального значения в значение представления.
В соответствии с вариантом осуществления определитель экстремумов может быть сконфигурирован для определения коэффициента центра тяжести путем определения произведения значения сравнения и значения местоположения для каждого спектрального коэффициента подпоследовательности, чтобы получить множество взвешенных коэффициентов путем суммирования взвешенных коэффициентов, чтобы получить первую сумму, путем суммирования значений сравнения всех спектральных коэффициентов подпоследовательности, чтобы получить вторую сумму; путем деления первой суммы на вторую сумму, чтобы получить промежуточный результат; и путем применения в отношении промежуточного результата округления до ближайшего целого, чтобы получить коэффициент центра тяжести, и где модификатор спектра сконфигурирован для установки спектральных значений всех спектральных коэффициентов подпоследовательности, которые не являются коэффициентом центра тяжести, в предопределенное значение. Либо определитель экстремумов может быть сконфигурирован для определения коэффициента центра тяжести путем определения произведения спектрального значения и значения местоположения для каждого спектрального коэффициента подпоследовательности, чтобы получить множество взвешенных коэффициентов, путем суммирования взвешенных коэффициентов, чтобы получить первую сумму, путем суммирования спектральных значений всех спектральных коэффициентов подпоследовательности, чтобы получить вторую сумму; путем деления первой суммы на вторую сумму, чтобы получить промежуточный результат; и путем применения в отношении промежуточного результата округления до ближайшего целого, чтобы получить коэффициент центра тяжести, и где модификатор спектра сконфигурирован для установки спектральных значений всех спектральных коэффициентов подпоследовательности, которые не являются коэффициентом центра тяжести, в предопределенное значение.
В варианте осуществления предопределенное значение является нулем.
В соответствии с вариантом осуществления значение сравнения каждого спектрального коэффициента является значением квадрата дополнительного коэффициента дополнительного спектра, получающегося в результате энергосберегающего преобразования аудиосигнала.
В варианте осуществления значение сравнения каждого спектрального коэффициента является значением амплитуды дополнительного коэффициента дополнительного спектра, получающегося в результате энергосберегающего преобразования аудиосигнала.
В соответствии с вариантом осуществления дополнительный спектр является спектром Дискретного преобразования Фурье (DFT), и энергосберегающее преобразование является Дискретным преобразованием Фурье (четно или нечетно составленным DFT).
В соответствии с другим вариантом осуществления дополнительный спектр является спектром Комплексного модифицированного дискретного косинусного преобразования (CMDCT), и энергосберегающее преобразование является CMDCT.
В соответствии с вариантом осуществления модификатор спектра может быть сконфигурирован для приема информации точной настройки. Коэффициенты входного спектра аудиосигнала могут быть значениями со знаком, содержащими компоненту знака. Модификатор спектра может быть сконфигурирован для установки компоненты знака одного из одного или более коэффициентов экстремума или псевдокоэффициента в первое значение знака, когда информация точной настройки находится в первом состоянии точной настройки. Модификатор спектра может быть сконфигурирован для установки компоненты знака одного из одного или более коэффициентов экстремума или псевдокоэффициента в другое второе значение знака, когда информация точной настройки находится в другом втором состоянии точной настройки.
В варианте осуществления входной спектр аудиосигнала может быть спектром MDCT, содержащим коэффициенты MDCT.
В соответствии с вариантом осуществления блок обработки может быть сконфигурирован для квантования модифицированного спектра аудиосигнала, чтобы получить квантованный спектр аудиосигнала. Кроме того, блок обработки может быть сконфигурирован для обработки квантованного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала. Кроме того, блок обработки может быть сконфигурирован для генерирования дополнительной информации, указывающей, является ли упомянутый коэффициент одним из коэффициентов экстремума, только для тех спектральных коэффициентов квантованного спектра аудиосигнала, которые имеют непосредственного предшественника, спектральное значение которого равно предопределенному значению, и непосредственного последователя, спектральное значение которого равно предопределенному значению. Непосредственный предшественник упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно предшествует упомянутому спектральному коэффициенту в квантованном спектре аудиосигнала, а непосредственный последователь упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно следует за упомянутым спектральным коэффициентом в квантованном спектре аудиосигнала.
Кроме того, предоставляется способ для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала. Каждый из спектральных коэффициентов имеет спектральное местоположение в кодированном спектре аудиосигнала и спектральное значение. Спектральные коэффициенты последовательно упорядочиваются в соответствии с их спектральным местоположением в кодированном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов. Способ для генерирования выходного аудиосигнала содержит:
- обработку кодированного спектра аудиосигнала, чтобы получить декодированный спектр аудиосигнала, причем декодированный спектр аудиосигнала содержит множество спектральных коэффициентов;
- определение одного или более псевдокоэффициентов декодированного спектра аудиосигнала, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение;
- установку одного или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала;
- преобразование модифицированного спектра аудиосигнала во временную область, чтобы получить сигнал преобразования временной области;
- генерирование сигнала осциллятора временной области управляемым осциллятором, управляемым спектральным местоположением и спектральным значением по меньшей мере одного из одного или более псевдокоэффициентов; и
- смешивание сигнала преобразования временной области и сигнала осциллятора временной области, чтобы получить выходной аудиосигнал.
Кроме того, предоставляется способ для кодирования входного спектра аудиосигнала. Входной спектр аудиосигнала содержит множество спектральных коэффициентов. Каждый из спектральных коэффициентов имеет спектральное местоположение во входном спектре аудиосигнала и спектральное значение. Спектральные коэффициенты последовательно упорядочиваются в соответствии с их спектральным местоположением во входном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов. Каждый из спектральных коэффициентов имеет по меньшей мере одного из одного или более предшественников и по меньшей мере одного из одного или более последователей. Каждый предшественник упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который предшествует упомянутому спектральному коэффициенту в последовательности. Каждый последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который следует за упомянутым спектральным коэффициентом в последовательности. Способ для кодирования входного спектра аудиосигнала содержит:
- определение одного или более коэффициентов экстремума;
- модификацию входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения по меньшей мере одного из предшественников или по меньшей мере одного из последователей по меньшей мере одного из коэффициентов экстремума в предопределенное значение, где модификация входного спектра аудиосигнала проводится путем того, что не устанавливают спектральных значений одного или более коэффициентов экстремума в предопределенное значение или путем замены по меньшей мере одного из одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения;
- обработку модифицированного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала; и
- генерирование и передачу дополнительной информации, где дополнительная информация генерируется путем нахождения одного или более кандидатов-псевдокоэффициентов в модифицированном входном спектре аудиосигнала, где дополнительная информация генерируется путем выбора по меньшей мере одного из кандидатов-псевдокоэффициентов в качестве выбранных кандидатов, и где дополнительная информация генерируется так, что дополнительная информация указывает выбранные кандидаты как псевдокоэффициенты.
Определяется один или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения одного из его предшественников, и спектральное значение которого больше спектрального значения одного из его последователей. Либо каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, где один или более коэффициентов экстремума определяются так, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения по меньшей мере одного из его предшественников, и значение сравнения которого больше значения сравнения по меньшей мере одного из его последователей.
Кроме того, предоставляется компьютерная программа для реализации вышеописанных способов, когда выполняется на компьютере или процессоре сигналов.
Предоставляется аудиокодер, аудиодекодер, связанные способы и программы или кодированный аудиосигнал. Кроме того, предоставляются идеи для синусоидальной замены для кодеров сигнала по форме.
На низких скоростях передачи битов настоящее изобретение предоставляет идеи того, как тесно интегрировать кодирование сигнала по форме и параметрическое кодирование, чтобы получить улучшенное воспринимаемое качество и улучшенное масштабирование воспринимаемого качества по отношению к скорости передачи битов по единым методикам.
В некоторых вариантах осуществления каждую из областей с пиками (перекрывающих соседние локальные минимумы, охватывающих локальные максимумы) у спектров можно полностью заменить одиночной синусоидой; в отличие от синусоидальных кодеров, которые итерационно вычитают синтезированные синусоиды из остатка. Подходящие области с пиками извлекаются на сглаженном и слегка "обеленном" спектральном представлении и выбираются по отношению к некоторым признакам (высота пика, форма пика).
В соответствии с некоторыми вариантами осуществления, эти синусоиды-замены можно представить как псевдолинии (псевдокоэффициенты) в спектре, который должен быть кодирован, которые отражают полную амплитуду или энергию синусоиды (в отличие, например, от обычных линий MDCT, которые соответствуют реальной проекции истинного значения).
В некоторых вариантах осуществления псевдолинии (псевдокоэффициенты) могут обрабатываться существующим квантователем кодеков почти так же, как и любая обычная спектральная линия; в отличие от раздельной сигнализации синусоидальных параметров.
В соответствии с некоторыми вариантами осуществления псевдолинии (псевдокоэффициенты) могут отмечаться как таковые с помощью массива признаков дополнительной информации.
В некоторых вариантах осуществления выбор знака псевдолиний может обозначать разрешение по частоте половины поддиапазона.
В соответствии с некоторыми вариантами осуществления нижняя граничная частота для синусоидальной замены может быть рекомендуемой из-за ограниченного разрешения по частоте (например, половина поддиапазона).
В некоторых вариантах осуществления в декодере можно удалять псевдолинии из обычного спектра; синтез псевдолиний выполняется блоком интерполирующих осцилляторов.
В некоторых вариантах осуществления может применяться необязательная измеренная фаза начала синусоидального пути, полученная из экстраполяции предыдущих спектров.
В соответствии с некоторыми вариантами осуществления может применяться необязательная методика Компенсации наложения спектров временной области (TDAC) путем моделирования наложения спектров в начале/смещении синусоидального пути.
В соответствии с некоторыми вариантами осуществления может применяться необязательная TDAC путем моделирования наложения спектров в начале/смещении.
Ниже подробнее описываются варианты осуществления настоящего изобретения со ссылкой на чертежи, на которых:
фиг.1 иллюстрирует устройство для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала в соответствии с вариантом осуществления,
фиг.2 изображает устройство для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала в соответствии с другим вариантом осуществления,
фиг.3 показывает две схемы, сравнивающие исходные синусоиды и синусоиды после обработки цепочкой MDCT / обратного MDCT,
фиг.4 иллюстрирует устройство для кодирования входного спектра аудиосигнала в соответствии с вариантом осуществления,
фиг.5 изображает входной спектр аудиосигнала, соответствующий энергетический спектр и модифицированный (замененный) спектр аудиосигнала, и
фиг.6 иллюстрирует другой энергетический спектр, другой модифицированный (замененный) спектр аудиосигнала и квантованный спектр аудиосигнала, где квантованный спектр аудиосигнала, сгенерированный на стороне кодера, в некоторых вариантах осуществления может соответствовать декодированному спектру аудиосигнала, декодированному на декодирующей стороне.
Фиг.4 иллюстрирует устройство для кодирования входного спектра аудиосигнала в соответствии с вариантом осуществления. Устройство для кодирования содержит определитель 410 экстремумов, модификатор 420 спектра, блок 430 обработки и генератор 440 дополнительной информации.
Перед более подробным рассмотрением устройства из фиг.4 подробнее рассматривается входной спектр аудиосигнала, который кодируется устройством из фиг.4.
В принципе, любой вид спектра аудиосигнала может кодироваться устройством из фиг.4. Входной спектр аудиосигнала может быть, например, спектром MDCT (Модифицированное дискретное косинусное преобразование), спектром величины DFT (Дискретное преобразование Фурье) или спектром MDST (Модифицированное дискретное синусное преобразование).
Фиг.5 иллюстрирует пример входного спектра 510 аудиосигнала. На фиг.5 входной спектр 510 аудиосигнала является спектром MDCT.
Входной спектр аудиосигнала содержит множество спектральных коэффициентов. Каждый из спектральных коэффициентов имеет спектральное местоположение во входном спектре аудиосигнала и спектральное значение.
Рассматривая пример из фиг.5, где входной спектр аудиосигнала получается из MDCT-преобразования аудиосигнала, блок фильтров, который преобразовал аудиосигнал для получения входного спектра аудиосигнала, может использовать, например, 1024 канала. Затем каждый из спектральных коэффициентов ассоциируется с одним из 1024 каналов, и номер канала (например, номер между 0 и 1023) может считаться спектральным местоположением упомянутых спектральных коэффициентов. На фиг.5 абсцисса 511 относится к спектральному местоположению спектральных коэффициентов. Для лучшей иллюстрации фиг.5 иллюстрирует только коэффициенты со спектральными местоположениями между 52 и 148.
На фиг.5 ордината 512 помогает определить спектральное значение спектральных коэффициентов. В примере из фиг.5, который изображает спектр MDCT, имеются спектральные значения спектральных коэффициентов входного спектра аудиосигнала, абсцисса 512 относится к спектральным значениям спектральных коэффициентов. Следует отметить, что спектральные коэффициенты входного спектра аудиосигнала MDCT могут иметь положительные, а также отрицательные вещественные числа в качестве спектральных значений.
Однако другие входные спектры аудиосигнала могут иметь только спектральные коэффициенты со спектральными значениями, которые положительны либо равны нулю. Например, входной спектр аудиосигнала может быть спектром величины DFT со спектральными коэффициентами, имеющими спектральные значения, которые представляют величины коэффициентов, получающиеся в результате Дискретного преобразования Фурье. Те спектральные значения могут быть только положительными или нулем.
В дополнительных вариантах осуществления входной спектр аудиосигнала содержит спектральные коэффициенты со спектральными значениями, которые являются комплексными числами. Например, спектр DFT, указывающий информацию о величине и фазе, может содержать спектральные коэффициенты, имеющие спектральные значения, которые являются комплексными числами.
Как показано на фиг.5 для примера, спектральные коэффициенты последовательно упорядочиваются в соответствии с их спектральным местоположением во входном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов. Каждый из спектральных коэффициентов имеет по меньшей мере одного из одного или более предшественников и одного или более последователей, где каждый предшественник упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который предшествует упомянутому спектральному коэффициенту в последовательности. Каждый последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который следует за упомянутым спектральным коэффициентом в последовательности. Например, на фиг.5 спектральный коэффициент, имеющий спектральное местоположение 81, 82 или 83 (и так далее), является последователем для спектрального коэффициента со спектральным местоположением 80. Спектральный коэффициент, имеющий спектральное местоположение 79, 78 или 77 (и так далее), является предшественником для спектрального коэффициента со спектральным местоположением 80. Для примера спектра MDCT спектральное местоположение спектрального коэффициента может быть каналом MDCT-преобразования, к которому относится спектральный коэффициент (например, номером канала между 0 и 1023). Опять следует отметить, что в пояснительных целях спектр 510 MDCT из фиг.5 иллюстрирует только спектральные коэффициенты со спектральными местоположениями между 52 и 148.
Возвращаясь к фиг.4, теперь подробнее описывается определитель 410 экстремумов. Определитель 410 экстремумов сконфигурирован для определения одного или более коэффициентов экстремума.
Вообще, определитель 410 экстремумов исследует входные спектры аудиосигнала или спектр, который имеет отношение к входному спектру аудиосигнала, на предмет коэффициентов экстремума. Целью определения коэффициентов экстремума является то, что позднее одна или несколько локальных тональных областей будет заменена псевдокоэффициентами в спектре аудиосигнала, например, одним псевдокоэффициентом для каждой тональной области.
Вообще, области с пиками в энергетическом спектре аудиосигнала, к которым относится входной спектр аудиосигнала, указывают тональные области. Поэтому может быть предпочтительно идентифицировать области с пиками в энергетическом спектре аудиосигнала, к которым относится входной спектр аудиосигнала. Определитель 410 экстремумов может, например, исследовать энергетический спектр, содержащий коэффициенты, которые могут называться коэффициентами сравнения (так как их спектральные значения попарно сравниваются определителем экстремумов), чтобы каждый из спектральных коэффициентов входного спектра аудиосигнала имел ассоциированное с ним значение сравнения.
На фиг.5 иллюстрируется энергетический спектр 520. Энергетический спектр 520 и входной спектр 510 аудиосигнала MDCT относятся к одному и тому же аудиосигналу. Энергетический спектр 520 содержит коэффициенты, называемые коэффициентами сравнения. Каждый спектральный коэффициент содержит спектральное местоположение, которое относится к абсциссе 521, и значение сравнения. Каждый спектральный коэффициент входного спектра аудиосигнала имеет ассоциированный с ним коэффициент сравнения, и соответственно, имеет значение сравнения ассоциированного с ним коэффициента сравнения. Например, значение сравнения, ассоциированное со спектральным значением входного спектра аудиосигнала, может быть значением сравнения коэффициента сравнения с таким же спектральным положением, как и рассматриваемый спектральный коэффициент входного спектра аудиосигнала. Ассоциация между тремя из спектральных коэффициентов входного спектра 510 аудиосигнала и тремя из коэффициентов сравнения (и соответственно, ассоциация со значениями сравнения этих коэффициентов сравнения) энергетического спектра 520 указывается пунктирными линиями 513, 514, 515, указывающими ассоциацию соответствующих коэффициентов сравнения (или их значений сравнения) и соответствующих спектральных коэффициентов входного спектра 510 аудиосигнала.
Определитель 410 экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения одного из его предшественников, и значение сравнения которого больше значения сравнения одного из его последователей.
Например, определитель 410 экстремумов может определить значения локальных максимумов энергетического спектра. Другими словами, определитель 410 экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения его непосредственного предшественника, и значение сравнения которого больше значения сравнения его непосредственного последователя. Здесь непосредственный предшественник спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в энергетическом спектре. Непосредственный последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в энергетическом спектре.
Однако другие варианты осуществления не требуют, чтобы определитель 410 экстремумов определял все локальные максимумы. Например, в некоторых вариантах осуществления определитель экстремумов может исследовать только некоторые части энергетического спектра, например, относящиеся только к некоторому частотному диапазону.
В других вариантах осуществления определитель 410 экстремумов сконфигурирован для определения только тех коэффициентов в качестве коэффициентов экстремума, где разность между значением сравнения рассматриваемого локального максимума и значением сравнения последующего локального минимума и/или предыдущего локального минимума больше порогового значения.
Определитель 410 экстремумов может определять экстремум или экстремумы в спектре сравнения, где значение сравнения коэффициента в спектре сравнения назначается каждому из коэффициентов MDCT спектра MDCT. Однако спектр сравнения может иметь большее спектральное разрешение, чем входной спектр аудиосигнала. Например, спектр сравнения может быть спектром DFT, имеющим вдвое большее спектральное разрешение, чем входной спектр аудиосигнала MDCT. При этом только каждое второе спектральное значение спектра DFT назначается спектральному значению спектра MDCT. Однако можно учитывать другие коэффициенты спектра сравнения, когда определяется экстремум или экстремумы спектра сравнения. При этом коэффициент спектра сравнения может определяться как экстремум, который не назначается спектральному коэффициенту входного спектра аудиосигнала, но который имеет непосредственного предшественника и непосредственного последователя, которые назначаются соответственно спектральному коэффициенту входного спектра аудиосигнала и непосредственному последователю того спектрального коэффициента входного спектра аудиосигнала. Таким образом, можно считать, что упомянутый экстремум спектра сравнения (например, спектра DFT высокого разрешения) назначается спектральному местоположению во входном спектре аудиосигнала (MDCT), который располагается между упомянутым спектральным коэффициентом входного спектра аудиосигнала (MDCT) и упомянутым непосредственным последователем упомянутого спектрального коэффициента входного спектра аудиосигнала (MDCT). Такая ситуация может кодироваться путем выбора подходящего значения знака у псевдокоэффициента, что объясняется ниже по тексту. При этом достигается разрешение меньше элемента выборки.
Следует отметить, что в некоторых вариантах осуществления коэффициент экстремума не должен удовлетворять требованию, что его значение сравнения больше значения сравнения его непосредственного предшественника и значения сравнения его непосредственного последователя. Вместо этого в тех вариантах осуществления могло бы быть достаточно, что значение сравнения коэффициента экстремума больше одного из его предшественников и одного из его последователей. Рассмотрим, например, ситуацию, где:
В описанной Таблицей 1 ситуации определитель 410 экстремумов может справедливо рассматривать спектральный коэффициент в спектральном местоположении 214 в качестве коэффициента экстремума. Значение сравнения спектрального коэффициента 214 не превышает такового у его непосредственного предшественника 213 (0,83 < 0,84) и не превышает такового у его непосредственного последователя 215 (0,83 < 0,85), но оно (значительно) больше значения сравнения другого из его предшественников, предшественника 212 (0,83 > 0,02), и оно (значительно) больше значения сравнения другого из его последователей, последователя 216 (0,83 > 0,01). Кроме того, кажется разумным рассматривать спектральный коэффициент 214 как экстремум этой "области с пиками", так как спектральный коэффициент располагается в середине трех коэффициентов 213, 214, 215, которые имеют относительно большие значения сравнения по сравнению со значениями сравнения у коэффициентов 212 и 216.
Например, определитель 410 экстремумов может быть сконфигурирован для определения из некоторых или всех коэффициентов сравнения, больше ли значение сравнения упомянутого коэффициента сравнения по меньшей мере одного из значений сравнения трех предшественников, ближайших к спектральному местоположению упомянутого коэффициента сравнения. И/или определитель 410 экстремумов может быть сконфигурирован для определения из некоторых или всех коэффициентов сравнения, больше ли значение сравнения упомянутого коэффициента сравнения по меньшей мере одного из значений сравнения трех последователей, ближайших к спектральному местоположению упомянутого коэффициента сравнения. Определитель 410 экстремумов затем может решить, выбирать ли упомянутый коэффициент сравнения в зависимости от результата упомянутых определений.
В некоторых вариантах осуществления значение сравнения каждого спектрального коэффициента является значением квадрата дополнительного коэффициента дополнительного спектра (спектра сравнения), получающегося в результате энергосберегающего преобразования аудиосигнала.
В дополнительных вариантах осуществления значение сравнения каждого спектрального коэффициента является значением амплитуды дополнительного коэффициента дополнительного спектра, получающегося в результате энергосберегающего преобразования аудиосигнала.
В соответствии с вариантом осуществления дополнительный спектр является спектром Дискретного преобразования Фурье, и энергосберегающее преобразование является Дискретным преобразованием Фурье.
В соответствии с дополнительным вариантом осуществления дополнительный спектр является спектром Комплексного модифицированного дискретного косинусного преобразования (CMDCT), и энергосберегающее преобразование является CMDCT.
В другом варианте осуществления определитель 410 экстремумов может не исследовать спектр сравнения, а вместо этого может исследовать сам входной спектр аудиосигнала. Это может быть разумно, например, когда сам входной спектр аудиосигнала получается из энергосберегающего преобразования, например, когда входной спектр аудиосигнала является спектром величины Дискретного преобразования Фурье.
Например, определитель 410 экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения одного из его предшественников, и спектральное значение которого больше спектрального значения одного из его последователей.
В варианте осуществления определитель 410 экстремумов может быть сконфигурирован для определения одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения его непосредственного предшественника, и спектральное значение которого больше спектрального значения его непосредственного последователя.
Кроме того, устройство содержит модификатор 420 спектра для модификации входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала путем установки спектрального значения предшественника или последователя по меньшей мере одного из коэффициентов экстремума в предопределенное значение. Модификатор 420 спектра сконфигурирован, чтобы не устанавливать спектральные значения одного или более коэффициентов экстремума в предопределенное значение, либо сконфигурирован, чтобы заменять по меньшей мере один из одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения.
Предпочтительно, чтобы предопределенное значение могло быть нулем. Например, в модифицированном (замененном) спектре 530 аудиосигнала из фиг.5 спектральные значения многих спектральных коэффициентов установлены в ноль с помощью модификатора 420 спектра.
Другими словами, чтобы получить модифицированный спектр аудиосигнала, модификатор 420 спектра установит по меньшей мере спектральное значение предшественника или последователя одного из коэффициентов экстремума в предопределенное значение. Предопределенное значение может быть, например, нулем. Значение сравнения у такого предшественника или последователя меньше значения сравнения упомянутого значения экстремума.
Кроме того, касательно самих коэффициентов экстремума модификатор 420 спектра поступит следующим образом:
- модификатор 420 спектра не будет устанавливать коэффициенты экстремума в предопределенное значение, либо:
- модификатор 420 спектра заменит по меньшей мере один из коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения.
Это означает, что спектральное значение по меньшей мере одного из коэффициентов экстремума устанавливается в предопределенное значение, а спектральное значение другого из спектральных коэффициентов устанавливается в значение, которое отличается от предопределенного значения. Такое значение можно, например, вывести из спектрального значения упомянутого коэффициента экстремума, одного из предшественников упомянутого коэффициента экстремума или одного из последователей упомянутого коэффициента экстремума. Либо такое значение можно, например, вывести из значения сравнения упомянутого коэффициента экстремума, одного из предшественников упомянутого коэффициента экстремума или одного из последователей упомянутого коэффициента экстремума.
Модификатор 420 спектра может, например, конфигурироваться для замены одного из коэффициентов экстремума псевдокоэффициентом, имеющим спектральное значение, выведенное из спектрального значения или значения сравнения упомянутого коэффициента экстремума, из спектрального значения или значения сравнения одного из предшественников упомянутого коэффициента экстремума или из спектрального значения или значения сравнения одного из последователей упомянутого коэффициента экстремума.
Кроме того, устройство содержит блок 430 обработки для обработки модифицированного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала.
Например, блок 430 обработки может быть любым видом аудиокодера, например аудиокодером MP3 (MPEG-1 Audio Layer III или MPEG-2 Audio Layer III; MPEG = Экспертная группа по движущимся изображениям), аудиокодером для WMA (Windows Media Audio), аудиокодером для файлов WAVE или аудиокодером AAC (Усовершенствованное кодирование аудио) MPEG-2/4 или кодером USAC (Унифицированное кодирование речи и аудио) MPEG-D.
Блок 430 обработки может быть, например, аудиокодером, который описан в [8] (ISO/IEC 14496-3:2005 - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4), либо который описан в [9] (ISO/IEC 14496-3:2005 - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4). Например, блок 430 обработки может содержать квантователь и/или инструмент формирования (ограничения) временного шума, который описан, например, в [8], и/или блок 430 обработки может содержать инструмент замены воспринимаемого шума, который описан, например, в [8].
Кроме того, устройство содержит генератор 440 дополнительной информации для генерирования и передачи дополнительной информации. Генератор 440 дополнительной информации сконфигурирован для нахождения одного или более кандидатов-псевдокоэффициентов в модифицированном входном спектре аудиосигнала, сгенерированном модификатором 420 спектра. Кроме того, генератор 440 дополнительной информации сконфигурирован для выбора по меньшей мере одного из кандидатов-псевдокоэффициентов в качестве выбранных кандидатов. Кроме того, генератор 440 дополнительной информации сконфигурирован для генерирования дополнительной информации, чтобы дополнительная информация указывала выбранные кандидаты как псевдокоэффициенты.
В проиллюстрированном фиг.4 варианте осуществления генератор 440 дополнительной информации сконфигурирован для приема положений псевдокоэффициентов (например, положения каждого из псевдокоэффициентов) с помощью модификатора 420 спектра. Кроме того, в варианте осуществления из фиг.4 генератор 440 дополнительной информации сконфигурирован для приема положений кандидатов-псевдокоэффициентов (например, положения каждого из кандидатов-псевдокоэффициентов).
Например, в некоторых вариантах осуществления блок 430 обработки может быть сконфигурирован для определения кандидатов-псевдокоэффициентов на основе квантованного спектра аудиосигнала. В варианте осуществления блок 430 обработки может сгенерировать квантованный спектр аудиосигнала путем квантования модифицированного спектра аудиосигнала. Например, блок 430 обработки может определить по меньшей мере один спектральный коэффициент квантованного спектра аудиосигнала в качестве кандидата-псевдокоэффициента, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению (например, равно 0), и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению.
В качестве альтернативы в других вариантах осуществления блок 430 обработки может передать квантованный спектр аудиосигнала генератору 440 дополнительной информации, и генератор 440 дополнительной информации может сам определить кандидаты-псевдокоэффициенты на основе квантованного спектра аудиосигнала. В соответствии с другими вариантами осуществления кандидаты-псевдокоэффициенты определяются альтернативным способом на основе модифицированного спектра аудиосигнала.
Дополнительная информация, сгенерированная генератором дополнительной информации, может иметь статический, предопределенный размер, либо ее размер может оцениваться итерационно адаптивным к сигналу способом. В этом случае декодеру также передается фактический размер дополнительной информации. Поэтому в соответствии с вариантом осуществления генератор 440 дополнительной информации сконфигурирован для передачи размера дополнительной информации.
В соответствии с вариантом осуществления определитель 410 экстремумов сконфигурирован для исследования коэффициентов сравнения, например, коэффициентов энергетического спектра 520 на фиг.5, и сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из минимальных коэффициентов являлся одним из спектральных коэффициентов, значение сравнения которого меньше значения сравнения одного из его предшественников, и значение сравнения которого меньше значения сравнения одного из его последователей. В таком варианте осуществления модификатор 420 спектра может быть сконфигурирован для определения значения представления на основе значений сравнения одного или более коэффициентов экстремума и одного или более минимальных коэффициентов, чтобы значение представления отличалось от предопределенного значения. Кроме того, модификатор 420 спектра может быть сконфигурирован для изменения спектрального значения одного из коэффициентов входного спектра аудиосигнала путем установки упомянутого спектрального значения, равным значению представления.
В отдельном варианте осуществления определитель экстремумов сконфигурирован для исследования коэффициентов сравнения, например, коэффициентов энергетического спектра 520 на фиг.5, и сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из минимальных коэффициентов являлся одним из спектральных коэффициентов, значение сравнения которого меньше значения сравнения его непосредственного предшественника, и значение сравнения которого меньше значения сравнения его непосредственного последователя.
В качестве альтернативы определитель 410 экстремумов сконфигурирован для исследования самого входного спектра 510 аудиосигнала и сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из одного или более минимальных коэффициентов являлся одним из спектральных коэффициентов, спектральное значение которого меньше спектрального значения одного из его предшественников, и спектральное значение которого меньше спектрального значения одного из его последователей. В таком варианте осуществления модификатор 420 спектра может быть сконфигурирован для определения значения представления на основе спектральных значений одного или более коэффициентов экстремума и одного или более минимальных коэффициентов, чтобы значение представления отличалось от предопределенного значения. Кроме того, модификатор 420 спектра может быть сконфигурирован для изменения спектрального значения одного из коэффициентов входного спектра аудиосигнала путем установки упомянутого спектрального значения в значение представления.
В отдельном варианте осуществления определитель 410 экстремумов сконфигурирован для исследования самого входного спектра 510 аудиосигнала и сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из одного или более минимальных коэффициентов являлся одним из спектральных коэффициентов, спектральное значение которого меньше спектрального значения его непосредственного предшественника, и спектральное значение которого меньше спектрального значения его непосредственного последователя.
В обоих вариантах осуществления модификатор 420 спектра учитывает коэффициент экстремума и один или более минимальных коэффициентов, в частности, их ассоциированные значения сравнения или их спектральные значения, чтобы определить значение представления. Затем спектральное значение одного из спектральных коэффициентов входного спектра аудиосигнала устанавливается в значение представления. Спектральный коэффициент, спектральное значение которого устанавливается в значение представления, может быть, например, самим коэффициентом экстремума, либо спектральный коэффициент, спектральное значение которого устанавливается в значение представления, может быть псевдокоэффициентом, который заменяет коэффициент экстремума.
В варианте осуществления определитель 410 экстремумов может быть сконфигурирован для определения одной или более подпоследовательностей последовательности спектральных значений, чтобы каждая из подпоследовательностей содержала множество последующих спектральных коэффициентов входного спектра аудиосигнала. Последующие спектральные коэффициенты последовательно упорядочиваются в подпоследовательности в соответствии с их спектральным положением. Каждая из подпоследовательностей имеет первый элемент, являющийся первым в упомянутой последовательно упорядоченной подпоследовательности, и последний элемент, являющийся последним в упомянутой последовательно упорядоченной подпоследовательности.
В отдельном варианте осуществления каждая из подпоследовательностей может содержать, например, точно два из минимальных коэффициентов и точно один из коэффициентов экстремума, причем один из минимальных коэффициентов является первым элементом подпоследовательности, а другой из минимальных коэффициентов является последним элементом подпоследовательности.
В варианте осуществления модификатор 420 спектра может быть сконфигурирован для определения значения представления на основе спектральных значений или значений сравнения коэффициентов одной из подпоследовательностей. Например, если определитель 410 экстремумов исследовал коэффициенты сравнения спектра сравнения, например энергетического спектра 520, то модификатор 420 спектра может быть сконфигурирован для определения значения представления на основе значений сравнения коэффициентов одной из подпоследовательностей. Однако, если определитель 410 экстремумов исследовал спектральные коэффициенты входного спектра 510 аудиосигнала, то модификатор 420 спектра может быть сконфигурирован для определения значения представления на основе спектральных значений коэффициентов одной из подпоследовательностей.
Модификатор 420 спектра сконфигурирован для изменения спектрального значения одного из коэффициентов упомянутой подпоследовательности путем установки упомянутого спектрального значения в значение представления.
Таблица 2 предоставляет пример с пятью спектральными коэффициентами в спектральных местоположениях 252-258.
Определитель 410 экстремумов может определить, что спектральный коэффициент 255 (спектральный коэффициент со спектральным местоположением 255) является коэффициентом экстремума, так как его значение сравнения (0,73) больше значения сравнения (0,48) его (здесь - непосредственного) предшественника 254, и так как его значение сравнения (0,73) больше значения сравнения (0,45) его (здесь - непосредственного) последователя 256.
Кроме того, определитель 410 экстремумов может определить, что спектральный коэффициент 253 является минимальным коэффициентом, так как его значение сравнения (0,05) меньше значения сравнения (0,12) его (здесь - непосредственного) предшественника 252, и так как его значение сравнения (0,05) меньше значения сравнения (0,48) его (здесь - непосредственного) последователя 254.
Кроме того, определитель 410 экстремумов может определить, что спектральный коэффициент 257 является минимальным коэффициентом, так как его значение сравнения (0,03) меньше значения сравнения (0,45) его (здесь - непосредственного) предшественника 256, и так как его значение сравнения (0,03) меньше значения сравнения (0,18) его (здесь - непосредственного) последователя 258.
Определитель 410 экстремумов соответственно может определить подпоследовательность, содержащую спектральные коэффициенты 253-257, путем определения того, что спектральный коэффициент 255 является коэффициентом экстремума, путем определения того, что спектральный коэффициент 253 в качестве минимального коэффициента является ближайшим предыдущим минимальным коэффициентом к коэффициенту 255 экстремума, и путем определения того, что спектральный коэффициент 257 в качестве минимального коэффициента является ближайшим следующим минимальным коэффициентом к коэффициенту 255 экстремума.
Модификатор 420 спектра теперь может определить значение представления для подпоследовательности 253-257 на основе значений сравнения всех спектральных коэффициентов 253-257.
Например, модификатор 420 спектра может быть сконфигурирован для суммирования значений сравнения всех спектральных коэффициентов подпоследовательности. (Например, для Таблицы 2 значение представления для подпоследовательности 253-257 тогда суммируется до: 0,05 + 0,48 + 0,73 + 0,45 + 0,03 = 1,74).
Либо, например, модификатор 420 спектра может быть сконфигурирован для суммирования квадратов значений сравнения всех спектральных коэффициентов подпоследовательности. (Например, для Таблицы 2 значение представления для подпоследовательности 253-257 тогда суммируется до: (0,05)2 + (0,48)2 + (0,73)2 + (0,45)2 + (0,03)2 = 0,9692).
Либо, например, модификатор 420 спектра может быть сконфигурирован для извлечения квадратного корня из суммы квадратов значений сравнения всех спектральных коэффициентов подпоследовательности 253-257. (Например, для Таблицы 2 значение представления тогда равно 0,98448).
В соответствии с некоторыми вариантами осуществления, модификатор 420 спектра установит спектральное значение коэффициента экстремума (в Таблице 2 - спектральное значение спектрального коэффициента 253) в предопределенное значение.
Однако другие варианты осуществления используют подход с центром тяжести. Таблица 3 иллюстрирует подпоследовательность, содержащую спектральные коэффициенты 282-288:
Хотя коэффициент экстремума располагается в спектральном местоположении 285, в соответствии с подходом с центром тяжести центр тяжести располагается в другом спектральном местоположении.
Чтобы определить спектральное местоположение центра тяжести, определитель 410 экстремумов суммирует взвешенные спектральные местоположения всех спектральных коэффициентов подпоследовательности и делит результат на сумму значений сравнения спектральных коэффициентов подпоследовательности. Затем можно применить коммерческое округление к результату деления, чтобы определить центр тяжести. Взвешенное спектральное местоположение спектрального коэффициента является произведением его спектрального местоположения и его значений сравнения.
Вкратце: Определитель экстремумов может получить центр тяжести путем:
1) определения произведения значения сравнения и спектрального местоположения для каждого спектрального коэффициента подпоследовательности;
2) суммирования произведений, определенных в 1), для получения первой суммы;
3) суммирования значений сравнения всех спектральных коэффициентов подпоследовательности для получения второй суммы;
4) деления первой суммы на вторую сумму, чтобы сгенерировать промежуточный результат; и
5) применения в отношении промежуточного результата округления до ближайшего целого, чтобы получить центр тяжести (округление до ближайшего целого: 8,49 округляется до 8; 8,5 округляется до 9).
Таким образом, для примера из Таблицы 3 центр тяжести получается путем:
(0,04 · 282 + 0,10 · 283 + 0,20 · 284 + 0,93 · 285 + 0,92 · 286 + 0,90 · 287 + 0,05 · 288) /
/ (0,04 + 0,10 + 0,20 + 0,93 + 0,92 + 0,90 + 0,05) = 897,25 / 3,14 = 285,75 = 286.
Таким образом, в примере из Таблицы 3 определитель 410 экстремумов был бы сконфигурирован для определения спектрального местоположения 286 в качестве центра тяжести.
В некоторых вариантах осуществления определитель 410 экстремумов не исследует полный спектр сравнения (например, энергетический спектр 520) или не исследует полный входной спектр аудиосигнала. Вместо этого определитель 410 экстремумов может исследовать спектр сравнения или входной спектр аудиосигнала только частично.
Фиг.6 иллюстрирует такой пример. Там энергетический спектр 620 (в качестве спектра сравнения) исследован определителем 410 экстремумов, начиная с коэффициента 55. Коэффициенты в спектральных местоположениях меньше 55 не были исследованы. Поэтому спектральные коэффициенты в спектральных местоположениях меньше 55 остаются немодифицированными в замененном спектре 630 MDCT. Для сравнения фиг.5 иллюстрирует замененный спектр 530 MDCT, где все спектральные линии MDCT модифицированы модификатором 420 спектра.
Таким образом, модификатор 420 спектра может быть сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными.
В некоторых вариантах осуществления модификатор 420 спектра сконфигурирован для определения, меньше ли порогового значения разность значений между одним из значения сравнения или спектрального значения одного из коэффициентов экстремума. В таких вариантах осуществления модификатор 420 спектра сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными в модифицированном спектре аудиосигнала в зависимости от того, меньше ли разность значений порогового значения.
Например, в варианте осуществления модификатор 420 спектра может быть сконфигурирован, чтобы не модифицировать или заменять все, а вместо этого модифицировать или заменять только некоторые из коэффициентов экстремума. Например, когда разность между значением сравнения коэффициента экстремума (например, локальным максимумом) и значением сравнения последующего и/или предыдущего минимального значения меньше порогового значения, модификатор спектра может быть сконфигурирован, чтобы не модифицировать эти спектральные значения (и, например, спектральные значения спектральных коэффициентов между ними), а вместо этого оставить эти спектральные значения немодифицированными в модифицированном (замененном) спектре 630 MDCT. В модифицированном спектре 630 MDCT из фиг.6 спектральные значения спектральных коэффициентов 100-112 и спектральные значения спектральных коэффициентов 124-136 оставлены спектральным модификатором немодифицированными в модифицированном (замененном) спектре 630.
Кроме того, блок обработки может быть сконфигурирован для квантования коэффициентов модифицированного (замененного) спектра 630 MDCT, чтобы получить квантованный спектр 635 MDCT.
В соответствии с вариантом осуществления модификатор 420 спектра может быть сконфигурирован для приема информации точной настройки. Спектральные значения спектральных коэффициентов входного спектра аудиосигнала могут быть значениями со знаком, содержащими компоненту знака. Модификатор спектра может быть сконфигурирован для установки компоненты знака одного из одного или более коэффициентов экстремума или псевдокоэффициента в первое значение знака, когда информация точной настройки находится в первом состоянии точной настройки. Модификатор спектра может быть сконфигурирован для установки компоненты знака спектрального значения одного из одного или более коэффициентов экстремума или псевдокоэффициента в другое второе значение знака, когда информация точной настройки находится в другом втором состоянии точной настройки.
Например, в Таблице 4
спектральные значения спектральных коэффициентов указывают, что спектральный коэффициент 291 находится в первом состоянии точной настройки, спектральный коэффициент 301 находится во втором состоянии точной настройки, спектральный коэффициент 321 находится в первом состоянии точной настройки и т.п.
Например, возвращаясь к объясненному выше по тексту определению центра тяжести, если центр тяжести находится между двумя спектральными местоположениями (например, приблизительно посередине), то спектральный модификатор может задать знак так, чтобы указывалось второе состояние точной настройки.
В соответствии с вариантом осуществления блок 430 обработки может быть сконфигурирован для квантования модифицированного спектра аудиосигнала, чтобы получить квантованный спектр аудиосигнала. Кроме того, блок 430 обработки может быть сконфигурирован для обработки квантованного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала.
Кроме того, блок 430 обработки может быть сконфигурирован для генерирования дополнительной информации, указывающей, является ли упомянутый коэффициент одним из коэффициентов экстремума, только для тех спектральных коэффициентов квантованного спектра аудиосигнала, которые имеют непосредственного предшественника, спектральное значение которого равно предопределенному значению, и непосредственного последователя, спектральное значение которого равно предопределенному значению.
Такая информация может предоставляться определителем 410 экстремумов в блок 430 обработки.
Например, такая информация может храниться блоком 430 обработки в битовом поле, указывающем для каждого из спектральных коэффициентов квантованного спектра аудиосигнала, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и непосредственного последователя, спектральное значение которого равно предопределенному значению, является ли упомянутый коэффициент одним из коэффициентов экстремума (например, с помощью значения 1 бита), или что упомянутый коэффициент не является одним из коэффициентов экстремума (например, с помощью значения 0 бита). В варианте осуществления декодер позже может использовать эту информацию для восстановления входного спектра аудиосигнала. Битовое поле может иметь фиксированную длину или адаптивно выбираемую по сигналу длину. В последнем случае длина битового поля могла бы дополнительно сообщаться декодеру.
Например, битовое поле [000111111], сгенерированное блоком 430 обработки, может указывать, что первые три "самостоятельных" коэффициента (их спектральное значение не равно предопределенному значению, но спектральные значения их предшественника и их последователя равны предопределенному значению), которые появляются в (последовательно упорядоченном) (квантованном) спектре аудиосигнала, не являются коэффициентами экстремума, а следующие шесть "самостоятельных" коэффициентов являются коэффициентами экстремума. Это битовое поле описывает ситуацию, которую можно увидеть в квантованном спектре 635 MDCT на фиг.6, где первые три "самостоятельных" коэффициента 5, 8, 25 не являются коэффициентами экстремума, но где следующие шесть "самостоятельных" коэффициентов 59, 71, 83, 94, 116, 141 являются коэффициентами экстремума.
Снова непосредственный предшественник упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно предшествует упомянутому спектральному коэффициенту в квантованном спектре аудиосигнала, а непосредственный последователь упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно следует за упомянутым спектральным коэффициентом в квантованном спектре аудиосигнала.
Ниже описывается устройство для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала в соответствии с вариантом осуществления.
Фиг.1 иллюстрирует такое устройство для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала в соответствии с вариантом осуществления.
Устройство содержит блок 110 обработки для обработки кодированного спектра аудиосигнала, чтобы получить декодированный спектр аудиосигнала. Декодированный спектр аудиосигнала содержит множество спектральных коэффициентов, где каждый из спектральных коэффициентов имеет спектральное местоположение в кодированном спектре аудиосигнала и спектральное значение, где спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением в кодированном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов.
Кроме того, устройство содержит определитель 120 псевдокоэффициентов для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала, используя дополнительную информацию, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение.
Кроме того, устройство содержит блок 130 модификации спектра для установки одного или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала.
Кроме того, устройство содержит блок 140 спектрально-временного преобразования для преобразования модифицированного спектра аудиосигнала во временную область, чтобы получить сигнал преобразования временной области.
Кроме того, устройство содержит управляемый осциллятор 150 для генерирования сигнала осциллятора временной области, причем управляемый осциллятор управляется спектральным местоположением и спектральным значением по меньшей мере одного из одного или более псевдокоэффициентов.
Кроме того, устройство содержит смеситель 160 для смешивания сигнала преобразования временной области и сигнала осциллятора временной области, чтобы получить выходной аудиосигнал.
В варианте осуществления смеситель может быть сконфигурирован для смешивания сигнала преобразования временной области и сигнала осциллятора временной области путем сложения во временной области сигнала преобразования временной области с сигналом осциллятора временной области.
Блок 110 обработки может быть, например, любым видом аудиодекодера, например, аудиодекодером MP3, аудиодекодером для WMA, аудиодекодером для файлов WAVE, аудиодекодером AAC или аудиодекодером USAC.
Блок 110 обработки может быть, например, аудиодекодером, который описан в [8] (ISO/IEC 14496-3:2005 - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4), либо который описан в [9] (ISO/IEC 14496-3:2005 - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4). Например, блок 430 обработки может содержать изменение масштаба квантованных значений ("деквантование") и/или инструмент формирования временного шума, который описан, например, в [8], и/или блок 430 обработки может содержать инструмент замены воспринимаемого шума, который описан, например, в [8].
В соответствии с вариантом осуществления, каждый из спектральных коэффициентов может иметь по меньшей мере одного из непосредственного предшественника и непосредственного последователя, где непосредственный предшественник упомянутого спектрального коэффициента может быть одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в последовательности, где непосредственный последователь упомянутого спектрального коэффициента может быть одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в последовательности.
Определитель 120 псевдокоэффициентов может быть сконфигурирован для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала путем определения по меньшей мере одного спектрального коэффициента последовательности, который имеет спектральное значение, которое отличается от предопределенного значения, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению. В варианте осуществления предопределенное значение может быть нулем.
Другими словами: Определитель 120 псевдокоэффициентов для некоторых или всех коэффициентов декодированного спектра аудиосигнала определяет, отличается ли соответственно рассматриваемый коэффициент от предопределенного значения (предпочтительно: отличается от 0), равно ли спектральное значение предыдущего коэффициента предопределенному значению (предпочтительно: равно 0), и равно ли спектральное значение следующего коэффициента предопределенному значению (предпочтительно: равно 0).
В некоторых вариантах осуществления такой определенный коэффициент (всегда) является псевдокоэффициентом.
Однако в других вариантах осуществления такой определенный коэффициент является (только) кандидатом-псевдокоэффициентом и может или не может быть псевдокоэффициентом. В тех вариантах осуществления определитель 120 псевдокоэффициентов сконфигурирован для определения по меньшей мере одного кандидата-псевдокоэффициента, который имеет спектральное значение, которое отличается от предопределенного значения, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который может иметь непосредственного последователя, спектральное значение которого равно предопределенному значению.
Определитель 120 псевдокоэффициентов тогда сконфигурирован для определения, является ли кандидат-псевдокоэффициент псевдокоэффициентом путем определения, указывает ли дополнительная информация, что упомянутый кандидат-псевдокоэффициент является псевдокоэффициентом.
Например, такая дополнительная информация может приниматься определителем 120 псевдокоэффициентов в битовом поле, которое указывает для каждого из спектральных коэффициентов квантованного спектра аудиосигнала, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и непосредственного последователя, спектральное значение которого равно предопределенному значению, является ли упомянутый коэффициент одним из коэффициентов экстремума (например, с помощью значения 1 бита), или что упомянутый коэффициент не является одним из коэффициентов экстремума (например, с помощью значения 0 бита).
Например, битовое поле [000111111] могло бы указывать, что первые три "самостоятельных" коэффициента (их спектральное значение не равно предопределенному значению, но спектральные значения их предшественника и их последователя равны предопределенному значению), которые появляются в (последовательно упорядоченном) (квантованном) спектре аудиосигнала, не являются коэффициентами экстремума, а следующие шесть "самостоятельных" коэффициентов являются коэффициентами экстремума. Это битовое поле описывает ситуацию, которую можно увидеть в квантованном спектре 635 MDCT на фиг.6, где первые три "самостоятельных" коэффициента 5, 8, 25 не являются коэффициентами экстремума, но где следующие шесть "самостоятельных" коэффициентов 59, 71, 83, 94, 116, 141 являются коэффициентами экстремума.
Блок 130 модификации спектра может быть сконфигурирован для "удаления" псевдокоэффициентов из декодированного спектра аудиосигнала. Фактически, блок модификации спектра устанавливает спектральное значение псевдокоэффициентов декодированного спектра аудиосигнала в предопределенное значение (предпочтительно в 0). Это разумно, так как псевдокоэффициенты (по меньшей мере один из них) потребуются только для управления (по меньшей мере одним) управляемым осциллятором 150. Таким образом, рассмотрим, например, квантованный спектр 635 MDCT на фиг.6. Если спектр 635 рассматривается как декодированный спектр аудиосигнала, то блок 130 модификации спектра задал бы спектральные значения коэффициентов 59, 71, 83, 94, 116 и 141 экстремума, чтобы получить модифицированный спектр аудиосигнала, и оставил бы другие коэффициенты спектра немодифицированными.
Блок 140 спектрально-временного преобразования преобразует модифицированный спектр аудиосигнала из спектральной области во временную область. Например, модифицированный спектр аудиосигнала может быть спектром MDCT, и блок 140 спектрально-временного преобразования может быть блоком фильтров Обратного модифицированного дискретного косинусного преобразования (IMDCT). В других вариантах осуществления спектр может быть спектром MDST, и блок 140 спектрально-временного преобразования может быть блоком фильтров Обратного модифицированного дискретного синусного преобразования (IMDST). Либо в дополнительных вариантах осуществления спектр может быть спектром DFT, и блок 140 спектрально-временного преобразования может быть блоком фильтров Обратного дискретного преобразования Фурье (IDFT).
Управляемый осциллятор 150 может быть сконфигурирован для генерирования сигнала осциллятора временной области, имеющего частоту сигнала осциллятора, так что частота сигнала осциллятора у сигнала осциллятора может зависеть от спектрального местоположения одного из одного или более псевдокоэффициентов. Сигнал осциллятора, сгенерированный осциллятором, может быть синусоидным сигналом временной области. Управляемый осциллятор 150 может быть сконфигурирован для управления амплитудой синусоидного сигнала временной области в зависимости от спектрального значения одного из одного или более псевдокоэффициентов.
В соответствии с вариантом осуществления псевдокоэффициенты являются значениями со знаком, содержащими компоненту знака. Управляемый осциллятор 150 может быть сконфигурирован для генерирования сигнала осциллятора временной области, чтобы частота сигнала осциллятора у сигнала осциллятора, кроме того, могла зависеть от компоненты знака одного из одного или более псевдокоэффициентов, чтобы частота сигнала осциллятора могла иметь первое значение частоты, когда компонента знака имеет первое значение знака, и чтобы частота сигнала осциллятора могла иметь другое второе значение частоты, когда компонента знака имеет другое второе значение.
Например, рассмотрим псевдокоэффициент в спектральном местоположении 59 в спектре 635 MDCT из фиг.6. Если частота 8200 Гц была бы назначена спектральному местоположению 59, и если частота 8400 Гц была бы назначена спектральному местоположению 60, то управляемый осциллятор может, например, конфигурироваться для установки частоты осциллятора в 8200 Гц, если знак спектрального значения псевдокоэффициента положительный, и может, например, конфигурироваться для установки частоты осциллятора в 8300 Гц, если знак спектрального значения псевдокоэффициента отрицательный.
Таким образом, знак спектрального значения псевдокоэффициента может использоваться для управления, устанавливает ли управляемый осциллятор частоту осциллятора в частоту (например, 8200 Гц), назначенную спектральному местоположению псевдокоэффициента (например, спектральному местоположению 59), или в частоту (например, 8300Гц) между частотой (например, 8200 Гц), назначенной спектральному местоположению псевдокоэффициента (например, спектральному местоположению 59), и частотой (например, 8400 Гц), назначенной спектральному местоположению, которое непосредственно следует за спектральным местоположением псевдокоэффициента (например, спектральному местоположению 60).
В варианте осуществления управляемый осциллятор 150 дополнительно управляется одним или более экстраполированными параметрами, выведенными из псевдокоэффициента предыдущего кадра. Например, управляемый осциллятор 150 также может дополнительно управляться посредством экстраполированных параметров, выведенных из псевдокоэффициента предыдущего кадра, например, чтобы скрыть потерю кадра данных во время передачи или чтобы сгладить нестабильную работу управления осциллятором. Экстраполированные параметры могут быть, например, спектральным местоположением или спектральным значением. Например, когда рассматриваются спектральные коэффициенты частотно-временной области, спектральные коэффициенты, относящиеся к моменту t-1, могут содержаться в первом кадре, а спектральные коэффициенты, относящиеся к моменту t, могут назначаться второму кадру. Например, спектральное значение и/или спектральное местоположение псевдокоэффициента, относящегося к моменту t-1, можно скопировать для получения экстраполированного параметра для текущего кадра, относящегося к моменту t.
Фиг.2 иллюстрирует вариант осуществления, в котором устройство содержит дополнительные управляемые осцилляторы 252, 254, 256 для генерирования дополнительных сигналов осциллятора временной области, управляемые спектральными местоположениями и спектральными значениями дополнительных псевдокоэффициентов из одного или более псевдокоэффициентов.
Каждый из дополнительных управляемых осцилляторов 252, 254, 256 генерирует один из дополнительных сигналов осциллятора временной области. Каждый из управляемых осцилляторов 252, 254, 256 сконфигурирован для управления частотой сигнала осциллятора на основе спектрального местоположения одного из псевдокоэффициентов. И/или каждый из управляемых осцилляторов 252, 254, 256 сконфигурирован для управления амплитудой сигнала осциллятора на основе спектрального значения одного из псевдокоэффициентов.
Смеситель 160 из фиг.1 и фиг.2 сконфигурирован для смешивания сигнала преобразования временной области, сгенерированного блоком 140 спектрально-временного преобразования, и одного или более сигналов осциллятора временной области, сгенерированных одним или более управляемыми осцилляторами 150, 252, 254, 256, чтобы получить выходной аудиосигнал. Смеситель 160 может генерировать выходной аудиосигнал путем наложения сигнала преобразования временной области и одного или более сигналов осциллятора временной области.
Фиг.3 иллюстрирует две схемы, сравнивающие исходные синусоиды (слева) и синусоиды после обработки последовательностью MDCT/IMDCT (справа). После обработки последовательностью MDCT/ IMDCT синусоида содержит вибрирующие артефакты. Предоставленные выше по тексту идеи избегают того, что синусоиды обрабатываются последовательностью MDCT/IMDCT, а вместо этого синусоидальная информация кодируется псевдокоэффициентом и/или синусоида воспроизводится управляемым осциллятором.
Хотя некоторые особенности описаны применительно к устройству, понятно, что эти особенности также представляют собой описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. По аналогии особенности, описанные применительно к этапу способа, также представляют собой описание соответствующего блока или элемента либо признака соответствующего устройства.
Новый разложенный сигнал может храниться на цифровом носителе информации или может передаваться по передающей среде, например беспроводной передающей среде или проводной передающей среде, такой как Интернет.
В зависимости от некоторых требований к реализации, варианты осуществления изобретения можно реализовать в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя информации, например дискеты, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные на нем электронно- считываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой так, что выполняется соответствующий способ.
Некоторые варианты осуществления в соответствии с изобретением содержат неизменяемый со временем носитель информации, имеющий электронно-считываемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой, так что выполняется один из способов, описанных в этом документе.
Как правило, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код действует для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может храниться, например, на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных в этом документе способов, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления нового способа поэтому является компьютерной программой, имеющей программный код для выполнения одного из описанных в этом документе способов, когда компьютерная программа выполняется на компьютере.
Дополнительный вариант осуществления новых способов поэтому является носителем информации (или цифровым носителем информации, или считываемым компьютером носителем), содержащим записанную на нем компьютерную программу для выполнения одного из способов, описанных в этом документе.
Дополнительный вариант осуществления патентоспособного способа поэтому является потоком данных или последовательностью сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в этом документе. Поток данных или последовательность сигналов могут конфигурироваться, например, для передачи по соединению передачи данных, например по Интернету.
Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, сконфигурированные или приспособленные для выполнения одного из способов, описанных в этом документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в этом документе.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в этом документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнить один из способов, описанных в этом документе. Как правило, способы предпочтительно выполняются любым аппаратным средством.
Вышеописанные варианты осуществления являются всего лишь пояснительными для принципов настоящего изобретения. Подразумевается, что модификации и изменения компоновок и подробностей, описанных в этом документе, будут очевидны другим специалистам в данной области техники. Поэтому есть намерение ограничиться только объемом предстоящей формулы изобретения, а не определенными подробностями, представленными посредством описания и объяснения вариантов осуществления в этом документе.
Литература
1. Daudet, L.; Sandler, M.; "MDCT analysis of sinusoids: exact results and applications to coding artifacts reduction," Speech and Audio Processing, IEEE Transactions on, vol.12, no.3, pp. 302-312, May 2004.
2. Purnhagen, H.; Meine, N.; "HILN-the MPEG-4 parametric audio coding tools," Circuits and Systems, 2000. Proceedings. ISCAS 2000 Geneva. The 2000 IEEE International Symposium an, vol.3, no., pp.201-204 vol.3, 2000.
3. Oomen, Werner; Schuijers, Erik; den Brinker, Bert; Breebaart, Jeroen:," Advances in Parametrie Coding for High-Quality Audio," Audio Engineering Society Convention 114, preprint, Amsterdam/NL, March 2003.
4. van Schijndel, N.H.; van de Par, S.; "Rate-distortion optimized hybrid sound coding," Applications of Signal Processing to Audio and Acoustics, 2005. IEEE Workshop on, vol., no., pp. 235-238, 16-19 Oct. 2005.
5. Bessette, 8.; Lefebvre, R.; Salami, R.; "Universal speech/audio coding using hybrid ACELP/TCX techniques," Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Conference on, vol.3, no., pp. iii/301- iii/304 Val. 3, 18-23 March 2005.
6. Ferreira, A.J.S. "Combined spectral envelope normalization and subtraction of sinusoidal components in the ODFT and MDCT frequency domains," Applications of Signal Processing to Audio and Acoustics, 2001 IEEE Workshop on the, vol., no., pp.51-54, 2001.
7. http://people.xiph.org/~xiphmont/demo/ghost/demo.html
Соответствующий веб-сайт из archive.org хранится по адресу:
http://web.archive.org/web/20110121141149/http://people.xiph.org/~xiphmont /demo/ghost/demo.html
8. ISO/IEC 14496-3:2005(E) - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4.
9. ISO/IEC 14496-3:2009(E) - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4.
Изобретение относится к кодированию, декодированию и к обработке аудиосигнала и, в частности, к кодированию и декодированию аудио, применяющему синусоидальную замену. Технический результат - повышение точности воспроизведения аудиосигнала. Для этого устройство содержит блок обработки, определитель псевдокоэффициентов, блок модификации спектра, блок спектрально-временного преобразования, управляемый осциллятор и смеситель. Определитель псевдокоэффициентов сконфигурирован для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение. Блок модификации спектра сконфигурирован для установки одного или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала. Блок спектрально-временного преобразования сконфигурирован для преобразования модифицированного спектра аудиосигнала во временную область, чтобы получить сигнал преобразования временной области. Управляемый осциллятор сконфигурирован для генерирования сигнала осциллятора временной области, причем управляемый осциллятор управляется спектральным местоположением и спектральным значением по меньшей мере одного из одного или более псевдокоэффициентов. Смеситель сконфигурирован для смешивания сигнала преобразования временной области и сигнала осциллятора временной области, чтобы получить выходной аудиосигнал. 5 н. и 26 з.п. ф-лы, 6 ил., 4 табл.
1. Устройство для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала, при этом устройство содержит:
блок (110) обработки для обработки кодированного спектра аудиосигнала, чтобы получить декодированный спектр аудиосигнала, причем декодированный спектр аудиосигнала содержит множество спектральных коэффициентов, причем каждый из спектральных коэффициентов имеет спектральное местоположение в кодированном спектре аудиосигнала и спектральное значение, причем спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением в кодированном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов,
определитель (120) псевдокоэффициентов для определения одного или более псевдокоэффициентов декодированного спектра аудиосигнала, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение,
блок (130) модификации спектра для установки упомянутого одного или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала,
блок (140) спектрально-временного преобразования для преобразования модифицированного спектра аудиосигнала во временную область, чтобы получить сигнал преобразования временной области,
управляемый осциллятор (150) для генерирования сигнала осциллятора временной области, причем управляемый осциллятор (150) управляется спектральным местоположением и спектральным значением по меньшей мере одного из упомянутого одного или более псевдокоэффициентов, и
смеситель (160) для смешивания сигнала преобразования временной области и сигнала осциллятора временной области, чтобы получить выходной аудиосигнал.
2. Устройство по п. 1,
в котором каждый из спектральных коэффициентов имеет по меньшей мере одно из непосредственного предшественника и непосредственного последователя, в котором непосредственный предшественник упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в последовательности спектральных коэффициентов, в котором непосредственный последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в последовательности,
при этом определитель (120) псевдокоэффициентов сконфигурирован для определения упомянутого одного или более псевдокоэффициентов декодированного спектра аудиосигнала путем определения по меньшей мере одного спектрального коэффициента последовательности, который имеет спектральное значение, которое отличается от предопределенного значения, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению.
3. Устройство по п. 2, в котором предопределенное значение равно нулю.
4. Устройство по п. 2,
в котором определитель (120) псевдокоэффициентов сконфигурирован для определения упомянутого одного или более псевдокоэффициентов декодированного спектра аудиосигнала путем определения упомянутого по меньшей мере одного спектрального коэффициента последовательности в качестве кандидата-псевдокоэффициента, который имеет непосредственного предшественника, спектральное значение которого равно предопределенному значению, и который имеет непосредственного последователя, спектральное значение которого равно предопределенному значению, и
в котором определитель (120) псевдокоэффициентов сконфигурирован для определения, является ли кандидат-псевдокоэффициент псевдокоэффициентом, путем определения, указывает ли дополнительная информация, что упомянутый кандидат-псевдокоэффициент является псевдокоэффициентом.
5. Устройство по п. 1, в котором управляемый осциллятор (150) сконфигурирован для генерирования сигнала осциллятора временной области, имеющего частоту сигнала осциллятора, чтобы частота сигнала осциллятора у сигнала осциллятора зависела от спектрального местоположения одного из упомянутого одного или более псевдокоэффициентов.
6. Устройство по п. 5,
в котором псевдокоэффициенты являются значениями со знаком, каждое из которых содержит компоненту знака, и
в котором управляемый осциллятор (150) сконфигурирован для генерирования сигнала осциллятора временной области, чтобы частота сигнала осциллятора у сигнала осциллятора, кроме того, зависела от компоненты знака одного из упомянутого одного или более псевдокоэффициентов, чтобы частота сигнала осциллятора имела первое значение частоты, когда компонента знака имеет первое значение знака, и чтобы частота сигнала осциллятора имела другое второе значение частоты, когда компонента знака имеет другое второе значение.
7. Устройство по п. 1, в котором управляемый осциллятор (150) сконфигурирован для генерирования сигнала осциллятора временной области, где амплитуда сигнала осциллятора зависит от спектрального значения одного из упомянутого одного или более псевдокоэффициентов, чтобы амплитуда сигнала осциллятора имела первое значение амплитуды, когда спектральное значение имеет третье значение, и чтобы амплитуда сигнала осциллятора имела другое второе значение амплитуды, когда спектральное значение имеет другое четвертое значение, причем второе значение амплитуды больше первого значения амплитуды, когда четвертое значение больше третьего значения.
8. Устройство по п. 1, в котором управляемый осциллятор (150) дополнительно управляется одним или более экстраполированными параметрами, выведенными из псевдокоэффициента предыдущего кадра.
9. Устройство по п. 1,
в котором модифицированный спектр аудиосигнала является спектром MDCT, содержащим коэффициенты MDCT, и
в котором блок (140) спектрально-временного преобразования сконфигурирован для преобразования спектра MDCT из области MDCT во временную область путем преобразования по меньшей мере некоторых из коэффициентов декодированного спектра аудиосигнала во временную область.
10. Устройство по п. 1, в котором смеситель (160) сконфигурирован для смешивания сигнала преобразования временной области и сигнала осциллятора временной области путем сложения во временной области сигнала преобразования временной области с сигналом осциллятора временной области.
11. Устройство по п. 1,
в котором сигнал осциллятора временной области, сгенерированный управляемым осциллятором (150), является первым сигналом осциллятора временной области,
в котором устройство, кроме того, содержит один или более дополнительных управляемых осцилляторов (252, 254, 256) для генерирования одного или более дополнительных сигналов осциллятора временной области, где каждый из упомянутого одного или более дополнительных управляемых осцилляторов (252, 254, 256) сконфигурирован для генерирования одного из упомянутого одного или более дополнительных сигналов осциллятора временной области, где каждый из дополнительных управляемых осцилляторов (252, 254, 256) управляется спектральным местоположением и спектральным значением по меньшей мере одного из упомянутого одного или более псевдокоэффициентов, и
в котором смеситель (160) сконфигурирован для смешивания первого сигнала осциллятора временной области, упомянутого одного или более дополнительных сигналов осциллятора временной области и сигнала преобразования временной области, чтобы получить выходной аудиосигнал.
12. Устройство для кодирования входного спектра аудиосигнала у аудиосигнала, причем входной спектр аудиосигнала содержит множество спектральных коэффициентов, причем каждый из спектральных коэффициентов имеет спектральное местоположение во входном спектре аудиосигнала, спектральное значение, причем спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением во входном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов, где каждый из спектральных коэффициентов имеет по меньшей мере одно из одного или более предшественников и одного или более последователей, при этом каждый из предшественников упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который предшествует упомянутому спектральному коэффициенту в последовательности, где каждый из последователей упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который следует за упомянутым спектральным коэффициентом в последовательности, и при этом устройство содержит:
определитель (410) экстремумов для определения одного или более коэффициентов экстремума,
модификатор (420) спектра для модификации входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения по меньшей мере одного из предшественников или по меньшей мере одного из последователей по меньшей мере одного из коэффициентов экстремума в предопределенное значение, причем модификатор (420) спектра сконфигурирован, чтобы не устанавливать спектральные значения упомянутого одного или более коэффициентов экстремума в предопределенное значение, либо сконфигурирован, чтобы заменять по меньшей мере один из упомянутого одного или более коэффициентов экстремума псевдокоэффициентом, причем спектральное значение псевдокоэффициента отличается от предопределенного значения,
блок (430) обработки для обработки модифицированного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала, и
генератор (440) дополнительной информации для генерирования и передачи дополнительной информации, при этом генератор (440) дополнительной информации сконфигурирован для нахождения одного или более кандидатов-псевдокоэффициентов в модифицированном входном спектре аудиосигнала, сгенерированном модификатором (420) спектра, при этом генератор (440) дополнительной информации сконфигурирован для выбора по меньшей мере одного из кандидатов-псевдокоэффициентов в качестве выбранных кандидатов, и при этом генератор (440) дополнительной информации сконфигурирован для генерирования дополнительной информации, чтобы дополнительная информация указывала выбранные кандидаты как псевдокоэффициенты,
причем определитель (410) экстремумов сконфигурирован для определения упомянутого одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения по меньшей мере одного из его предшественников, и спектральное значение которого больше спектрального значения по меньшей мере одного из его последователей, или
причем каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, при этом определитель (410) экстремумов сконфигурирован для определения упомянутого одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения по меньшей мере одного из его предшественников, и значение сравнения которого больше значения сравнения по меньшей мере одного из его последователей.
13. Устройство по п. 12, в котором генератор (440) дополнительной информации сконфигурирован для передачи размера дополнительной информации.
14. Устройство по п. 12, в котором модификатор (420) спектра сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными в модифицированном спектре аудиосигнала.
15. Устройство по п. 12, в котором каждый их спектральных коэффициентов имеет по меньшей мере одно из непосредственного предшественника в качестве одного из его предшественников и непосредственного последователя в качестве одного из его последователей, где непосредственный предшественник упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно предшествует упомянутому спектральному коэффициенту в последовательности, где непосредственный последователь упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который непосредственно следует за упомянутым спектральным коэффициентом в последовательности,
в котором модификатор (420) спектра сконфигурирован для модификации входного спектра аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения непосредственного предшественника или непосредственного последователя по меньшей мере одного из коэффициентов экстремума в предопределенное значение, где модификатор (420) спектра сконфигурирован, чтобы не устанавливать спектральные значения упомянутого одного или более коэффициентов экстремума в предопределенное значение, либо сконфигурирован, чтобы заменять по меньшей мере один из упомянутого одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения, и
в котором определитель (410) экстремумов сконфигурирован для определения упомянутого одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения его непосредственного предшественника, и спектральное значение которого больше спектрального значения его непосредственного последователя, или где каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, где определитель (410) экстремумов сконфигурирован для определения упомянутого одного или более коэффициентов экстремума, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения его непосредственного предшественника, и значение сравнения которого больше значения сравнения его непосредственного последователя.
16. Устройство по п. 15,
в котором определитель (410) экстремумов сконфигурирован для определения одного или более минимальных коэффициентов, чтобы каждый из упомянутого одного или более минимальных коэффициентов являлся одним из спектральных коэффициентов, спектральное значение которого меньше спектрального значения одного из его предшественников, и спектральное значение которого меньше спектрального значения одного из его последователей, или где каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, где определитель (410) экстремумов сконфигурирован для определения упомянутого одного или более минимальных коэффициентов, чтобы каждый из минимальных коэффициентов являлся одним из спектральных коэффициентов, значение сравнения которого меньше значения сравнения одного из его предшественников, и значение сравнения которого меньше значения сравнения одного из его последователей, и
в котором модификатор (420) спектра сконфигурирован для определения значения представления на основе спектральных значений или значений сравнения одного или более коэффициентов экстремума и одного или более минимальных коэффициентов, чтобы значение представления отличалось от предопределенного значения, и где модификатор (420) спектра сконфигурирован для изменения спектрального значения одного из коэффициентов входного спектра аудиосигнала путем установки упомянутого спектрального значения в значение представления.
17. Устройство по п. 16,
в котором модификатор (420) спектра сконфигурирован для определения, меньше ли порогового значения разность значений между одним из значения сравнения или спектрального значения одного из коэффициентов экстремума, и
в котором модификатор (420) спектра сконфигурирован для модификации входного спектра аудиосигнала, чтобы спектральные значения по меньшей мере некоторых спектральных коэффициентов входного спектра аудиосигнала оставались немодифицированными в модифицированном спектре аудиосигнала в зависимости от того, меньше ли разность значений порогового значения.
18. Устройство по п. 16,
в котором определитель (410) экстремумов сконфигурирован для определения одной или более подпоследовательностей последовательности спектральных значений, чтобы каждая из подпоследовательностей содержала множество последующих спектральных коэффициентов входного спектра аудиосигнала, причем последующие спектральные коэффициенты последовательно упорядочены в подпоследовательности в соответствии с их спектральным положением, где каждая из подпоследовательностей имеет первый элемент, являющийся первым в упомянутой последовательно упорядоченной подпоследовательности, и последний элемент, являющийся последним в упомянутой последовательно упорядоченной подпоследовательности, где каждая из подпоследовательностей содержит точно два из минимальных коэффициентов и точно один из коэффициентов экстремума, причем один из минимальных коэффициентов является первым элементом подпоследовательности, а другой из минимальных коэффициентов является последним элементом подпоследовательности, и
в котором модификатор (420) спектра сконфигурирован для определения значения представления на основе спектральных значений или значений сравнения коэффициентов одной из подпоследовательностей, и где модификатор (420) спектра сконфигурирован для изменения спектрального значения одного из коэффициентов упомянутой подпоследовательности путем установки упомянутого спектрального значения в значение представления.
19. Устройство по п. 18, в котором модификатор (420) спектра сконфигурирован для определения значения представления путем определения суммы квадратов значений сравнения коэффициентов упомянутой одной из подпоследовательностей.
20. Устройство по п. 18,
в котором определитель (410) экстремумов сконфигурирован для определения коэффициента центра тяжести путем определения произведения значения сравнения и значения местоположения для каждого спектрального коэффициента подпоследовательности, чтобы получить множество взвешенных коэффициентов путем суммирования взвешенных коэффициентов, чтобы получить первую сумму, путем суммирования значений сравнения всех спектральных коэффициентов подпоследовательности, чтобы получить вторую сумму; путем деления первой суммы на вторую сумму, чтобы получить промежуточный результат; и путем применения в отношении промежуточного результата округления до ближайшего целого, чтобы получить коэффициент центра тяжести, и где модификатор (420) спектра сконфигурирован для установки спектральных значений всех спектральных коэффициентов подпоследовательности, которые не являются коэффициентом центра тяжести, в предопределенное значение, или
в котором определитель (410) экстремумов сконфигурирован для определения коэффициента центра тяжести путем определения произведения спектрального значения и значения местоположения для каждого спектрального коэффициента подпоследовательности, чтобы получить множество взвешенных коэффициентов путем суммирования взвешенных коэффициентов, чтобы получить первую сумму, путем суммирования спектральных значений всех спектральных коэффициентов подпоследовательности, чтобы получить вторую сумму; путем деления первой суммы на вторую сумму, чтобы получить промежуточный результат; и путем применения в отношении промежуточного результата округления до ближайшего целого, чтобы получить коэффициент центра тяжести, и где модификатор (420) спектра сконфигурирован для установки спектральных значений всех спектральных коэффициентов подпоследовательности, которые не являются коэффициентом центра тяжести, в предопределенное значение.
21. Устройство по п. 12, в котором предопределенное значение равно нулю.
22. Устройство по п. 12, в котором значение сравнения каждого спектрального коэффициента является значением квадрата дополнительного коэффициента дополнительного спектра, получающегося в результате энергосберегающего преобразования аудиосигнала.
23. Устройство по п. 12, в котором значение сравнения каждого спектрального коэффициента является значением амплитуды дополнительного коэффициента дополнительного спектра, получающегося в результате энергосберегающего преобразования аудиосигнала.
24. Устройство по п. 12, в котором дополнительный спектр является спектром Комплексного модифицированного дискретного косинусного преобразования, и где энергосберегающее преобразование является Комплексным модифицированным дискретным косинусным преобразованием.
25. Устройство по п. 12,
в котором модификатор (420) спектра сконфигурирован для приема информации точной настройки,
в котором спектральные коэффициенты входного спектра аудиосигнала являются значениями со знаком, каждое из которых содержит компоненту знака,
в котором модификатор (420) спектра сконфигурирован для установки компоненты знака спектрального значения одного из упомянутого одного или более коэффициентов экстремума или псевдокоэффициента в первое значение знака, когда информация точной настройки находится в первом состоянии точной настройки, чтобы получить модифицированный спектр аудиосигнала, и
в котором модификатор (420) спектра сконфигурирован для установки компоненты знака спектрального значения одного из упомянутого одного или более коэффициентов экстремума или псевдокоэффициента в другое второе значение знака, когда информация точной настройки находится в другом втором состоянии точной настройки, чтобы получить модифицированный спектр аудиосигнала.
26. Устройство по п. 12, в котором входной спектр аудиосигнала является спектром MDCT, содержащим коэффициенты MDCT.
27. Устройство по п. 12,
в котором блок (430) обработки сконфигурирован для квантования модифицированного спектра аудиосигнала, чтобы получить квантованный спектр аудиосигнала,
в котором блок (430) обработки, кроме того, сконфигурирован для обработки квантованного спектра аудиосигнала, чтобы получить кодированный спектр аудиосигнала,
в котором блок (430) обработки, кроме того, сконфигурирован для генерирования дополнительной информации, указывающей, является ли упомянутый коэффициент одним из коэффициентов экстремума, только для тех спектральных коэффициентов квантованного спектра аудиосигнала, которые имеют непосредственного предшественника, спектральное значение которого равно предопределенному значению, и непосредственного последователя, спектральное значение которого равно предопределенному значению,
в котором непосредственный предшественник упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно предшествует упомянутому спектральному коэффициенту в квантованном спектре аудиосигнала, и где непосредственный последователь упомянутого спектрального коэффициента является другим спектральным коэффициентом, который непосредственно следует за упомянутым спектральным коэффициентом в квантованном спектре аудиосигнала.
28. Устройство по п. 12, в котором модификатор (420) спектра сконфигурирован для замены одного из коэффициентов экстремума псевдокоэффициентом, имеющим спектральное значение, выведенное из спектрального значения или значения сравнения упомянутого коэффициента экстремума, из спектрального значения или значения сравнения упомянутого коэффициента экстремума одного из предшественников упомянутого коэффициента экстремума или из спектрального значения или значения сравнения упомянутого коэффициента экстремума одного из последователей упомянутого коэффициента экстремума.
29. Способ для генерирования выходного аудиосигнала на основе кодированного спектра аудиосигнала, где каждый из спектральных коэффициентов имеет спектральное местоположение в кодированном спектре аудиосигнала и спектральное значение, где спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением в кодированном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов, и где способ содержит этапы, на которых:
обрабатывают кодированный спектр аудиосигнала, чтобы получить декодированный спектр аудиосигнала, причем декодированный спектр аудиосигнала содержит множество спектральных коэффициентов,
определяют один или более псевдокоэффициентов декодированного спектра аудиосигнала, причем каждый из псевдокоэффициентов имеет спектральное местоположение и спектральное значение,
устанавливают упомянутый один или более псевдокоэффициентов в предопределенное значение, чтобы получить модифицированный спектр аудиосигнала,
преобразуют модифицированный спектр аудиосигнала во временную область, чтобы получить сигнал преобразования временной области,
генерируют сигнал осциллятора временной области с помощью управляемого осциллятора, управляемого спектральным местоположением и спектральным значением по меньшей мере одного из упомянутого одного или более псевдокоэффициентов, и
смешивают сигнал преобразования временной области и сигнал осциллятора временной области, чтобы получить выходной аудиосигнал.
30. Способ для кодирования входного спектра аудиосигнала, причем входной спектр аудиосигнала содержит множество спектральных коэффициентов, где каждый из спектральных коэффициентов имеет спектральное местоположение во входном спектре аудиосигнала, спектральное значение и значение сравнения, где спектральные коэффициенты последовательно упорядочены в соответствии с их спектральным местоположением во входном спектре аудиосигнала, чтобы спектральные коэффициенты формировали последовательность спектральных коэффициентов, где каждый из спектральных коэффициентов имеет по меньшей мере одно из одного или более предшественников и одного или более последователей, где каждый из предшественников упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который предшествует упомянутому спектральному коэффициенту в последовательности, где каждый из последователей упомянутого спектрального коэффициента является одним из спектральных коэффициентов, который следует за упомянутым спектральным коэффициентом в последовательности, и где способ содержит этапы, на которых:
определяют один или более коэффициентов экстремума, модифицируют входной спектр аудиосигнала, чтобы получить модифицированный спектр аудиосигнала, путем установки спектрального значения по меньшей мере одного из предшественников или по меньшей мере одного из последователей по меньшей мере одного из коэффициентов экстремума в предопределенное значение, где модификация входного спектра аудиосигнала проводится путем того, что не устанавливают спектральные значения упомянутого одного или более коэффициентов экстремума в предопределенное значение или путем замены по меньшей мере одного из упомянутого одного или более коэффициентов экстремума псевдокоэффициентом, где спектральное значение псевдокоэффициента отличается от предопределенного значения,
обрабатывают модифицированный спектр аудиосигнала, чтобы получить кодированный спектр аудиосигнала, и
генерируют и передают дополнительную информацию, где дополнительная информация генерируется путем нахождения одного или более кандидатов-псевдокоэффициентов в модифицированном входном спектре аудиосигнала, где дополнительная информация генерируется путем выбора по меньшей мере одного из кандидатов-псевдокоэффициентов в качестве выбранных кандидатов, и где дополнительная информация генерируется так, что дополнительная информация указывает выбранные кандидаты как псевдокоэффициенты,
в котором упомянутый один или более коэффициентов экстремума определяются, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, спектральное значение которого больше спектрального значения по меньшей мере одного из его предшественников, и спектральное значение которого больше спектрального значения по меньшей мере одного из его последователей, или
в котором каждый из спектральных коэффициентов имеет значение сравнения, ассоциированное с упомянутым спектральным коэффициентом, где упомянутый один или более коэффициентов экстремума определяются, чтобы каждый из коэффициентов экстремума являлся одним из спектральных коэффициентов, значение сравнения которого больше значения сравнения по меньшей мере одного из его предшественников, и значение сравнения которого больше значения сравнения по меньшей мере одного из его последователей.
31. Считываемый компьютером носитель, содержащий записанную на нем компьютерную программу для реализации способа по п. 29 при выполнении на компьютере или процессоре сигналов.
