УСТРОЙСТВО ПРЕДОСТАВЛЕНИЯ АУДИО И СПОСОБ ПРЕДОСТАВЛЕНИЯ АУДИО Российский патент 2019 года по МПК H04S5/00 G10L19/00 

Область техники, к которой относится изобретение

[0001] Идея изобретения относится к устройству и способу предоставления аудио и, в частности, к устройству и способу предоставления аудио, которые выполняют рендеринг и выводят аудиосигналы, имеющие различные форматы, оптимальные для системы воспроизведения аудио.

Уровень техники

[0002] В настоящее время различные аудиоформаты используются на мультимедийном рынке. Например, устройство предоставления аудио предоставляет различные аудиоформаты из 2-канального аудиоформата в 22.2-канальный аудиоформат. В частности, обеспечивается аудиосистема, которая использует каналы, такие как 7.1-канал, 11.1-канал и 22.2-канал для выражения источника звука в трехмерном пространстве.

[0003] Однако большинство обеспечиваемых в настоящий момент аудиосигналов имеют 2.1-канальный формат или 5.1-канальный формат и имеют ограничение при выражении источника звука в трехмерном пространстве. Также, реально трудно устанавливать в домах аудиосистему для воспроизведения 7.1-канальных, 11.1-канальных и 22.2-канальных аудиосигналов.

[0004] Поэтому, требуется разработка способа активного рендеринга аудиосигнала в соответствии с форматом входного сигнала и системой воспроизведения аудио.

Подробное описание идеи изобретения

Техническая задача

[0005] Идея изобретения обеспечивает способ предоставления аудио и устройство предоставления аудио, использующие способ, которые оптимизируют канальный аудиосигнал для среды прослушивания посредством повышающего смешивания или понижающего смешивания канального аудиосигнала и выполнения рендеринга объектного аудиосигнала в соответствии с геометрической информацией для получения звукового изображения, оптимизированного для среды прослушивания.

Техническое решение

[0006] Согласно аспекту идеи изобретения обеспечивается устройство предоставления аудио, включающее в себя: блок рендеринга объекта, который выполняет рендеринг объектного аудиосигнала, основываясь на геометрической информации, касающейся объектного аудиосигнала; блок рендеринга канала, который выполняет рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов; и блок смешивания, который смешивает рендерируемый объектный аудиосигнал с аудиосигналом, имеющим второе количество каналов.

[0007] Блок рендеринга объекта может включать в себя: анализатор геометрической информации, который преобразует геометрическую информацию, касающуюся объектного аудиосигнала, в информацию трехмерных координат (3D); контроллер расстояния, который генерирует информацию управления расстоянием, основываясь на информации 3D-координат; контроллер глубины, который генерирует информацию управления глубиной, основываясь на информации 3D-координат; локализатор, который генерирует информацию локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат; и рендерер, который выполняет рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации.

[0008] Контроллер расстояния может получать коэффициент усиления расстояния объектного аудиосигнала. Когда увеличивается расстояние объектного аудиосигнала, контроллер расстояния может уменьшать коэффициент усиления расстояния объектного аудиосигнала, и, когда уменьшается расстояние объектного аудиосигнала, контроллер расстояния может увеличивать коэффициент усиления расстояния объектного аудиосигнала.

[0009] Контроллер глубины может получать коэффициент усиления глубины, основываясь на расстоянии горизонтальной проекции объектного аудиосигнала, и коэффициент усиления глубины может выражаться в виде суммы отрицательного вектора и положительного вектора или может выражаться в виде суммы отрицательного вектора и нулевого вектора.

[0010] Локализатор получает коэффициент усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства предоставления аудио.

[0011] Рендерер может выполнять рендеринг объектного аудиосигнала в мультиканал, основываясь на коэффициенте усиления глубины, коэффициенте усиления панорамирования и коэффициенте усиления расстояния объектного аудиосигнала.

[0012] Когда объектный аудиосигнал является множественным, блок рендеринга объекта может получать разность фаз между множеством объектных аудиосигналов, имеющих корреляцию среди множества объектных аудиосигналов, и перемещать один из множества объектных аудиосигналов на полученную разность фаз для объединения множества объектных аудиосигналов.

[0013] Когда устройство предоставления аудио воспроизводит аудио посредством использования множества громкоговорителей, имеющих одинаковое возвышение, блок рендеринга объекта может включать в себя: виртуальный фильтр, который корректирует спектральные характеристики объектного аудиосигнала и добавляет информацию о виртуальном возвышении к объектному аудиосигналу; и виртуальный рендерер, который выполняет рендеринг объектного аудиосигнала, основываясь на информации о виртуальном возвышении, обеспечиваемой виртуальным фильтром.

[0014] Виртуальный фильтр может иметь древовидную структуру, состоящую из множества ступеней.

[0015] Когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой двумерное (2D) расположение, блок рендеринга канала может выполнять повышающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое больше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой трехмерное (3D) расположение, имеющее информацию о возвышении, которая отличается от информации о возвышении, касающейся аудиосигнала, имеющего первое количество каналов.

[0016] Когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой трехмерное (3D) расположение, блок рендеринга канала может выполнять понижающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое меньше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой двумерное (2D) расположение, где множество каналов имеет одинаковую составляющую возвышения.

[0017] По меньшей мере один, выбранный из объектного аудиосигнала и аудиосигнала, имеющего первое количество каналов, может включать в себя информацию для определения, выполнять ли виртуальный трехмерный (3D) рендеринг конкретного кадра.

[0018] Блок рендеринга канала может получать разность фаз между множеством аудиосигналов, имеющих корреляцию в операции рендеринга аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, и перемещать один из множества аудиосигналов на полученную разность фаз для объединения множества аудиосигналов.

[0019] Блок смешивания может получать разность фаз между множеством аудиосигналов, имеющих корреляцию при смешивании рендерируемого объектного аудиосигнала с аудиосигналом, имеющим второе количество каналов, и перемещать один из множества аудиосигналов на полученную разность фаз для объединения множества аудиосигналов.

[0020] Объектный аудиосигнал может включать в себя по меньшей мере одно из идентификации (ID) и информации о типе, касающейся объектного аудиосигнала, чтобы дать возможность пользователю выбрать объектный аудиосигнал.

[0021] Согласно другому аспекту идеи изобретения обеспечивается способ предоставления аудио, включающий в себя: рендеринг объектного аудиосигнала, основываясь на геометрической информации, касающейся объектного аудиосигнала; рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов; и смешивание рендерируемого объектного аудиосигнала с аудиосигналом, имеющим второе количество каналов.

[0022] Рендеринг объектного аудиосигнала может включать в себя: преобразование геометрической информации, касающейся объектного аудиосигнала, в информацию трехмерных (3D) координат; генерирование информации управления расстоянием, основываясь на информации 3D-координат; генерирование информации управления глубиной, основываясь на информации 3D-координат; генерирование информации локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат; и рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации.

[0023] Генерирование информации управления расстоянием может включать в себя: получение коэффициента усиления расстояния объектного аудиосигнала; уменьшение коэффициента усиления расстояния объектного аудиосигнала, когда увеличивается расстояние объектного аудиосигнала; и увеличение коэффициента усиления расстояния объектного аудиосигнала, когда уменьшается расстояние объектного аудиосигнала.

[0024] Генерирование информации управления глубиной может включать в себя получение коэффициента усиления глубины, основываясь на расстоянии горизонтальной проекции объектного аудиосигнала, и коэффициент усиления глубины может выражаться в виде суммы отрицательного вектора и положительного вектора или может выражаться в виде суммы отрицательного вектора и нулевого вектора.

[0025] Генерирование информации локализации может включать в себя получение коэффициента усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства предоставления аудио.

[0026] Рендеринг может включать в себя рендеринг объектного аудиосигнала в мультиканал, основываясь на коэффициенте усиления глубины, коэффициенте усиления панорамирования и коэффициенте усиления расстояния объектного аудиосигнала.

[0027] Рендеринг объектного аудиосигнала может включать в себя: когда объектный аудиосигнал является множественным, получение разности фаз между множеством объектных аудиосигналов, имеющих корреляцию среди множества объектных аудиосигналов, и перемещение одного из множества объектных аудиосигналов на полученную разность фаз для объединения множества объектных аудиосигналов.

[0028] Когда устройство предоставления аудио воспроизводит аудио посредством использования множества громкоговорителей, имеющих одинаковое возвышение, рендеринг объектного аудиосигнала может включать в себя: коррекцию спектральных характеристик объектного аудиосигнала и добавление информации о виртуальном возвышении к объектному аудиосигналу; и рендеринг объектного аудиосигнала, основываясь на информации о виртуальном возвышении, обеспечиваемой виртуальным фильтром.

[0029] Получение может включать в себя информацию о виртуальном возвышении, касающуюся объектного аудиосигнала, посредством использования виртуального фильтра, который имеет древовидную структуру, состоящую из множества ступеней.

[0030] Рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, может включать в себя, когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой двумерное (2D) расположение, повышающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое больше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой трехмерное (3D) расположение, имеющее информацию о возвышении, которая отличается от информации о возвышении, касающейся аудиосигнала, имеющего первое количество каналов.

[0031] Рендеринг аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, может включать в себя, когда расположение аудиосигнала, имеющего первое количество каналов, представляет собой трехмерное (3D) расположение, понижающее смешивание аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов, которое меньше первого количества каналов, и расположение аудиосигнала, имеющего второе количество каналов, может представлять собой двумерное (2D) расположение, где множество каналов имеет одинаковую составляющую возвышения.

[0032] По меньшей мере один, выбранный из объектного аудиосигнала и аудиосигнала, имеющего первое количество каналов, может включать в себя информацию для определения, выполнять ли виртуальный трехмерный (3D) рендеринг конкретного кадра.

Полезные эффекты

[0033] Согласно различным вариантам осуществления настоящего изобретения устройство предоставления аудио воспроизводит аудиосигналы, имеющие различные форматы, оптимальные для выводной аудиосистемы.

Описание чертежей

[0034] Фиг.1 представляет собой блок-схему, иллюстрирующую конфигурацию устройства предоставления аудио согласно примерному варианту осуществления настоящего изобретения.

[0035] Фиг.2 представляет собой блок-схему, иллюстрирующую конфигурацию блока рендеринга объекта согласно примерному варианту осуществления настоящего изобретения.

[0036] Фиг.3 представляет собой диаграмму для описания геометрической информации объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0037] Фиг.4 представляет собой график для описания коэффициента усиления расстояния на основе информации о расстоянии объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0038] Фиг.5A и 5B представляют собой графики для описания коэффициента усиления глубины на основе информации о глубине объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0039] Фиг.6 представляет собой блок-схему, иллюстрирующую конфигурацию блока рендеринга объекта для обеспечения виртуального трехмерного (3D) объектного аудиосигнала согласно другому примерному варианту осуществления настоящего изобретения.

[0040] Фиг.7A и 7B представляют собой диаграммы для описания виртуального фильтра согласно примерному варианту осуществления настоящего изобретения.

[0041] Фиг.8A и 8B представляют собой диаграммы для описания рендеринга канала аудиосигнала согласно различным примерным вариантам осуществления настоящего изобретения.

[0042] Фиг.9 представляет собой блок-схему последовательности операций для описания способа предоставления аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[0043] Фиг.10 представляет собой блок-схему, иллюстрирующую конфигурацию устройства предоставления аудио согласно другому примерному варианту осуществления настоящего изобретения.

Лучший вариант осуществления изобретения

[0044] Ниже в данном документе подробно описывается настоящее изобретение с ссылкой на прилагаемые чертежи. Фиг.1 представляет собой блок-схему, иллюстрирующую конфигурацию устройства 100 предоставления аудио согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.1, устройство 100 предоставления аудио включает в себя блок 110 ввода, демультиплексор 120, блок 130 рендеринга объекта, блок 140 рендеринга канала, блок 150 смешивания и блок 160 вывода.

[0045] Блок 110 ввода может принимать аудиосигнал от различных источников. В данном случае, аудиоисточник может включать в себя канальный аудиосигнал и объектный аудиосигнал. В данном случае, канальный аудиосигнал представляет собой аудиосигнал, включающий в себя фоновый звук соответствующего кадра и может иметь первое количество каналов (например, 5.1-канал, 7.1-канал и т.д.). Также объектный аудиосигнал может представлять собой объект, имеющий движение, или аудиосигнал важного объекта в соответствующем кадре. Примеры объектного аудиосигнала могут включать в себя голос, стрельбу и т.д. Объектный аудиосигнал может включать в себя геометрическую информацию объектного аудиосигнала.

[0046] Демультиплексор 120 может демультиплексировать канальный аудиосигнал и объектный аудиосигнал из принятого аудиосигнала. Также, демультиплексор 120 может соответственно выводить демультиплексированный объектный аудиосигнал и канальный аудиосигнал на блок 130 рендеринга объекта и блок 140 рендеринга канала.

[0047] Блок 130 рендеринга объекта может выполнять рендеринг принятого объектного аудиосигнала, основываясь на геометрической информации, касающейся принятого объектного аудиосигнала. В данном случае, блок 130 рендеринга аудио объекта может выполнять рендеринг принятого объектного аудиосигнала в соответствии с расположением громкоговорителей устройства 100 предоставления аудио. Например, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой двумерное (2D) расположение, имеющее одинаковое возвышение, блок 130 рендеринга объекта может выполнять двумерный рендеринг принятого объектного аудиосигнала. Также, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой 3D-расположение, имеющее множество возвышений, блок 130 рендеринга объекта может выполнять трехмерный рендеринг принятого объектного аудиосигнала. Также, хотя расположение громкоговорителей устройства 100 предоставления аудио представляет собой 2D-расположение, имеющее одно и то же возвышение, блок 130 рендеринга объекта может добавлять информацию о виртуальном возвышении к принятому объектному аудиосигналу и выполнять трехмерный рендеринг объектного аудиосигнала. Блок 130 рендеринга объекта подробно описывается с ссылкой на фиг.2-7B.

[0048] Фиг.2 представляет собой блок-схему, иллюстрирующую конфигурацию блока 130 рендеринга объекта согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.2, блок 130 рендеринга объекта может включать в себя анализатор 131 геометрической информации, контроллер 132 расстояния, контроллер 133 глубины, локализатор 134 и рендерер 135.

[0049] Анализатор 131 геометрической информации может принимать и анализировать геометрическую информацию, касающуюся объектного аудиосигнала. Подробно, анализатор 131 геометрической информации может преобразовывать геометрическую информацию, касающуюся объектного аудиосигнала, в информацию 3D-координат, необходимую для рендеринга. Например, анализатор 131 геометрической информации, как показано на фиг.3, может анализировать принятый объектный аудиосигнал «O» в информацию координат (r, θ, ϕ). В данном случае, r обозначает расстояние между положением слушателя и объектным аудиосигналом, θ обозначает азимутальный угол звукового изображения, и ϕ обозначает угол возвышения звукового изображения.

[0050] Контроллер 132 расстояния может генерировать информацию управления расстоянием, основываясь на информации 3D-координат. Подробно, контроллер 132 расстояния может вычислять коэффициент усиления расстояния объектного аудиосигнала, основываясь на 3D-расстоянии «r», полученном посредством анализа анализатором 131 геометрической информации. В данном случае, контроллер 132 расстояния может вычислять коэффициент усиления расстояния обратно пропорционально 3D-расстоянию «r». Т.е. когда увеличивается расстояние объектного аудиосигнала, контроллер 132 расстояния может уменьшать коэффициент усиления расстояния объектного аудиосигнала, и, когда уменьшается расстояние объектного аудиосигнала, контроллер 132 расстояния может увеличивать коэффициент усиления расстояния объектного аудиосигнала. Также, когда положение находится ближе к начальной точке, контроллер 132 расстояния может устанавливать верхнее предельное значение коэффициента усиления, которое не является исключительно обратно пропорциональным, чтобы не отклонялся коэффициент усиления расстояния. Например, контроллер 132 расстояния может вычислять коэффициент «d_g» усиления расстояния, как выражено в следующем уравнении (1):

[0051] Т.е., как показано на фиг.4, контроллер 132 расстояния может устанавливать значение «d_g» коэффициента усиления расстояния на 1-3,3, основываясь на уравнении (1).

[0052] Контроллер 133 глубины может генерировать информацию управления глубиной, основываясь на информации 3D-координат. В данном случае, контроллер 133 глубины может получать коэффициент усиления глубины, основываясь на расстоянии «d» горизонтальной проекции объектного аудиосигнала и положении слушателя.

[0053] В данном случае, контроллер 133 глубины может выражать коэффициент усиления глубины в виде суммы отрицательного вектора и положительного вектора. Подробно, когда r<1 в 3D-координатах объектного аудиосигнала, а именно, когда объектный аудиосигнал располагается в сфере, состоящей из громкоговорителя, включенного в устройство 100 предоставления аудио, положительный вектор определяется как (r, θ, ϕ), и отрицательный вектор определяется как (r, θ+180, ϕ). Чтобы определить объектный аудиосигнал, контроллер 133 глубины может вычислять коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_n» усиления глубины отрицательного вектора для выражения геометрического вектора объектного аудиосигнала в виде суммы положительного вектора и отрицательного вектора. В данном случае, коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_n» усиления глубины отрицательного вектора могут вычислять так, как выражено в следующем уравнении (2):

[0054] Т.е., как показано на фиг.5A, контроллер 133 глубины может вычислять коэффициент усиления глубины положительного вектора и коэффициент усиления глубины отрицательного вектора, где расстояние «d» горизонтальной проекции равно 0-1.

[0055] Кроме того, контроллер 133 глубины может выражать коэффициент усиления глубины в виде суммы положительного вектора и отрицательного вектора. Подробно, коэффициент усиления панорамирования, когда нет направления, где сумма умножений коэффициентов панорамирования и положений всех каналов сходится к 0, может определяться как нулевой вектор. В частности, контроллер 133 глубины может вычислять коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_nll» усиления глубины нулевого вектора, так что, когда расстояние «d» горизонтальной проекции близко к 0, коэффициент усиления глубины нулевого вектора отображается на 1, и, когда расстояние «d» горизонтальной проекции близко к 1, коэффициент усиления глубины положительного вектора отображается на 1. В данном случае, коэффициент «v_p» усиления глубины положительного вектора и коэффициент «v_nll» усиления глубины нулевого вектора могут вычисляться так, как выражено в следующем уравнении (3):

[0056] Т.е., как показано на фиг.5B, контроллер 133 глубины может вычислять коэффициент усиления глубины положительного вектора и коэффициент усиления глубины нулевого вектора, где расстояние «d» горизонтальной проекции равно 0-1.

[0057] Управление глубиной выполняется контроллером 133 глубины, и, когда расстояние горизонтальной проекции близко к 0, звук может выводиться всеми громкоговорителями. Поэтому, уменьшается неоднородность, которая имеет место на границе панорамирования.

[0058] Локализатор 134 может генерировать информацию локализации для локализации объектного аудиосигнала, основываясь на информации 3D-координат. В частности, локализатор 134 может вычислять коэффициент усиления панорамирования для локализации объектного аудиосигнала в соответствии с расположением громкоговорителей устройства 100 предоставления аудио. Подробно, локализатор 134 может выбирать триплетный громкоговоритель для локализации положительного вектора, имеющего тоже направление, что и направление геометрии объектного аудиосигнала, и вычислять коэффициент «g_p» 3D-панорамирования для триплетного громкоговорителя положительного вектора. Также, когда контроллер 133 глубины выражает коэффициент усиления глубины посредством положительного вектора и отрицательного вектора, локализатор 134 может выбирать триплетный громкоговоритель для локализации отрицательного вектора, имеющего направление, которое противоположно направлению траектории объектного аудиосигнала, и вычислять коэффициент «g_n» 3D-панорамирования для триплетного громкоговорителя отрицательного вектора.

[0059] Рендерер 135 может выполнять рендеринг объектного аудиосигнала, основываясь на информации управления расстоянием, информации управления глубиной и информации локализации. В частности, рендерер 135 может принимать коэффициент «d_g» усиления расстояния от контроллера 132 расстояния, принимать коэффициент «v» усиления глубины от контроллера 133 глубины, принимать коэффициент «g» усиления панорамирования от локализатора 134 и применять коэффициент «d_g» усиления расстояния, коэффициент «v» усиления глубины и коэффициент «g» усиления панорамирования к объектному аудиосигналу для генерирования многоканального объектного аудиосигнала. В частности, когда коэффициент усиления глубины объектного аудиосигнала выражается в виде суммы положительного вектора и отрицательного вектора, рендерер 135 может вычислять окончательный коэффициент «Gm» усиления m-го канала, как выражено в следующем уравнении (4):

,

где g_p,m обозначает коэффициент панорамирования, применяемый к каналу, когда локализуется положительный вектор, и g_n,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется отрицательный вектор.

[0060] Кроме того, когда коэффициенту усиления глубины объектного аудиосигнала выражается в виде суммы положительного вектора и нулевого вектора, рендерер 135 может вычислять окончательный коэффициент «Gm» усиления m-го канала, как выражено в следующем уравнении (5):

,

где g_p,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется положительный вектор, и g_n,m обозначает коэффициент панорамирования, применяемый к m-каналу, когда локализуется отрицательный вектор. Кроме того, может стать равным 0.

[0061] Кроме того, рендерер 135 может применять окончательный коэффициент усиления к объектному аудиосигналу «x» для вычисления окончательного выходного результата «Y_m» объектного аудиосигнала m-го канала, как выражено в следующем уравнении (6):

[0062] Окончательный выходной результат «Y_m» объектного аудиосигнала, вычисленный так, как описано выше, может выводиться на блок 150 смешивания.

[0063] Кроме того, когда имеется множество объектных аудиосигналов, блок 130 рендеринга объекта может вычислять разность фаз между множеством объектных аудиосигналов и перемещать один из множества объектных аудиосигналов на вычисленную разность фаз для объединения множества объектных аудиосигналов.

[0064] Подробно, в случае, если множество объектных аудиосигналов являются одинаковыми сигналами, но имеют противоположные фазы, в то время как вводится множество объектных аудиосигналов, когда множество объектных аудиосигналов объединяются «как есть», аудиосигнал искажается из-за перекрытия множества объектных аудиосигналов. Поэтому, блок 130 рендеринга объекта может вычислять корреляцию между множеством объектных аудиосигналов, и, когда корреляция равна или больше заданного значения, блок 130 рендеринга объекта может вычислять разность фаз между множеством объектных аудиосигналов и перемещать один из множества объектных аудиосигналов на вычисленную разность фаз для объединения множества объектных аудиосигналов. Следовательно, когда вводится множество объектных аудиосигналов, подобных друг другу, предотвращается искажение, вызванное объединением множества объектных аудиосигналов.

[0065] В вышеописанном примерном варианте осуществления расположение громкоговорителей устройства 100 предоставления аудио представляет собой 3D-расположение, имеющее разные восприятия возвышения, но он является только примерным вариантом осуществления. Расположение громкоговорителей устройства 100 предоставления аудио может быть 2D-расположением, имеющим одинаковое значение возвышения. В частности, когда расположение громкоговорителей устройства 100 предоставления аудио представляет собой 2D-расположение, имеющее одинаковое восприятие возвышения, блок 130 рендеринга объекта может устанавливать значение ϕ, включенное в вышеописанную геометрическую информацию, касающуюся объектного аудиосигнала, на 0.

[0066] Кроме того, расположение громкоговорителей устройства 100 предоставления аудио может быть 2D-расположением, имеющим одинаковое восприятие возвышения, но устройство 100 предоставления аудио может виртуально обеспечивать 3D объектный аудиосигнал посредством использования 2D-расположения громкоговорителей.

[0067] Ниже в данном документе описывается примерный вариант осуществления для обеспечения виртуального 3D объектного аудиосигнала с ссылкой на фиг.6 и 7.

[0068] Фиг.6 представляет собой блок-схему, иллюстрирующую конфигурацию блока 130’ рендеринга объекта для обеспечения виртуального 3D объектного аудиосигнала согласно примерному варианту осуществления настоящего изобретения. Как показано на фиг.6, блок 130’ рендеринга объекта включает в себя виртуальный фильтр 136, 3D-рендерер 137, виртуальный рендерер 138 и смеситель 139.

[0069] 3D-рендерер 137 может выполнять рендеринг объектного аудиосигнала посредством использования способа, описанного выше с ссылкой на фиг.2-5B. В данном случае, 3D-рендерер 137 может выводить объектный аудиосигнал, который способен выводиться через физический громкоговоритель устройства 100 предоставления аудио, на смеситель 139 и выводить виртуальный коэффициент «g_m,top» усиления панорамирования виртуального громкоговорителя, обеспечивая разные восприятия возвышения.

[0070] Виртуальный фильтр 136 представляет собой блок, который компенсирует тембр объектного аудиосигнала. Виртуальный фильтр 136 может компенсировать спектральные характеристики вводимого объектного аудиосигнала, основываясь на психоакустике, и обеспечивать звуковое изображение в положении виртуального громкоговорителя. В данном случае, виртуальный фильтр 136 может быть реализован в виде фильтров различных типов, таких как фильтр передаточной функции головы (HRTF), фильтр бинауральной импульсной характеристики комнаты (BRIR) и т.д.

[0071] Кроме того, когда длительность виртуального фильтра 136 меньше длительности кадра, виртуальный фильтр 136 может применяться посредством свертки блоков.

[0072] Кроме того, когда рендеринг выполняется в частотной области, такой как быстрое преобразование Фурье (FFT), модифицированное дискретное косинусное преобразование (MDCT) и квадратурный зеркальный фильтр (QMF), виртуальный фильтр 136 может применяться как умножение.

[0073] Когда обеспечивается множество виртуальных громкоговорителей верхнего уровня, виртуальный фильтр 136 может генерировать множество виртуальных громкоговорителей верхнего уровня посредством использования формулы распределения физических громкоговорителей и один фильтр возвышения.

[0074] Кроме того, когда обеспечивается множество виртуальных громкоговорителей верхнего уровня и виртуальный тыловой громкоговоритель, виртуальный фильтр 136 может генерировать множество виртуальных громкоговорителей верхнего уровня и виртуальный тыловой громкоговоритель посредством использования формулы распределения физических громкоговорителей и множество виртуальных фильтров для применения спектральной окраски в разных положениях.

[0075] Кроме того, если используется количество N спектральных окрасок, таких как H1, H2, …, HN, виртуальный фильтр 136 может быть разработан древовидной структуры, чтобы уменьшить количество арифметических операций. Подробно, как показано на фиг.7A, виртуальный фильтр 136 может быть разработан с провалом/пиком, который используется совместно для распознавания высоты, для H0 и подсоединять K1-KN, которые представляют собой компоненты, полученные вычитанием характеристики HO из H1-HN, к HO каскадным типом. Также, виртуальный фильтр 136 может иметь древовидную структуру, состоящую из множества ступеней, изображенную на фиг.7B, основываясь на общей компоненте и спектральной окраске.

[0076] Виртуальный рендерер 138 представляет собой блок рендеринга для выражения виртуального канала в качестве физического канала. В частности, виртуальный рендерер 138 может генерировать объектный аудиосигнал, который выводится на виртуальный громкоговоритель в соответствии с формулой распределения виртуального канала, выводимой из виртуального фильтра 136, и умножать сгенерированный объектный аудиосигнал виртуального громкоговорителя на коэффициент «g_m,top» усиления виртуального панорамирования для объединения выводимых сигналов. В данном случае, положение виртуального громкоговорителя может изменяться в соответствии со степенью распределения на множество физических громкоговорителей с усеченным конусом, и степень распределения может определяться как формула распределения виртуального канала.

[0077] Смеситель 139 может смешивать объектный аудиосигнал физического канала с объектным аудиосигналом виртуального канала.

[0078] Поэтому, объектный аудиосигнал может выражаться как располагаемый на 3D-расположении посредством использования устройства 100 предоставления аудио, имеющего 2D-расположение громкоговорителей.

[0079] Ссылаясь снова на фиг.1, блок 140 рендеринга канала может выполнять рендеринг канального аудиосигнала, имеющего первое количество каналов, в аудиосигнал, имеющий второе количество каналов. В данном случае, блок 140 рендеринга канала может изменять канальный аудиосигнал, имеющий первое количество каналов, в аудиосигнал, имеющий второе количество каналов, основываясь на расположении громкоговорителей.

[0080] Подробно, когда расположение канального аудиосигнала является такое же, что и расположение громкоговорителей устройства 100 предоставления аудио, блок 140 рендеринга канала может выполнять рендеринг канального аудиосигнала без изменения канала.

[0081] Кроме того, когда количество каналов канального аудиосигнала больше количества каналов расположения громкоговорителей устройства 100 предоставления аудио, блок 140 рендеринга канала может выполнять понижающее смешивание канального аудиосигнала для выполнения рендеринга. Например, когда каналом канального аудиосигнала является 7.1-канал, и расположение громкоговорителей устройства 100 предоставления аудио является 5.1-канал, блок 140 рендеринга канала может выполнять понижающее смешивание канального аудиосигнала, имеющего 7.1-канал, в 5.1-канал.

[0082] В частности, при понижающем смешивании канального аудиосигнала блок 140 рендеринга канала может определять объект, где геометрия канального аудиосигнала фиксируется без какого-либо изменения, и выполнять понижающее смешивание. Также, при понижающем смешивании 3D-канального аудиосигнала в 2D-сигнал блок 140 рендеринга канала может удалить составляющую возвышения канального аудиосигнала для двумерного понижающего смешивания канального аудиосигнала или трехмерного понижающего смешивания канального аудиосигнала, чтобы иметь восприятие виртуального возвышения, как описано выше с ссылкой на фиг.6. Также, блок 140 рендеринга канала может выполнять понижающее смешивание всех сигналов кроме фронтального левого канала, фронтального правого канала и центрального канала, которые составляют фронтальный аудиосигнал, таким образом реализуя сигнал с правым окружающим каналом и левым окружающим каналом. Также, блок 140 рендеринга канала может выполнять понижающее смешивание посредством использования уравнения многоканального понижающего смешивания.

[0083] Кроме того, когда количество каналов канального аудиосигнала меньше количества каналов расположения громкоговорителей устройства 100 предоставления аудио, блок 140 рендеринга канала может выполнять повышающее смешивание канального аудиосигнала для выполнения рендеринга. Например, когда каналом канального аудиосигнала является 7.1-канал, и расположением громкоговорителей устройства 100 предоставления аудио является 9.1-канал, блок 140 рендеринга канала может выполнять повышающее смешивание канального аудиосигнала, имеющего 7.1-канал, в 9.1-канал.

[0084] В частности, при повышающем смешивании 2D-канального аудиосигнала в 3D-сигнал блок 140 рендеринга канала может генерировать верхний уровень, имеющий составляющую возвышения, основываясь на корреляции между фронтальным каналом и окружающим каналом, для выполнения повышающего смешивания, или делить каналы на центральный канал и канал окружающей среды посредством анализа каналов для выполнения повышающего смешивания.

[0085] Кроме того, блок 140 рендеринга канала может вычислять разность фаз между множеством аудиосигналов, имеющих корреляцию в операции рендеринга канального аудиосигнала, имеющего первое количество каналов, в канальный аудиосигнал, имеющий второе количество каналов, и перемещать один из множества аудиосигналов на вычисленную разность фаз для объединения множества аудиосигналов.

[0086] По меньшей мере один из объектного аудиосигнала и канального аудиосигнала, имеющего первое количество каналов, может включать в себя управляющую информацию для определения, выполнять ли виртуальный 3D-рендеринг или 2D-рендеринг конкретного кадра. Поэтому, каждый из блока 130 рендеринга объекта и блока 140 рендеринга канала может выполнять рендеринг, основываясь на управляющей информации, включенной в объектный аудиосигнал и канальный аудиосигнал. Например, когда управляющая информация, которая делает возможным выполнение виртуального 3D-рендеринга объектного аудиосигнала в первом кадре, включена в объектный аудиосигнал, блок 130 рендеринга объекта и блок 140 рендеринга канала могут выполнять виртуальный 3D-рендеринг объектного аудиосигнала и канального аудиосигнала в первом кадре. Также, когда управляющая информация, которая делает возможным выполнение 2D-рендеринга объектного аудиосигнала во втором кадре, включена в объектный аудиосигнал, блок 130 рендеринга объекта и блок 140 рендеринга канала могут выполнять 2D-рендеринг объектного аудиосигнала и канального аудиосигнала во втором кадре.

[0087] Блок 150 смешивания может смешивать объектный аудиосигнал, который выводится с блока 130 рендеринга объекта, с канальным аудиосигналом, имеющим второе количество каналов, который выводится с блока 140 рендеринга канала.

[0088] Кроме того, блок 150 смешивания может вычислять разность фаз между множеством аудиосигналов, имеющих корреляцию при смешивании рендерируемого объектного аудиосигнала с канальным аудиосигналом, имеющим второе количество каналов, и перемещать один из множества аудиосигналов на вычисленную разность фаз для объединения множества аудиосигналов.

[0089] Блок 160 вывода может выводить аудиосигнал, который выводится с блока 150 смешивания. В данном случае, блок 160 вывода может включать в себя множество громкоговорителей. Например, блок 160 вывода может быть реализован с громкоговорителями, такими как 5.1-канал, 7.1-канал, 9.1-канал, 22.2-канал и т.д.

[0090] Ниже в данном документе описываются различные примерные варианты осуществления настоящего изобретения с ссылкой на фиг.8A-8G.

[0091] Фиг.8A представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно первому примерному варианту осуществления настоящего изобретения.

[0092] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2. В данном случае, 9.1-канальный канальный аудиосигнал может включать в себя фронтальный левый канал (FL), фронтальный правый канал (FR), фронтальный центральный канал (FC), сабвуферный канал (Lfe), окружающий левый канал (SL), окружающий правый канал (SR), верхний фронтальный левый канал (TL), верхний фронтальный правый канал (TR), тыловой левый канал (BL) и тыловой правый канал (BR).

[0093] Устройство 100 предоставления аудио может быть выполнено с 5.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу и окружающему правому каналу.

[0094] Устройство 100 предоставления аудио может выполнять виртуальную фильтрацию сигналов, соответствующих соответственно верхнему фронтальному левому каналу, верхнему фронтальному правому каналу, тыловому левому каналу и тыловому правому каналу из числа множества вводимых канальных аудиосигналов для выполнения рендеринга.

[0095] Кроме того, устройство 100 предоставления аудио может выполнять виртуальный 3D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[0096] Устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный левый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый тыловой левый канал и тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый тыловой левый канал и тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному правому каналу. Также, устройство 100 предоставления аудио может выводить канальный аудиосигнал, имеющий фронтальный центральный канал, на громкоговоритель, соответствующий фронтальному центральному каналу, и выводить канальный аудиосигнал, имеющий сабвуферный канал, на громкоговоритель, соответствующий сабвуферному каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий левый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый тыловой левый канал и тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый тыловой левый канал и тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему правому каналу.

[0097] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может устанавливать 9.1-канальную виртуальную 3D-аудиосреду посредством использования 5.1-канального громкоговорителя.

[0098] Фиг.8B представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно второму примерному варианту осуществления настоящего изобретения.

[0099] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00100] Устройство 100 предоставления аудио может быть выполнено с 7.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу, окружающему правому каналу, тыловому левому каналу и тыловому правому каналу.

[00101] Устройство 100 предоставления аудио может выполнять виртуальную фильтрацию сигналов, соответствующих соответственно верхнему фронтальному левому каналу и верхнему фронтальному правому каналу из числа множества вводимых канальных аудиосигналов для выполнения рендеринга.

[00102] Кроме того, устройство 100 предоставления аудио может выполнять виртуальный 3D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00103] Устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный левый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый тыловой левый канал и тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному правому каналу. Также, устройство 100 предоставления аудио может выводить канальный аудиосигнал, имеющий фронтальный центральный канал, на громкоговоритель, соответствующий фронтальному центральному каналу, и выводить канальный аудиосигнал, имеющий сабвуферный канал, на громкоговоритель, соответствующий сабвуферному каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий левый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий правый канал, канальный аудиосигнал, имеющий виртуально рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему правому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий тыловой левый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий тыловому левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий тыловой правый канал, и виртуально рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий тыловому правому каналу.

[00104] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может устанавливать 9.1-каналную виртуальную 3D-аудиосреду посредством использования 7.1-канального громкоговорителя.

[00105] Фиг.8C представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно третьему примерному варианту осуществления настоящего изобретения.

[00106] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00107] Устройство 100 предоставления аудио может быть выполнено с 9.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующий соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу, окружающему правому каналу, тыловому левому каналу, тыловому правому каналу, верхнему фронтальному левому каналу и верхнему фронтальному правому каналу.

[00108] Кроме того, устройство 100 предоставления аудио может выполнять 3D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00109] Устройство 100 предоставления аудио может смешивать 3D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2 с аудиосигналами, имеющими соответственно фронтальный правый канал, фронтальный левый канал, фронтальный центральный канал, сабвуферный канал, окружающий левый канал, окружающий правый канал, тыловой левый канал, тыловой правый канал, верхний фронтальный левый канал и верхний фронтальный правый канал, и выводить смешанный сигнал на соответствующий громкоговоритель.

[00110] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может выводить 9.1-канальный канальный аудиосигнал и 9.1-канальный объектный аудиосигнал посредством использования 9.1-канального громкоговорителя.

[00111] Фиг.8D представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно четвертому примерному варианту осуществления настоящего изобретения.

[00112] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00113] Устройство 100 предоставления аудио может быть выполнено 11.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу, окружающему правому каналу, тыловому левому каналу, тыловому правому каналу, верхнему фронтальному левому каналу, верхнему фронтальному правому каналу, верхнему окружающему левому каналу, верхнему окружающему правому каналу, верхнему тыловому левому каналу и верхнему тыловому правому каналу.

[00114] Кроме того, устройство 100 предоставления аудио может выполнять 3D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00115] Устройство 100 предоставления аудио может смешивать 3D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2 с аудиосигналами, имеющими соответственно фронтальный правый канал, фронтальный левый канал, фронтальный центральный канал, сабвуферный канал, окружающий левый канал, окружающий правый канал, тыловой левый канал, тыловой правый канал, верхний фронтальный левый канал и верхний фронтальный правый канал, и выводить смешанный сигнал на соответствующий громкоговоритель.

[00116] Кроме того, устройство 100 предоставления аудио может выводить 3D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2 на громкоговоритель, соответствующий каждому из верхнего окружающего левого канала, верхнего окружающего правого канала, верхнего тылового левого канала и верхнего тылового правого канала.

[00117] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может выводить 9.1-канальный канальный аудиосигнал и 9.1-канальный объектный аудиосигнал посредством использования 11.1-канального громкоговорителя.

[00118] Фиг.8E представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно пятому примерному варианту осуществления настоящего изобретения.

[00119] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00120] Устройство 100 предоставления аудио может быть выполнено с 5.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу и окружающему правому каналу.

[00121] Устройство 100 предоставления аудио может выполнять 2D-рендеринг сигналов, соответствующих соответственно верхнему фронтальному левому каналу, верхнему фронтальному правому каналу, тыловому левому каналу и тыловому правому каналу из числа множества вводимых канальных аудиосигналов.

[00122] Кроме того, устройство 100 предоставления аудио может выполнять 2D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00123] Устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному правому каналу. Также, устройство 100 предоставления аудио может выводить канальный аудиосигнал, имеющий фронтальный центральный канал, на громкоговоритель, соответствующий фронтальному центральному каналу, и выводить канальный аудиосигнал, имеющий сабвуферный канал, на громкоговоритель, соответствующий сабвуферному каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнала, имеющий окружающий правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему правому каналу.

[00124] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может выводить 9.1-канальный канальный аудиосигнал и 9.1-канальный объектный аудиосигнал посредством использования 5.1-канального громкоговорителя. По сравнению с фиг.8A устройство 100 предоставления аудио согласно настоящему варианту осуществления может выполнять рендеринг сигнала не в виртуальный 3D-аудиосигнал, но в 2D-аудиосигнал.

[00125] Фиг.8F представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно шестому примерному варианту осуществления настоящего изобретения.

[00126] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00127] Устройство 100 предоставления аудио может быть выполнено с 7.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу, окружающему правому каналу, тыловому левому каналу и тыловому правому каналу.

[00128] Устройство 100 предоставления аудио может выполнять 2D-рендеринг сигналов, соответствующих соответственно верхнему фронтальному левому каналу и верхнему фронтальному правому каналу из числа множества вводимых канальных аудиосигналов.

[00129] Кроме того, устройство 100 предоставления аудио может выполнять 2D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00130] Устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному правому каналу. Также, устройство 100 предоставления аудио может выводить канальный аудиосигнал, имеющий фронтальный центральный канал, на громкоговоритель, соответствующий фронтальному центральному каналу, и выводить канальный аудиосигнал, имеющий сабвуферный канал, на громкоговоритель, соответствующий сабвуферному каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему правому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий тыловой левый канал и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий тыловому левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий тыловой правый канал и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий тыловому правому каналу.

[00131] Посредством выполнения вышеописанного рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может выводить 9.1-канальный канальный аудиосигнал и 9.1-канальный объектный аудиосигнал посредством использования 7.1-канального громкоговорителя. По сравнению с фиг.8B устройство 100 предоставления аудио согласно настоящему варианту осуществления может выполнять рендеринг сигнала не в виртуальный 3D-аудиосигнал, но в 2D-аудиосигнал.

[00132] Фиг.8C представляет собой диаграмму для описания рендеринга объектного аудиосигнала и канального аудиосигнала согласно седьмому примерному варианту осуществления настоящего изобретения.

[00133] Сначала устройство 100 предоставления аудио может принимать 9.1-канальный канальный аудиосигнал и два объектных аудиосигнала O1 и O2.

[00134] Устройство 100 предоставления аудио может быть выполнено с 5.1-канальным расположением громкоговорителей. Т.е. устройство 100 предоставления аудио может включать в себя множество громкоговорителей, соответствующих соответственно фронтальному правому каналу, фронтальному левому каналу, фронтальному центральному каналу, сабвуферному каналу, окружающему левому каналу и окружающему правому каналу.

[00135] Устройство 100 предоставления аудио может выполнять двумерное понижающее смешивание сигналов, соответствующих соответственно верхнему фронтальному левому каналу, верхнему фронтальному правому каналу, тыловому левому каналу и тыловому правому каналу из числа множества вводимых канальных аудиосигналов для выполнения рендеринга.

[00136] Кроме того, устройство 100 предоставления аудио может выполнять виртуальный 3D-рендеринг первого объектного аудиосигнала O1 и второго объектного аудиосигнала O2.

[00137] Устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий фронтальному правому каналу. Также, устройство 100 предоставления аудио может выводить канальный аудиосигнал, имеющий фронтальный центральный канал, на громкоговоритель, соответствующий фронтальному центральному каналу, и выводить канальный аудиосигнал, имеющий сабвуферный канал, на громкоговоритель, соответствующий сабвуферному каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий левый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему левому каналу. Также, устройство 100 предоставления аудио может смешивать канальный аудиосигнал, имеющий окружающий правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый верхний фронтальный левый канал и верхний фронтальный правый канал, канальный аудиосигнал, имеющий 2D-рендерируемый тыловой левый канал и тыловой правый канал, и 2D-рендерируемый первый объектный аудиосигнал O1 и второй объектный аудиосигнал O2, и выводить смешанный сигнал на громкоговоритель, соответствующий окружающему правому каналу.

[00138] Посредством выполнения вышеупомянутого рендеринга канала и рендеринга объекта устройство 100 предоставления аудио может выводить 9.1-канальный канальный аудиосигнал и 9.1-канальный объектный аудиосигнал посредством использования 5.1-канального громкоговорителя. По сравнению с фиг.8A, когда определяется, что качество звука является более важным, чем звуковое изображение канального аудиосигнала, устройство 100 предоставления аудио согласно настоящему варианту осуществления может выполнять понижающее смешивание только канального аудиосигнала в 2D-сигнал и выполнять рендеринг объектного аудиосигнала в виртуальный 3D-сигнал.

[00139] Фиг.9 представляет собой блок-схему последовательности операций для описания способа предоставления аудиосигнала согласно примерному варианту осуществления настоящего изобретения.

[00140] Сначала устройство 100 предоставления аудио принимает аудиосигнал во время операции S910. В данном случае аудиосигнал может включать в себя канальный аудиосигнал, имеющий первое количество каналов, и объектный аудиосигнал.

[00141] Во время операции S920 устройство 100 предоставления аудио разделяет принятый аудиосигнал. Подробно, устройство 100 предоставления аудио может демультиплексировать принятый аудиосигнал на канальный аудиосигнал и объектный аудиосигнал.

[00142] Во время операции S930 устройство 100 предоставления аудио выполняет рендеринг объектного аудиосигнала. Подробно, как описано выше с ссылкой на фиг.2-5B, устройство 100 предоставления аудио может выполнять двумерный или трехмерный рендеринг объектного аудиосигнала. Также, как описано с ссылкой на фиг.6-7B, устройство 100 предоставления аудио может выполнять рендеринг объектного аудиосигнала в виртуальный 3D-аудиосигнал.

[00143] Во время операции S940 устройство 100 предоставления аудио выполняет рендеринг канального аудиосигнала, имеющего первое количество каналов, во второе количество каналов. В данном случае, устройство 100 предоставления аудио может выполнять понижающее смешивание или повышающее смешивание принятого канального аудиосигнала для выполнения рендеринга. Также, устройство 100 предоставления аудио может выполнять рендеринг, в то же время сохраняя количество каналов принятого канального аудиосигнала.

[00144] Во время операции S950 устройство 100 предоставления аудио смешивает рендерируемый объектный аудиосигнал с канальным аудиосигналом, имеющим второе количество каналов. Подробно, как показано на фиг.8A-8G, устройство 100 предоставления аудио может смешивать рендерируемый объектный аудиосигнал с канальным аудиосигналом.

[00145] Во время операции S960 устройство 100 предоставления аудио выводит смешанный аудиосигнал.

[00146] В соответствии с вышеописанным способом предоставления аудио устройство 100 предоставления аудио воспроизводит аудиосигналы, имеющие различные форматы, оптимально для пространства аудиосистемы.

[00147] Ниже в данном документе описывается другой примерный вариант осуществления настоящего изобретения с ссылкой на фиг.10. Фиг.10 представляет собой блок-схему, иллюстрирующую конфигурацию устройства 1000 предоставления аудио согласно другому примерному варианту осуществления настоящего изобретения. Как показано на фиг.10, устройство 1000 предоставления аудио включает в себя блок 1010 ввода, демультиплексор 1020, блок 1030 декодирования аудиосигнала, блок 1040 декодирования дополнительной информации, блок 1050 рендеринга, блок 1060 пользовательского ввода, интерфейс 1070 и блок 1080 вывода.

[00148] Блок 1010 ввода принимает сжатый аудиосигнал. В данном случае, сжатый аудиосигнал может включать в себя дополнительную информацию, а также аудиосигнал сжатого типа, который включает в себя канальный аудиосигнал и объектный аудиосигнал.

[00149] Демультиплексор 1020 может разделять сжатый аудиосигнал на аудиосигнал и дополнительную информацию, выводить аудиосигнал на блок 1030 декодирования аудиосигнала и выводить дополнительную информацию на блок 1040 декодирования дополнительной информации.

[00150] Блок 1030 декодирования аудиосигнала возвращает в состояние до сжатия аудиосигнал сжатого типа и выводит возвращенный в состояние до сжатия аудиосигнал на блок 1050 рендеринга. Аудиосигнал включает в себя многоканальный канальный аудиосигнал и объектный аудиосигнал. В данном случае, многоканальный канальный аудиосигнал может представлять собой аудиосигнал, такой как фоновый звук и фоновую музыку, и объектный аудиосигнал может представлять собой аудиосигнал, такой как голос, стрельба и т.д., для конкретного объекта.

[00151] Блок 1040 декодирования дополнительной информации декодирует дополнительную информацию, касающуюся принятого аудиосигнала. В данном случае, дополнительная информация, касающаяся принятого аудиосигнала, может включать в себя различные порции информации, такие как количество каналов, длительность, значение коэффициента усиления, коэффициент усиления панорамирования, положение и угол принимаемого аудиосигнала.

[00152] Блок 1050 рендеринга может выполнять рендеринг, основываясь на принятой дополнительной информации и аудиосигнале. В данном случае, блок 1050 рендеринга может выполнять рендеринг в соответствии с вводом команды пользователя в блок 1060 пользовательского ввода посредством использования различных способов, описанных выше с ссылкой на фиг.2-8G. Например, когда принятым аудиосигналом является 7.1-канальный аудиосигнал, и расположением громкоговорителей устройства 1000 предоставления аудио является 5.1-канал, блок 1050 рендеринга может выполнять понижающее смешивания 7.1-канального аудиосигнала в 2D 5.1-канальный аудиосигнал и может выполнять понижающее смешивание 7.1-канального аудиосигнала в 3D 5.1-канальный аудиосигнал в соответствии с командой пользователя, которая вводится посредством блока 1060 пользовательского ввода. Также, блок 1050 рендеринга может выполнять рендеринг канального аудиосигнала в 2D-сигнал и выполнять рендеринг объектного аудиосигнала в виртуальный 3D-сигнал в соответствии с командой пользователя, которая вводится посредством блока 1060 пользовательского ввода.

[00153] Кроме того, блок 1050 рендеринга может непосредственно выводить рендерируемый аудиосигнал посредством блока 1080 вывода в соответствии с командой пользователя и расположением громкоговорителей, но может передавать аудиосигнал и дополнительную информацию на внешнее устройство по интерфейсу 1070. В частности, когда устройство 1000 предоставления аудио имеет расположение громкоговорителей, превышающее 7.1-канал, блок 1050 рендеринга может передавать по меньшей мере одно из аудиосигнала и дополнительной информации на внешнее устройство по интерфейсу 1070. В данном случае, интерфейс 1070 может быть реализован в виде цифрового интерфейса, такого как мультимедийный интерфейс высокого разрешения (HDMI) или т.п. Внешнее устройство может выполнять рендеринг посредством использования принятого аудиосигнала и дополнительной информации и выводить рендерируемый аудиосигнал.

[00154] Однако, как описано выше, блок 1050 рендеринга, передающий аудиосигнал и дополнительную информацию на внешнее устройство, представляет собой просто примерный вариант осуществления. Блок 1050 рендеринга может выполнять рендеринг аудиосигнала посредством использования аудиосигнала и дополнительной информации и выводить рендерируемый аудиосигнал.

[00155] Объектный аудиосигнал согласно примерному варианту осуществления настоящего изобретения может включать в себя метаданные, включающие в себя идентификацию (ID), информацию о типе или информацию о приоритете. Например, объектный аудиосигнал может включать в себя информацию, указывающую, является ли тип объектного аудиосигнала диалогом или комментарием. Также, когда аудиосигнал представляет собой широковещательный аудиосигнал, объектный аудиосигнал может включать в себя информацию, указывающую, является ли тип объектного аудиосигнала первым ведущим передачи, вторым ведущим передачи, первым комментатором, вторым комментатором или фоновым звуком. Также, когда аудиосигналом является музыкальный аудиосигнал, объектный аудиосигнал может включать в себя информацию, указывающую, является ли тип объектного аудиосигнала первым вокалистом, вторым вокалистом, звуком первого инструмента или звуком второго инструмента. Также, когда аудиосигналом является аудиосигнал игры, объектный аудиосигнал может включать в себя информацию, указывающую, является ли тип объектного аудиосигнала первым звуковым эффектом или вторым звуковым эффектом.

[00156] Блок 1050 рендеринга может анализировать метаданные, включенные в вышеописанный объектный аудиосигнал, и выполнять рендеринг объектного аудиосигнала в соответствии с приоритетом объектного аудиосигнала.

[00157] Кроме того, блок 1050 рендеринга может удалять конкретный объектный аудиосигнал в соответствии с выбором пользователя. Например, когда аудиосигналом является аудиосигнал для спорта, устройство 1000 предоставления аудио может отображать пользовательский интерфейс (UI), который изображает тип вводимого в данный момент объектного аудиосигнала пользователю. В данном случае, объектный аудиосигнал может включать в себя голос комментатора, закадровый комментарий, кричащий голос и т.д. Когда команда пользователя для удаления голоса комментатора из числа множества объектных аудиосигналов вводится посредством блока 1060 пользовательского ввода, блок 1050 рендеринга может удалить голос комментатора из числа множества объектных аудиосигналов и выполнить рендеринг посредством использования других объектных аудиосигналов.

[00158] Кроме того, блок 1050 рендеринга может повышать или уменьшать уровень громкости для конкретного объектного аудиосигнала в соответствии с выбором пользователя. Например, когда аудиосигналом является аудиосигнал, включенный в киноконтент, устройство 1000 предоставления аудио может отображать UI, который изображает пользователю тип вводимого в данный момент объектного аудиосигнала. В данном случае, объектный аудиосигнал может включать в себя голос первого главного героя, голос второго главного героя, звук бомбы, звук самолета и т.д. Когда команда пользователя для повышения уровня громкости голоса первого главного героя и голоса второго главного героя и понижения уровня громкости звука бомбы и звука самолета из числа множества объектных аудиосигналов вводится посредством блока 1060 пользовательского ввода, блок 1050 рендеринга может повысить уровень громкости голоса первого главного героя и голоса второго главного героя и уменьшить уровень громкости звука бомбы и звука самолета.

[00159] Согласно вышеописанным примерным вариантам осуществления пользователь манипулирует требуемым аудиосигналом и, таким образом, устанавливается аудиосреда, которая подходит для пользователя.

[00160] Способ предоставления аудио согласно различным примерным вариантам осуществления может быть реализована в виде программы и может подаваться на устройство отображения или устройство ввода. В частности, программа, включающая способ управления устройством отображения, может храниться на долговременном считываемом компьютером носителе записи и может поставляться.

[00161] Долговременный считываемый компьютером носитель записи означает носитель, который полупостоянно хранит данные и может считываться устройством, а не носитель, который хранит данные в течение короткого времени, такой как регистры, кэши и памяти. Подробно, различные приложения или программы могут храниться на долговременном считываемом компьютером носителе записи, таком компакт-диск (CD), цифровой многофункциональный диск (DVD), жесткий диск, диск Blue-ray, память с интерфейсом универсальной последовательной шины (USB), карта памяти или постоянное запоминающее устройство (ROM).

[00162] Хотя идея изобретения была конкретно показана и описана со ссылкой на его примерные варианты осуществления, понятно, что различные изменения в форме и деталях могут быть сделаны в нем без отступления от сущности и объема нижеследующей формулы изобретения.

Изобретение относится к обработке аудиосигналов. Технический результат – оптимизация канального аудиосигнала для среды прослушивания. Устройство предоставления аудио включает в себя блок приема, блок рендеринга, выполненный с возможностью устранения разности фаз между коррелируемыми входными канальными сигналами из числа множества входных канальных сигналов и преобразования множества входных канальных сигналов, в том числе коррелируемых входных канальных сигналов, во множество выходных канальных сигналов на основе схемы ввода, схемы вывода и информации для определения, выполнять ли 3D-рендеринг или 2D-рендеринг. 3 н. и 2 з.п. ф-лы, 18 ил.

1. Способ предоставления аудио, содержащий:

прием множества входных канальных сигналов;

устранение разности фаз между коррелируемыми входными канальными сигналами из числа упомянутого множества входных канальных сигналов и

преобразование множества входных канальных сигналов, в том числе коррелируемых входных канальных сигналов, во множество выходных канальных сигналов на основе схемы ввода, схемы вывода и информации для определения, выполнять ли 3D-рендеринг или 2D-рендеринг,

при этом схема ввода является форматом упомянутого множества входных канальных сигналов, а схема вывода является форматом упомянутого множества выходных канальных сигналов,

при этом схемой вывода является 5.1-канальная схема и

при этом упомянутую информацию принимают для каждого кадра.

2. Способ по п. 1,

при этом упомянутое множество выходных канальных сигналов включает в себя виртуальный выходной канальный сигнал для воспроизведения входного канального сигнала высоты.

3. Устройство предоставления аудио, содержащее:

блок приема, выполненный с возможностью приема множества входных канальных сигналов; и

рендерер, выполненный с возможностью устранения разности фаз между коррелируемыми входными канальными сигналами из числа упомянутого множества входных канальных сигналов и преобразования множества входных канальных сигналов, в том числе коррелируемых входных канальных сигналов, во множество выходных канальных сигналов на основе схемы ввода, схемы вывода и информации для определения, выполнять ли 3D-рендеринг или 2D-рендеринг, и

при этом схема ввода является форматом упомянутого множества входных канальных сигналов, а схема вывода является форматом упомянутого множества выходных канальных сигналов,

при этом схемой вывода является 5.1-канальная схема и

при этом упомянутая информация принимается для каждого кадра.

4. Устройство по п. 3,

при этом упомянутое множество выходных канальных сигналов включает в себя виртуальный выходной канальный сигнал для воспроизведения входного канального сигнала высоты.

5. Долговременный считываемый компьютером носитель данных с записанной на него компьютерной программой, которая, при исполнении компьютером, побуждает компьютер к исполнению способа по п. 1.