Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству для рендеринга аудиосигнала, а более конкретно к способу и устройству рендеринга для более точного воспроизведения местоположения и тона аудиоизображения, чем раньше, посредством коррекции коэффициента панорамирования подъема или коэффициента фильтрации подъема, когда подъем входного канала выше или ниже подъема согласно стандартной схеме размещения.
Уровень техники
Стереофонический звук указывает звук, имеющий ощущение объемного окружения посредством воспроизведения не только основного тона и тона звука, но также и направления, и ощущение расстояния, и имеющий дополнительную пространственную информацию, посредством которой слушатели, которые не находятся в пространстве, в котором формируется источник звука, имеют сведения по ощущению направления, ощущению расстояния и ощущению пространства.
Когда многоканальный сигнал, к примеру, из 22.2 каналов, подвергается рендерингу в 5.1 каналов, трехмерный стереофонический звук может воспроизводиться посредством двумерного выходного канала. Тем не менее, когда угол подъема входного канала отличается от стандартного угла подъема, и входной сигнал подвергается рендерингу с использованием параметров рендеринга, определенных согласно стандартному углу подъема, возникает искажение аудиоизображения.
Подробное описание изобретения
Техническая задача
Как описано выше, когда многоканальный сигнал, к примеру, из 22.2 каналов, подвергается рендерингу в 5.1 каналов, трехмерные аудиосигналы могут воспроизводиться посредством двумерного выходного канала. Тем не менее, когда угол подъема входного канала отличается от стандартного угла подъема, и входной сигнал подвергается рендерингу с использованием параметров рендеринга, определенных согласно стандартному углу подъема, возникает искажение аудиоизображения.
Цель настоящего изобретения заключается в том, чтобы решать вышеописанную проблему в существующей технологии и уменьшать искажение аудиоизображения, даже когда подъем входного канала выше или ниже стандартного подъема.
Техническое решение
Характерная конфигурация настоящего изобретения для того, чтобы достигать цели, описанной выше, заключается в следующем.
Согласно аспекту варианта осуществления, способ рендеринга аудиосигнала включает в себя этапы: приема многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; получения параметров рендеринга подъема для входного высотного канала, имеющего стандартный угол подъема, чтобы предоставлять приподнятое звуковое изображение посредством множества выходных каналов; и обновления параметров рендеринга подъема для входного высотного канала, имеющего предварительно определенный угол подъема, отличный от стандартного угла подъема.
Преимущества изобретения
Согласно настоящему изобретению, трехмерный аудиосигнал может подвергаться рендерингу таким образом, что искажение аудиоизображения уменьшается, даже когда подъем входного канала выше или ниже стандартного подъема.
Краткое описание чертежей
Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения стереофонического аудио согласно варианту осуществления.
Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию модуля рендеринга в устройстве воспроизведения стереофонического аудио, согласно варианту осуществления.
Фиг. 3 иллюстрирует схему размещения каналов, когда множество входных каналов микшируется с понижением во множество выходных каналов, согласно варианту осуществления.
Фиг. 4A иллюстрирует схему размещения каналов, когда каналы верхнего уровня просматриваются спереди.
Фиг. 4B иллюстрирует схему размещения каналов, когда каналы верхнего уровня просматриваются сверху.
Фиг. 4C иллюстрирует трехмерную схему размещения каналов верхнего уровня.
Фиг. 5 является блок-схемой, иллюстрирующей конфигурацию декодера и модуля трехмерного акустического рендеринга в устройстве воспроизведения стереофонического аудио, согласно варианту осуществления.
Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно варианту осуществления.
Фиг. 7A иллюстрирует местоположение каждого канала, когда подъемы высотных каналов составляют 0°, 35° и 45°, согласно варианту осуществления.
Фиг. 7B иллюстрирует разность между сигналами, ощущаемыми посредством левого и правого уха слушателей, когда аудиосигнал выводится в каждом канале согласно варианту осуществления по фиг. 7B.
Фиг. 7C иллюстрирует признаки тонального фильтра согласно частотам, когда углы подъема каналов составляют 35° и 45°, согласно варианту осуществления.
Фиг. 8 иллюстрирует явление, в котором левое и правое аудиоизображения переставляются, когда угол подъема входного канала составляет пороговое значение или больше, согласно варианту осуществления.
Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно другому варианту осуществления.
Фиг. 10 и 11 являются схемами последовательности сигналов для описания работы каждого устройства согласно варианту осуществления, включающего в себя, по меньшей мере, одно внешнее устройство и устройство воспроизведения аудио.
Оптимальный режим осуществления изобретения
Характерные конфигурации настоящего изобретения для того, чтобы достигать цели, описанной выше, заключаются в следующем.
Согласно аспекту варианта осуществления, способ рендеринга аудиосигнала включает в себя этапы: приема многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; получения параметра рендеринга подъема для входного высотного канала, имеющего стандартный угол подъема, так что каждый выходной канал предоставляет аудиоизображение, имеющее ощущение подъема; и обновления параметра рендеринга подъема для входного высотного канала, имеющего заданный угол подъема, отличный от стандартного угла подъема.
Параметр рендеринга подъема включает в себя, по меньшей мере, одно из коэффициентов фильтрации подъема и коэффициентов панорамирования подъема.
Коэффициенты фильтрации подъема вычисляются посредством отражения динамической характеристики HRTF.
Этап обновления параметра рендеринга подъема включает в себя этап применения весового коэффициента к коэффициентам фильтрации подъема на основе стандартного угла подъема и заданного угла подъема.
Весовой коэффициент определяется таким образом, что признак фильтрации подъема демонстрируется умеренно, когда заданный угол подъема меньше стандартного угла подъема, и определяется таким образом, что признак фильтрации подъема демонстрируется сильно, когда заданный угол подъема превышает стандартный угол подъема.
Этап обновления параметра рендеринга подъема включает в себя этап обновления коэффициентов панорамирования подъема на основе стандартного угла подъема и заданного угла подъема.
Когда заданный угол подъема меньше стандартного угла подъема, обновленные коэффициенты панорамирования подъема, которые должны применяться к выходным каналам, существующим таким образом, что они являются ипсилатеральными относительно выходного канала, имеющего заданный угол подъема из обновленных коэффициентов панорамирования подъема, превышают коэффициенты панорамирования подъема до обновления, и сумма квадратов обновленных коэффициентов панорамирования подъема, которые, соответственно, должны применяться к выходным каналам, равна 1.
Когда заданный угол подъема превышает стандартный угол подъема, обновленные коэффициенты панорамирования подъема, которые должны применяться к выходным каналам, существующим таким образом, что они являются ипсилатеральными относительно выходного канала, имеющего заданный угол подъема из обновленных коэффициентов панорамирования подъема, меньше коэффициентов панорамирования подъема до обновления, и сумма квадратов обновленных коэффициентов панорамирования подъема, которые, соответственно, должны применяться к выходным каналам, равна 1.
Этап обновления параметра рендеринга подъема включает в себя этап обновления коэффициентов панорамирования подъема на основе стандартного угла подъема и порогового значения, когда заданный угол подъема составляет пороговое значение или больше.
Способ дополнительно включает в себя этап приема ввода заданного угла подъема.
Ввод принимается из отдельного устройства.
Способ включает в себя этапы: рендеринга принимаемого многоканального сигнала на основе обновленного параметра рендеринга подъема; и передачи подвергнутого рендерингу многоканального сигнала в отдельное устройство.
Согласно аспекту другого варианта осуществления, устройство для рендеринга аудиосигнала включает в себя: приемный модуль для приема многоканального сигнала, включающего в себя множество входных каналов, которые должны преобразовываться во множество выходных каналов; и модуль рендеринга для получения параметра рендеринга подъема для входного высотного канала, имеющего стандартный угол подъема, так что каждый выходной канал предоставляет аудиоизображение, имеющее ощущение подъема, и обновления параметра рендеринга подъема для входного высотного канала, имеющего заданный угол подъема, отличный от стандартного угла подъема.
Параметр рендеринга подъема включает в себя, по меньшей мере, одно из коэффициентов фильтрации подъема и коэффициентов панорамирования подъема.
Коэффициенты фильтрации подъема вычисляются посредством отражения динамической характеристики HRTF.
Обновленный параметр рендеринга подъема включает в себя коэффициенты фильтрации подъема, к которым применяется весовой коэффициент на основе стандартного угла подъема и заданного угла подъема.
Весовой коэффициент определяется таким образом, что признак фильтрации подъема демонстрируется умеренно, когда заданный угол подъема меньше стандартного угла подъема, и определяется таким образом, что признак фильтрации подъема демонстрируется сильно, когда заданный угол подъема превышает стандартный угол подъема.
Обновленный параметр рендеринга подъема включает в себя коэффициенты панорамирования подъема, обновленные на основе стандартного угла подъема и заданного угла подъема.
Когда заданный угол подъема меньше стандартного угла подъема, обновленные коэффициенты панорамирования подъема, которые должны применяться к выходным каналам, существующим таким образом, что они являются ипсилатеральными относительно выходного канала, имеющего заданный угол подъема из обновленных коэффициентов панорамирования подъема, превышают коэффициенты панорамирования подъема до обновления, и сумма квадратов обновленных коэффициентов панорамирования подъема, которые, соответственно, должны применяться к выходным каналам, равна 1.
Когда заданный угол подъема превышает стандартный угол подъема, обновленные коэффициенты панорамирования подъема, которые должны применяться к выходным каналам, существующим таким образом, что они являются ипсилатеральными относительно выходного канала, имеющего заданный угол подъема из обновленных коэффициентов панорамирования подъема, меньше коэффициентов панорамирования подъема до обновления, и сумма квадратов обновленных коэффициентов панорамирования подъема, которые, соответственно, должны применяться к выходным каналам, равна 1.
Обновленный параметр рендеринга подъема включает в себя коэффициенты панорамирования подъема, обновленные на основе стандартного угла подъема и порогового значения, когда заданный угол подъема составляет пороговое значение или больше.
Устройство дополнительно включает в себя модуль ввода для приема ввода заданного угла подъема.
Ввод принимается из отдельного устройства.
Модуль рендеринга выполняет рендеринг принимаемого многоканального сигнала на основе обновленного параметра рендеринга подъема, и устройство дополнительно включает в себя передающий модуль для передачи подвергнутого рендерингу многоканального сигнала в отдельное устройство.
Согласно аспекту другого варианта осуществления, машиночитаемый носитель записи имеет записанную компьютерную программу для осуществления способа, описанного выше.
Кроме того, дополнительно предоставляются другой способ и другая система для реализации настоящего изобретения и машиночитаемый носитель записи, имеющий записанную компьютерную программу для осуществления способа.
Оптимальный режим осуществления изобретения
Подробное описание настоящего изобретения, которое приводится ниже, ссылается на прилагаемые чертежи, показывающие, в качестве примера, конкретные варианты осуществления, посредством которых может выполняться настоящее изобретение. Эти варианты осуществления описываются подробно, так что специалисты в данной области техники могут в достаточной степени выполнять настоящее изобретение. Следует понимать, что различные варианты осуществления настоящего изобретения отличаются друг от друга, но не должны быть единственными друг для друга.
Например, конкретная форма, структура и характеристика, изложенные в настоящем описании изобретения, могут реализовываться посредством изменения в зависимости от варианта осуществления без отступления от сущности и объема настоящего изобретения. Помимо этого, следует понимать, что местоположения или схема размещения отдельных компонентов в каждом варианте осуществления также могут изменяться без отступления от сущности и объем настоящего изобретения. Следовательно, подробное описание, которое приводится, служит не для целей ограничения, и следует понимать, что объем настоящего изобретения включает в себя заявленный объем формулы изобретения и все объемы, эквивалентные заявленному объему.
Аналогичные ссылки с номерами на чертежах обозначают идентичные или аналогичные элементы в различных аспектах. Кроме того, на чертежах части, нерелевантные для описания, опускаются, чтобы ясно описывать настоящее изобретение, и аналогичные ссылки с номерами обозначают аналогичные элементы во всем подробном описании.
В дальнейшем в этом документе подробно описываются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, так что специалисты в области техники, которой принадлежит настоящее изобретение, могут легко выполнять настоящее изобретение. Тем не менее настоящее изобретение может реализовываться в различных специальных формах и не ограничено вариантами осуществления, описанными в данном документе.
Во всем подробном описании, когда описывается то, что определенный элемент "соединен" с другим элементом, это включает в себя случай "непосредственного соединения" и случай "электрического соединения" через другой элемент в середине. Помимо этого, когда определенная часть "включает в себя" определенный компонент, это указывает то, что часть дополнительно может включать в себя другой компонент вместо исключения другого компонента, если только это не специально отличающееся раскрытие сущности.
Далее подробно описывается настоящее изобретение со ссылкой на прилагаемые чертежи.
Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения стереофонического аудио согласно варианту осуществления.
Устройство 100 воспроизведения стереофонического аудио согласно варианту осуществления может выводить многоканальный аудиосигнал, в котором множество входных каналов сводятся во множество выходных каналов, которые должны воспроизводиться. В том случае, если число выходных каналов меньше числа входных каналов, входные каналы микшируются с понижением с тем, чтобы удовлетворять числу выходных каналов.
Стереофонический звук указывает звук, имеющий ощущение объемного окружения посредством воспроизведения не только основного тона и тона звука, но также и направления, и ощущение расстояния, и имеющий дополнительную пространственную информацию, посредством которой слушатели, которые не находятся в пространстве, в котором формируется источник звука, имеют сведения по ощущению направления, ощущению расстояния и ощущению пространства.
В нижеприведенном описании выходные каналы аудиосигнала могут указывать число динамиков, через которые выводится звук. Чем больше число выходных каналов, тем больше число динамиков, через которые выводится звук. Согласно варианту осуществления, устройство 100 воспроизведения стереофонического аудио может выполнять рендеринг и сводить многоканальный акустический входной сигнал в выходные каналы, которые должны воспроизводиться, так что многоканальный аудиосигнал, имеющий большее число входных каналов, может выводиться и воспроизводиться в окружении, имеющем меньшее число выходных каналов. В этом случае многоканальный аудиосигнал может включать в себя канал, в котором может выводиться приподнятый звук.
Канал, в котором может выводиться приподнятый звук, может указывать канал, в котором аудиосигнал может выводиться посредством динамика, расположенного над головами слушателей, так что слушатели ощущают подъем. Горизонтальный канал может указывать канал, в котором аудиосигнал может выводиться посредством динамика, расположенного на горизонтальной поверхности относительно слушателей.
Вышеописанное окружение, имеющее меньшее число выходных каналов, может указывать окружение, в котором звук может выводиться посредством динамиков, размещаемых на горизонтальной поверхности, без выходных каналов, в которых может выводиться приподнятый звук.
Помимо этого, в нижеприведенном описании, горизонтальный канал может указывать канал, включающий в себя аудиосигнал, который может выводиться посредством динамика, расположенного на горизонтальной поверхности. Надголовный канал может указывать канал, включающий в себя аудиосигнал, который может выводиться посредством динамика, расположенного на приподнятой позиции выше горизонтальной поверхности, чтобы выводить приподнятый звук.
Ссылаясь на фиг. 1, устройство 100 воспроизведения стереофонического аудио согласно варианту осуществления может включать в себя аудиоядро 110, модуль 120 рендеринга, микшер 130 и модуль 140 постобработки.
Согласно варианту осуществления, устройство 100 воспроизведения стереофонического аудио может выводить каналы, которые должны воспроизводиться, посредством рендеринга и сведения многоканальных входных аудиосигналов. Например, многоканальный входной аудиосигнал может представлять собой 22.2-канальный сигнал, и выходные каналы, которые должны воспроизводиться, могут составлять 5.1 или 7.1 каналов. Устройство 100 воспроизведения стереофонического аудио может выполнять рендеринг посредством определения выходного канала, который соответствует каждому каналу многоканального входного аудиосигнала, и сводить подвергнутые рендерингу аудиосигналы посредством синтезирования сигналов каналов, соответствующих каналу, который должен воспроизводиться, и вывода синтезированного сигнала в качестве конечного сигнала.
Кодированный аудиосигнал вводится в аудиоядро 110 в формате потока битов, и аудиоядро 110 декодирует входной аудиосигнал посредством выбора инструментального средства декодера, подходящего для схемы, посредством которой кодирован аудиосигнал.
Модуль 120 рендеринга может выполнять рендеринг многоканального входного аудиосигнала в многоканальный выходной канал согласно каналам и частотам. Модуль 120 рендеринга может выполнять трехмерный рендеринг и двумерный рендеринг многоканального аудиосигнала, при этом каждый из сигналов согласно надголовному каналу и горизонтальному каналу. Ниже подробнее описывается конфигурация модуля рендеринга и конкретного способа рендеринга со ссылкой на фиг. 2.
Микшер 130 может выводить конечный сигнал посредством синтезирования сигналов каналов, соответствующих горизонтальному каналу посредством модуля 120 рендеринга. Микшер 130 может сводить сигналы каналов для каждой заданной секции. Например, микшер 130 может сводить сигналы каналов для каждого I-кадра.
Согласно варианту осуществления, микшер 130 может выполнять сведение на основе значений мощности сигналов, подвергнутых рендерингу в соответствующие каналы, которые должны воспроизводиться. Другими словами, микшер 130 может определять амплитуду конечного сигнала или усиление, которое должно применяться к конечному сигналу, на основе значений мощности сигналов, подвергнутых рендерингу в соответствующие каналы, которые должны воспроизводиться.
Модуль 140 постобработки выполняет управление динамическим диапазоном и бинаурализацию многополосного сигнала для выходного сигнала микшера 130 с тем, чтобы удовлетворять каждому устройству воспроизведения (динамику или наушнику). Выходной аудиосигнал, выводимый из модуля 140 постобработки, выводится посредством такого устройства, как динамик, и выходной аудиосигнал может воспроизводиться двумерным или трехмерным способом согласно обработке каждого компонента.
Устройство 100 воспроизведения стереофонического аудио согласно варианту осуществления, показанному на фиг. 1, показано на основе конфигурации аудиодекодера, и вспомогательная конфигурация опускается.
Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию модуля рендеринга в устройстве воспроизведения стереофонического аудио, согласно варианту осуществления.
Модуль 120 рендеринга включает в себя модуль 121 фильтрации и модуль 123 панорамирования.
Модуль 121 фильтрации может корректировать тон и т.п. декодированного аудиосигнала согласно местоположению и фильтровать входной аудиосигнал посредством использования фильтра на основе передаточной функции восприятия звука человеком (HRTF).
Модуль 121 фильтрации может выполнять рендеринг надголовного канала, который проходит через HRTF-фильтр, посредством различных способов согласно частотам для трехмерного рендеринга надголовного канала.
HRTF-фильтр обеспечивает возможность распознавания стереофонического звука посредством явления, в котором не только простые разности в тракте, такие как интерауральная разность уровней (ILD) и интерауральная разность времен (ITD), но также и усложненные характеристики тракта, такие как преломление на поверхности головы и отражение на ушной раковине, варьируются согласно направлениям акустического поступления. HRTF-фильтр может изменять качество звука аудиосигнала с тем, чтобы обрабатывать аудиосигналы, включенные в надголовный канал, таким образом, что может распознаваться стереофонический звук.
Модуль 123 панорамирования получает и применяет коэффициент панорамирования, который должен применяться для каждой полосы частот и каждого канала, чтобы панорамировать входной аудиосигнал в каждый выходной канал. Панорамирование аудиосигнала указывает управление абсолютной величиной сигнала, который должен применяться к каждому выходному каналу, чтобы выполнять рендеринг источника звука в конкретное местоположение между двумя выходными каналами.
Модуль 123 панорамирования может выполнять рендеринг низкочастотного сигнала для сигнала надголовного канала согласно способу добавления к ближайшему каналу и выполнять рендеринг высокочастотного сигнала согласно способу многоканального панорамирования. Согласно способу многоканального панорамирования, значение усиления, по-разному заданное для каждого канала, который должен подвергаться рендерингу в сигнал каждого канала, может применяться к сигналу каждого канала многоканального аудиосигнала таким образом, что сигнал подвергается рендерингу, по меньшей мере, в один горизонтальный канал. Сигналы соответствующих каналов, к которым применяются значения усиления, могут быть синтезированы посредством сведения и вывода в качестве конечного сигнала.
Поскольку низкочастотный сигнал имеет свойство сильного преломления, даже когда низкочастотный сигнал подвергается рендерингу только в один канал без отдельного рендеринга каждого канала многоканального аудиосигнала в несколько каналов согласно способу многоканального панорамирования, один канал может демонстрировать аналогичное качество звука, когда слушатели прослушивают низкочастотный сигнал. Следовательно, согласно варианту осуществления, устройство 100 воспроизведения стереофонического аудио может выполнять рендеринг низкочастотного сигнала согласно способу добавления к ближайшему каналу, чтобы предотвращать ухудшение качества звука, которое может возникать посредством сведения нескольких каналов в один выходной канал. Иными словами, поскольку качество звука может быть ухудшено вследствие усиления или уменьшения согласно помехам между сигналами каналов, когда несколько каналов сводятся в один выходной канал, один канал может сводиться в один выходной канал, чтобы предотвращать ухудшение качества звука.
Согласно способу добавления к ближайшему каналу, каждый канал многоканального аудиосигнала может подвергаться рендерингу в ближайший канал из каналов, которые должны воспроизводиться, вместо отдельного рендеринга в несколько каналов.
Помимо этого, устройство 100 воспроизведения стереофонического аудио может расширять зону наилучшего восприятия без ухудшения качества звука посредством выполнения рендеринга посредством различных способов согласно частотам. Иными словами, посредством рендеринга низкочастотного сигнала, имеющего характеристику сильного преломления согласно способу добавления к ближайшему каналу, может предотвращаться ухудшение качества звука, которое может возникать посредством сведения нескольких каналов в один выходной канал. Зона наилучшего восприятия указывает предварительно определенный диапазон, в котором слушатели могут оптимально прослушивать стереофонический звук без искажения.
Поскольку зона наилучшего восприятия является широкой, слушатели могут оптимально прослушивать стереофонический звук без искажения в широком диапазоне, и когда слушатели не находятся в зоне наилучшего восприятия, слушатели могут прослушивать звук с искаженным качеством звука или аудиоизображением.
Фиг. 3 иллюстрирует схему размещения каналов, когда множество входных каналов микшируется с понижением во множество выходных каналов, согласно варианту осуществления.
Чтобы предоставлять идентичное или более глубокое ощущение реализма и ощущение погружения относительно реальности, аналогично трехмерному изображению, разработаны технологии для предоставления трехмерного стереофонического звука вместе с трехмерным стереоскопическим изображением. Стереофонический звук указывает звук, в котором сам аудиосигнал имеет ощущение подъема и ощущение пространства звука, и для того, чтобы воспроизводить такой стереофонический звук, требуются, по меньшей мере, два громкоговорителя, т.е. выходных канала. Помимо этого, за исключением бинаурального стереофонического звука с использованием HRTF, большее число выходных каналов требуется для того, чтобы более точно воспроизводить ощущение подъема, ощущение расстояния и ощущение пространства звука.
Следовательно, предложена и разработана стереосистема, имеющая два выходных канала и различные многоканальные системы, такие как 5.1-канальная система, система Auro 3D, 10.2-канальная система Holman, 10.2-канальная система ETRI/Samsung и 22.2-канальная система NHK.
Фиг. 3 иллюстрирует случай, в котором 22.2-канальный трехмерный аудиосигнал воспроизводится посредством 5.1-канальной выходной системы.
5.1-канальная система является общим названием многоканальной звуковой системы объемного звучания с пятью каналами и представляет собой систему, наиболее часто используемую в качестве домашних кинотеатров и звуковых киносистем. Сумма 5.1 каналов включает в себя передний левый (FL) канал, центральный (C) канал, передний правый (FR) канал, левый канал объемного звучания (SL) и правый канал объемного звучания (SR). Как показано на фиг. 3, поскольку все выводы 5.1 каналов находятся на идентичной плоскости, 5.1-канальная система физически соответствует двумерной системе, и для того, чтобы воспроизводить трехмерный аудиосигнал посредством использования 5.1-канальной системы, должен выполняться процесс рендеринга для предоставления трехмерного эффекта для сигнала воспроизводиться.
5.1-канальная система широко используется в различных областях техники, не только в области техники кинофильмов, но также и в области техники DVD-изображений, области техники DVD-звука, области техники супераудио-компакт-дисков (SACD) или области техники цифровой широковещательной передачи. Тем не менее, хотя 5.1-канальная система предоставляет улучшенное ощущение пространства по сравнению со стереосистемой, существует несколько ограничений при формировании более широкого пространства прослушивания. В частности, поскольку зона наилучшего восприятия формируется узкой, и вертикальное аудиоизображение, имеющее угол подъема, не может предоставляться, 5.1-канальная система не может быть подходящей для широкого пространства прослушивания, к примеру, в кинотеатре.
22.2-канальная система, предложенная посредством NHK, включает в себя трехуровневые выходные каналы, как показано на фиг. 3. Верхний уровень 310 включает в себя канал гласа Божьего (VoG), T0-канал, T180-канал, TL45-канал, TL90-канал, TL135-канал, TR45-канал, TR90-канал и TR45-канал. В данном документе индекс T, который является первым символом названия каждого канала, указывает верхний уровень, индексы L и R указывают левый и правый, соответственно, и следующее число указывает азимутальный угол от центрального канала. Верхний уровень обычно называется верхним уровнем.
VoG-канал представляет собой канал, существующий над головами слушателей, имеет угол подъема 90° и не имеет азимутального угла. Тем не менее, когда VoG-канал располагается неправильно даже в небольшой степени, VoG-канал имеет азимутальный угол и угол подъема, которые отличаются от 90°, и в силу этого VoG-канал не может больше выступать в качестве VoG-канала.
Средний уровень 320 находится на плоскости, идентичной плоскости существующих 5.1 каналов, и включает в себя ML60-канал, ML90-канал, ML135-канал, MR60-канал, MR90-канал и MR135-канал, помимо выходных каналов для 5.1 каналов. В данном документе, индекс M, который является первым символом названия каждого канала, указывает средний уровень, и следующее число указывает азимутальный угол от центрального канала.
Нижний уровень 330 включает в себя L0-канал, LL45-канал и LR45-канал. В данном документе, индекс L, который является первым символом названия каждого канала, указывает нижний уровень, и следующее число указывает азимутальный угол от центрального канала.
В 22.2 каналах, средний уровень называется горизонтальным каналом, а VOG-, T0-, T180-, M180-, L- и C-каналы, соответствующие азимутальному углу 0° или 180°, называются вертикальным каналом.
Когда 22.2-канальный входной сигнал воспроизводится с использованием 5.1-канальной системы, согласно наиболее общему способу, межканальный сигнал может быть распределен с использованием выражения низведения. Альтернативно, может выполняться рендеринг для предоставления виртуального ощущения подъема, так что 5.1-канальная система воспроизводит аудиосигнал, имеющий ощущение подъема.
Фиг. 4 иллюстрирует схему размещения каналов верхнего уровня согласно подъемам верхнего уровня в схеме размещения каналов, согласно варианту осуществления.
Когда сигнал входного канала представляет собой 22.2-канальный трехмерный аудиосигнал и размещается согласно схеме размещения по фиг. 3, верхний уровень из входных каналов имеет схему размещения, как показано на фиг. 4. В этом случае, предполагается, что углы подъема составляют 0°, 25°, 35° и 45°, и VoG-канал, соответствующий углу подъема 90°, опускается. Каналы верхнего уровня, имеющие угол подъема в 0°, задаются так, как если они расположены на горизонтальной поверхности (на среднем уровне 320).
Фиг. 4A иллюстрирует схему размещения каналов, когда каналы верхнего уровня просматриваются спереди.
Ссылаясь на фиг. 4A, поскольку восемь каналов верхнего уровня имеют разность азимутальных углов в 45° между собой, когда каналы верхнего уровня просматриваются спереди на основе вертикальной оси канала, показаны шесть каналов, остающихся посредством исключения TL90-канала и TR90-канала, так что TL45-канал и TL135-канал, T0-канал и T180-канал и TR45-канал и TR135-канал перекрываются два по два. Это должно быть очевиднее по сравнению с фиг. 4B.
Фиг. 4B иллюстрирует схему размещения каналов, когда каналы верхнего уровня просматриваются сверху. Фиг. 4C иллюстрирует трехмерную схему размещения каналов верхнего уровня. Можно видеть, что восемь каналов верхнего уровня размещаются с равным интервалом и разностью азимутальных углов в 45° между собой.
Если контент, который должен воспроизводиться в качестве стереофонического звука посредством рендеринга подъема, является фиксированным таким образом, что он имеет, например, угол подъема в 35°, то он является высококачественным, даже если рендеринг подъема выполняется для всех входных аудиосигналов для угла подъема в 35°, и может получаться оптимальный результат.
Тем не менее, согласно контенту, угол подъема может применяться к стереофоническому звуку соответствующего контента, и как показано на фиг. 4, местоположение и расстояние каждого канала варьируются согласно подъемам каналов, и соответственно, также может варьироваться характеристика сигналов.
Следовательно, когда виртуальный рендеринг выполняется для фиксированного угла подъема, возникает искажение аудиоизображения, и для того, чтобы получать оптимальную производительность рендеринга, необходимо выполнять рендеринг с учетом угла подъема входного трехмерного аудиосигнала, т.е. угла подъема входного канала.
Фиг. 5 является блок-схемой, иллюстрирующей конфигурацию декодера и модуля трехмерного акустического рендеринга при воспроизведении стереофонического аудио, согласно варианту осуществления.
Ссылаясь на фиг. 5, согласно варианту осуществления, устройство 100 воспроизведения стереофонического аудио показано на основе конфигурации декодера 110 и модуля 120 трехмерного акустического рендеринга, и остальная конфигурация опускается.
Аудиосигнал, вводимый в устройство 100 воспроизведения стереофонического аудио, представляет собой кодированный сигнал и вводится в формате потока битов. Декодер 110 декодирует входной аудиосигнал посредством выбора инструментального средства декодера, подходящего для схемы, посредством которой кодирован аудиосигнал, и передает декодированный аудиосигнал в модуль 120 трехмерного акустического рендеринга.
Модуль 120 трехмерного акустического рендеринга включает в себя модуль 125 инициализации для получения и обновления коэффициента фильтрации и коэффициента панорамирования и модуль 127 рендеринга для выполнения фильтрации и панорамирования.
Модуль 127 рендеринга выполняет фильтрацию и панорамирование для аудиосигнала, передаваемого из декодера. Модуль 1271 фильтрации обрабатывает информацию относительно местоположения звука таким образом, что подвергнутый рендерингу аудиосигнал воспроизводится в требуемом местоположении, и модуль 1272 панорамирования обрабатывает информацию относительно тона звука таким образом, что подвергнутый рендерингу аудиосигнал имеет тон, подходящий для требуемого местоположения.
Модуль 1271 фильтрации и модуль 1272 панорамирования выполняют функции, аналогичные функциям модуля 121 фильтрации и модуля 123 панорамирования, описанных со ссылкой на фиг. 2. Тем не менее модуль фильтрации и модуль 123 панорамирования по фиг. 2 показаны схематично, и следует понимать, что такая конфигурация как модуль инициализации, для получения коэффициента фильтрации и коэффициента панорамирования может опускаться.
В этом случае коэффициент фильтрации, который должен использоваться для фильтрации, и коэффициент панорамирования, который должен использоваться для панорамирования, передаются из модуля 125 инициализации. Модуль 125 инициализации включает в себя модуль 1251 получения параметров рендеринга подъема и модуль 1252 обновления параметров рендеринга подъема.
Модуль 1251 получения параметров рендеринга подъема получает значение инициализации параметра рендеринга подъема посредством использования конфигурации и схемы размещения выходных каналов, т.е. громкоговорителей. В этом случае значение инициализации параметра рендеринга подъема вычисляется на основе конфигурации выходных каналов согласно стандартной схеме размещения и конфигурации входных каналов согласно компоновке для рендеринга подъема, либо для значения инициализации параметра рендеринга подъема, предварительно сохраненное значение инициализации считывается согласно взаимосвязи преобразования между входными/выходными каналами. Параметр рендеринга подъема может включать в себя коэффициент фильтрации, который должен использоваться посредством модуля 1251 фильтрации, или коэффициент панорамирования, который должен использоваться посредством модуля 1252 панорамирования.
Тем не менее, как описано выше, может существовать отклонение между заданным значением подъема для рендеринга подъема и настройками входных каналов. В этом случае, когда используется фиксированное заданное значение подъема, затруднительно достигать цели виртуального рендеринга трехмерно воспроизведения исходного трехмерного аудиосигнала таким образом, что он является более похожим через выходные каналы, имеющие конфигурацию, отличную от конфигурации входных каналов.
Например, когда ощущение подъема является слишком высоким, может возникать явление, в котором аудиоизображение является небольшим, и качество звука ухудшено, и когда ощущение подъема является слишком низким, может возникать такая проблема, что затруднительно чувствовать эффект виртуального рендеринга. Следовательно, необходимо регулировать ощущение подъема согласно настройкам пользователя или степени виртуального рендеринга, подходящего для входного канала.
Модуль 1252 обновления параметров рендеринга подъема обновляет параметр рендеринга подъема посредством использования значений инициализации параметра рендеринга подъема, которые получаются посредством модуля 1251 получения параметров рендеринга подъема, на основе информации подъема входного канала или заданного подъема пользователя. В том случае, если схема размещения динамиков выходных каналов имеет отклонение по сравнению со стандартной схемой размещения, может добавляться процесс для коррекции влияния согласно отклонению. Отклонение выходных каналов может включать в себя информацию отклонения согласно разности углов подъема или разности азимутальных углов.
Выходной аудиосигнал, отфильтрованный и панорамированный посредством модуля 127 рендеринга посредством использования параметра рендеринга подъема, полученного и обновленного посредством модуля 125 инициализации, воспроизводится через динамик, соответствующий каждому выходному каналу.
Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно варианту осуществления.
На этапе 610, модуль рендеринга принимает многоканальный аудиосигнал, включающий в себя множество входных каналов. Входной многоканальный аудиосигнал преобразуется во множество сигналов выходных каналов посредством рендеринга. Например, при низведении, в котором число входных каналов превышает число выходных каналов, входной сигнал, имеющий 22.2 каналов, преобразуется в выходной сигнал, имеющий 5.1 каналов.
В связи с этим, когда трехмерный стереофонический входной сигнал подвергается рендерингу с использованием двумерных выходных каналов, нормальный рендеринг применяется к горизонтальным входным каналам, и виртуальный рендеринг для предоставления ощущения подъема применяется к входным высотным каналам, имеющим угол подъема.
Чтобы выполнять рендеринг, требуются коэффициент фильтрации, который должен использоваться для фильтрации, и коэффициент панорамирования, который должен использоваться для панорамирования. В этом случае на этапе 620, параметр рендеринга получается согласно стандартной схеме размещения выходных каналов и углу подъема по умолчанию для виртуального рендеринга в процессе инициализации. Угол подъема по умолчанию может определяться различными способами согласно модулям рендеринга, но когда виртуальный рендеринг выполняется с использованием такого фиксированного угла подъема, может возникать результат снижения уровня удовлетворенности и эффекта виртуального рендеринга согласно вкусам пользователей или характеристикам входных сигналов.
Следовательно, когда конфигурация выходных каналов имеет отклонение от стандартной схемы размещения соответствующих выходных каналов, либо подъем, с которым должен выполняться виртуальный рендеринг, отличается от подъема по умолчанию, параметр рендеринга обновляется на этапе 630.
В этом случае, обновленный параметр рендеринга может включать в себя коэффициент фильтрации, обновленный посредством применения весового коэффициента, определенного на основе отклонения углов подъема, к значению инициализации коэффициента фильтрации или коэффициента панорамирования, обновленного посредством увеличения или уменьшения значения инициализации коэффициента панорамирования согласно результату сравнения абсолютной величины между подъемом входного канала и подъемом по умолчанию.
Ниже подробнее описывается конкретный способ обновления коэффициента фильтрации и коэффициента панорамирования со ссылкой на фиг. 7 и 8.
Если схема размещения динамиков выходных каналов имеет отклонение по сравнению со стандартной схемой размещения, может добавляться процесс для коррекции влияния согласно отклонению, но описание конкретного способа процесса опускается. Отклонение выходных каналов может включать в себя информацию отклонения согласно разности углов подъема или разности азимутальных углов.
Фиг. 7 иллюстрирует изменение аудиоизображения и изменение при фильтрации подъема согласно подъемам каналов, согласно варианту осуществления.
Фиг. 7A иллюстрирует местоположение каждого канала, когда подъемы высотных каналов составляют 0°, 35° и 45°, согласно варианту осуществления. Чертеж по фиг. 7A представляет собой чертеж, просматриваемый сзади слушателей, и каналы, показанные на фиг. 7A, представляют собой ML90-канал или TL90-канал. Когда угол подъема составляет 0°, канал существует на горизонтальной поверхности и соответствует ML90-каналу, а когда углы подъема составляют 35° и 45°, каналы представляют собой каналы верхнего уровня и соответствуют TL90-каналу.
Фиг. 7B иллюстрирует разность между сигналами, ощущаемыми посредством левого и правого уха слушателей, когда аудиосигнал выводится в каждом канале согласно варианту осуществления по фиг. 7B.
Когда аудиосигнал выводится из ML90-канала, имеющего угол подъема, аудиосигнал в принципе распознается только посредством левого уха, и аудиосигнал не распознается посредством правого уха.
Тем не менее, по мере того, как увеличивается подъем, разность между звуком, распознанным посредством левого уха, и аудиосигналом, распознанным посредством правого уха, постепенно уменьшается, и когда угол подъема становится равным 90°, когда угол подъема канала постепенно увеличивается, канал становится каналом, расположенным над головами слушателей, т.е. VoG-каналом, и в силу этого идентичный аудиосигнал распознается посредством обоих ушей.
Следовательно, изменение аудиосигналов, распознанных посредством обоих ушей согласно углам подъема, является таким, как показано на фиг. 7B.
Для аудиосигналов, распознанных посредством левого и правого уха, когда угол подъема составляет 0°, аудиосигнал распознается только посредством левого уха, и аудиосигнал не может распознаваться посредством правого уха. В этом случае, ILD и ITD максимизируются, и слушатели распознают аудиоизображение ML90-канала, существующего в левом горизонтальном канале.
Для разности между аудиосигналами, распознанными посредством левого и правого уха, когда угол подъема составляет 35°, и аудиосигналами, распознанными посредством левого и правого уха, когда угол подъема составляет 45°, разность между аудиосигналами, распознанными посредством левого и правого уха, уменьшается, когда угол подъема является высоким, и согласно этой разности, слушатели могут чувствовать разность в ощущении подъема из выходного аудиосигнала.
Выходной сигнал канала, имеющего угол подъема в 35°, имеет признаки широкого аудиоизображения и зоны наилучшего восприятия, и естественное качество звука по сравнению с выходным сигналом канала, имеющего угол подъема 45°, и выходным сигналом канала, имеющего угол подъема 45°, имеет признак получения ощущения звукового поля, посредством которого ощущение сильного погружения предоставляется по сравнению с выходным сигналом канала, имеющего угол подъема в 35°, хотя аудиоизображение сужается, и зона наилучшего восприятия также сужается.
Как описано выше, по мере того, как увеличивается угол подъема, ощущение подъема увеличивается, и в силу этого ощущение погружения является более сильным, но ширина аудиоизображения является более узкой. Это явление обусловлено тем, что когда угол подъема является высоким, физическое местоположение канала перемещается постепенно внутрь и в итоге находится близко к слушателям.
Следовательно, обновление коэффициента панорамирования согласно изменению угла подъема определяется следующим образом. Коэффициент панорамирования обновляется таким образом, что аудиоизображение является более широким по мере того, как увеличивается угол подъема, и обновляется таким образом, что аудиоизображение является более узким по мере того, как снижается угол подъема.
Например, предполагается, что угол подъема по умолчанию для виртуального рендеринга составляет 45°, и виртуальный рендеринг выполняется посредством снижения угла подъема до 35°. В этом случае, коэффициенты панорамирования при рендеринге, которые должны применяться к выходным каналам, ипсилатеральным относительно виртуального канала, который должен подвергаться рендерингу, увеличиваются, и коэффициенты панорамирования, которые должны применяться к оставшимся каналам, определяются через нормализацию мощности.
В качестве подробного описания, предполагается, что 22.2-канальный входной многоканальный сигнал воспроизводится через выходные каналы (динамики) 5.1 каналов. В этом случае входные каналы, имеющие угол подъема, к которому должен применяться виртуальный рендеринг, из 22.2-канальных входных каналов, составляют девять каналов CH_U_000 (T0), CH_U_L45 (TL45), CH_U_R45 (TR45), CH_U_L90 (TL90), CH_U_R90 (TR90), CH_U_L135 (TL135), CH_U_R135 (TR135), CH_U_180 (T180) и CH_T_000 (VOG), и 5.1-канальные выходные каналы составляют пять каналов CH_M_000, CH_M_L030, CH_M_R030, CH_M_L110 и CH_M_R110, существующих на горизонтальной поверхности (за исключением канала низкочастотного динамика).
В связи с тем, когда CH_U_L45-канал подвергается рендерингу с использованием выходных 5.1-каналов, если угол подъема по умолчанию составляет 45°, и требуется снижать угол подъема до 35°, коэффициенты панорамирования, которые должны применяться к CH_M_L030- и CH_M_L110-каналам, которые представляют собой выходные каналы, существующие таким образом, что они являются ипсилатеральными относительно CH_U_L45-канала, обновляются таким образом, что они увеличиваются на 3 дБ, и коэффициенты панорамирования оставшихся трех каналов обновляются таким образом, что они уменьшаются, с тем чтобы удовлетворять уравнению 1.
(1)
В данном документе, N обозначает число выходных каналов для рендеринга произвольного виртуального канала, и 
обозначает коэффициент панорамирования, который должен применяться к каждому выходному каналу.
Этот процесс должен выполняться для каждого входного высотного канала.
Наоборот, предполагается, что угол подъема по умолчанию для виртуального рендеринга составляет 45°, и виртуальный рендеринг выполняется посредством увеличения угла подъема до 55°. В этом случае, коэффициенты панорамирования при рендеринге, которые должны применяться к выходным каналам, ипсилатеральным относительно виртуального канала, который должен подвергаться рендерингу, уменьшаются, и коэффициенты панорамирования, которые должны применяться к оставшимся каналам, определяются через нормализацию мощности.
Когда CH_U_L45-канал подвергается рендерингу с использованием идентичных выходных 5.1-каналов, описанных выше в качестве примера, если угол подъема по умолчанию составляет 45°, и требуется увеличивать угол подъема до 55°, коэффициенты панорамирования, которые должны применяться к CH_M_L030- и CH_M_L110-каналам, которые представляют собой выходные каналы, существующие таким образом, что они являются ипсилатеральными относительно CH_U_L45-канала, обновляются таким образом, что они уменьшаются на 3 дБ, и коэффициенты панорамирования оставшихся трех каналов обновляются таким образом, что они увеличиваются, с тем чтобы удовлетворять уравнению 1.
Тем не менее, как описано выше, когда ощущение подъема увеличивается, требуется обращать внимание на то, что левое и правое аудиоизображения не должны переставляться вследствие обновления коэффициента панорамирования, и это описывается со ссылкой на фиг. 8.
В дальнейшем в этом документе описывается способ обновления коэффициента тонального фильтра со ссылкой на фиг. 7C.
Фиг. 7C иллюстрирует признаки тонального фильтра согласно частотам, когда углы подъема каналов составляют 35° и 45°, согласно варианту осуществления.
Как показано на фиг. 7C, тональный фильтр канала, имеющего угол подъема 45°, демонстрирует больший признак вследствие угла подъема по сравнению с тональным фильтром канала, имеющего угол подъема в 35°.
Как результат, когда требуется выполнять виртуальный рендеринг таким образом, чтобы иметь больший угол подъема, чем стандартный угол подъема, полоса частот (полоса частот, исходный коэффициент фильтрации которой превышает 1), абсолютная величина которой должна увеличиваться при рендеринге стандартного угла подъема, увеличивается больше (обновленный коэффициент фильтрации увеличивается таким образом, что он больше 1), и полоса частот (полоса частот, исходный коэффициент фильтрации которой меньше 1), абсолютная величина которой должна снижаться при рендеринге стандартного угла подъема, снижается больше (обновленный коэффициент фильтрации снижается таким образом, что он меньше 1).
Когда этот признак абсолютной величины фильтрации показан посредством шкалы в децибелах, как показано на фиг. 7C, абсолютная величина фильтрации имеет положительное значение в полосе частот, в которой должна увеличиваться абсолютная величина выходного сигнала, и имеет отрицательное значение в полосе частот, в которой должна снижаться абсолютная величина выходного сигнала. Помимо этого, как показано на фиг. 7C, по мере того, как уменьшается угол подъема, форма абсолютной величины фильтрации становится сглаженной.
Когда высотный канал виртуально подвергнут рендерингу с использованием горизонтального канала, высотный канал имеет тон, аналогичный тону горизонтального канала по мере того, как уменьшается угол подъема, и изменение в ощущении подъема увеличивается по мере того, как увеличивается угол подъема, и в силу этого по мере того, как увеличивается угол подъема, влияние вследствие тонального фильтра увеличивается, с тем чтобы подчеркивать эффект ощущения подъема вследствие увеличения угла подъема. Наоборот, по мере того, как уменьшается угол подъема, влияние вследствие тонального фильтра может снижаться, чтобы снижать эффект ощущения подъема.
Следовательно, для обновления коэффициента фильтрации согласно изменению угла подъема, исходный коэффициент фильтрации обновляется с использованием весового коэффициента на основе угла подъема по умолчанию и фактического угла подъема, которые должны подвергаться рендерингу.
Когда угол подъема по умолчанию для виртуального рендеринга составляет 45°, и требуется снижать ощущение подъема посредством рендеринга в 35°, что ниже угла подъема по умолчанию, коэффициенты, соответствующие фильтру в 45° на фиг. 7C, определяются в качестве начальных значений и должны обновляться на коэффициенты, соответствующие фильтру в 35°.
Следовательно, когда требуется снижать ощущение подъема посредством рендеринга в 35°, который является меньшим углом подъема чем 45°, который является углом подъема по умолчанию, коэффициент фильтрации должен обновляться таким образом, что как впадина, так и гребень фильтра согласно полосам частот корректируются более умеренно, чем фильтр в 45°.
Наоборот, когда угол подъема по умолчанию составляет 45°, и требуется увеличивать ощущение подъема посредством рендеринга в 55°, который выше угла подъема по умолчанию, коэффициент фильтрации должен обновляться таким образом, что как впадина, так и гребень фильтра согласно полосам частот являются более резкими, чем фильтр в 45°.
Фиг. 8 иллюстрирует явление, в котором левое и правое аудиоизображения переставляются, когда угол подъема входного канала составляет пороговое значение или больше, согласно варианту осуществления.
Аналогично случаю по фиг. 7B, фиг. 8 показывает чертеж, просматриваемый сзади слушателей, и канал, помеченный с помощью прямоугольника, представляет собой канал CH_U_L90. В этом случае, когда предполагается, что угол подъема канала CH_U_L90 составляет ϕ, по мере того, как увеличивается ϕ, ILD и ITD аудиосигналов, поступающих в левое и правое ухо слушателей, постепенно снижаются, и аудиосигналы, распознанные посредством обоих ушей, имеют аналогичные аудиоизображения. Максимальное значение угла ϕ подъема составляет 90°, и когда ϕ становится равным 90°, канал CH_U_L90 становится VoG-каналом, существующим над головами слушателей, и идентичный аудиосигнал принимается посредством обоих ушей.
Как показано на фиг. 8A, когда ϕ имеет очень большое значение, ощущение подъема увеличивается, так что слушатели могут испытывать ощущение звукового поля, посредством которого предоставляется ощущение погружения сохранения. Тем не менее, согласно увеличению ощущения подъема, аудиоизображение сужается, и зона наилучшего восприятия формируется таким образом, что она сужается, и в силу этого даже когда местоположение слушателей перемещается незначительно, или канал отклоняется незначительно, может возникать явление перестановки левого/правого аудиоизображений.
Фиг. 8B иллюстрирует местоположения слушателей и канала, когда слушатели незначительно перемещаются влево. Поскольку ощущение подъема формируется высоким вследствие большого значения угла ϕ подъема канала, даже когда слушатели перемещаются незначительно, относительные местоположения левого и правого каналов значительно изменяются, и в наихудшем случае, сигнал, поступающий в правое ухо из левого канала, распознается как превышающий сигнал, поступающий в левое ухо из левого канала, и в силу этого может возникать перестановка левого/правого аудиоизображений, как показано на фиг. 8B.
В процессе рендеринга, вместо предоставления ощущения подъема, поддержание баланса левого/правого аудиоизображений и локализация левого и правого местоположений аудиоизображений представляют собой более важные проблемы, и в силу этого для невозникновения такой ситуации, как перестановка левого/правого аудиоизображений, может быть необходимым то, что угол подъема для виртуального рендеринга ограничен предварительно определенным диапазоном или меньше.
Следовательно, когда угол подъема увеличивается, чтобы получать ощущение более высокого подъема, чем угол подъема по умолчанию для рендеринга, коэффициент панорамирования должен снижаться, но минимальное пороговое значение коэффициента панорамирования должно задаваться таким образом, что коэффициент панорамирования не составляет предварительно определенное значение или меньше.
Например, даже когда подъем рендеринга в 60° или более увеличивается до 60° или больше, если панорамирование выполняется посредством принудительного применения коэффициента панорамирования, обновленного для порогового угла подъема 60°, явление перестановки левого/правого аудиоизображений может предотвращаться.
Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ рендеринга трехмерного аудиосигнала, согласно другому варианту осуществления.
В вариантах осуществления, описанных выше, приводится способ выполнения виртуального рендеринга на основе высотного канала входного многоканального сигнала, когда угол подъема высотного канала входного сигнала отличается от угла подъема по умолчанию модуля рендеринга. Тем не менее необходимо различными способами изменять угол подъема для виртуального рендеринга согласно вкусам пользователей или признакам пробелов, в которых должен воспроизводиться аудиосигнал.
В связи с этим, когда необходимо различными способами изменять угол подъема для виртуального рендеринга, необходимо добавлять операцию приема ввода угла подъема для рендеринга на блок-схему последовательности операций способа по фиг. 6, и другие операции являются аналогичными операциям по фиг. 6.
На этапе 910, модуль рендеринга принимает многоканальный аудиосигнал, включающий в себя множество входных каналов. Входной многоканальный аудиосигнал преобразуется во множество сигналов выходных каналов посредством рендеринга. Например, при низведении, в котором число входных каналов превышает число выходных каналов, входной сигнал, имеющий 22.2 каналов, преобразуется в выходной сигнал, имеющий 5.1 каналов.
В связи с этим, когда трехмерный стереофонический входной сигнал подвергается рендерингу с использованием двумерных выходных каналов, нормальный рендеринг применяется к горизонтальным входным каналам, и виртуальный рендеринг для предоставления ощущения подъема применяется к высотным каналам, имеющим угол подъема.
Чтобы выполнять рендеринг, требуются коэффициент фильтрации, который должен использоваться для фильтрации, и коэффициент панорамирования, который должен использоваться для панорамирования. В этом случае, на этапе 920, параметр рендеринга получается согласно стандартной схеме размещения выходных каналов и углу подъема по умолчанию для виртуального рендеринга в процессе инициализации. Угол подъема по умолчанию может определяться различными способами согласно модулям рендеринга, но когда виртуальный рендеринг выполняется с использованием такого фиксированного угла подъема, может возникать результат снижения эффекта виртуального рендеринга согласно вкусам пользователей, характеристикам входных сигналов или характеристикам пространств воспроизведения.
Следовательно, на этапе 930, угол подъема для виртуального рендеринга вводится, чтобы выполнять виртуальный рендеринг относительно произвольного угла подъема. В этом случае в качестве угла подъема для виртуального рендеринга, угол подъема, непосредственно введенный пользователем через пользовательский интерфейс устройства воспроизведения аудио либо с использованием пульта дистанционного управления, может доставляться в модуль рендеринга.
Альтернативно, угол подъема для виртуального рендеринга может определяться посредством приложения, имеющего информацию относительно пространства, в котором должен воспроизводиться аудиосигнал, и доставляться в модуль рендеринга либо доставляться через отдельное внешнее устройство вместо устройства воспроизведения аудио, включающего в себя модуль рендеринга. Ниже подробнее описывается вариант осуществления, в котором угол подъема для виртуального рендеринга определяется через отдельное внешнее устройство, со ссылкой на фиг. 10 и 11.
Хотя на фиг. 9 предполагается то, что ввод угла подъема принимается после получения значения инициализации параметра рендеринга подъема посредством использования компоновки инициализации рендеринга, ввод угла подъема может приниматься на любом этапе до того, как обновляется параметр рендеринга подъема.
Когда угол подъема, отличающийся от угла подъема по умолчанию, вводится, модуль рендеринга обновляет параметр рендеринга на основе входного угла подъема на этапе 940.
В этом случае, обновленный параметр рендеринга может включать в себя коэффициент фильтрации, обновленный посредством применения весового коэффициента, определенного на основе отклонения углов подъема, к значению инициализации коэффициента фильтрации или коэффициента панорамирования, обновленного посредством увеличения или уменьшения значения инициализации коэффициента панорамирования согласно результату сравнения абсолютной величины между подъемом входного канала и подъемом по умолчанию, как описано со ссылкой на фиг. 7 и 8.
Если схема размещения динамиков выходных каналов имеет отклонение по сравнению со стандартной схемой размещения, может добавляться процесс для коррекции влияния согласно отклонению, но описание конкретного способа процесса опускается. Отклонение выходных каналов может включать в себя информацию отклонения согласно разности углов подъема или разности азимутальных углов.
Как описано выше, когда виртуальный рендеринг выполняется посредством применения произвольного угла подъема согласно вкусам пользователей, признакам пространств для воспроизведения аудио и т.п., лучший уровень удовлетворенности в субъективной оценке качества звука и т.п. может предоставляться слушателям по сравнению с виртуальным трехмерным аудиосигналом, для которого рендеринг выполнен согласно фиксированному углу подъема.
Фиг. 10 и 11 являются схемами последовательности сигналов для описания работы каждого устройства согласно варианту осуществления, включающего в себя, по меньшей мере, одно внешнее устройство и устройство воспроизведения аудио.
Фиг. 10 является схемой последовательности сигналов для описания работы каждого устройства, когда угол подъема вводится через внешнее устройство, согласно варианту осуществления системы, включающей в себя внешнее устройство и устройство воспроизведения аудио.
Наряду с разработкой технологий изготовления планшетных PC и смартфонов, также активно разрабатываются технологии межсетевого взаимодействия и использования устройства воспроизведения аудио/видео и планшетного PC и т.п. В простом случае, смартфон может использоваться в качестве пульта дистанционного управления для устройства воспроизведения аудио/видео. Даже для телевизора, включающего в себя сенсорную функцию, большинство пользователей управляет телевизором посредством использования пульта дистанционного управления, поскольку пользователи должны перемещаться близко к телевизору, чтобы вводить команду посредством использования сенсорной функции телевизора, и значительное число смартфонов может выполнять функцию пульта дистанционного управления, поскольку они включают в себя инфракрасный терминал.
Альтернативно, планшетный PC или смартфон может управлять компоновкой для декодирования или компоновкой для рендеринга посредством межсетевого взаимодействия с мультимедийным устройством, таким как телевизор или приемное аудио/видеоустройство (AVR), через конкретное приложение, установленное в нем.
Альтернативно, может реализовываться трансляция звукозаписи для воспроизведения декодированного и подвергнутого рендерингу аудио/видеоконтента в планшетном PC или смартфоне посредством использования технологии зеркалирования.
В этих случаях, работа между устройством 100 воспроизведения стереофонического аудио, включающим в себя модуль рендеринга, и внешним устройством 200, таким как планшетный PC или смартфон, является такой, как показано на фиг. 10. В дальнейшем в этом документе главным образом описывается работа модуля рендеринга в устройстве воспроизведения стереофонического аудио.
Когда многоканальный аудиосигнал, декодированный посредством декодера устройства 100 воспроизведения стереофонического аудио, принимается посредством модуля рендеринга на этапе 1010, модуль рендеринга получает параметр рендеринга на основе схемы размещения выходных каналов и угла подъема по умолчанию на этапе 1020. В этом случае, полученный параметр рендеринга получается через считывание предварительно сохраненного значения, в качестве значения инициализации, предварительно определенного согласно взаимосвязи преобразования между входными каналами и выходными каналами или через вычисление.
Внешнее устройство 200 для управления компоновкой для рендеринга устройства воспроизведения аудио передает, в устройство воспроизведения аудио на этапе 1040, угол подъема, который должен применяться для рендеринга, который введен пользователем, или угол подъема, определенный на этапе 1030 в качестве оптимального угла подъема через приложение, и т.п.
Когда угол подъема для рендеринга вводится, модуль рендеринга обновляет параметр рендеринга на основе входного угла подъема на этапе 1050 и выполняет рендеринг посредством использования обновленного параметра рендеринга на этапе 1060. В данном документе, способ обновления параметра рендеринга является идентичным способу, описанному со ссылкой на фиг. 7 и 8, и подвергнутый рендерингу аудиосигнал становится трехмерным аудиосигналом, имеющим ощущение объемного окружения.
Устройство 100 воспроизведения аудио может воспроизводить подвергнутый рендерингу аудиосигнал отдельно, но когда существует запрос внешнего устройства 200, подвергнутый рендерингу аудиосигнал передается во внешнее устройство на этапе 1070, и внешнее устройство воспроизводит принимаемый аудиосигнал на этапе 1080, чтобы предоставлять стереофонический звук, имеющий ощущение объемного окружения, пользователю.
Как описано выше, когда трансляция звукозаписи реализуется с использованием технологии зеркалирования, даже портативное устройство, такое как планшетный PC или смартфон, может предоставлять трехмерный аудиосигнал посредством использования бинауральной технологии и наушников, предоставляющих воспроизведение стереофонического аудио.
Фиг. 11 является схемой последовательности сигналов для описания работы каждого устройства, когда аудиосигнал воспроизводится через второе внешнее устройство, согласно варианту осуществления системы, включающей в себя первое внешнее устройство, второе внешнее устройство и устройство воспроизведения аудио.
Первое внешнее устройство 201 по фиг. 11 указывает внешнее устройство, такое как планшетный PC или смартфон, включенный на фиг. 10. Второе внешнее устройство 202 по фиг. 11 указывает отдельную акустическую систему, такую как AVR, включающее в себя модуль рендеринга, отличный от устройства 100 воспроизведения аудио.
Когда второе внешнее устройство выполняет рендеринг только согласно фиксированному углу подъема по умолчанию, стереофонический звук, имеющий лучшую производительность, может получаться посредством выполнения рендеринга с использованием устройства воспроизведения аудио согласно варианту осуществления настоящего изобретения и передачи подвергнутого рендерингу трехмерного аудиосигнала во второе внешнее устройство, так что второе внешнее устройство воспроизводит подвергнутый рендерингу трехмерный аудиосигнал.
Когда многоканальный аудиосигнал, декодированный посредством декодера устройства воспроизведения стереофонического аудио, принимается посредством модуля рендеринга на этапе 1110, модуль рендеринга получает параметр рендеринга на основе схемы размещения выходных каналов и угла подъема по умолчанию на этапе 1120. В этом случае полученный параметр рендеринга получается через считывание предварительно сохраненного значения, в качестве значения инициализации, предварительно определенного согласно взаимосвязи преобразования между входными каналами и выходными каналами или посредством вычисления.
Первое внешнее устройство 201 для управления компоновкой для рендеринга устройства воспроизведения аудио передает, в устройство воспроизведения аудио на этапе 1140, угол подъема, который должен применяться для рендеринга, который введен пользователем или угол подъема, определенный на этапе 1130 в качестве оптимального угла подъема через приложение, и т.п.
Когда угол подъема для рендеринга вводится, модуль рендеринга обновляет параметр рендеринга на основе входного угла подъема на этапе 1150 и выполняет рендеринг посредством использования обновленного параметра рендеринга на этапе 1160. В данном документе, способ обновления параметра рендеринга является идентичным способу, описанному со ссылкой на фиг. 7 и 8, и подвергнутый рендерингу аудиосигнал становится трехмерным аудиосигналом, имеющим ощущение объемного окружения.
Устройство 100 воспроизведения аудио может воспроизводить подвергнутый рендерингу аудиосигнал отдельно, но когда существует запрос второго внешнего устройства 202, подвергнутый рендерингу аудиосигнал передается во второе внешнее устройство 202, и второе внешнее устройство воспроизводит принимаемый аудиосигнал на этапе 1080. В данном документе, если второе внешнее устройство может записывать мультимедийный контент, второе внешнее устройство может записывать принимаемый аудиосигнал.
В этом случае, когда устройство 100 воспроизведения аудио и второе внешнее устройство 201 соединены посредством конкретного интерфейса, может добавляться процесс преобразования подвергнутого рендерингу аудиосигнала в формат, подходящий для соответствующего интерфейсного транскодирования подвергнутого рендерингу аудиосигнала посредством использования другого кодека, с тем чтобы передавать подвергнутый рендерингу аудиосигнал. Например, подвергнутый рендерингу аудиосигнал может преобразовываться в формат импульсно-кодовой модуляции (PCM) для несжатой передачи через мультимедийный интерфейс высокой четкости (HDMI) и затем передаваться.
Как описано выше, посредством обеспечения рендеринга относительно произвольного угла подъема, звуковое поле может быть переконфигурировано посредством размещения местоположений виртуальных динамиков, реализованных через виртуальный рендеринг, как произвольных местоположений, желательных для пользователя.
Вышеописанные варианты осуществления настоящего изобретения могут реализовываться как компьютерные инструкции, которые могут выполняться посредством различных компьютерных средств и записываться на машиночитаемом носителе записи. Машиночитаемый носитель записи может включать в себя программные команды, файлы данных, структуры данных или комбинацию вышеозначенного. Программные команды, записываемые на машиночитаемом носителе записи, могут специально проектироваться и составляться для настоящего изобретения либо могут быть известными и применимыми для специалистов в данной области техники в области техники компьютерного программного обеспечения. Примеры машиночитаемого носителя включают в себя магнитные носители, такие как жесткие диски, гибкие диски и магнитные ленты, оптические носители записи, такие как компакт-CD-ROM и DVD, магнитооптические носители, такие как флоптические диски, и аппаратные устройства, которые, в частности, выполнены с возможностью сохранять и выполнять программные команды, такие как ROM, RAM и флэш-память. Примеры программных команд включают в себя код высокоуровневого языка, который может выполняться посредством компьютера с использованием интерпретатора, а также машинный код, созданный посредством компилятора. Аппаратные устройства могут заменяться на один или более программных модулей с тем, чтобы выполнять обработку согласно настоящему изобретению, и наоборот.
Хотя настоящее изобретение описано в отношении характерных признаков, таких как подробные компоненты, ограниченные варианты осуществления и чертежи, они предоставляются только для того, чтобы способствовать общему пониманию настоящего изобретения, и настоящее изобретение не ограничено вариантами осуществления, и специалисты в области техники, которой принадлежит настоящее изобретение, могут выполнять различные изменения и модификации вариантов осуществления, описанных в данном документе.
Следовательно, идея настоящего изобретения не должна задаваться только посредством вариантов осуществления, описанных выше, и прилагаемая формула изобретения, ее эквиваленты или все объемы, эквивалентно измененные относительно нее, принадлежат объему идеи настоящего изобретения.
Изобретение относится к обработке аудиосигнала аудиоизображения. Технический результат – уменьшение искажения аудиоизображения, когда угол подъема входного канала отличается от стандартного угла подъема входного канала. Способ для рендеринга акустического сигнала содержит этапы: приема многоканального сигнала, содержащего множество входных каналов, которые должны преобразовываться во множество выходных каналов; получения параметров рендеринга подъема для входного высотного канала, имеющего стандартный угол подъема, так что каждый выходной канал предоставляет аудиоизображение, имеющее ощущение подъема; и обновления параметров рендеринга подъема для входного высотного канала, имеющего заданный угол подъема, отличный от стандартного угла подъема. 3 н. и 22 з.п. ф-лы, 15 ил.
1. Способ рендеринга аудиосигнала, при этом способ содержит этапы, на которых:
- принимают многоканальные сигналы, включающие в себя один или более входных высотных каналов, которые должны преобразовываться во множество выходных каналов;
- получают параметры рендеринга подъема для входного высотного канала, чтобы предоставлять приподнятое звуковое изображение на стандартном угле подъёма посредством множества выходных каналов; и
- обновляют параметры рендеринга подъема, если входной высотный канал имеет предварительно определенный угол подъема выше стандартного угла подъема.
2. Способ по п. 1, в котором параметры рендеринга подъема включают в себя, по меньшей мере, одно из коэффициентов фильтрации подъема и коэффициентов панорамирования подъема.
3. Способ по п. 2, в котором коэффициенты фильтрации подъема вычисляются посредством отражения динамической характеристики HRTF.
4. Способ по п. 2, в котором этап обновления параметров рендеринга подъема содержит этап, на котором применяют весовые коэффициенты к коэффициентам фильтрации подъема на основе стандартного угла подъема и предварительно определенного угла подъема.
5. Способ по п. 4, в котором весовые коэффициенты определяются таким образом, что признак фильтрации подъема проявляется сильно.
6. Способ по п. 2, в котором этап обновления параметров рендеринга подъема содержит этап, на котором обновляют коэффициенты панорамирования подъема на основе стандартного угла подъема и предварительно определенного угла подъема.
7. Способ по п. 2, в котором обновленные коэффициенты панорамирования подъема, которые должны применяться к контралатеральным входным каналам относительно входного канала, имеющего предварительно определенный угол подъема из обновленных коэффициентов панорамирования подъема, превышают коэффициенты панорамирования подъема до обновления.
8. Способ по п. 2, в котором обновленные коэффициенты панорамирования подъема, которые должны применяться к ипсилатеральным входным каналам относительно входного канала, имеющего предварительно определенный угол подъема из обновленных коэффициентов панорамирования подъема, меньше коэффициентов панорамирования подъема до обновления.
9. Способ по п. 2, в котором этап обновления параметров рендеринга подъема содержит этап, на котором обновляют коэффициенты панорамирования подъема на основе стандартного угла подъема и порогового значения, когда предварительно определенный угол подъема составляет пороговое значение или больше.
10. Способ по п. 1, дополнительно содержащий этап, на котором принимают ввод предварительно определенного угла подъема.
11. Способ по п. 10, в котором ввод принимается из отдельного устройства.
12. Способ по п. 1, дополнительно содержащий этапы, на которых:
- подвергают рендерингу принимаемый многоканальный сигнал на основе обновленных параметров рендеринга подъема; и
- передают подвергнутый рендерингу многоканальный сигнал в блок воспроизведения.
13. Устройство для рендеринга аудиосигнала, причем устройство содержит:
- приемный модуль для приема многоканальных сигналов, включающих в себя один или более входных высотных каналов, которые должны преобразовываться во множество выходных каналов; и
- модуль рендеринга для получения параметров рендеринга подъема для входного высотного канала, чтобы предоставлять приподнятое звуковое изображение со стандартным углом подъема посредством множества выходных каналов, и обновления параметров рендеринга подъема, если входной высотный канал имеет предварительно определенный угол подъема, выше стандартного угла подъема.
14. Устройство по п. 13, в котором параметры рендеринга подъема включают в себя, по меньшей мере, одно из коэффициентов фильтрации подъема и коэффициентов панорамирования подъема.
15. Устройство по п. 14, в котором коэффициенты фильтрации подъема вычисляются посредством отражения динамической характеристики HRTF.
16. Устройство по п. 14, в котором обновленные параметры рендеринга подъема включают в себя коэффициенты фильтрации подъема, к которым применяются весовые коэффициенты, на основе стандартного угла подъема и предварительно определенного угла подъема.
17. Устройство по п. 16, в котором весовые коэффициенты определяются таким образом, что признак фильтрации подъема появляется сильно.
18. Устройство по п. 14, в котором обновленные параметры рендеринга подъема включают в себя коэффициенты панорамирования подъема, обновленные на основе стандартного угла подъема и предварительно определенного угла подъема.
19. Устройство по п. 14, в котором обновленные коэффициенты панорамирования подъема, которые должны применяться к контралатеральным входным каналам относительно входного канала, имеющего предварительно определенный угол подъема из обновленных коэффициентов панорамирования подъема, превышают коэффициенты панорамирования подъема до обновления.
20. Устройство по п. 14, в котором обновленные коэффициенты панорамирования подъема, которые должны применяться к ипсилатеральным входным каналам относительно входного канала, имеющего предварительно определенный угол подъема из обновленных коэффициентов панорамирования подъема, меньше коэффициентов панорамирования подъема до обновления.
21. Устройство по п. 14, в котором обновленные параметры рендеринга подъема включают в себя коэффициенты панорамирования подъема, обновленные на основе стандартного угла подъема и порогового значения, когда заданный угол подъема составляет пороговое значение или больше.
22. Устройство по п. 13, дополнительно содержащее модуль ввода для приема ввода предварительно определенного угла подъема.
23. Устройство по п. 22, в котором ввод принимается из отдельного устройства.
24. Устройство по п. 13, в котором модуль рендеринга выполняет рендеринг принимаемого многоканального сигнала на основе обновленных параметров рендеринга подъема, и
- дополнительно содержащее передающий модуль для передачи подвергнутого рендерингу многоканального сигнала в блок воспроизведения.
25. Машиночитаемый носитель записи, имеющий записанную программу для осуществления способа по п. 1.
