СПОСОБ И УСТРОЙСТВО ДЛЯ ВОСПРОИЗВЕДЕНИЯ СТЕРЕОФОНИЧЕСКОГО ЗВУКА Российский патент 2015 года по МПК H04S5/02 

Область техники

Устройства и способы, соответствующие иллюстративным вариантам осуществления, относятся к воспроизведению стереофонического звука, и более подробно - к воспроизведению стереофонического звука, в котором звуковому объекту придается пространственная перспектива.

Уровень техники

С развитием видеотехнологий пользователи получили возможность видеть трехмерные (3D) стереоскопические изображения. Путем использования различных способов, таких как, например, способ бинокулярного параллакса, трехмерное стереоскопическое изображение показывает левому глазу изображение с левой точки зрения, а правому глазу - изображение с правой точки зрения. В результате пользователь с использованием трехмерной видеотехнологии может реалистично воспринимать объект, который выходит из экрана, или объект, который возвращается назад в экран.

С другой стороны, технология стереофонического звука могла бы позволить пользователю ощутить локализацию и присутствие звуков путем размещения множества громкоговорителей вокруг пользователя. Однако, при существующем уровне технологии стереофонического звука звук, ассоциированный со зрительным объектом, приближающимся к пользователю или удаляющимся от него, не может быть воспроизведен эффективно, в связи с чем невозможно обеспечить звуковые эффекты, соответствующие стереоскопическому изображению.

Раскрытие изобретения

Решение проблемы

Иллюстративные варианты осуществления могут обращаться по меньшей мере к вышеперечисленным проблемам и/или недостаткам и другим недостаткам, не описанным выше. Также, от иллюстративных вариантов осуществления не требуется преодолевать недостатки, описанные выше, и иллюстративные варианты осуществления могут не преодолевать любую из проблем, описанных выше.

Один или более иллюстративных вариантов осуществления показывают способы и устройства для эффективного воспроизведения стереофонического звука, и более подробно - способы и устройства для эффективного воспроизведения звуков, которые приближаются к пользователю или удаляются от него, посредством придания звуковому образу пространственной перспективы.

Полезные эффекты изобретения

Согласно уровню техники трудно получить информацию о глубине, потому что информация о глубине объекта изображения должна быть обеспечена как дополнительная информация, либо потому что информацию о глубине объекта изображения необходимо получать путем анализа данных изображения. Однако в соответствии с иллюстративным вариантом осуществления, на основе того факта, что информация о положении объекта изображения может быть включена в звуковой сигнал, информация о глубине формируется путем анализа звукового сигнала. Таким образом, информация о глубине объекта изображения может быть получена легко.

Также, согласно уровню техники, такие явления, как выдвижение объекта изображения из экрана или возвращение его обратно в экран, не могут быть должным образом выражены с использованием звукового сигнала. Однако, в соответствии с иллюстративным вариантом осуществления, посредством звуковых объектов, которые формируются по мере того, как объект изображения выходит из экрана или возвращается в него, пользователь может ощутить более реалистичный стереоэффект.

Дополнительно, в соответствии с иллюстративным вариантом осуществления, может быть реалистично отображено расстояние между позицией, где сформирован звуковой объект, и опорной позицией. В частности, так как пространственная перспектива придается каждому звуковому объекту, пользователь может эффективно ощутить звуковой стереоэффект.

Иллюстративные варианты осуществления могут быть реализованы как компьютерные программы и могут быть внедрены в цифровые компьютеры общего назначения, которые исполняют программы, используя машиночитаемый записываемый носитель.

Примеры машиночитаемого записываемого носителя включают запоминающий носитель, такой как, например, магнитный запоминающий носитель (например, ПЗУ (ROM), флоппи-диски, жесткие диски и т.д.) и оптический записываемый носитель (например, компакт-диски CD-ROM или универсальные цифровые диски DVD).

Вышеупомянутые иллюстративные варианты осуществления и преимущества являются лишь примерами и не должны рассматриваться в качестве ограничений. Настоящее описание может быть легко применено к другим типам устройств. Также описание иллюстративных вариантов осуществления предназначено для иллюстрации, а не для ограничения объема пунктов формулы изобретения и множества альтернатив, модификаций и вариаций, понятных специалисту в данной области техники.

Краткое описание чертежей

Вышеперечисленные и/или другие аспекты станут более ясными после описания некоторых иллюстративных вариантов осуществления со ссылками на сопутствующие чертежи, на которых:

Фиг. 1 представляет собой блок-схему, иллюстрирующую устройство воспроизведения стереофонического звука в соответствии с иллюстративным вариантом осуществления;

Фиг. 2 представляет собой блок-схему, иллюстрирующую блок получения информации о глубине звука в соответствии с иллюстративным вариантом осуществления;

Фиг. 3 представляет собой блок-схему, иллюстрирующую устройство воспроизведения стереофонического звука, обеспечивающее стереофонический звук путем использования двухканального звукового сигнала, в соответствии с иллюстративным вариантом осуществления;

Фиг. 4а-4d иллюстрируют примеры обеспечения стереофонического звука в соответствии с иллюстративным вариантом осуществления;

Фиг. 5 иллюстрирует схему последовательности операций, иллюстрирующую способ формирования информации о глубине звука на основе звукового сигнала, в соответствии с иллюстративным вариантом осуществления;

Фиг. 6a-6d иллюстрируют пример формирования информации о глубине звука из звукового сигнала в соответствии с иллюстративным вариантом осуществления;

Фиг. 7 показывает схему последовательности операций, иллюстрирующую способ воспроизведения стереофонического звука в соответствии с иллюстративным вариантом осуществления.

Лучший вариант осуществления изобретения

Согласно одному из аспектов иллюстративного варианта осуществления обеспечен способ воспроизведения стереофонического звука, включающий в себя получение информации о глубине звука, обозначающей расстояние между по меньшей мере одним звуковым объектом в звуковом сигнале и опорной позицией; а также придание звуковой перспективы звуковому объекту на основе информации о глубине звука.

Звуковой сигнал может быть разделен на множество секций, и получение информации о глубине звука включает в себя получение информации о глубине звука посредством сравнения звукового сигнала в предыдущей секции и звукового сигнала в текущей секции.

Получение информации о глубине звука может включать в себя вычисление мощности каждого частотного диапазона в каждой предыдущей и текущей секции звукового сигнала; определение частотного диапазона, имеющего мощность, равную или больше предопределенного значения, и являющегося общим для смежных секций, как общего частотного диапазона на основе мощности каждого частотного диапазона; и получение информации о глубине звука на основе разницы между мощностью общего частотного диапазона в текущей секции и мощностью общего частотного диапазона в предыдущей секции.

Дополнительно, способ может включать в себя получение сигнала центрального канала, являющегося выводом звукового сигнала на центральный динамик, где вычисление мощности включает в себя вычисление мощности каждого частотного диапазона на основе сигнала центрального канала.

Придание звуковой перспективы может включать в себя регулировку мощности звукового объекта на основе информации о глубине звука.

Придание звуковой перспективы может включать в себя регулировку коэффициента усиления и времени задержки отраженного сигнала, который формируется по мере того, как звуковой объект отражается, основываясь на информации о глубине звука.

Придание звуковой перспективы может включать в себя регулировку размера низкочастотного компонента звукового объекта на основе информации о глубине звука.

Придание звуковой перспективы может включать в себя регулировку разности фаз между фазой звукового объекта, выводимого на первый динамик, и фазой звукового объекта, выводимого на второй динамик.

Дополнительно, способ может включать в себя вывод звукового объекта, которому была придана звуковая перспектива, используя левый динамик объемного звучания и правый динамик объемного звучания или используя левый передний динамик и правый передний динамик.

Дополнительно, способ может включать в себя размещение звуковой сцены снаружи динамика с использованием звукового сигнала.

В соответствии с другими аспектами иллюстративного варианта осуществления предложено устройство воспроизведения стереофонического звука, включающее в себя блок получения информации, получающий информацию о глубине звука, обозначающую расстояние между по меньшей мере одним звуковым объектом в звуковом сигнале и опорной позицией; и блок обеспечения перспективы, придающий звуковую перспективу звуковому объекту на основе информации о глубине звука.

Осуществление изобретения

Некоторые иллюстративные варианты осуществления описаны ниже более детально со ссылками на сопроводительные чертежи.

В последующем описании одинаковые ссылочные позиции на чертежах используются для обозначения одинаковых элементов даже на различных чертежах. Конкретные признаки, определенные в описании, такие как детальная конструкция и элементы, предназначены, чтобы способствовать полному пониманию иллюстративных вариантов осуществления. Однако иллюстративные варианты осуществления могут быть реализованы без этих конкретных признаков.

Прежде всего, термины, использованные в иллюстративных вариантах осуществления, описаны ниже для удобства описания.

Звуковой объект относится к каждому звуковому элементу, включенному в звуковой сигнал. В звуковой сигнал могут быть включены различные звуковые объекты. Например, в звуковой сигнал, сформированный путем живой записи оркестровой музыки, включены различные звуковые объекты, сформированные различными музыкальными инструментами, такими как гитара, скрипка, гобой и т.д.

Источник звука относится к объекту, который сформировал звуковой объект, такой как музыкальный инструмент или голос. В иллюстративном варианте осуществления объект, который сформировал звуковой объект, и объект, который рассматривается пользователем как сформировавший звуковой объект, рассматриваются как источник звука. Например, если яблоко летит от экрана по направлению к пользователю в то время, как пользователь смотрит кино, звук, формируемый летящим яблоком (звуковой объект), включается в звуковой сигнал. Звуковой объект может быть звуком, сформированным в результате записи реального звука от брошенного яблока, или может быть воспроизведенным звуком предварительно записанного звукового объекта. Однако, в любом случае, пользователь воспринимает звуковой объект так, как будто он сформирован яблоком, и, таким образом, яблоко также рассматривается как источник звука, определенный в иллюстративном варианте осуществления.

Информация о глубине звука - это информация, которая обозначает расстояние между звуковым объектом и опорной позицией. Более детально, информация о глубине звука относится к расстоянию между позицией, в которой сформирован звуковой объект (позицией источника звука), и опорной позицией.

В вышеописанном примере, если яблоко летит от экрана к пользователю, смотрящему кинофильм, расстояние между источником звука и пользователем уменьшается. Для того чтобы эффективно отобразить приближающееся яблоко, позиция, в которой находится звуковой объект, соответствующий объекту изображения, должна постепенно приближаться к пользователю, а информация, которая отражает данный аспект, является информацией о глубине звука.

Опорная позиция может включать различные позиции, такие как, например, позиция предопределенного источника звука, позиция динамика, позиция пользователя и т.д.

Звуковая перспектива - это вид ощущений, испытываемых пользователем от звукового объекта. Слушая звуковой объект, пользователь воспринимает позицию, в которой сформирован звуковой объект, то есть позицию источника звука, сформировавшего звуковой объект. Ощущение расстояния между позицией, в которой сформирован звуковой объект, и позицией пользователя рассматривается как звуковая перспектива.

Здесь и далее иллюстративные варианты осуществления описываются со ссылками на сопроводительные чертежи.

Фиг. 1 представляет собой блок-схему, иллюстрирующую устройство 100 воспроизведения стереофонического звука в соответствии с иллюстративным вариантом осуществления.

Устройство 100 воспроизведения стереофонического звука содержит блок 110 получения информации о глубине звука и блок 120 обеспечения перспективы.

Блок 110 получения информации о глубине звука получает информацию о глубине звука по отношению к по меньшей мере одному звуковому объекту, включенному в звуковой сигнал. Звук, сформированный по меньшей мере одним источником звука, включен в звуковой сигнал. Информация о глубине звука относится к информации, которая представляет расстояние между позицией, в которой сформирован звук, например позицией источника звука, и опорной позицией.

Информация о глубине звука может относиться к абсолютному расстоянию между объектом и опорной позицией, и/или к относительному расстоянию от объекта изображения до опорной позиции. В соответствии с другим иллюстративным вариантом осуществления, информация о глубине звука может относиться к изменению расстояния между звуковым объектом и опорной позицией.

Блок 110 получения информации о глубине звука может получать информацию о глубине звука, анализируя звуковой сигнал, анализируя данные трехмерного изображения, или из карты глубины изображения. В иллюстративном варианте осуществления описание дано на основе примера, в котором блок 110 получения информации о глубине звука получает информацию о глубине звука путем анализа звукового сигнала.

Блок 110 получения информации о глубине звука получает информацию о глубине звука путем сравнения множества секций, которые составляют звуковой сигнал, со смежными с ними секциями. Могут быть использованы различные способы деления звукового сигнала на секции. Например, звуковой сигнал может быть поделен на заранее заданное число секций. Каждая такая секция может рассматриваться как кадр или блок. Пример блока 110 получения информации о глубине звука детально описан ниже со ссылкой на Фиг. 2.

Блок 120 обеспечения перспективы обрабатывает звуковой сигнал на основе информации о глубине звука, так что пользователь может ощущать звуковую перспективу. Блок 120 обеспечения перспективы выполняет операции, описанные ниже, чтобы позволить пользователю реалистично ощущать звуковую перспективу. Однако операции, выполняемые блоком 120 обеспечения перспективы, являются примерами, и иллюстративные варианты осуществления не ограничиваются этим.

Блок 120 обеспечения перспективы подстраивает мощность звукового объекта на основе информации о глубине звука. Чем ближе к пользователю сформирован звуковой объект, тем больше мощность звукового объекта.

Блок 120 обеспечения перспективы подстраивает усиление и время задержки отраженного сигнала на основе информации о глубине звука. Пользователь слышит прямой звуковой сигнал, который сформирован объектом и не отражен от препятствий, и отраженный звуковой сигнал, сформированный объектом и испытавший отражения от препятствия. Отраженный звуковой сигнал имеет амплитуду меньше, чем прямой звуковой сигнал, и задерживается по сравнению с прямым звуковым сигналом на предопределенный период времени, когда он доходит до позиции пользователя. В частности, если звуковой объект сформирован рядом с пользователем, отраженный звуковой сигнал приходит значительно позже по сравнению с прямым звуковым сигналом, и, таким образом, имеет значительно меньшую амплитуду, чем прямой звуковой сигнал.

Блок 120 обеспечения перспективы подстраивает низкочастотный компонент звукового объекта на основе информации о глубине звука. Если звуковой объект сформирован рядом с пользователем, пользователь воспринимает низкочастотный компонент как более сильный.

Блок 120 обеспечения перспективы подстраивает фазу звукового объекта на основе информации о глубине звука. Чем больше разность между фазами звукового объекта, который должен выводиться из первого и из второго динамика, тем ближе воспринимается пользователем звуковой объект.

Подробное описание работы блока 120 обеспечения перспективы дано ниже со ссылкой на Фиг. 3.

Фиг. 2 представляет собой блок-схему, иллюстрирующую блок 110 получения информации о глубине звука в соответствии с иллюстративным вариантом осуществления.

Блок 110 получения информации о глубине звука содержит блок 210 вычисления мощности, блок 220 определения и блок 230 формирования.

Блок 210 вычисления мощности вычисляет мощность частотного диапазона каждой из множества секций, составляющих звуковой сигнал.

Способ определения размера частотного диапазона может варьироваться в соответствии с иллюстративными вариантами осуществления. Здесь и далее описаны два способа определения размера частотного диапазона, но иллюстративный вариант осуществления не ограничен этим.

Частотный компонент звукового сигнала может быть разделен на идентичные частотные диапазоны. Слышимый диапазон частот, воспринимаемый человеком, составляет 20-20000 Гц. Если слышимая частота поделена на десять равных частотных диапазонов, то размер каждого частотного диапазона будет около 200 Гц. Способ деления частотного диапазона звукового сигнала на равные частотные диапазоны может упоминаться как эквивалентный способ деления прямоугольной ширины полосы.

Частотный компонент звукового сигнала может быть разделен на частотные диапазоны разного размера. Человеческий слух может распознать даже небольшое изменение частоты, если частота звука низка, если же частота звука высока, то человек не может распознать даже малое изменение частоты. Соответственно, низкочастотные диапазоны делятся более плотно, а высокочастотные диапазоны делятся грубо, учитывая особенности человеческого слуха. Таким образом, низкочастотные диапазоны имеют узкую ширину, а высокочастотные диапазоны обладают большей шириной.

Основываясь на мощности каждого частотного диапазона, блок 220 определения определяет частотный диапазон, мощность которого равна или больше некоторого предопределенного значения и является общей для соседних секций, как общий частотный диапазон. Например, блок 220 определения выбирает частотные диапазоны, имеющие в текущей секции мощность А или больше, и частотные диапазоны, имеющие мощность А или больше в по меньшей мере одной предыдущей секции (или частотные диапазоны, имеющие пятую по величине мощность в текущей секции, или частотные диапазоны, имеющие пятую по величине мощность в предыдущей секции), и определяет частотный диапазон, который выбран из предыдущей секции и текущей секции как общий частотный диапазон. Причина, по которой используется ограничение частотными диапазонами предопределенного значения или больше, заключается в том, чтобы получить позицию звукового объекта, имеющего большую амплитуду сигнала. Таким образом, влияние звукового объекта, имеющего малую амплитуду сигнала, может быть минимизировано, а влияние главного звукового объекта может быть максимизировано. Другой причиной, почему блок 220 определения определяет общий частотный диапазон, является определение того, сформирован ли в текущей секции новый звуковой объект, который не существовал в предыдущей секции, или изменились ли характеристики звукового объекта, который существовал ранее (например, позиция формирования).

Блок 230 формирования формирует информацию о глубине звука на основе разности между мощностью общего частотного диапазона предыдущей секции и мощностью общего частотного диапазона текущей секции. Для удобства описания предположим, что общий частотный диапазон равен 3000-4000 Гц. Если мощность частотной компоненты 3000-4000 Гц в предыдущей секции равна 3 Вт, а мощность частотной компоненты 3000-4000 Гц в текущей секции равна 4,5 Вт, то это показывает, что мощность общего частотного диапазона увеличилась. Это может рассматриваться как индикация того, что звуковой объект текущей секции сформирован в позиции, которая находится ближе к пользователю. То есть, если значение разности между значениями мощности общего частотного диапазона смежных секций больше порогового значения, это может служить индикацией изменения позиции между звуковым объектом и опорной позицией.

В соответствии с иллюстративными вариантами осуществления, когда мощность общего частотного диапазона смежных секций изменяется, происходит определение наличия объекта изображения, приближающегося к пользователю, то есть объекта изображения, который выдвигается из экрана, на основе информации карты глубины по отношению к трехмерному изображению. Если зрительный объект приближается к пользователю, когда мощность общего частотного диапазона изменяется, может быть определено, что позиция, в которой сформирован звуковой объект, движется в соответствии с движением объекта изображения.

Блок 230 формирования может определять, что чем больше изменение мощности общего частотного диапазона между предыдущей секцией и текущей секцией, тем ближе к пользователю сформирован в текущей секции звуковой объект, соответствующий общему частотному диапазону, по сравнению со звуковым объектом, соответствующий общему частотному диапазону в предыдущей секции.

Фиг. 3 представляет собой блок-схему, иллюстрирующую устройство 300 воспроизведения стереофонического звука, обеспечивающее стереофонический звук путем использования двухканального звукового сигнала в соответствии с иллюстративным вариантом осуществления.

Если входной сигнал является многоканальным звуковым сигналом, микширование осуществляется с помощью стереофонического сигнала, и тогда может быть применен способ иллюстративного варианта осуществления.

Блок 310 быстрого преобразования Фурье (FFT) производит быстрое преобразование Фурье (FFT).

Блок 320 обратного быстрого преобразования Фурье (IFFT) производит обратное быстрое преобразование Фурье по отношению к сигналу, для которого делалось быстрое преобразование Фурье.

Блок 330 извлечения центрального сигнала извлекает центральный сигнал, соответствующий центральному каналу, из стереосигнала. Блок 330 извлечения центрального сигнала извлекает сигнал, имеющий большую корреляцию, из стереосигнала. На Фиг.3 предполагается, что информация о глубине звука формируется на основе сигнала центрального канала. Однако это является всего лишь примером, и информация о глубине звука может быть сформирована с использованием других канальных сигналов, таких как, например, сигналы левого или правого переднего канала или сигналы левого или правого канала объемного звучания.

Блок 350 расширения звуковой сцены расширяет звуковую сцену. Блок 350 расширения звуковой сцены искусственно обеспечивает временную разницу или разность фаз для стереосигнала так, как если бы звуковая сцена находилась снаружи динамика.

Блок 360 получения информации о глубине звука получает информацию о глубине звука на основе центрального сигнала.

Блок 370 расчета параметра определяет значение управляющего параметра, которое необходимо для придания звуковой перспективы звуковому объекту на основе информации о глубине звука.

Блок 371 управления уровнем управляет амплитудой входного сигнала.

Блок 372 управления фазой подстраивает фазу входного сигнала.

Блок 373 обеспечения эффекта отражения моделирует отраженный сигнал, который формируется отражением входного сигнала, например, от стены.

Блок 374 обеспечения эффекта близкого расстояния моделирует звуковой сигнал, который сформирован в непосредственной близости от пользователя.

Микшерный блок 380 микширует по меньшей мере один сигнал и выводит результирующий сигнал на динамик.

Здесь и далее описана временная последовательность операций устройства 300 воспроизведения стереофонического звука.

Сначала, если входом является многоканальный звуковой сигнал, он преобразуется в стереосигнал с помощью микшера (не показано).

Блок 310 FFT выполняет быстрое преобразование Фурье над стереосигналом и выводит стереосигнал на блок 330 извлечения центрального сигнала.

Блок 330 извлечения центрального сигнала сравнивает преобразованные стереосигналы и выводит сигнал, имеющий наибольшую корреляцию, как сигнал центрального канала.

Блок 360 получения информации о глубине звука формирует информацию о глубине звука на основе сигнала центрального канала. Способ формирования информации о глубине звука с использованием блока 360 получения информации о глубине звука описан выше со ссылкой на Фиг. 2. То есть, сначала вычисляется мощность каждого частотного диапазона каждой секции, составляющей центральный канал, и определяется общий частотный диапазон на основе вычисленной мощности. Затем измеряется изменение мощности общего частотного диапазона по меньшей мере двух смежных секций и устанавливается индекс глубины в соответствии с изменением мощности. Чем больше изменение мощности общего для смежных секций частотного диапазона, тем сильнее нужно выразить приближение к пользователю звукового объекта, соответствующего общему частотному диапазону, и таким образом нужно установить большее значение индекса глубины для звукового объекта.

Блок 370 расчета параметра рассчитывает параметр, который должен быть применен к модулям для придания звуковой перспективы на основе значения индекса глубины.

Блок 371 управления фазой подстраивает фазу сигнала, который дублирован в соответствии с рассчитанным параметром после дублирования сигнала центрального канала в два сигнала. Когда звуковые сигналы с разными фазами воспроизводятся с использованием левого динамика и правого динамика, может произойти размытие. Чем более интенсивным является размытие, тем более сложно пользователю точно воспринять позицию, в которой сформирован звуковой объект. Благодаря этому явлению, когда способ управления фазой используется совместно с другими способами придания перспективы, эффект придания перспективы может быть увеличен. Чем ближе к пользователю позиция, в которой сформирован звуковой объект (или чем быстрее эта позиция приближается к пользователю), тем большую разность между фазами дублированных сигналов может установить блок 372 управления фазой. Дублированный сигнал, имеющий подстроенную фазу, проходит через блок 320 IFFT, а затем передается в блок 373 обеспечения эффекта отражения.

Блок 373 обеспечения эффекта отражения моделирует отраженный сигнал. Если звуковой объект сформирован далеко от пользователя, прямой звук, который доходит до пользователя напрямую без отражений, например от стены, и звук, отраженный, например от стены, имеют сходные амплитуды и временная разница между приходом к пользователю прямого и отраженного звука незначительна. Однако, если звуковой объект сформирован рядом с пользователем, разница в амплитуде между прямым и отраженным звуком велика, и также велика разница во времени прихода прямого и отраженного звука к пользователю. Соответственно, чем ближе к пользователю сформирован звуковой объект, тем в большей степени блок 373 обеспечения эффекта отражения уменьшает усиление отраженного звука и затем увеличивает временную задержку или увеличивает амплитуду прямого звука. Блок 373 обеспечения эффекта отражения передает сигнал центрального канала, с которым рассматривается отраженный сигнал, в блок 374 обеспечения эффекта близкого расстояния.

Блок 374 обеспечения эффекта близкого расстояния моделирует звуковой объект, сформированный на близком расстоянии от пользователя, на основе значения параметра, рассчитанного с использованием блока 370 расчета параметра. Если звуковой объект сформирован на близком расстоянии от пользователя, то низкочастотный компонент становится заметным. Чем ближе позиция, в которой сформирован звуковой объект, к пользователю, тем сильнее блок 374 обеспечения эффекта близкого расстояния увеличивает низкочастотный компонент центрального сигнала.

Блок 350 расширения звуковой сцены, который получил входной стереосигнал, обрабатывает входной стереосигнал так, что звуковая сцена входного стереосигнала размещается снаружи динамиков. Если расстояние между динамиками установлено подходящим образом, то пользователь может услышать стереофонический звук с эффектом присутствия.

Блок 350 расширения звуковой сцены преобразует входной стереосигнал в расширенный стереосигнал. Блок 350 расширения звуковой сцены может включать расширяющий фильтр, который получен путем свертки левого/правого бинаурального синтеза и компенсатора перекрестных помех, и паранормального фильтра, который получен путем свертки расширяющего фильтра и левого/правого прямого фильтра. Расширяющий фильтр формирует виртуальный звук по отношению к произвольной позиции на основе передаточной функции головы (HRTF), измеренной в предопределенной позиции стереосигнала, и подавляет перекрестные шумы источника звука на основе коэффициента фильтра, на который отражена HRTF. Левый и правый прямые фильтры подстраивают характеристики сигнала, такие как, например, усиление или задержка между исходным стереосигналом и виртуальным источником звука с подавленными перекрестными помехами.

Блок 360 управления уровнем подстраивает значение мощности звукового объекта на основе индекса глубины, рассчитанного с использованием блока 370 расчета параметра. Блок 360 управления уровнем может дополнительно увеличивать значение мощности звукового объекта, когда звуковой объект сформирован ближе к пользователю.

Микшерный блок 380 объединяет входной стереосигнал, переданный блоком 360 управления уровнем, и центральный сигнал, переданный блоком 374 обеспечения эффекта близкого расстояния.

Фиг. 4a-4d иллюстрируют примеры обеспечения стереофонического звука в соответствии с иллюстративным вариантом осуществления.

Фиг. 4a иллюстрирует случай, в котором стереофонический звуковой объект в соответствии с иллюстративным вариантом осуществления не работает.

Пользователь слышит звуковой объект по меньшей мере через один динамик. Если пользователь воспроизводит монофонический сигнал через единственный динамик, то он не может почувствовать стереоэффект, но когда воспроизводится стереосигнал с использованием двух или более динамиков, пользователь может ощутить стереоэффект.

Фиг. 4b иллюстрирует случай, в котором воспроизводится звуковой объект, у которого индекс глубины равен нулю. На Фиг. 4a-4d предполагается, что индекс глубины имеет значение от 0 до 1. Чем ближе к пользователю нужно отобразить звуковой объект, тем больше становится значение индекса глубины.

Когда индекс глубины звукового объекта равен нулю, операция придания перспективы звуковому объекту не выполняется. Однако при размещении звуковой сцены снаружи динамиков пользователь может лучше ощутить стереоэффект с использованием стереосигнала. В соответствии с иллюстративным вариантом осуществления, способ размещения звуковой сцены снаружи динамиков называется расширением.

В общем, для воспроизведения стереосигнала необходимы звуковые сигналы множества каналов. Таким образом, когда входной сигнал является монофоническим, звуковые сигналы, соответствующие по меньшей мере двум каналам, формируются посредством микширования.

Стереосигнал воспроизводится путем воспроизведения звукового сигнала первого канала через левый динамик и звукового сигнала второго канала через правый динамик. Пользователь может ощутить стереоэффект путем прослушивания по меньшей мере двух звуков, сформированных в разных позициях.

Однако если левый динамик и правый динамик расположены слишком близко друг к другу, пользователь воспринимает звуки, которые должны быть сформированы, в одной и той же позиции, и поэтому не может ощутить стереоэффект. В этом случае звуковые сигналы обрабатываются так, что звуки воспринимаются как сформированные не в реальной позиции динамиков, а снаружи динамиков, т.е. в области пространства, внешней по отношению к динамикам, такой как, например, область, окружающая динамики, или прилегающая к динамикам.

Фиг. 4c иллюстрирует случай, в котором воспроизводится звуковой объект, имеющий индекс глубины, равный нулю, в соответствии с иллюстративным вариантом осуществления.

Когда индекс глубины звукового объекта больше нуля, в дополнение к способу расширения звуковому объекту придается перспектива, соответствующая индексу глубины, равному 0,3. Соответственно, пользователь может ощутить звуковой объект в более близкой к нему позиции, чем та позиция, в которой он действительно сформирован.

Например, допустим, что пользователь рассматривает трехмерное изображение, и зрительный объект отображается как выходящий из экрана. На Фиг. 4c звуковому объекту, соответствующему зрительному объекту, придается звуковая перспектива, чтобы обработать звуковой объект, как если бы он приближался к пользователю. Пользователь воспринимает зрительный образ как выступающий, а звуковой объект как приближающийся, ощущая таким образом более реалистичный стереоэффект.

Фиг. 4d иллюстрирует случай, в котором воспроизводится звуковой объект, имеющий индекс глубины, равный 1.

Когда индекс глубины звукового объекта больше нуля, в дополнение к способу расширения звуковому объекту придается перспектива, соответствующая индексу глубины, равному 1. Поскольку индекс глубины звукового объекта, изображенного на Фиг. 4d, больше, чем индекс глубины звукового объекта на Фиг. 4c, пользователь может ощутить звуковой объект, подлежащий формирования, в более близкой позиции, чем на Фиг. 4c.

Фиг. 5 показывает схему последовательности операций, иллюстрирующую способ формирования информации о глубине звука на основе звукового сигнала в соответствии с иллюстративным вариантом осуществления.

В операции S510 рассчитывается мощность частотного диапазона каждой секции, составляющей звуковой сигнал.

В операции S520 определяется общий частотный диапазон на основе мощности каждого частотного диапазона.

Общий частотный диапазон относится к частотному диапазону, который имеет мощность, равную или больше предопределенного значения, и является общим для предыдущей секции и текущей секции. Здесь частотный диапазон, имеющий небольшую мощность, может быть незначительным звуковым объектом, таким как, например, шум, и таким образом может быть исключен из общего частотного диапазона. Например, предопределенное количество частотных диапазонов может быть выбрано в порядке убывания значений мощности, и тогда общий частотный диапазон может быть определен среди выбранных частотных диапазонов.

В операции S530 сравниваются мощность общего частотного диапазона предыдущей секции и мощность общего частотного диапазона текущей секции, и на основе результата сравнения определяется значение индекса глубины. Если мощность общего частотного диапазона текущей секции больше мощности общего частотного диапазона предыдущей секции, то звуковой объект, соответствующий общему частотному диапазону, должен быть сформирован в более близкой к пользователю позиции. Если мощность общего частотного диапазона текущей секции и мощность общего частотного диапазона предыдущей секции сходны, то это служит признаком того, что звуковой объект не приближается к пользователю.

Фиг. 6a-6d иллюстрируют пример формирования информации о глубине звука из звукового сигнала в соответствии с иллюстративным вариантом осуществления.

Фиг. 6a иллюстрирует звуковой сигнал, поделенный на множество секций вдоль временной оси, в соответствии с иллюстративным вариантом осуществления.

Фиг. 6b-6d иллюстрируют мощность частотных диапазонов в первой, второй и третьей секциях 601, 602, и 603. На Фиг. 6b-6d первая секция 601 и вторая секция 602 являются предыдущими секциями, а третья секция 603 является текущей секцией.

На Фиг. 6b и 6c в первой секции 601 и во второй секции 602 мощности частотных диапазонов 3000-4000 Гц, 4000-5000 Гц, и 5000-6000 Гц схожи. Соответственно, частотные диапазоны 3000-4000 Гц, 4000-5000 Гц, и 5000-6000 Гц определяются как общий частотный диапазон.

На Фиг. 6c и 6d, если допустить что мощности частотных диапазонов 3000-4000 Гц, 4000-5000 Гц и 5000-6000 Гц имеют предопределенное значение или больше одновременно в первой секции 601, второй секции 602 и третьей секции 603, частотные диапазоны 3000-4000 Гц, 4000-5000 Гц и 5000-6000 Гц определяются как общий частотный диапазон.

Однако, в третьей секции 603 мощность частотного диапазона 5000-6000 Гц существенно увеличена по сравнению с мощностью частотного диапазона 5000-6000 Гц во второй секции 602. Таким образом, индекс глубины звукового объекта, соответствующего частотному диапазону 5000-6000 Гц, должен быть больше или равен нулю. В соответствии с иллюстративным вариантом осуществления, для принятия решения о значении индекса глубины звукового объекта может быть использована карта глубины изображения.

Например, мощность частотного диапазона 5000-6000 Гц существенно увеличена в третьей секции 603 по сравнению со второй секцией 602. В зависимости от обстоятельств это может быть случай, когда позиция, в которой сформирован звуковой объект, соответствующий частотному диапазону 5000-6000 Гц, не приближается к пользователю, а всего лишь увеличивает значение мощности, находясь в той же самой позиции. Здесь, если при анализе карты глубины изображения установлено, что есть зрительный объект, который выдвигается из экрана в графическом фрейме, соответствующем третьей секции 603, вероятность того, что звуковой объект, соответствующий частотному диапазону 5000-6000 Гц, соответствующему зрительному объекту, может быть высока. В этом случае позиция, в которой сформирован звуковой объект, постепенно приближается к пользователю, и таким образом индекс глубины звукового объекта будет больше или равен нулю. С другой стороны, если нет объекта изображения, выдвигающегося из экрана в графическом кадре, соответствующем третьей секции 603, это может рассматриваться как ситуация, в которой увеличивается только мощность звукового объекта при неизменности позиции, и таким образом индекс глубины звукового объекта может быть установлен равным нулю.

Фиг. 7 изображает схему последовательности операций, иллюстрирующую способ воспроизведения стереофонического звука в соответствии с иллюстративным вариантом осуществления.

В операции S710 получается информация о глубине звука. Информация о глубине звука относится к информации, представляющей расстояние между по меньшей мере одним звуковым объектом, заключенным в звуковом сигнале, и опорной позицией.

В операции S720 звуковому объекту придается звуковая перспектива на основе информации о глубине звука. Операция S720 может включать по меньшей мере одну из операций S721 и S722.

В операции S721 подстраивается усиление мощности звукового объекта на основе информации о глубине звука.

В операции S722 на основе информации о глубине звука подстраиваются усиление и время задержки отраженного сигнала, сформированного как звуковой объект, отраженный от препятствия.

В операции S723 на основе информации о глубине звука подстраивается низкочастотный компонент звукового объекта.

В операции S724 подстраивается разность фаз между фазой звукового объекта, подлежащего выводу из первого динамика, и фазой звукового объекта, подлежащего выводу из второго динамика.

Изобретение относится к средствам воспроизведения стереофонического звука. Технический результат заключается в увеличении точности локализации звукового сигнала. Получают информацию о глубине звука, которая обозначает расстояние между по меньшей мере одним объектом в звуковом сигнале и опорной позицией путем сравнения звуковых сигналов в предыдущей секции и текущей секции. Обеспечивают звуковую перспективу звуковому объекту, выводимому из динамика, на основе информации о глубине звука. Вычисляют мощность каждого частотного диапазона каждой из предыдущих и текущих секций. Подстраивают мощность звукового объекта на основании информации о глубине звука. 3 н. и 12 з.п. ф-лы, 13 ил.

1. Способ воспроизведения стереофонического звука, содержащий:
получение информации о глубине звука, которая обозначает расстояние между по меньшей мере одним звуковым объектом в звуковом сигнале и опорной позицией, путем сравнения множества секций, которые составляют звуковой сигнал, со смежными секциями; и
обеспечение на основе информации о глубине звука звуковой перспективы звуковому объекту, выводимому из динамика.

2. Способ по п.1, в котором звуковой сигнал делится на множество смежных секций, и
получение информации о глубине звука содержит получение информации о глубине звука путем сравнения звукового сигнала в предыдущей секции и звукового сигнала в текущей секции.

3. Способ по п.2, в котором получение информации о глубине звука содержит:
вычисление мощности каждого частотного диапазона каждой из предыдущих и текущих секций;
определение частотного диапазона, который имеет мощность, равную или больше предопределенного значения, и являющегося общим для смежных секций, как общего частотного диапазона на основе вычисленной мощности каждого частотного диапазона; и
получение информации о глубине звука на основе разности между мощностью общего частотного диапазона в текущей секции и мощностью общего частотного диапазона в предыдущей секции.

4. Способ по п.3, дополнительно содержащий:
получение сигнала центрального канала, который выводится из звукового сигнала на центральный динамик, и в котором
вычисление мощности содержит вычисление мощности каждого частотного диапазона на основе сигнала центрального канала.

5. Способ по п.1, в котором обеспечение звуковой перспективы содержит:
подстройку мощности звукового объекта на основе информации о глубине звука.

6. Способ по п.1, в котором обеспечение звуковой перспективы содержит:
подстройку усиления и времени задержки отраженного сигнала, который формируется, когда звуковой объект отражается, на основе информации о глубине звука.

7. Способ по п.1, в котором обеспечение звуковой перспективы содержит:
подстройку размера низкочастотного компонента звукового объекта на основе информации о глубине звука.

8. Способ по п.1, в котором обеспечение звуковой перспективы содержит:
подстройку разности фаз между фазой звукового объекта, подлежащего выводу из первого динамика, и фазой звукового объекта, подлежащего выводу из второго динамика.

9. Способ по п.1, дополнительно содержащий:
вывод звукового объекта, которому обеспечена перспектива, с использованием левого динамика объемного звучания и правого динамика объемного звучания, или с использованием левого переднего динамика и правого переднего динамика.

10. Способ по п.1, дополнительно содержащий:
помещение звуковой сцены во внешней области динамика путем использования звукового сигнала.

11. Устройство воспроизведения стереофонического звука, содержащее:
блок получения информации, который получает информацию о глубине звука, которая обозначает расстояние между по меньшей мере одним звуковым объектом в звуковом сигнале и опорной позицией путем сравнения множества секций, которые составляют звуковой сигнал, со смежными секциями; и
блок обеспечения перспективы, который обеспечивает звуковую перспективу звуковому объекту на основе информации о глубине звука.

12. Устройство воспроизведения стереофонического звука по п.11, в котором звуковой сигнал делится на множество смежных секций, и
блок получения информации получает информацию о глубине звука путем сравнения звукового сигнала в предыдущей секции и звукового сигнала в текущей секции.

13. Устройство воспроизведения стереофонического звука по п.12, в котором блок получения информации содержит:
блок вычисления мощности, который вычисляет мощность каждого частотного диапазона каждой из предыдущих и текущих секций;
блок определения, который на основе вычисленной мощности каждого частотного диапазона определяет частотный диапазон, который имеет мощность, равную или больше предопределенного значения, и является общим для смежных секций как общий частотный диапазон; и
блок формирования, который формирует информацию о глубине звука на основе разности между мощностью общего частотного диапазона в текущей секции и мощностью общего частотного диапазона в предыдущей секции.

14. Устройство воспроизведения стереофонического звука по п.13, дополнительно содержащее:
блок получения сигнала, который получает сигнал центрального канала, являющийся выводом из звукового сигнала на центральный динамик,
причем блок вычисления мощности вычисляет мощность каждого частотного диапазона на основе сигнала канала, соответствующего сигналу центрального канала.

15. Постоянный машиночитаемый носитель записи, содержащий программу, которая, при исполнении на компьютере, побуждает компьютер выполнять способ по любому из п.п.1-10.