Способ приема, отображения и воспроизведения данных и информации Российский патент 2020 года по МПК G09B23/14 

Изобретение относится к способу, улучшающему восприятие объемной картины звука (музыки) для пользователя через наушники.

Известно, что человек хорошо умеет различать пространственную картину звуков, музыки и видео вокруг него. В этом существенную роль играет непростая форма внешнего уха, которая вносит определенные «искажения» в фазово-частотный портрет звуковых волн, которые отражаются от внешнего уха и поступают в среднее ухо, на барабанную перепонку и другие части слухового аппарата человека для регистрации и преобразования в нервные импульсы.

Прослушивая музыку, звуки или просматривая видео человек лишается данной привычной для него «коррекции» всей информации и это практически уничтожает пространственную картину звучания, музыки или видео и создается эффект, что любая информация возникает «внутри головы».

Из уровня техники известны способы исследования пространственного слуха человека с использованием головных телефонов (наушников), основанный на явлении латерализации, при котором субъективный звуковой образ локализуется внутри головы слушателя [1-5]. За длительное время его экспериментального применения было получено значительное число данных, касающихся основных механизмов обработки слуховой системой человека бинауральных (поступающих на два уха) акустических сигналов.

Однако неестественное положение формируемого в этих условиях субъективного звукового образа - образ локализуется внутри головы слушателя -накладывает существенные ограничения на его применение как для исследования механизмов пространственной ориентации человека, так и для практического использования.

Из уровня техники известен способ формирования субъективного или так называемого "виртуального" акустического пространства, когда в условиях дихотической стимуляции (стимуляция через наушники) создаются экстернализованные звуковые образы, соответствующие сигналам, продуцируемым источниками звука с локализацией во внешнем (вне головы и вне наушников) пространстве [6, 7]. Методической основой этого способа формирования "виртуальных" звуковых образов является измерение с помощью акустических зондов в ушных проходах (правое и левое ухо) человека или специального манекена [6, 7, 9] передаточных функций наружного уха с учетом движений головы, торса и т.д. Полученные зависимости "накладываются" с помощью ЭВМ на измеренную передаточную функцию наушников для воспроизведения в процессе звуковой стимуляции той волновой картины, которая была зафиксирована в слуховом проходе при звучании реального источника звука. Такой подход к формированию "виртуального" акустического пространства получил экспериментальное подтверждение в ряде психофизических исследований и составил основу для создания специального акустического дисплея, предполагающего возможность практического применения пространственной звуковой стимуляции в условиях операторской деятельности человека (например, при пилотировании самолета) [10, 11].

Однако вышеописанный способ обладает существенным ограничением, связанным с необходимостью проведения акустических измерений при изменении положения источника звука в пространстве. Это ограничение затрудняет моделирование динамических параметров локализации (например, при движении источника звука) информирование пространства, включающего несколько различных источников звука. Кроме того, характер проводимых измерений предполагает необходимость использования специальной анехоидной (безэховой) камеры большого размера, сложной конструкции для размещения большого количества (порядка нескольких десятков и даже сотен) динамиков, а также высококлассной акустической аппаратуры, например акустических зондов, позволяющих проводить точные и надежные измерения внутри слухового прохода уха человека.

Записи данных и информации пользователем на электронное устройство, например, музыкальные стереофонические записи или видео рассчитаны на прослушивание или просмотр. Записи звуковых дорожек рассчитаны на многоканальное воспроизведение. При этом использование внешней для человека акустики или видео позволяет сформировать ощущение пространственной локализации источников звука, распределенных по всей сцене. При воспроизведении тех же записей через наушники звуковая сцена выстраивается строго по линии, проходящей через голову слушателя. При это большая часть композиции звучит «внутри головы». К такому эффекту можно привыкнуть, но он заставляет даже самые хорошие наушники субъективно звучать не так «вкусно», как внешняя акустика даже гораздо более скромного класса.

Техническим результатом заявленного изобретения является улучшение пространственной (объемной) картины звучания и восприятия пользователем при прослушивании звука или музыки в наушниках за счет внесения изменений (преобразований) в звуковой сигнал.

Технический результат достигается тем, что способ формирования субъективной трехмерной пространственной звуковой картины для пользователя через наушники заключается в том, что:

- производится сканирование и/или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;

- создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;

- производится преобразование амплитудно-частотных характеристик и фазово-частотных характеристик данных и информации электронным устройством на основе полученной 3D модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.

Электронным устройством является, например, мобильный телефон, ноутбук или компьютер.

Признаки и сущность заявленного изобретения поясняются в последующем детальном описании, иллюстрируемом чертежами (см. фигуры 1-2), где показано следующее.

На фиг. 1 - пример схемы съемки ушных раковин пользователем с помощью мобильного телефона.

На фиг. 2 - алгоритм реализации заявленного способа, состоящий из следующих этапов:

1 - производится сканирование или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;

2 - создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;

3 - производится преобразование амплитудно-частотных характеристик (АЧХ) и фазово-частотных характеристик (ФЧХ) данных и информации электронным устройством на основе полученной ЗО-модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.

Пользователь сканирует 3D-камерой своего мобильного телефона или производит множественное фото с разных ракурсов свои ушные раковины (см. фиг. 1, этап 1 - фиг. 2). На основе полученных данных и информации строится 3D-модель ушных раковин пользователя для использования и их преобразования (см. фиг 2 - этап 2). На основе преобразованной информации и данных определяется необходимое преобразование амплитудно-частотных характеристик (АЧХ) и фазово-частотных характеристик (ФЧХ) данных и информации на основе 3D моделей ушных раковин пользователя для внесения изменений в воспроизводимый в наушниках звук или музыку (см. фиг. 2 - этап 3). Все данные и информация сохраняются в памяти электронного устройства пользователя, например, мобильного телефона, ноутбука или компьютера, для применения и использования в дальнейшем по любому требованию пользователя.

При воспроизведении звука или музыки на мобильном телефоне, ноутбуке или компьютере пользователя используется алгоритм обработки и преобразования звука или музыки перед выдачей в наушники пользователю.

Для реализации заявленного изобретения в настоящий момент имеются все необходимые технические возможности и средства, например:

- наушники - для воспроизведения звука или музыки для пользователя;

- цифровые преобразователи звука или музыки - программные и аппаратные средства и электронные устройства (например, мобильный телефон, ноутбук, компьютер) для соответствующего преобразования и выдачи качественного звука или музыки пользователю через наушники

- фотокамеры и видеокамеры электронных устройств с возможностью воспроизведения любой информации и данных, а также съемки, например, в 3D формате - для сканирования трехмерного строения ушной раковины пользователя.

Изобретение позволяет при прослушивании стереофонических или многоканальных записей получить ту же субъективную пространственную звуковую картину, что и при воспроизведении этих записей через внешнюю акустику. Это достигается за счет внесения в звуковой сигнал для наушников преобразований, повторяющих преобразования, свойственные человеческому уху.

Так как у всех людей форма ушных раковин различна, то различны и осуществляемые ими преобразования. Мозг каждого обучается вычислять пространственную картину звука, исходя из индивидуальной формы внешнего уха. Из этого следует, что требуемое преобразование индивидуально для каждого человека.

Наиболее точный метод вычисления требуемого преобразования основан на помещении в глубь уха микрофона и измерение поступающего на него звукового сигнала от внешней акустической колонки. Процедура повторяется отдельно для правого и левого уха (но можно обойтись измерениями только для одного уха и получить вторую группу значений, исходя из симметрии ушных раковин). Для каждого уха измерения производятся столько раз сколько динамиков предполагается эмулировать при воспроизведении. Внешние динамики при измерении размещаются на произвольном расстоянии. При этом направление размещения динамиков должно соответствовать направлению, в котором размещается «виртуальная» колонка.

Тестовый сигнал подбирается таким образом, чтобы он позволял замерить изменение фазо-частотных свойств звукового сигнала, вносимых ухом во всем частотном диапазоне. Каждое измерение получается жестко привязано к требуемому направлению положения источника.

Имя, передаточные функции для разных направлений, при воспроизведении сигнала через наушники звук обрабатывается таким образом, чтобы соответствовать картине звучания через внешнюю акустику. Наилучший результат получается для наушников «вкладок», когда внешнее ухо совсем не участвует в обработке и сигнал подается непосредственно в слуховой проход. Но хороший результат возможен и при применении «накладных» наушников.

При воспроизведении надо учитывать, что для усиления стереоэффекта часто при записи звука сигнал определенных источников, например инструментов, помещают только в один канал. При прослушивании через внешнюю акустику противоположное ухо все равно слышит такой сигнал из дальней для него колонки. Для получения естественного и привычного звучания требуется воспроизведение этого эффекта. В описываемой системе оно достигается естественным образом за счет того, что при формировании звука для каждого из ушей участвуют все «виртуальные» колонки.

Проведенный анализ уровня техники позволил установить: аналоги с совокупностью существенных признаков, тождественных существенным признакам заявленного способа, отсутствуют, что указывает на соответствие заявленного технического решения условию патентоспособности «новизна».

Результаты поиска известных решений с целью выявления существенных признаков, совпадающих с отличительными от аналогов существенными признаками заявленного способа, показали, что они не следуют явным образом из уровня техники, а также не установлена известность влияния отличительных существенных признаков на указанные авторами технический результат.

Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Несмотря на то, что заявленное изобретение показано и описано со ссылкой на его определенные предпочтительные варианты осуществления, специалистам в данной области техники будет понятно, что различные изменения по форме и содержанию могут быть сделаны в нем без отклонения от сущности и объема заявленного изобретения, которые определены прилагаемой формулой изобретения с учетом описания.

Источники информации, принятые во внимание

1. Toole F.E. In-head localization of acoustic images // J. Acoust. Soc. Amer., 1970. V. 48. P. 943-949.

2. Блауэрт Й. Пространственный слух. - M.: Энергия, 1979, 224 с.

3. Yost W.A., Hafter E.R. Lateralization. In: Directional Hearing, N.-Y.: Springer-Verlag, 1987. P. 49-84.

4. Альтман Я.А. Слуховая система. - M.: Наука. 1990. С. 366-441.

5. Grantman D.W. Spatial Hearing and Related Phenomena. In: Hearing, 1995. A.C.-Press, P. 297-345.

6. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening I: Stimulus synthesis //J. Acoust. Soc. Amer., 1989. V. 85. P. 858-867.

7. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening II: Psychophysical validation // J. Acoust. Soc. Amer., 1989. V. 85. P. 868-878.

8. Wenzel E.M. et al. Localization using nonindividualized head-related transfer functions // J. Acoust. Soc. Amer., 1993. V. 94. N 1. P. 111-123.

9. Burkhard M.D., Sachs R.M. Anthropometric manikin for acoustic research // J. Acoust. Soc. Amer., 1975. V. 58. P. 214-222.

10. Wenzel E.M. Localization in virtual acoustic displays // Presence, 1992. V. 1. N 1. P. 80-107.

11. McKinley R.L. et al. 3-Dimensional auditory displays: development, applications, and performance // Aviat. Space Environ. Med., 1994. 64 (5, Suppi). P. 31-38.

Изобретение относится к способу, позволяющему существенно улучшить восприятие объемной картины звука (музыки) для пользователя через наушники. Техническим результатом заявленного изобретения является улучшение пространственной (объемной) картины звучания и восприятия пользователем при прослушивании звука или музыки в наушниках за счет внесения изменений (преобразований) в звуковой сигнал. Способ формирования субъективной трехмерной пространственной звуковой картины для пользователя через наушники заключается в том, что: производится сканирование и/или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя; создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя; производится преобразование амплитудно-частотных характеристик и фазово-частотных характеристик данных и информации электронным устройством на основе полученной 3D-модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук. 1 з.п. ф-лы, 2 ил.

1. Способ формирования субъективной трехмерной пространственной звуковой картины для пользователя через наушники, заключающийся в том, что:

- производится сканирование и/или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;

- создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;

- производится преобразование амплитудно-частотных характеристик и фазово-частотных характеристик данных и информации электронным устройством на основе полученной 3D модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.

2. Способ по п. 1, в котором электронным устройством является, например, мобильный телефон, ноутбук или компьютер.