СИСТЕМА И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ДЛЯ УСОВЕРШЕНСТВОВАННОЙ АВТОРСКОЙ РАЗРАБОТКИ И ПРЕДСТАВЛЕНИЯ ТРЕХМЕРНЫХ АУДИОДАННЫХ Российский патент 2022 года по МПК H04S3/00 H04S7/00 H04R5/02 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636102, поданной 20 апреля 2012 г., обе заявки ссылкой включаются в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[0002] Данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения. В частности, данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения для таких воспроизводящих сред, как системы звуковоспроизведения для кинематографии.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] С момента представления в 1927 г. звука на пленке, происходило устойчивое развитие технологии, используемой для захвата авторского замысла звуковой дорожки кинокартины и для ее проигрывания в среде кинематографии. В 1930-е гг. синхронизированный звук на диске уступил место переменной области звука на пленке, которая в дальнейшем развивалась в 1940-е гг. вместе с соображениями акустики для театров и совершенствования конструкции громкоговорителей наряду с первыми представлениями многодорожечной записи и управляемого проигрывания (с использованием управляющих тонов для перемещения звуков). В 1950-е и 1960-е гг. нанесение магнитной дорожки на пленку сделало возможным многоканальное воспроизведение в театре, введение окружающих каналов и до пяти экранных каналов в театрах высокого класса.

[0004] В 1970-е гг. Dolby представила шумоподавление как при компоновке кинопродукции, так и на пленке наряду с экономичными средствами кодирования и распространения микшированных звуковых дорожек с тремя экранными каналами и монофоническим окружающим каналом. Качество кинематографического звука было дополнительно улучшено в 1980-е гг. шумоподавлением Dolby Spectral Recording (SR) и такими программами аттестации, как THX. В ходе 1990-х гг. Dolby привнесла в кинематографию цифровой звук с форматом каналов 5.1, который предусматривает отдельные левый, центральный и правый экранные каналы, левый и правый окружающие массивы и сверхнизкочастотный канал для низкочастотных эффектов. Dolby Surround 7.1, представленный в 2010 г., увеличил количество окружающих каналов путем разложения существующих левого и правого окружающих каналов на четыре «зоны».

[0005] По мере того, как увеличивается количество каналов, и схема расположения громкоговорителей переходит от плоского двумерного (2D) массива к трехмерному (3D) массиву, включая возвышение, задача определения местоположения и представления данных для звуков становится все более и более сложной. Были бы желательны усовершенствованные способы авторской разработки и представления аудиоданных.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0006] Некоторые особенности предмета изобретения, описываемые в данном раскрытии, могут быть реализованы в инструментальных средствах для авторской разработки и представления данных звуковоспроизведения. Некоторые из указанных инструментальных средств авторской разработки позволяют обобщать данные звуковоспроизведения на широкий выбор воспроизводящих сред. Согласно некоторым из указанных реализаций, данные звуковоспроизведения могут авторски разрабатываться путем создания метаданных для звуковых объектов. Эти метаданные могут создаваться со ссылкой на зоны громкоговорителей. В ходе процесса представления данных, данные звуковоспроизведения могут воспроизводиться в соответствии со схемой расположения воспроизводящих громкоговорителей для конкретной воспроизводящей среды.

[0007] Некоторые реализации, описываемые в данном раскрытии, предусматривают устройство, которое включает систему интерфейсов и логическую систему. Логическая система может конфигурироваться для приема посредством системы интерфейсов данных звуковоспроизведения, которые содержат один или несколько звуковых объектов и связанные метаданные, и данные воспроизводящей среды. Данные воспроизводящей среды могут содержать указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Логическая система может конфигурироваться для представления данных звуковых объектов в одном или нескольких сигналах, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных и данных воспроизводящей среды, где каждый сигнал, подаваемый на громкоговоритель, соответствует, по меньшей мере, одному воспроизводящему громкоговорителю в пределах воспроизводящей среды. Логическая система может конфигурироваться для вычисления коэффициентов усиления для громкоговорителей, соответствующих местоположениям виртуальных громкоговорителей.

[0008] Воспроизводящая среда может, например, представлять собой, среду звуковой системы для кинематографии. Воспроизводящая среда может иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1 или конфигурацию окружающего звука Hamasaki 22.2. Данные воспроизводящей среды могут содержать данные схемы расположения воспроизводящих громкоговорителей, указывающие местоположения воспроизводящих громкоговорителей. Данные воспроизводящей среды могут содержать данные зон воспроизводящих громкоговорителей, указывающие области воспроизводящих громкоговорителей и местоположения воспроизводящих громкоговорителей, которые соответствуют областям воспроизводящих громкоговорителей.

[0009] Метаданные могут содержать информацию для присвоения местоположения звукового объекта местоположению единичного воспроизводящего громкоговорителя. Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких следующих параметров: требуемого положения звукового объекта, расстояния от требуемого положения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут содержать данные для ограничения положения звукового объекта одномерной кривой или двумерной поверхностью. Метаданные могут содержать данные траектории для звукового объекта.

[0010] Представление данных может включать наложение ограничений на зоны громкоговорителей. Например, устройство может содержать систему пользовательского ввода. Согласно некоторым реализациям, представление данных может включать применение управления балансом между экраном и помещением в соответствии с данными управления балансом между экраном и помещением, получаемыми из системы пользовательского ввода.

[0011] Устройство может содержать дисплейную систему. Логическая система может конфигурироваться для управления дисплейной системой с целью демонстрации динамического трехмерного вида воспроизводящей среды.

[0012] Представление данных может включать управление распространением звукового объекта в одном или нескольких из трех измерений. Представление данных может включать динамическое перераспределение объекта в ответ на перегрузку громкоговорителей. Представление данных может включать присвоения местоположений звуковых объектов плоскостям массивов громкоговорителей воспроизводящей среды.

[0013] Устройство может содержать один или несколько постоянных носителей данных, таких как запоминающие устройства системы памяти. Запоминающие устройства могут, например, включать память с произвольным доступом (RAM), постоянное запоминающее устройство (ROM), флеш-память, один или несколько накопителей на жестких магнитных дисках. Система интерфейсов может содержать интерфейс между логической системой и одним или несколькими указанными запоминающими устройствами. Система интерфейсов также может содержать сетевой интерфейс.

[0014] Метаданные могут содержать метаданные ограничения зон громкоговорителей. Логическая система может конфигурироваться для ослабления выбранных сигналов, подаваемых на выбранный громкоговоритель, путем выполнения следующих операций: вычисления первых коэффициентов усиления, которые содержат вклады от выбранных громкоговорителей; вычисление вторых коэффициентов усиления, которые не включают вклады от выбранных громкоговорителей; и смешивания первых коэффициентов усиления со вторыми коэффициентами усиления. Логическая система может конфигурироваться для определения того, применять правила панорамирования для положения звукового объекта или присваивать положение звукового объекта местоположению единичного громкоговорителя. Логическая система может конфигурироваться для плавных переходов между коэффициентами усиления громкоговорителей при переходе от присвоения положения звукового объекта от местоположения первого единичного громкоговорителя в местоположение второго единичного громкоговорителя. Логическая система может конфигурироваться для плавных переходов между коэффициентами усиления громкоговорителей при переходе между присвоением положения звукового объекта местоположению единичного громкоговорителя и применением правил панорамирования к положению звукового объекта. Логическая система может конфигурироваться для вычисления коэффициентов усиления громкоговорителей для положений звукового объекта на одномерной кривой между положениями виртуальных громкоговорителей.

[0015] Некоторые способы, описываемые в данном раскрытии, включают прием данных звуковоспроизведения, которые содержат один или несколько звуковых объектов и связанные метаданные, и прием данных воспроизводящей среды, которые включают указатель количества воспроизводящих громкоговорителей в воспроизводящей среде. Данные воспроизводящей среды могут содержать указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Указанные способы могут включать представление данных звуковых объектов в один или несколько сигналов, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных. Каждый сигнал, подаваемый на громкоговоритель, может соответствовать, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Воспроизводящая среда может представлять собой среду звуковой системы для кинематографии.

[0016] Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких параметров: требуемого местоположения звукового объекта, расстояния от требуемого местоположения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут включать данные для ограничения местоположения звукового объекта одномерной кривой или двумерной поверхностью. Представление данных может включать наложение ограничений на зоны громкоговорителей.

[0017] Некоторые реализации могут обнаруживаться на одном или нескольких постоянных носителях данных, содержащих хранящееся в их памяти программное обеспечение. Программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью выполнения следующих операций: приема данных звуковоспроизведения, содержащих один или несколько звуковых объектов и связанные метаданные; приема данных воспроизводящей среды, содержащих указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды; и представления данных звуковых объектов в один или несколько сигналов, подаваемых на громкоговорители, по меньшей мере, частично на основе связанных метаданных. Каждый сигнал, подаваемый на громкоговоритель, может соответствовать, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Воспроизводящая среда может, например, представлять собой среду звуковой системы для кинематографии.

[0018] Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких параметров: требуемого положения звукового объекта, расстояния от требуемого местоположения звукового объекта до исходного положения, скорости звукового объекта или типа содержимого звукового объекта. Метаданные могут содержать данные для ограничения положения звукового объекта одномерной кривой или двумерной поверхностью. Представление данных может включать наложение ограничений на зоны громкоговорителей. Представление данных может включать динамическое перераспределение объекта в ответ на перегрузку громкоговорителей.

[0019] В данном раскрытии описываются и альтернативные устройства. Некоторые такие устройства могут содержать систему интерфейсов, систему пользовательского ввода и логическую систему. Логическая система может конфигурироваться для приема аудиоданных через систему интерфейсов, приема положения звукового объекта через систему пользовательского ввода или систему интерфейсов и определения положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Логическая система может конфигурироваться для создания метаданных, связанных со звуковым объектом, по меньшей мере, частично на основе пользовательского ввода, принимаемого через систему пользовательского ввода, при этом метаданные содержат данные, указывающие положение звукового объекта в трехмерном пространстве.

[0020] Метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах трехмерного пространства. Логическая система может конфигурироваться для вычисления данных траектории в соответствии с пользовательским вводом, принимаемым через систему пользовательского ввода. Данные траектории могут содержать набор положений в пределах трехмерного пространства для нескольких моментов времени. Данные траектории могут содержать исходное положение, данные скорости и данные ускорения. Данные траектории могут содержать исходное положение и уравнение, которое определяет положения в трехмерном пространстве и соответствующие времена.

[0021] Устройство может содержать дисплейную систему. Логическая система может конфигурироваться для управления дисплейной системой с целью демонстрации траектории звукового объекта в соответствии с данными траектории.

[0022] Логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей в соответствии с пользовательским вводом, принимаемым через систему пользовательского ввода. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей. Логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей путем присвоения положения звукового объекта единичному громкоговорителю.

[0023] Устройство может содержать систему звуковоспроизведения. Логическая система может конфигурироваться для управления системой звуковоспроизведения, по меньшей мере частично в соответствии с метаданными.

[0024] Положение звукового объекта может ограничиваться одномерной кривой. Логическая система может дополнительно конфигурироваться для создания положений виртуальных громкоговорителей на одномерной кривой.

[0025] В данном раскрытии описываются и альтернативные способы. Некоторые такие способы включают прием аудиоданных, прием положения звукового объекта и определение положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Указанные способы могут включать создание метаданных, связанных со звуковым объектом, по меньшей мере частично на основе пользовательского ввода.

[0026] Метаданные могут содержать данные, указывающие положение звукового объекта в трехмерном пространстве. Метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах трехмерного пространства. Создание метаданных может включать создание метаданных ограничения зон громкоговорителей, например, в соответствии с пользовательским вводом. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей.

[0027] Положение звукового объекта может ограничиваться одномерной кривой. Указанные способы могут включать создание положений виртуальных громкоговорителей на указанной одномерной кривой.

[0028] Другие особенности данного раскрытия могут реализовываться на одном или нескольких постоянных носителях данных, в памяти которых содержится программное обеспечение. Указанное программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью выполнения следующих операций: приема аудиоданных; приема положения звукового объекта; и определения положения звукового объекта в трехмерном пространстве. Указанное определение может включать ограничение указанного положения одномерной кривой или двумерной поверхностью в пределах трехмерного пространства. Указанное программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью создания метаданных, связанных с указанным звуковым объектом. Метаданные, по меньшей мере, частично основываются на пользовательском вводе.

[0029] Метаданные могут содержать данные, указывающие положение звукового объекта в трехмерном пространстве. Указанные метаданные могут содержать данные траектории, указывающие переменное во времени положение звукового объекта в пределах указанного трехмерного пространства. Создание метаданных может включать создание метаданных ограничения зон громкоговорителей, например, в соответствии с пользовательским вводом. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных громкоговорителей.

[0030] Указанное положение звукового объекта может быть ограничено одномерной кривой. Программное обеспечение может содержать команды для управления одним или несколькими устройствами с целью создания положений виртуальных громкоговорителей на указанной одномерной кривой.

[0031] Подробности одной или нескольких реализаций предмета изобретения, описываемые в данном описании, изложены ниже в сопроводительных графических материалах и описании. Другие характерные признаки, особенности и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут не являться вычерченными в масштабе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0032] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1.

[0033] На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1.

[0034] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2.

[0035] На фиг. 4A показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей при переменных возвышениях в виртуальной воспроизводящей среде.

[0036] На фиг. 4В показан пример другой воспроизводящей среды.

[0037] На фиг. 5А-5С показаны примеры характеристик громкоговорителей, соответствующих звуковому объекту, имеющему положение, которое ограничено двумерной поверхностью в трехмерном пространстве.

[0038] На фиг. 5D и 5Е показаны примеры двумерных поверхностей, которыми может ограничиваться звуковой объект.

[0039] Фиг. 6А представляет собой схему последовательности операций, которая описывает один из примеров процесса ограничения положений звукового объекта двумерной поверхностью.

[0040] Фиг. 6В представляет собой схему последовательности операций, которая описывает один из примеров процесса присвоения положения звукового объекта местоположению единичного громкоговорителя или зоне единичного громкоговорителя.

[0041] Фиг. 7 представляет собой схему последовательности операций, которая описывает процесс создания и использования виртуальных громкоговорителей.

[0042] На фиг. 8А-8С показаны примеры виртуальных громкоговорителей, присвоенных конечным точкам линии, и соответствующие характеристики громкоговорителей.

[0043] На фиг. 9А-9С показаны примеры использования виртуальной привязки для перемещения звукового объекта.

[0044] Фиг. 10А представляет собой схему последовательности операций, которая описывает процесс использования виртуальной привязки для перемещения звукового объекта.

[0045] Фиг. 10В представляет собой схему последовательности операций, которая описывает альтернативный процесс использования виртуальной привязки для перемещения звукового объекта.

[0046] На фиг. 10С-10Е показаны примеры процесса, описанного на фиг. 10В.

[0047] На фиг. 11 показан пример применения ограничения зон громкоговорителей в виртуальной воспроизводящей среде.

[0048] Фиг. 12 представляет собой схему последовательности операций, которая описывает некоторые примеры применения правил ограничения зон громкоговорителей.

[0049] На фиг. 13А и 13В показан один из примеров GUI, который может переключаться между двумерным изображением и трехмерным изображением виртуальной воспроизводящей среды.

[0050] На фиг. 13С-13Е показаны сочетания двумерных и трехмерных иллюстраций воспроизводящих сред.

[0051] Фиг. 14А представляет собой схему последовательности операций, которая описывает процесс управления устройством, предназначенным для представления таких интерфейсов GUI, как интерфейсы, показанные на фиг. 13С-13Е.

[0052] Фиг. 14В представляет собой схему последовательности операций, которая описывает процесс представления данных звуковых объектов для воспроизводящей среды.

[0053] На фиг. 15А показан один из примеров звукового объекта и связанной ширины звукового объекта в виртуальной воспроизводящей среде.

[0054] На фиг. 15В показан один из примеров профиля распространения, соответствующего ширине звукового объекта, показанной на фиг. 15А.

[0055] Фиг. 16 представляет собой схему последовательности операций, которая описывает процесс перераспределения звуковых объектов.

[0056] На фиг. 17А и 17В показаны примеры звукового объекта, расположенного в трехмерной виртуальной воспроизводящей среде.

[0057] На фиг. 18 показаны примеры зон, которые соответствуют режимам панорамирования.

[0058] На фиг. 19A-19D показаны примеры применения методик панорамирования в ближней зоне и дальней зоне к звуковым объектам в различных местоположениях.

[0059] На фиг. 20 указаны зоны громкоговорителей воспроизводящей среды, которая могут использоваться в процессе управления смещением между экраном и помещением.

[0060] Фиг. 21 представляет собой блок-схему, которая представляет примеры компонентов устройства для авторской разработки и/или представления данных.

[0061] Фиг. 22А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого.

[0062] Фиг. 22В представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде.

[0063] Сходные ссылочные позиции и обозначения в различных графических материалах указывают сходные элементы.

ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0064] Нижеследующее описание направлено на некоторые реализации с целью описания некоторых изобретательских особенностей данного раскрытия, а также примеров контекстов, в которых эти изобретательские особенности могут реализовываться. Однако описанные идеи данного раскрытия могут применяться и другими различными способами. Например, несмотря на то, что различные реализации описаны в отношении конкретных воспроизводящих сред, идеи данного раскрытия широко применимы к другим известным воспроизводящим средам, а также к воспроизводящим средам, которые могут быть представлены в будущем. Аналогично, несмотря на то, что в данном раскрытии представлены примеры графических пользовательских интерфейсов (GUI), некоторые из которых предусматривают примеры местоположений громкоговорителей, зон громкоговорителей и т.д., предполагаются и другие реализации. Кроме того, описанные реализации могут реализовываться в различных инструментальных средствах авторской разработки и/или представления данных, которые могут разнообразно реализовываться в аппаратном обеспечении, программном обеспечении, аппаратно-программном обеспечении и т.д. Соответственно, идеи данного раскрытия не подразумеваются как ограниченные реализациями, показанными на фигурах и/или описанными в данном раскрытии, но вместо этого имеют широкую применимость.

[0065] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1. Dolby Surround 5.1 разрабатывалась в 1990-е гг., однако эта конфигурация по-прежнему широко распространена в средах звуковых систем для кинематографии. Проектор 105 может конфигурироваться для проецирования видеоизображений, например, кинокартины, на экран 150. Данные звуковоспроизведения могут синхронизироваться с видеоизображениями и обрабатываться устройством 110 обработки звука. Усилители 115 мощности могут снабжать громкоговорители воспроизводящей среды 100 сигналами, подаваемыми на громкоговорители.

[0066] Конфигурация Dolby Surround 5.1 содержит левый окружающий массив 120 и правый окружающий массив 125, каждый из которых комплексно управляется единственным каналом. Конфигурация Dolby Surround 5.1 также содержит отдельные каналы для левого экранного канала 130, центрального экранного канала 135 и правого экранного канала 140. Для низкочастотных эффектов (LFE) предусматривается отдельный канал для сверхнизкочастотного громкоговорителя 145.

[0067] В 2010 г. Dolby представила усовершенствования цифрового звука для кинематографии, представив Dolby Surround 7.1. На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может конфигурироваться для приема цифровых видеоданных и для проецирования видеоизображений на экран 150. Данные звуковоспроизведения могут обрабатываться устройством 210 обработки звука. Усилители 215 мощности могут снабжать громкоговорители воспроизводящей среды 200 сигналами, подаваемыми на громкоговорители.

[0068] Конфигурация Dolby Surround 7.1 включает левый боковой окружающий массив 220 и правый боковой окружающий массив 225, каждый из которых может управляться единственным каналом. Как и Dolby Surround 5.1, конфигурация Dolby Surround 7.1 содержит отдельные каналы для левого экранного канала 230, центрального экранного канала 235, правого экранного канала 240 и сверхнизкочастотного громкоговорителя 245. Однако Dolby Surround 7.1 увеличивает количество окружающих каналов путем разделения левого и правого окружающих каналов Dolby Surround 5.1 на четыре зоны: в дополнение к левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225, для левых задних окружающих громкоговорителей 224 и правых задних окружающих громкоговорителей 226 включены отдельные каналы. Увеличение количества окружающих зон в пределах воспроизводящей среды 200 может значительно улучшать локализацию звука.

[0069] В попытке создать более многонаправленную среду, некоторые воспроизводящие среды могут конфигурироваться с повышенными количествами громкоговорителей, управляемых повышенными количествами каналов. Более того, некоторые воспроизводящие среды могут содержать громкоговорители, развернутые на разных возвышениях, некоторые из которых могут находиться над опорной поверхностью воспроизводящей среды.

[0070] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2. Hamasaki 22.2 разрабатывалась в NHK Science & Technology Research Laboratories в Японии как компонент окружающего звука для телевидения сверхвысокой четкости. Hamasaki 22.2 предусматривает 24 канала громкоговорителей, которые могут использоваться для управления громкоговорителями, расположенными в трех слоях. Верхний слой 310 громкоговорителей воспроизводящей среды 300 может управляться 9 каналами. Средний слой 320 громкоговорителей может управляться 10 каналами. Нижний слой 330 громкоговорителей может управляться 5 каналами, два из которых предназначены для сверхнизкочастотных громкоговорителей 345a и 345b.

[0071] Соответственно, современным направлением является включение не только большего количества громкоговорителей и большего количества каналов, но также включение громкоговорителей на разных высотах. По мере того, как увеличивается количество каналов, и слой громкоговорителей переходит от двумерного массива к трехмерному массиву, становятся все более и более сложными задачи определения положения и представления данных для звуков.

[0072] Данное раскрытие предусматривает различные инструментальные средства, а также относящиеся к ним пользовательские интерфейсы, что увеличивает функциональные возможности и/или снижает сложность авторской разработки для системы трехмерного звука.

[0073] На фиг. 4А показан один из примеров графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде. GUI 400 графически представляет зоны на различных возвышениях в виртуальной среде. GUI 400 может, например, отображаться на дисплейном устройстве в соответствии с командами из логической системы, в соответствии с сигналами, принимаемыми от устройств пользовательского ввода данных и т.д. Некоторые такие устройства описаны ниже со ссылкой на фиг. 21.

[0074] В контексте данного раскрытия, со ссылкой на такие виртуальные воспроизводящие среды, как виртуальная воспроизводящая среда 404, термин «зона громкоговорителей» обычно относится к логической структуре, которая может обладать, но может и не обладать, взаимнооднозначным соответствием с воспроизводящим громкоговорителем фактической воспроизводящей среды. Например, «местоположение зоны громкоговорителей» может соответствовать, но может и не соответствовать, местоположению конкретного воспроизводящего громкоговорителя воспроизводящей среды для кинематографии. Вместо этого, термин «местоположение зоны громкоговорителей» обычно может относиться к зоне виртуальной воспроизводящей среды. В некоторых реализациях, зона громкоговорителя виртуальной воспроизводящей среды может соответствовать виртуальному громкоговорителю, например, посредством использования такой технологии виртуализации, как Dolby Headphone,™ (иногда именуемой Mobile Surround™), которая создает виртуальную среду окружающего звука в реальном времени с использованием комплекта двухканальных стереофонических наушников. В GUI 400 имеется семь зон 402а громкоговорителей на первом возвышении и две зоны 402b громкоговорителей на втором возвышении, что в сумме составляет девять зон громкоговорителей в виртуальной воспроизводящей среде 404. В данном примере, зоны 1-3 громкоговорителей находятся в передней области 405 виртуальной воспроизводящей среды 404. Передняя область 405 может соответствовать, например, области воспроизводящей среды для кинематографии, в которой расположен экран 150, к области дома, в которой расположен телевизионный экран и т.д.

[0075] Здесь, зона 4 громкоговорителей обычно соответствует громкоговорителям в левой области 410, а зона 5 громкоговорителей соответствует громкоговорителям в правой области 415 виртуальной воспроизводящей среды 404. Зона 6 громкоговорителей соответствует левой задней области 412, и зона 7 громкоговорителей соответствует правой задней области 414 виртуальной воспроизводящей среды 404. Зона 8 громкоговорителей соответствует громкоговорителям в верхней области 420а, и зона 9 громкоговорителей соответствует громкоговорителям в верхней области 420b, которая может представлять собой область виртуального потолка, такую как область виртуального потолка 520, показанная на фиг. 5D и 5Е. Соответственно, и как более подробно будет описано ниже, местоположения зон 1-9 громкоговорителей, которые показаны на фиг. 4А, может соответствовать или может не соответствовать, местоположениям воспроизводящих громкоговорителей фактической воспроизводящей среды. Кроме того, другие реализации могут содержать больше или меньше зон громкоговорителей и/или возвышений.

[0076] В различных реализациях, описываемых в данном раскрытии, пользовательский интерфейс, такой как GUI 400, может использоваться как часть инструментального средства авторской разработки и/или инструментального средства представления данных. В некоторых реализациях, инструментальное средство авторской разработки и/или инструментальное средство представления данных может реализовываться посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Инструментальное средство авторской разработки и/или инструментальное средство представления данных могут реализовываться (по меньшей мере, частично) аппаратным обеспечением, программно-аппаратным обеспечением и т.д., таким как логическая система и другие устройства, описываемые ниже со ссылкой на фиг. 21. В некоторых реализациях авторской разработки связанное инструментальное средство авторской разработки может использоваться с целью создания метаданных для связанных аудиоданных. Метаданные могут, например, содержать данные, указывающие положение и/или траекторию звукового объекта в трехмерном пространстве, данные ограничения зон громкоговорителей и т.д. Метаданные могут создаваться в отношении зон 402 громкоговорителей виртуальной воспроизводящей среды 404, а не в отношении конкретной схемы расположения громкоговорителей фактической воспроизводящей среды. Инструментальное средство представления данных может принимать аудиоданные и связанные метаданные и вычислять коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, для воспроизводящей среды. Указанные коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, могут вычисляться согласно процессу амплитудного панорамирования, который может создавать ощущение того, что звук приходит из положения Р в воспроизводящей среде. Например, сигналы, подаваемые на громкоговорители, могут доставляться воспроизводящим громкоговорителям 1–N воспроизводящей среды в соответствии со следующим уравнением:

[0077] , i = 1,…N (Уравнение 1)

[0078] В уравнении 1 представляет сигнал, подаваемый на громкоговоритель, который подлежит применению к громкоговорителю i, g_i представляет коэффициент усиления соответствующего канала, представляет звуковой сигнал, и t представляет время. Коэффициенты усиления могут определяться, например, в соответствии со способами амплитудного панорамирования, описанными в разделе 2 на страницах 3-4 публикации V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), которая ссылкой включается в данное раскрытие. В некоторых реализациях, коэффициенты усиления могут быть частотнозависимыми. В некоторых реализациях, путем замены на может вводиться временная задержка.

[0079] В некоторых реализациях представления данных, данные звуковоспроизведения, созданные со ссылкой на зоны 402 громкоговорителей могут присваиваться местоположениям громкоговорителей для широкого выбора воспроизводящих сред, которые могут иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1, конфигурацию Hamasaki 22.2 или другую конфигурацию. Например, со ссылкой на фиг. 2, инструментальное средство представления данных может присваивать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225 воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей могут, соответственно, присваиваться левому экранному каналу 230, правому экранному каналу 240 и центральному экранному каналу 235. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут присваиваться левым задним окружающим громкоговорителям 224 и правым задним окружающим громкоговорителям 226.

[0080] На фиг. 4В показан один из примеров другой воспроизводящей среды. В некоторых реализациях, инструментальное средство представления данных может присваивать данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей соответствующим экранным громкоговорителям 455 воспроизводящей среды 450. Инструментальное средство представления данных может присваивать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 460 и правому боковому окружающему массиву 465 и может присваивать данные звуковоспроизведения для зон 8 и 9 громкоговорителей левым верхним громкоговорителям 470а и правым верхним громкоговорителям 470b. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут присваиваться левым задним окружающим громкоговорителям 480а и правым задним окружающим громкоговорителям 480b.

[0081] В некоторых реализациях авторской разработки, инструментальное средство авторской разработки может использоваться с целью создания метаданных для звуковых объектов. В контексте данного раскрытия, термин «звуковой объект» может относиться к потоку аудиоданных и связанным метаданным. Эти метаданные обычно указывают трехмерное местоположение объекта, ограничения представления данных, а также тип содержимого (например, диалог, эффекты и т.д.). В зависимости от реализации, метаданные могут содержать другие типы данных, такие как данные ширины, данные коэффициента усиления, данные траектории и т.д. Некоторые звуковые объекты могут быть неподвижными, в то время как другие объекты могут перемещаться. Детали звукового объекта могут авторски разрабатываться или представляться в соответствии со связанными метаданными, которые, среди прочего, могут указывать положение звукового объекта в трехмерном пространстве в заданный момент времени. Когда звуковой объект наблюдается или проигрывается в воспроизводящей среде, данные звуковых объектов могут представляться в соответствии с метаданными положения с использованием воспроизводящих громкоговорителей, которые присутствуют в воспроизводящей среде, а не являться выводом в предварительно определенный физический канал, как это происходит в случае таких традиционных систем на канальной основе, как Dolby 5.1 и Dolby 7.1.

[0082] Различные инструментальные средства авторской разработки и представления данных описываются в данном раскрытии со ссылкой на GUI, который по существу аналогичен GUI 400. Однако в сочетании с указанными инструментальными средствами авторской разработки и представления данных могут использоваться и другие разнообразные пользовательские интерфейсы, включающие интерфейсы GUI в качестве неограничивающих примеров. Некоторые такие инструментальные средства могут упрощать процесс авторской разработки путем применения различного рода ограничений. Некоторые реализации будут описаны ниже со ссылкой на фиг. 5А и след.

[0083] На фиг. 5А-5С показаны примеры характеристик громкоговорителей, соответствующих звуковому объекту, имеющему положение, которое ограничено в трехмерном пространстве двумерной поверхностью, которая в данном примере представляет собой полусферу. В этих примерах, характеристики громкоговорителей были вычислены устройством представления данных в предположении конфигурации с девятью громкоговорителями, где каждый громкоговоритель соответствует одной из зон 1-9 громкоговорителей. Однако, как указывается в другом месте данного раскрытия, существование взаимнооднозначного присваивания между зонами громкоговорителей виртуальной воспроизводящей среды и воспроизводящими громкоговорителями в воспроизводящей среде может являться необязательным. Со ссылкой, в первую очередь, на фиг. 5А, звуковой объект 505 показан в местоположении в левой передней части виртуальной воспроизводящей среды 404. Соответственно, громкоговоритель, соответствующий зоне 1 громкоговорителей, указывает значительный коэффициент усиления, а громкоговорители, соответствующие зонам 3 и 4 громкоговорителей указывают умеренные коэффициенты усиления.

[0084] В этом примере, местоположение звукового объекта 505 может изменяться путем помещения курсора 510 на звуковой объект 505 и «перетаскивания» звукового объекта 505 в требуемое местоположение в плоскости х,у виртуальной воспроизводящей среды 404. По мере того, как объект перетаскивается в направлении центра воспроизводящей среды, он также присваивается поверхности полусферы, и его возвышение увеличивается. Здесь, увеличения в возвышении звукового объекта 505 указываются путем увеличения диаметра окружности, которая представляет звуковой объект 505: как показано на фиг. 5В и 5С, по мере того, как звуковой объект 505 перетаскивается в верхнюю центральную часть виртуальной воспроизводящей среды 404, звуковой объект 505 становится все более и более крупным. В альтернативном варианте, или в дополнение, возвышение звукового объекта 505 может указываться изменениями в цвете, яркости, численном указателе возвышения и т.д. Когда звуковой объект 505 располагается в верхней центральной части виртуальной воспроизводящей среды 404, как показано на фиг. 5С, громкоговорители, соответствующие зонам 8 и 9 громкоговорителей, указывают значительные коэффициенты усиления, а остальные громкоговорители указывают небольшой коэффициент усиления или отсутствие его.

[0085] В данной реализации, положение звукового объекта 505 ограничено такой двумерной поверхностью, как сферическая поверхность, эллиптическая поверхность, коническая поверхность, цилиндрическая поверхность, клин и т.д. На фиг. 5D и 5E показаны примеры двумерных поверхностей, которыми может ограничиваться звуковой объект. Фиг. 5D и 5Е представляют собой изображения в поперечном разрезе через виртуальную воспроизводящую среду 404 с передней областью 405, показанной слева. На фиг. 5D и 5Е значения y на оси y-z увеличиваются в направлении передней области 405 виртуальной воспроизводящей среды 404 для сохранения соответствия ориентациям осей x-y, показанных на фиг. 5А-5С.

[0086] В примере, показанном на фиг. 5D, двумерная поверхность 515а представляет собой сечение эллипсоида. В примере, показанном на фиг. 5Е, двумерная поверхность 515b представляет собой сечение клина. Однако формы, ориентации и положения двумерных поверхностей 515, показанных на фиг. 5D и 5Е, являются только примерами. В альтернативных реализациях, по меньшей мере, часть двумерной поверхности 515 может выходить за пределы виртуальной воспроизводящей среды 404. В некоторых таких реализациях, двумерная поверхность 515 может проходить над виртуальным потолком 520. Соответственно, трехмерное пространство, в пределах которого проходит двумерная поверхность 515, необязательно имеет одинаковую протяженность в пространстве с объемом виртуальной воспроизводящей среды 404. В других реализациях, звуковой объект может ограничиваться такими одномерными элементами, как кривые, прямые линии и т.д.

[0087] На фиг. 6А показана схема последовательности операций, которая описывает один из примеров процесса ограничения положений звукового объекта двумерной поверхностью. Как для остальных схем последовательностей операций, представленных в данном раскрытии, операции процесса 600 необязательно выполняются в показанном порядке. Более того, процесс 600 (и другие процессы, представленные в данном раскрытии) может содержать количество операций больше или меньше того, которое указывается в графических материалах и/или описывается. В данном примере блоки 605-622 выполняются инструментальным средством авторской разработки, а блоки 624-630 выполняются инструментальным средством представления данных. Инструментальное средство авторской разработки и инструментальное средство представления данных могут реализовываться в едином устройстве или более чем в одном устройстве. Несмотря на то, что фиг. 6А (и другие схемы последовательностей операций, представленные в данном раскрытии) могут производить впечатление того, что процессы авторской разработки и представления данных выполняются последовательно, во многих реализациях процессы авторской разработки и представления данных выполняются, по существу, одновременно. Процессы авторской разработки и процессы представления данных могут быть диалоговыми. Например, результаты операции авторской разработки могут направляться инструментальному средству представления данных, соответствующие результаты инструментального средства представления данных могут оцениваться пользователем, который может выполнять дальнейшую авторскую разработку на основе этих результатов и т.д.

[0088] В блоке 605 принимается указатель того, что положение звукового объекта нужно ограничить двумерной поверхностью. Указатель может приниматься, например, логической системой устройства, которое сконфигурировано для обеспечения инструментальных средств авторской разработки и/или представления данных. Как и для других реализаций, описываемых в настоящем раскрытии, логическая система может действовать в соответствии с командами программного обеспечения, хранящегося в памяти постоянного носителя данных, в соответствии с аппаратно-программным обеспечением и т.д. Указатель может представлять собой сигнал из устройства пользовательского ввода (такого, как сенсорный экран, мышь, шаровой манипулятор, устройство распознавания жестов и т.д.) в ответ на ввод данных пользователем.

[0089] Аудиоданные принимаются в необязательном блоке 607. В данном примере, блок 607 является необязательным, поскольку аудиоданные также могут приходить напрямую в инструментальные средства представления данных из другого источника (например, от микшерного пульта), который синхронизирован по времени с инструментальным средством авторской разработки метаданных. В некоторых таких реализациях, может существовать неявный механизм, предназначенный для связывания каждого аудиопотока с соответствующим входящим потоком метаданных с целью формирования звукового объекта. Если устройство представления данных сконфигурировано входными звуковыми сигналами, которые также нумеруются от 1 до N, инструментальное средство представления данных может автоматически предполагать, что звуковой объект формируется потоком метаданных, который идентифицируется численным значением (например, 1), и аудиоданными, принимаемыми на первом вводе аудиоданных. Аналогично, какой-либо поток метаданных, идентифицируемый как число 2, может формировать объект с аудиоданными, принимаемыми на втором входном звуковом канале. В некоторых реализациях, аудиоданные и метаданные могут предварительно упаковываться инструментальными средствами авторской разработки, образуя звуковые объекты, а звуковые объекты могут доставляться в инструментальное средство представления данных, например, передаваться по сети как пакеты TCP/IP.

[0090] В альтернативных реализациях, инструментальное средство авторской разработки может передавать по сети только метаданные, а инструментальное средство представления данных может принимать аудиоданные из другого источника (например, посредством потока с импульсно-кодовой модуляцией (РСМ), посредством аналогового звукового сигнала и т.д.). В таких реализациях, инструментальное средство представления данных может конфигурироваться для группировки аудиоданных и метаданных, формируя звуковые объекты. Аудиоданные могут, например, приниматься логической системой через интерфейс. Интерфейс может, например, представлять собой сетевой интерфейс, звуковой интерфейс (например, интерфейс, сконфигурированный для осуществления связи посредством стандарта AES3, разработанного обществом инженеров-акустиков и Европейским радиовещательным союзом, также известного как AES/EBU, посредством протокола многоканального звукового цифрового интерфейса (MADI), посредством аналоговых сигналов и т.д.) или интерфейса между логической системой и запоминающим устройством. В этом примере, данные, принимаемые устройством представления данных, содержат, по меньшей мере, один звуковой объект.

[0091] В блоке 610 принимаются координаты (x,y) или (x,y,z) положения звукового объекта. Блок 610 может, например, включать прием исходного положения звукового объекта. Блок 610 также может содержать прием указателя того, что пользователь расположил звуковой объект, или изменил его положение, так, как, например, описано выше со ссылкой на фиг. 5А-5С. Координаты звукового объекта присваиваются двумерной поверхности в блоке 615. Двумерная поверхность может быть аналогична тем, которые описаны выше со ссылкой на фиг. 5D-5E, или она может представлять собой другую двумерную поверхность. В данном примере, каждая точка плоскости x-y будет присваиваться единственному значению z, поэтому блок 615 включает присваивание координат x и y, полученных в блоке 610, значению z. В других реализациях могут использоваться другие процессы присваивания и/или системы координат. Звуковой объект может демонстрироваться (блок 620) в местоположении (x,y,z), которое определяется в блоке 615. Аудиоданные и метаданные, содержащие присвоенное местоположение (x,y,z), которое определяется в блоке 615, могут сохраняться в блоке 621. Аудиоданные и метаданные могут отравляться инструментальному средству представления данных (блок 622). В некоторых реализациях, метаданные могут отправляться непрерывно по мере того, как выполняются некоторые операции авторской разработки, например, по мере того, как определяется положение звукового объекта, ограничение, демонстрация через GUI 400 и т.д.

[0092] В блоке 623 определяется, будет ли продолжен процесс авторской разработки. Например, процесс авторской разработки может завершаться (блок 625) при получении ввода из пользовательского интерфейса, указывающего, что пользователь больше не желает ограничивать положения звукового объекта двумерной плоскостью. Иначе, процесс авторской разработки может продолжаться, например, возвращаясь в блок 607 или блок 610. В некоторых реализациях, операции представления данных могут продолжаться независимо от того, продолжается ли процесс авторской разработки. В некоторых реализациях, звуковые объекты могут записываться на диск на авторской платформе, а затем с целью показа проигрываться специализированным устройством обработки звука или сервером кинотеатра, связанным с устройством обработки звука, например, с устройством обработки звука, аналогичным устройству 210 обработки звука по фиг. 2.

[0093] В некоторых реализациях, инструментальное средство представления данных может представлять собой программное обеспечение, которое запускается на устройстве, которое сконфигурировано для обеспечения функциональной возможности авторской разработки. В других реализациях, инструментальное средство представления данных может предусматриваться на другом устройстве. Тип протокола связи, используемого для установления связи между инструментальным средством авторской разработки и инструментальным средством представления данных, может изменяться в зависимости от того, запускаются оба инструментальных средства на одном и том же устройстве, или они связываются по сети.

[0094] В блоке 626 аудиоданные и метаданные (включающие положение (положения) (x,y,z), определяемые в блоке 615) принимаются инструментальным средством представления данных. В альтернативных реализациях, аудиоданные и метаданные могут приниматься по отдельности и интерпретироваться инструментальным средством представления данных в качестве звукового объекта посредством неявного механизма. Как отмечалось выше, например, поток метаданных может содержать идентификационный код звукового объекта (например, 1, 2, 3 и т.д.) и может прикрепляться, соответственно, к первому, второму, третьему и т.д. звуковым вводам (т.е. к цифровой или аналоговой аудиосвязи) в системе представления данных, образуя звуковой объект, данные которого могут представляться громкоговорителям.

[0095] В ходе операций представления данных в процессе 600 (и других операциях представления данных, описываемых в данном раскрытии), в соответствии со схемой расположения воспроизводящих громкоговорителей конкретной воспроизводящей среды, могут применяться уравнения коэффициентов усиления при панорамировании. Соответственно, логическая система инструментального средства представления данных может принимать данные воспроизводящей среды, содержащие указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Эти данные могут приниматься, например, путем получения доступа к структуре данных, которая хранится в памяти, доступной для логической системы, или приниматься через систему интерфейсов.

[0096] В данном примере, уравнения коэффициентов усиления при панорамировании применяются к положению (положениям) (x,y,z) для определения значений коэффициентов усиления (блок 628) с целью их применения к аудиоданным (блок 630). В некоторых реализациях, аудиоданные, которые были скорректированы по уровню в ответ на значения коэффициентов усиления, могут воспроизводиться воспроизводящими громкоговорителями, например, динамиками наушников (или другими громкоговорителями), которые сконфигурированы для связи с логической системой инструментального средства представления данных. В некоторых реализациях, местоположения воспроизводящих громкоговорителей могут соответствовать местоположениям зон громкоговорителей такой виртуальной воспроизводящей среды, как вышеописанная виртуальная воспроизводящая среда 404. Соответствующие характеристики громкоговорителей могут демонстрироваться на дисплейном устройстве, как, например, показано на фиг. 5А-5С.

[0097] В блоке 635 определяется, будет ли процесс продолжен. Например, процесс может завершиться (блок 640) при получении ввода из пользовательского интерфейса, указывающего, что пользователь больше не желает продолжать процесс представления данных. Иначе, процесс может продолжаться, например, возвращаясь в блок 626. Если логическая система принимает указатель того, что пользователь желает вернуться к соответствующему процессу авторской разработки, процесс 600 может вернуться в блок 607 или блок 610.

[0098] Другие реализации могут содержать наложение разного рода ограничений и создание других типов метаданных ограничения для звуковых объектов. Фиг. 6В представляет собой схему последовательности операций, которая описывает один из примеров процесса присвоение положения звукового объекта местоположению единичного громкоговорителя. В данном раскрытии, этот процесс также может именоваться «привязкой». В блоке 655 принимается указатель того, что положение звукового объекта может привязываться к местоположению единичного громкоговорителя или единичной зоне громкоговорителей. В данном примере, указатель таков, что положение звукового объекта будет при необходимости привязано к местоположению единичного громкоговорителя. Данный указатель может, например, приниматься логической системой устройства, которое сконфигурировано для предоставления инструментальных средств авторской разработки. Указатель может соответствовать вводу, принимаемому из устройства пользовательского ввода. Однако этот указатель также может соответствовать категории звукового объекта (например, звуку пули, произнесению звуков и т.д.) и/или ширине звукового объекта. Информация, относящаяся к категории и/или ширине, может, например, приниматься в качестве метаданных для звукового объекта. В таких реализациях блок 657 может находиться перед блоком 655.

[0099] В блоке 656 принимаются аудиоданные. Координаты положения звукового объекта принимаются в блоке 657. В данном примере, положение звукового объекта демонстрируется (блок 658) в соответствии с координатами, принимаемыми в блоке 657. Метаданные, содержащие координаты звукового объекта и флаг привязки, указывающий функциональную возможность привязки, сохраняются в блоке 659. Аудиоданные и метаданные направляются инструментальным средством авторской разработки инструментальному средству представления данных (блок 660).

[0100] В блоке 662 определяется, будет ли продолжен процесс авторской разработки. Например, процесс авторской разработки может завершаться (блок 663) при получении от пользовательского интерфейса ввода, указывающего, что пользователь больше не желает привязывать положения звукового объекта к местоположению одного из громкоговорителей. Иначе, процесс авторской разработки может продолжаться, например, возвращаясь в блок 665. В некоторых реализациях, операции представления данных могут продолжаться независимо от того, продолжается ли процесс авторской разработки.

[0101] Аудиоданные и метаданные, направляемые инструментальным средством авторской разработки инструментальному средству представления данных, принимаются инструментальным средством представления данных в блоке 664. В блоке 665 определяется (например, логической системой), следует ли привязать положение звукового объекта к местоположению одного из громкоговорителей. Данное определение может основываться, например, по меньшей мере, частично на расстоянии между положением звукового объекта и местоположением ближайшего воспроизводящего громкоговорителя воспроизводящей среды.

[0102] В этом примере, если в блоке 665 определяется привязка местоположения звукового объекта к местоположению одного из громкоговорителей, положение этого звукового объекта будет присвоено в блоке 670 местоположению одного из громкоговорителей, обычно громкоговорителя, ближайшего к намеченному положению (x,y,z), принятому для данного звукового объекта. В этом случае, коэффициент усиления для аудиоданных, воспроизводимых этим местоположением громкоговорителя, будет равен 1,0, в то время как коэффициент усиления для аудиоданных, воспроизводимых другими громкоговорителями, будет нулевым. В альтернативных реализациях, положение звукового объекта может присваиваться в блоке 670 группе местоположений громкоговорителей.

[0103] Например, снова обращаясь к фиг. 4В, блок 670 может включать привязку положения звукового объекта к одному из верхних левых громкоговорителей 470а. В альтернативном варианте, блок 670 может включать привязку положения звукового объекта к единичному громкоговорителю и соседним громкоговорителям, например, к одному или двум соседним громкоговорителям. Таким образом, соответствующие метаданные могут применяться к небольшой группе воспроизводящих громкоговорителей и/или к отдельному воспроизводящему громкоговорителю.

[0104] Однако, если в блоке 665 определяется, что положение звукового объекта не будет привязываться к местоположению громкоговорителя, например, в случае, когда это может привести к большому отклонению в положении относительно оригинального намеченного положения, полученного для этого объекта, будут применяться правила панорамирования (блок 675). Правила панорамирования могут применяться в соответствии с положением звукового объекта, а также с другими свойствами звукового объекта (такими как ширина, громкость и т.д.).

[0105] Данные коэффициентов усиления, определяемые в блоке 675, могут применяться к аудиоданным в блоке 681, а результат может сохраняться. В некоторых реализациях, результирующие аудиоданные могут воспроизводиться громкоговорителями, которые сконфигурированы для связи с логической системой. Если в блоке 685 определяется, что процесс 650 будет продолжен, процесс 650 может возвращаться в блок 664 для продолжения операций представления данных. В альтернативном варианте, процесс 650 может возвращаться в блок 655 для продолжения операций авторской разработки.

[0106] Процесс 650 может содержать различного рода операции сглаживания. Например, логическая система может конфигурироваться для сглаживания переходов в коэффициентах усиления, применяемых к аудиоданным при переходе от присвоения положения звукового объекта от местоположения первого единичного громкоговорителя местоположению второго единичного громкоговорителя. Снова обращаясь к фиг. 4В, если положение звукового объекта вначале присваивалось одному из верхних левых громкоговорителей 470а, а позднее присваивалось одному из верхних правых окружающих громкоговорителей 480b, логическая система может конфигурироваться для сглаживания перехода между громкоговорителями так, чтобы не казалось, что звуковой объект внезапно «перепрыгивает» от одного громкоговорителя (или зоны громкоговорителей) к другому. В некоторых реализациях, сглаживание может реализовываться в соответствии с параметром скорости плавного перехода.

[0107] В некоторых реализациях, логическая система может конфигурироваться для сглаживания переходов между коэффициентами усиления, применяемыми к аудиоданным при переходе между присвоением положения звукового объекта местоположению единичного громкоговорителя и применением для положения звукового объекта правил панорамирования. Например, если в блоке 665 последовательно определяется, что положение звукового объекта было перемещено в положение, которое определяется, как слишком удаленное от ближайшего громкоговорителя, в блоке 675 могут применяться правила панорамирования для положения звукового объекта. Однако при переходе от привязки к панорамированию (и наоборот), логическая система может конфигурироваться для сглаживания переходов в коэффициентах усиления, применяемых к аудиоданным. Процесс может завершаться в блоке 690, например, при получении соответствующего ввода из пользовательского интерфейса.

[0108] Некоторые альтернативные реализации могут включать создание логических ограничений. В некоторых случаях, например, для звукового микшера может возникнуть необходимость более явно управлять набором громкоговорителей, которые используются в ходе конкретной операции панорамирования. Некоторые реализации позволяют пользователю генерировать одно- или двумерные «логические присвоения» между наборами громкоговорителей и интерфейсом панорамирования.

[0109] Фиг. 7 представляет собой схему последовательности операций, которая описывает процесс создания и использования виртуальных громкоговорителей. На фиг. 8А-8С показаны примеры виртуальных громкоговорителей, присвоенных конечным точкам линии, и соответствующие характеристики зон громкоговорителей. Обращаясь, в первую очередь, к процессу 700 по фиг. 7, в блоке 705 принимается указатель для создания виртуальных громкоговорителей. Указатель может приниматься, например, логической системой устройства авторской разработки и соответствовать вводу, полученному из устройства пользовательского ввода.

[0110] В блоке 710 принимается указатель местоположения виртуальных громкоговорителей. Например, со ссылкой на фиг. 8А, пользователь может использовать устройство пользовательского ввода для расположения курсора 510 в положении виртуального громкоговорителя 805а и для выбора этого местоположения, например, щелчком мыши. В блоке 715 определяется (например, в соответствии с пользовательским вводом), что в данном примере будут выбраны дополнительные виртуальные громкоговорители. Процесс возвращается в блок 710, и, в данном примере, пользователь выбирает положение виртуального громкоговорителя 805а, показанное на фиг. 8А.

[0111] В этом случае, пользователь хочет создать только два местоположения виртуальных громкоговорителей. Поэтому в блоке 715 определяется (например, в соответствии с пользовательским вводом), что дополнительные виртуальные громкоговорители выбираться не будут. Как показано на фиг. 8А, может демонстрироваться ломаная линия 810, соединяющая положения виртуальных громкоговорителей 805а и 805b. В некоторых реализациях, положение звукового объекта 505 будет ограничиваться ломаной линией 810. В некоторых реализациях, положение звукового объекта 505 может ограничиваться параметрической кривой. Например, для определения параметрической кривой в соответствии с пользовательским вводом, может предусматриваться набор контрольных точек и алгоритм подбора такой аппроксимирующей кривой, как сплайновая кривая. В блоке 725 принимается указатель положения звукового объекта на ломаной линии 810. В некоторых таких реализациях, положение будет указываться как скалярная величина со значениями в интервале от нуля до единицы. В блоке 725 могут демонстрироваться координаты (x,y,z) звукового объекта и ломаная линия, определяемая виртуальными громкоговорителями. Могут демонстрироваться аудиоданные и связанные метаданные, содержащие полученное скалярное положение и координаты (x,y,z) виртуальных громкоговорителей. (Блок 727). Здесь, аудиоданные и метаданные могут направляться инструментальному средству представления данных посредством соответствующего протокола связи в блоке 728.

[0112] В блоке 729 определяется, будет ли продолжен процесс авторской разработки. Если нет, то процесс 700 может завершаться (блок 730) или может продолжаться операциями представления данных в соответствии с пользовательским вводом. Однако, как отмечено выше, во многих реализациях, по меньшей мере, некоторые операции представления данных могут выполняться параллельно операциям авторской разработки.

[0113] В блоке 732 аудиоданные и метаданные принимаются инструментальным средством представления данных. В блоке 735 для положения каждого виртуального громкоговорителя вычисляются коэффициенты усиления, подлежащие применению к аудиоданным. На фиг. 8В показаны характеристики громкоговорителей для положения виртуального громкоговорителя 805а. На фиг. 8С показаны характеристики громкоговорителей для положения виртуального громкоговорителя 805b. В этом примере, как и во многих других примерах, описываемых в данном раскрытии, указанные характеристики громкоговорителей представлены для воспроизводящих громкоговорителей, которые имеют местоположения, соответствующие местоположениям, показанным GUI 400 для зон громкоговорителей. Здесь, виртуальные громкоговорители 805а, 805b и линия 810 были расположены в плоскости, которая не находится рядом с воспроизводящими громкоговорителями, которые имеют местоположения, соответствующие зонам 8 и 9 громкоговорителей. Поэтому на фиг. 8В и 8С коэффициент усиления для этих громкоговорителей не указывается.

[0114] Когда пользователь переместит звуковой объект 505 в другие положения на линии 810, логическая система будет вычислять плавный переход, который соответствует этим положениям (блок 740), например, в соответствии со скалярным параметром положения звукового объекта. В некоторых реализациях, для смешения между коэффициентами усиления, подлежащими применению к аудиоданным для положения виртуального громкоговорителя 805а, и коэффициентами усиления, подлежащими применению к аудиоданным для положения виртуального громкоговорителя 805b, может применяться закон попарного панорамирования (например, синусный или степенной закон сохранения энергии).

[0115] Затем в блоке 742 может определяться (например, в соответствии с пользовательским вводом), будет ли продолжен процесс 700. Например, пользователю может предоставляться (например, через GUI) возможность продолжения операций представления данных или возврата к операциям авторской разработки. Если определяется, что процесс 700 продолжаться не будет, процесс завершается (блок 745).

[0116] При панорамировании быстро движущихся звуковых объектов (например, звуковых объектов, которые соответствуют автомобилям, реактивным самолетам и т.д.), авторская разработка плавной траектории может оказаться затруднительной, если положения звуковых объектов единовременно выбираются пользователем по одной точке. Недостаточная плавность в траектории звукового объекта может оказывать влияние на восприятие звукового образа. Соответственно, некоторые реализации авторской разработки, представленные в данном раскрытии, применяют фильтр пропускания нижних частот к положению звукового объекта с целью сглаживания результирующих коэффициентов панорамирования. Альтернативные реализации авторской разработки применяют фильтр пропускания нижних частот к коэффициенту усиления, применяемому к аудиоданным.

[0117] Другие реализации авторской разработки могут позволять пользователю моделировать захват, выталкивание, отбрасывание или аналогичные взаимодействия со звуковыми объектами. Некоторые такие реализации могут включать применение таких модельных физических законов, как наборы правил, используемые для описания скорости, ускорения, импульса, кинетической энергии, приложения сил и т.д.

[0118] На фиг. 9А-9С показаны примеры использования виртуальной привязки для перетаскивания звукового объекта. На фиг. 9А виртуальная привязка 905 была сформирована между звуковым объектом 505 и курсором 510. В данном примере, виртуальная привязка 905 имеет виртуальную пружинную постоянную. В некоторых таких реализациях, виртуальная пружинная постоянная может выбираться в соответствии с пользовательским вводом.

[0119] На фиг. 9В показан звуковой объект 505 и курсор 510 в последующий момент времени, после которого пользователь переместил курсор 510 в направлении зоны 3 громкоговорителей. Пользователь мог переместить курсор 510 с использованием мыши, джойстика, шарового манипулятора, устройства распознавания жестов или устройства пользовательского ввода другого типа. Виртуальная привязка 905 была натянута, и звуковой объект 505 был перемещен близко к зоне 8 громкоговорителей. Звуковой объект на фиг. 9А и 9В имеет приблизительно одинаковый размер, что указывает (в данном примере), что возвышение звукового объекта 505 существенно не изменилось.

[0120] На фиг. 9С показан звуковой объект 505 и курсор 510 в более поздний момент времени, после которого пользователь переместил курсор к зоне 9 громкоговорителей. Виртуальная привязка 905 натянулась еще сильнее. Звуковой объект 505 переместился вниз, что указывается уменьшением размера звукового объекта 505. Звуковой объект 505 был перемещен по гладкой дуге. Данный пример иллюстрирует одну из потенциальных выгод данных реализаций, которая заключается в том, что звуковой объект 505 может перемещаться по более плавной траектории, чем если бы пользователь выбирал положения звукового объекта 505 только по точкам.

[0121] Фиг. 10А представляет собой схему последовательности операций, которая описывает процесс использования виртуальной привязки для перемещения звукового объекта. Процесс 1000 начинается в блоке 1005, где принимаются аудиоданные. В блоке 1007 принимается указатель для прикрепления виртуальной привязки между звуковым объектом и курсором. Указатель может приниматься логической системой устройства авторской разработки и может соответствовать вводу, полученному из устройства пользовательского ввода. Со ссылкой на фиг. 9А, например, пользователь может поместить курсор 510 над звуковым объектом 505, а затем указать через устройство пользовательского ввода или GUI, что виртуальная привязка 905 должна формироваться между курсором 510 и звуковым объектом 505. Могут приниматься данные положения курсора и объекта. (Блок 1010).

[0122] В данном примере, данные скорости и/или ускорения курсора могут вычисляться логической системой в соответствии с данными положения курсора по мере перемещения курсора 510. (Блок 1015). Данные положения и/или данные траектории звукового объекта 505 могут вычисляться в соответствии с виртуальной пружинной постоянной виртуальной привязки 905 и положением курсора, данными скорости и ускорения. Некоторые такие реализации могут включать приписывание звуковому объекту 505 виртуальной массы. (Блок 1020). Например, если курсор 510 перемещается с относительно постоянной скоростью, виртуальная привязка 905 может не натягиваться, и звуковой объект 505 может протаскиваться с относительной постоянной скоростью. Если курсор 510 ускоряется, виртуальная привязка 905 может натягиваться, и виртуальной привязкой 905 может прилагаться к звуковому объекту соответствующая сила. Между ускорением курсора 510 и приложением силы виртуальной привязкой 905 может происходить запаздывание по времени. В альтернативных реализациях, положение и/или траектория звукового объекта 505 может определяться иначе, например, без приписывания виртуальной привязке 905 виртуальной пружинной постоянной, путем применения к звуковому объекту 505 законов трения и/или инерции и т.д.

[0123] Дискретные положения и/или траектория звукового объекта 505 и курсора 510 могут демонстрироваться (блок 1025). В данном примере, логическая система дискретизирует положения звукового объекта в промежутке времени (блок 1030). В некоторых таких реализациях пользователь может определять временной интервал для дискретизации. Метаданные местоположения звукового объекта и/или траектории и т.д. могут сохраняться (Блок 1034).

[0124] В блоке 1036 определяется, будет ли продолжен этот режим авторской разработки. Если пользователь изъявляет такое желание, процесс может продолжаться, например, возвращаясь в блок 1005 или блок 1010. Иначе, процесс 1000 может завершаться (блок 1040).

[0125] Фиг. 10В представляет схему последовательности операций, которая описывает альтернативный процесс использования виртуальной привязки для перемещения звукового объекта. На фиг. 10С-10Е показаны примеры процесса, описываемого на фиг. 10В. Обращаясь, в первую очередь, к фиг. 10В, процесс 1050 начинается в блоке 1055, где принимаются аудиоданные. В блоке 1057 принимается указатель для прикрепления виртуальной привязки между звуковым объектом и курсором. Указатель может приниматься логической системой устройства авторской разработки и может соответствовать вводу, принимаемому из устройства пользовательского ввода. Со ссылкой на фиг. 10C, например, пользователь может помещать курсор 510 над звуковым объектом 505, а затем указывать посредством устройства пользовательского ввода или GUI, что между курсором 510 и звуковым объектом 505 должна формироваться виртуальная привязка 905.

[0126] Данные положения курсора и звукового объекта могут приниматься в блоке 1060. В блоке 1062 логическая система может принимать (например, посредством устройства пользовательского ввода или GUI) указатель того, что звуковой объект 505 должен удерживаться в указанном положении, например, в положении, указанном курсором 510. В блоке 1065 логическое устройство принимает указатель того, что курсор 510 был перемещен в новое положение, которое может демонстрироваться наряду с положением звукового объекта 505 (блок 1067). Например, со ссылкой на фиг. 10D, курсор 510 был перемещен с левой стороны виртуальной воспроизводящей среды 404 на правую сторону. Однако звуковой объект 510 по-прежнему удерживается в том же положении, что и указанное на фиг. 10С. Как результат, виртуальная привязка 905 была сильно натянута.

[0127] В блоке 1069 логическая система принимает (например, посредством устройства пользовательского ввода или GUI) указатель того, что звуковой объект 505 подлежит высвобождению. Логическая система может вычислять данные результирующего положения звукового объекта и/или траектории, которые могут демонстрироваться (блок 1075). Демонстрация результатов может быть аналогична демонстрации, показанной на фиг. 10Е, которая показывает звуковой объект 505, плавно и быстро движущийся через виртуальную воспроизводящую среду 404. Логическая система может сохранять метаданные местоположения и/или траектории в системе памяти (блок 1080).

[0128] В блоке 1085 определяется, будет ли продолжен процесс 1050 авторской разработки. Процесс может продолжаться, если логическая система принимает указатель того, что пользователь желает так поступить. Например, процесс 1050 может продолжаться, возвращаясь в блок 1055 или блок 1060. Иначе, инструментальное средство авторской разработки может направлять аудиоданные и метаданные инструментальному средству представления данных (блок 1090), после чего процесс 1050 может завершаться (блок 1095).

[0129] С целью оптимизации правдоподобия при восприятии движения звукового объекта, может потребоваться предоставление пользователю инструментального средства авторской разработки (или инструментального средства представления данных) возможности выбирать в воспроизводящей среде подмножество громкоговорителей и, таким образом, ограничивать набор активных громкоговорителей выбранным подмножеством. В некоторых реализациях, зоны громкоговорителей и/или группы зон громкоговорителей в ходе операции авторской разработки или представления данных могут обозначаться как активные или неактивные. Например, со ссылкой на фиг. 4А, зоны громкоговорителей в передней области 405, левой области 410, правой области 415 и/или верхней области 420 могут управляться как группа. Зоны громкоговорителей в задней области, которая содержит зоны 6 и 7 громкоговорителей (и, в других реализациях, одну или несколько других зон громкоговорителей, расположенных между зонами 6 и 7 громкоговорителей) также могут управляться как группа. Может предусматриваться, чтобы пользовательский интерфейс динамически разблокировал или блокировал все громкоговорители, которые соответствуют данной конкретной зоне громкоговорителей или области, которая содержит несколько зон громкоговорителей.

[0130] В некоторых реализациях, логическая система устройства авторской разработки (или устройства представления данных) может конфигурироваться для создания метаданных ограничения зон громкоговорителей в соответствии с пользовательским вводом, полученным через систему пользовательского ввода. Метаданные ограничения зон громкоговорителей могут содержать данные для блокирования выбранных зон громкоговорителей. Некоторые такие реализации будут описаны ниже со ссылкой на фиг. 11 и 12.

[0131] На фиг. 11 показан пример применения ограничения зон громкоговорителей в виртуальной воспроизводящей среде. В некоторых таких реализациях, пользователь может иметь возможность выбирать зоны громкоговорителей путем щелчка на их представлениях в таком GUI, как GUI 400, используя такое устройство пользовательского ввода, как мышь. В данном случае, пользователь заблокировал зоны 4 и 5 громкоговорителей на боковых сторонах виртуальной воспроизводящей среды 404. Зоны 4 и 5 громкоговорителей могут соответствовать большинству (или всем) громкоговорителям в такой физической воспроизводящей среде, как среда звуковой системы для кинематографии. В данном примере, пользователь также ограничил положения звукового объекта 505 положениями на линии 1105. Если большинство громкоговорителей, или все громкоговорители, на боковых стенах заблокированы, панорамирование от экрана 150 к задней части виртуальной воспроизводящей среды 404 могло бы ограничиваться неиспользованием боковых громкоговорителей. Это может создавать для широкой зрительской области, в особенности, для зрителей, которые рассажены возле воспроизводящих громкоговорителей, соответствующих зонам 4 и 5 громкоговорителей, улучшенное восприятие движения от передней к задней части.

[0132] В некоторых реализациях, ограничения зон громкоговорителей могут осуществляться посредством всех режимов представления данных. Например, ограничения зон громкоговорителей могут осуществляться посредством ситуаций, в которых для представления данных доступно меньшее количество зон, например, при представлении данных для конфигурации Dolby Surround 7.1 или 5.1 экспонируются только 5 или 7 зон. Ограничения зон громкоговорителей также могут осуществляться посредством ситуации, в которой для представления данных доступно больше зон. По существу, ограничения зон громкоговорителей также можно рассматривать как способ управления изменением представления данных, предоставляющим не являющееся слепым решение для традиционного процесса «повышающего/понижающего микширования».

[0133] Фиг. 12 представляет собой схему последовательности операций, которая описывает некоторые примеры применения правил ограничения зон громкоговорителей. Процесс 1200 начинается в блоке 1205, где принимается один или несколько указателей для применения правил ограничения зон громкоговорителей. Указатель (указатели) может приниматься логической системой устройства авторской разработки или представления данных, и может соответствовать вводу, принимаемому из устройства пользовательского ввода. Например, указатели могут соответствовать выбору пользователем для деактивации одной или нескольких зон громкоговорителей. В некоторых реализациях, блок 1205 может содержать прием указателя того, какой тип правил ограничения зон громкоговорителей следует применить, как, например, описывается ниже.

[0134] В блоке 1207 инструментальным средством авторской разработки принимаются аудиоданные. Например, в соответствии с вводом пользователя инструментального средства авторской разработки, могут приниматься (блок 1210) и демонстрироваться (блок 1215) данные положения звукового объекта. В этом примере, данные положения представляют собой координаты (x,y,z). Здесь, активные и неактивные зоны громкоговорителей для выбранных правил ограничения зон громкоговорителей также демонстрируются в блоке 1215. В блоке 1220 аудиоданные и связанные метаданные сохраняются. В этом примере, метаданные содержат метаданные положения звукового объекта и метаданные ограничения зон громкоговорителей, которые могут включать флаг идентификатора зон громкоговорителей.

[0135] В некоторых реализациях, метаданные ограничения зон громкоговорителей могут указывать, что инструментальное средство представления данных должно применять уравнения панорамирования для вычисления коэффициентов усиления бинарным образом, например, рассматривая все громкоговорители в выбранных (заблокированных) зонах громкоговорителей как являющиеся «отключенными», а все остальные зоны громкоговорителей – как являющиеся «включенными». Логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей, которые содержат данные для блокирования выбранных зон громкоговорителей.

[0136] В альтернативных реализациях, метаданные ограничения зон громкоговорителей могут указывать, что инструментальное средство представления данных будет применять уравнения панорамирования для вычисления коэффициентов усиления смешанным способом, который в некоторой степени включает вклад от громкоговорителей из заблокированных зон громкоговорителей. Например, логическая система может конфигурироваться для создания метаданных ограничения зон громкоговорителей, указывающих, что инструментальное средство представления данных должно ослаблять выбранные зоны громкоговорителей, выполняя следующие операции: вычисление первых коэффициентов усиления, которые содержат вклады от выбранных (заблокированных) зон громкоговорителей; вычисление вторых коэффициентов усиления, которые не содержат вклады от выбранных зон громкоговорителей; и смешивание первых коэффициентов усиления со вторыми коэффициентами усиления. В некоторых реализациях, к первым коэффициентам усиления и/или ко вторым коэффициентам усиления может применяться смещение (например, от выбранного минимального значения до выбранного максимального значения) с целью допущения некоторого интервала потенциальных вкладов от выбранных зон громкоговорителей.

[0137] В данном примере, инструментальное средство авторской разработки отправляет аудиоданные и метаданные инструментальному средству представления данных в блоке 1225. Логическая система может затем определять, будет ли продолжен процесс авторской разработки (блок 1227). Процесс авторской разработки может продолжаться, если логическая система принимает указатель того, что пользователь изъявляет желание так поступить. Иначе, процесс авторской разработки может завершаться (блок 1229). В некоторых реализациях, операции представления данных могут продолжаться в соответствии с пользовательским вводом.

[0138] Звуковые объекты, содержащие аудиоданные и метаданные, созданные инструментальным средством авторской разработки, принимаются инструментальным средством представления данных в блоке 1230. Данные положения для конкретного звукового объекта в этом примере принимаются в блоке 1235. Логическая система инструментального средства представления данных может применять к данным положения звукового объекта уравнения панорамирования для вычисления коэффициентов усиления в соответствии с правилами ограничения зон громкоговорителей.

[0139] В блоке 1245 вычисленные коэффициенты усиления применяются к аудиоданным. Логическая система может сохранять в системе памяти коэффициент усиления, метаданные местоположения звукового объекта и ограничения зон громкоговорителей. В некоторых реализациях, аудиоданные могут воспроизводиться системой громкоговорителей. Соответствующие характеристики громкоговорителей в некоторых реализациях могут демонстрироваться на дисплее.

[0140] В блоке 1248 определяется, будет ли продолжен процесс 1200. Процесс может продолжаться, если логическая система получает указатель того, что пользователь изъявляет желание так поступить. Например, процесс представления данных может продолжаться, возвращаясь в блок 1230 или блок 1235. Если принимается указатель того, что пользователь изъявляет желание вернуться к соответствующему процессу авторской разработки, процесс может возвращаться в блок 1207 или блок 1210. Иначе, процесс 1200 может завершаться (блок 1250).

[0141] Задачи определения положения и представления данных звуковых объектов в трехмерной виртуальной воспроизводящей среде становятся все более и более сложными. Часть сложностей относится к проблемам представления виртуальной воспроизводящей среды в GUI. Некоторые реализации авторской разработки и представления данных, представленные в данном раскрытии, позволяют пользователю переключаться между панорамированием в двумерном экранном пространстве и панорамированием в трехмерном пространстве помещения. Данная функциональная возможность может помочь сохранить точность определения положения звукового объекта и, в то же время, обеспечить удобство GUI для пользователя.

[0142] На фиг. 13А и 13В показан пример GUI, который может переключаться между двумерным видом и трехмерным видом виртуальной воспроизводящей среды. Со ссылкой на фиг. 13А, GUI 400 отображает изображение 1305 на экране. В этом примере, изображение 1305 представляет собой изображение саблезубого тигра. В данном виде сверху на виртуальную воспроизводящую среду 404 пользователь может легко наблюдать, что звуковой объект 505 находится вблизи зоны 1 громкоговорителей. Вывод о возвышении можно сделать, например, по размеру, цвету или другим признакам звукового объекта 505. Однако в таком виде трудно определить взаимоотношение положения с таковым для изображения 1305.

[0143] В данном примере, GUI 400 может оказываться динамически поворачивающимся вокруг такой оси, как ось 1310. На фиг. 13В показан GUI 1300 после процесса вращения. В данном виде, пользователь может более отчетливо видеть изображение 1305 и может использовать информацию из изображения 1305 для более точного определения положения звукового объекта 505. В данном примере звуковой объект соответствует звуку в том направлении, куда смотрит саблезубый тигр. Имея возможность переключаться между видом сверху и экранным видом виртуальной воспроизводящей среды 404, пользователь имеет возможность быстро и точно выбирать надлежащее возвышение для звукового объекта 505, используя информацию из материала, находящегося на экране.

[0144] В данном раскрытии предусматриваются и другие удобные интерфейсы GUI для авторской разработки и/или представления данных. На фиг. 13С-13Е показаны сочетания двумерных и трехмерных изображений воспроизводящих сред. Со ссылкой на фиг. 13С, в левой области GUI 1310 изображен вид сверху на виртуальную воспроизводящую среду 404. GUI 1310 также содержит трехмерное изображение 1345 виртуальной (или фактической) воспроизводящей среды. Область 1350 трехмерного изображения 1345 соответствует экрану 150 GUI 400. Положение звукового объекта 505, в частности, его возвышение, отчетливо видно на трехмерном изображении 1345. В данном примере, на трехмерном изображении 1345 также показана ширина звукового объекта 505.

[0145] Схема 1320 расположения громкоговорителей изображает местоположения 1324-1340 громкоговорителей, каждое из которых может указывать коэффициент усиления, соответствующий положению звукового объекта 505 в виртуальной воспроизводящей среде 404. В некоторых реализациях, схема 1320 расположения громкоговорителей может, например, отображать местоположения воспроизводящих громкоговорителей в такой фактической воспроизводящей среде, как конфигурация Dolby Surround 5.1, конфигурация Dolby Surround 7.1, конфигурация Dolby 7.1, дополненная верхними громкоговорителями и т.д. Когда логическая система принимает указатель положения звукового объекта 505 в виртуальной воспроизводящей среде 404, логическая система может конфигурироваться для присвоения этого положения коэффициентам усиления для местоположений 1324-1340 громкоговорителей схемы 1320 расположения громкоговорителей, например, при помощи вышеописанного процесса амплитудного панорамирования. Например, на фиг. 13С каждое из местоположений 1325, 1335 и 1337 громкоговорителей имеет изменение цвета, указывающее коэффициенты усиления, соответствующие положению звукового объекта 505.

[0146] Со ссылкой на фиг. 13D, звуковой объект был перемещен в положение за экраном 150. Например, пользователь мог переместить звуковой объект 505, помещая курсор на звуковой объект в GUI 400 и перетаскивая его в новое положение. Новое положение также показано в трехмерном изображении 1345, которое было повернуто в новую ориентацию. Характеристики схемы 1320 расположения громкоговорителей могут оказаться такими же, как на фиг. 13С и 13D. Однако в фактическом GUI, местоположения 1325, 1335 и 1337 громкоговорителей могут иметь другой внешний вид (как, например, другую яркость или цвет) для указания соответствующих разностей коэффициентов усиления, вызываемых новым положением звукового объекта 505.

[0147] Со ссылкой на фиг. 13Е, звуковой объект 505 был быстро перемещен в положение в правой задней части виртуальной воспроизводящей среды 404. В момент, изображенный на фиг. 13Е, местоположение 1326 громкоговорителя является отвечающим текущему положению звукового объекта 505, а местоположения 1325 и 1337 громкоговорителей по-прежнему отвечают предыдущему положению звукового объекта 505.

[0148] Фиг. 14А представляет собой схему последовательности операций, которая описывает процесс управления устройством для представления таких интерфейсов GUI, как интерфейсы, показанные на фиг. 13С-13Е. Процесс 1400 начинается в блоке 1405, в котором принимается один или несколько указателей для демонстрации местоположений звукового объекта, местоположений зон громкоговорителей, и местоположений воспроизводящих громкоговорителей для воспроизводящей среды. Местоположения зон громкоговорителей могут соответствовать виртуальной воспроизводящей среде и/или фактической воспроизводящей среде, например, как показано на фиг. 13С-13Е. Указатель (указатели) может приниматься логической системой устройства представления данных и/или авторской разработки и может соответствовать вводу, принимаемому из устройства пользовательского ввода. Например, указатели могут соответствовать пользовательскому выбору конфигурации воспроизводящей среды.

[0149] В блоке 1407 принимаются аудиоданные. Данные положения и ширины звукового объекта принимаются в блоке 1410, например, в соответствии с пользовательским вводом. В блоке 1415 демонстрируется звуковой объект, местоположения зон громкоговорителей и местоположения воспроизводящих громкоговорителей. Положение звукового объекта может демонстрироваться в двумерном и/или трехмерном виде, например, как показано на фиг. 13С-13Е. Данные ширины могут использоваться не только для представления данных звукового объекта, но также могут оказывать влияние на то, каким образом демонстрируется звуковой объект (см. изображение звукового объекта 505 в трехмерном изображении 1345 по фиг. 13С-13Е).

[0150] Аудиоданные и связанные метаданные могут записываться. (Блок 1420). В блоке 1425 инструментальное средство авторской разработки направляет аудиоданные и метаданные инструментальному средству представления данных. Затем логическая система может определять (в блоке 1427), будет ли продолжен процесс авторской разработки. Процесс авторской разработки может продолжаться (например, возвращаясь в блок 1405), если логическая система принимает указатель того, что пользователь изъявляет желание так поступить. Иначе, процесс авторской разработки может завершаться. (Блок 1429).

[0151] Звуковые объекты, включающие аудиоданные и метаданные, созданные инструментальным средством авторской разработки, принимаются инструментальным средством представления данных в блоке 1430. Данные положения для конкретного звукового объекта в данном примере принимаются в блоке 1435. Логическая система инструментального средства авторской разработки может применять уравнения панорамирования с целью вычисления коэффициентов усиления для данных положения звукового объекта в соответствии с метаданными ширины.

[0152] В некоторых реализациях представления данных, логическая система может присваивать зоны громкоговорителей воспроизводящим громкоговорителям воспроизводящей среды. Например, логическая система может получать доступ к структуре данных, которая содержит зоны громкоговорителей и соответствующие местоположения воспроизводящих громкоговорителей. Больше подробностей и примеров описывается ниже со ссылкой на фиг. 14В.

[0153] В некоторых реализациях, уравнения панорамирования могут применяться, например, логической системой в соответствии с положением, шириной звукового объекта и/или другой информацией, такой как местоположения громкоговорителей воспроизводящей среды (блок 1440). В блоке 1445 аудиоданные обрабатываются в соответствии с коэффициентами усиления, которые получаются в блоке 1440. Если изъявляется такое желание, по меньшей мере, некоторые результирующие аудиоданные могут сохраняться наряду с соответствующими данными положения звукового объекта и другими метаданными, принимаемыми из инструментального средства авторской разработки. Аудиоданные могут воспроизводиться громкоговорителями.

[0154] Затем логическая система может определять (блок 1448), будет ли продолжен процесс 1400. Процесс 1400 может продолжаться, если, например, логическая система принимает указатель того, что пользователь изъявляет желание так поступить. Иначе, процесс 1400 может завершаться (блок 1449).

[0155] Фиг. 14В представляет собой схему последовательности операций, которая описывает процесс представления данных звуковых объектов для воспроизводящей среды. Процесс 1450 начинается в блоке 1455, в котором принимается один или несколько указателей для представления данных звуковых объектов для воспроизводящей среды. Указатель (указатели) могут приниматься логической системой устройства представления данных и могут соответствовать вводу, получаемому из устройства пользовательского ввода. Например, указатели могут соответствовать пользовательскому выбору конфигурации воспроизводящей среды.

[0156] В блоке 1457 принимаются данные звуковоспроизведения (в том числе, один или несколько звуковых объектов и связанные метаданные). Данные воспроизводящей среды могут приниматься в блоке 1460. Данные воспроизводящей среды могут содержать указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Воспроизводящая среда может представлять собой среду звуковой системы для кинематографии, среду домашнего кинотеатра и т.д. В некоторых реализациях, данные воспроизводящей среды могут содержать данные схемы расположения зон воспроизводящих громкоговорителей, указывающие зоны воспроизводящих громкоговорителей, и местоположения воспроизводящих громкоговорителей, которые соответствуют указанным зонам громкоговорителей.

[0157] Воспроизводящая среда может демонстрироваться в блоке 1465. В некоторых реализациях, воспроизводящая среда может демонстрироваться аналогично схеме 1320 расположения громкоговорителей, показанной на фиг. 13С—13Е.

[0158] В блоке 1470 звуковые объекты могут представляться в один или несколько сигналов, подаваемых на громкоговорители, для воспроизводящей среды. В некоторых реализациях, метаданные, связанные со звуковыми объектами могут авторски разрабатываться таким же способом, как способ, описанный выше, и, таким образом, метаданные могут содержать данные коэффициентов усиления, соответствующие зонам громкоговорителей (например, соответствующие зонам 1-9 громкоговорителей в GUI 400). Логическая система может присваивать зоны громкоговорителей воспроизводящим громкоговорителям воспроизводящей среды. Например, логическая система может получать доступ к хранящейся в памяти структуре данных, которая содержит зоны громкоговорителей и соответствующие местоположения громкоговорителей. Устройство представления данных может содержать множество таких структур данных, каждая из которых соответствует отличающейся конфигурации громкоговорителей. В некоторых реализациях, устройство представления данных может содержать такие структуры данных для множества стандартных конфигураций воспроизводящих сред, таких как конфигурация Dolby Surround 5.1, конфигурация Dolby Surround 7.1 и/или конфигурация окружающего звука Hamasaki 22.2.

[0159] В некоторых реализациях, метаданные для звуковых объектов могут содержать другую информацию из процесса авторской разработки. Например, метаданные могут содержать данные ограничения громкоговорителей. Метаданные могут содержать информацию для присвоения положения звукового объекта местоположению единичного воспроизводящего громкоговорителя или местоположению единичной зоны громкоговорителей. Метаданные могут содержать данные, ограничивающие положение звукового объекта одномерной кривой или двумерной поверхностью. Метаданные могут содержать данные траектории звукового объекта. Метаданные могут содержать идентификатор для типа содержимого (например, диалога, музыки или эффектов).

[0160] Соответственно, процесс представления данных может включать использование метаданных, например, для наложения ограничений на зоны громкоговорителей. В некоторых таких реализациях, устройство представления данных может предоставлять пользователю возможность модифицировать ограничения, указанные в метаданных, например, путем соответствующей модификации ограничений громкоговорителей и изменения представления данных. Представление данных может включать создание совокупного коэффициента усиления на основе одного или нескольких из следующих параметров: требуемое положение звукового объекта, расстояние от требуемого положения звукового объекта до исходного положения, скорость звукового объекта или тип содержимого звукового объекта. Могут демонстрироваться соответствующие характеристики воспроизводящих громкоговорителей. (Блок 1475). В некоторых реализациях, логическая система может управлять громкоговорителями для воспроизведения звука, соответствующего результатам процесса представления данных.

[0161] В блоке 1480 логическая система может определять, будет ли продолжен процесс 1450. Процесс 1450 может продолжаться, если, например, логическая система принимает указатель того, что пользователь изъявляет желание так поступить. Например, процесс 1450 может продолжаться, возвращаясь в блок 1457 или блок 1460. Иначе, процесс 1450 может завершаться (блок 1485).

[0162] Характерными признаками некоторых существующих систем авторской разработки/представления данных окружающего звука являются распространение и управление кажущейся шириной источника. В данном раскрытии термин «распространение» относится к распределению одного и того же сигнала по нескольким громкоговорителям с целью размытия звукового образа. Термин «ширина» относится к декорреляции выходных сигналов для каждого канала с целью регулирования кажущейся ширины. Ширина может представлять собой дополнительную скалярную величину, которая регулирует величину декорреляции, применяемой к каждому сигналу, подаваемому на громкоговорители.

[0163] Некоторые реализации, описываемые в данном раскрытии, предусматривают регулировку распространения, ориентированную по трехмерной оси. Одна из таких реализаций будет описана ниже со ссылкой на фиг. 15А и 15В. Фиг. 15А показывает один из примеров звукового объекта и связанной ширины звукового объекта в виртуальной воспроизводящей среде. Здесь, GUI 400 указывает эллипсоид 1505, проходящий вокруг звукового объекта 505 и указывающий ширину звукового объекта. Ширина звукового объекта может указываться метаданными звукового объекта и/или приниматься в соответствии с пользовательским вводом. В данном примере, размеры х и y эллипсоида 1505 отличаются, но в других реализациях эти размеры могут быть одинаковыми. Размеры z эллипсоида 1505 на фиг. 15А не показаны.

[0164] На фиг. 15В показан один из примеров профиля распространения, который соответствует ширине звукового объекта, показанной на фиг. 15А. Распространение может быть представлено трехмерным векторным параметром. В данном примере, профиль 1507 распространения может независимо регулироваться по трем направлениям, например, в соответствии с пользовательским вводом. Коэффициенты усиления по осям х и y представлены на фиг. 15В соответствующей высотой кривых 1510 и 1520. Коэффициент усиления для каждого дискретного значения 1512 также указывается размером соответствующих окружностей 1515 в пределах профиля 1507 распространения. Характеристики громкоговорителей 1510 указываются на фиг. 15В серым затенением.

[0165] В некоторых реализациях, профиль 1507 распространения для каждой оси может реализовываться посредством отдельного интеграла. Согласно некоторым реализациям, минимальное значение распространения может выбираться автоматически в зависимости от размещения громкоговорителей во избежание тембральных рассогласований при панорамировании. В альтернативном варианте или в дополнение, минимальное значение распространения может устанавливаться автоматически в зависимости от скорости панорамированного звукового объекта так, чтобы по мере возрастания скорости звукового объекта объект становился более уширенным в пространстве аналогично тому, как выглядят размытыми быстро движущиеся изображения в кинокартине.

[0166] При использовании таких реализаций звукового представления данных на основе звукового объекта, как реализации, описываемые в данном раскрытии, потенциально большое количество звуковых дорожек и сопроводительных метаданных (включающих в качестве неограничивающих примеров метаданные, указывающие положения звукового объекта в трехмерном пространстве) может доставляться в воспроизводящую среду в немикшированном виде. Инструментальное средство представления данных в реальном времени может использовать указанные метаданные и информацию в отношении воспроизводящей среды для вычисления сигналов, подаваемых на громкоговорители, с целью оптимизации воспроизведения каждого звукового объекта.

[0167] Когда большое количество звуковых объектов совместно микшируется в выходные сигналы громкоговорителей, может возникать перегрузка или в цифровой области (например, пик цифрового сигнала может срезаться перед аналоговым преобразованием), или в аналоговой области, когда усиленный аналоговый сигнал проигрывается воспроизводящими громкоговорителями. Оба случая могут приводить к слышимому искажению, которое является нежелательным. Перегрузка в аналоговой области также может повреждать воспроизводящие громкоговорители.

[0168] Соответственно, некоторые реализации, описываемые в данном раскрытии, включают динамическое «перераспределение» объектов в ответ на перегрузку воспроизводящих громкоговорителей. Если звуковые объекты представляются с заданным профилем распространения, в некоторых реализациях энергия может направляться в увеличенное количество соседних воспроизводящих громкоговорителей с сохранением общей постоянной энергии. Например, если энергия для звукового объекта однородно распределялась по N воспроизводящих громкоговорителей, она может вносить вклад в выходной сигнал каждого воспроизводящего громкоговорителя с коэффициентом усиления 1/sqrt(N). Данный подход обеспечивает при микшировании дополнительный «запас по уровню» и может ослаблять или предотвращать такое искажение воспроизводящих громкоговорителей, как срезание пика.

[0169] Для использования численного примера, предположим, что громкоговоритель будет срезать пик, если он принимает ввод больше 1,0. Положим, что два объекта, как указывается, должны микшироваться в громкоговоритель А, один – на уровне 1,0, и второй – на уровне 0,25. Если перераспределение не использовалось, микшированный уровень в громкоговорителе А составлял бы в сумме 1,25, и возникало бы срезание пика. Однако если первый объект перераспределяется на другой громкоговоритель В, то (согласно некоторым реализациям) каждый громкоговоритель будет принимать указанный объект при 0,707, что в результате приводит к дополнительному «запасу по уровню» в громкоговорителе А для микширования других объектов. Тогда второй объект может безопасно микшироваться в громкоговоритель А без срезания пика, так как микшированный уровень для громкоговорителя А будет составлять 0,707+0,25=0,957.

[0170] В некоторых реализациях, в ходе фазы авторской разработки каждый звуковой объект может микшироваться в одно из подмножеств зон громкоговорителей (или во все зоны громкоговорителей) с заданным коэффициентом усиления при микшировании. Таким образом, можно построить динамический список всех объектов, вносящих вклад в каждый громкоговоритель. В некоторых реализациях, этот список может сортироваться по убыванию уровней энергии, например, с использованием результата умножения начального среднеквадратического (RMS) уровня сигнала на коэффициент усиления при микшировании. В других реализациях, список может сортироваться по другим критериям, таким как приписанная объекту относительная важность.

[0171] В ходе процесса представления данных, если для данного выходного сигнала воспроизводящего громкоговорителя обнаружена перегрузка, энергия звуковых объектов может распространяться по нескольким воспроизводящим громкоговорителям. Например, энергия звуковых объектов может распространяться с использованием коэффициента ширины, или распространения, который пропорционален величине перегрузки и относительному вкладу каждого звукового объекта в данный воспроизводящий громкоговоритель. Если один и тот же звуковой объект вносит вклад в несколько перегруженных воспроизводящих громкоговорителей, его коэффициент ширины или распространения, может, в некоторых реализациях, аддитивно увеличиваться и применяться к следующему представляемому кадру аудиоданных.

[0172] Обычно ограничитель с жестким порогом будет срезать любое значение, которое превышает пороговое значение до значения пороговой величины. Как и в приведенном выше примере, если громкоговоритель принимает микшированный объект на уровне 1,25 и способен допускать максимальный уровень только 1,0, объект будет «жестко ограничен» до 1,0. Ограничитель с плавным порогом будет начинать ограничение перед достижением абсолютного порогового значения для того, чтобы обеспечить более плавный, приятный на слух результат. Ограничители с плавным порогом также могут использовать функциональную возможность «предвидения» для предсказания того, когда в будущем может возникнуть срезание пика, с целью плавного снижения коэффициента усиления перед тем, как срезание пика должно возникнуть, чтобы, таким образом, избежать срезания пика.

[0173] Различные реализации «перераспределения», представленные в данном раскрытии, могут использоваться в сочетании с ограничителем с жестким или плавным порогом для ограничения слышимого искажения, в то же время, избегая ухудшения пространственной точности/резкости. В противоположность глобальному распространению или использованию ограничителей самих по себе, реализации перераспределения могут селективно нацеливаться на громкие объекты или объекты с заданным типом содержимого. Такие реализации могут управляться микшером. Например, если метаданные ограничения зон громкоговорителей для звукового объекта указывают, что некоторое подмножество воспроизводящих громкоговорителей использоваться не должно, устройство представления данных может в дополнение к реализации способа перераспределения применять соответствующие правила ограничения зон громкоговорителей.

[0174] Фиг. 16 представляет собой схему последовательности операций, которая описывает процесс перераспределения звуковых объектов. Процесс 1600 начинается с блока 1605, где принимается один или несколько указателей для активации функциональной возможности перераспределения звуковых объектов. Указатель (указатели) может приниматься логической системой устройства представления данных и может соответствовать вводу, принимаемому из устройства пользовательского ввода. В некоторых реализациях указатели могут включать пользовательский выбор конфигурации воспроизводящей среды. В альтернативных реализациях, пользователь мог предварительно выбрать конфигурацию воспроизводящей среды.

[0175] В блоке 1607 принимаются данные звуковоспроизведения (содержащие один или несколько звуковых объектов и связанные метаданные). В некоторых реализациях, метаданные могут содержать метаданные ограничения зон громкоговорителей, как, например, описано выше. В этом примере, в блоке 1610 в данных звуковоспроизведения отыскиваются (или, иначе, принимаются, например, посредством ввода через пользовательский интерфейс) данные положения, времени и распространения звукового объекта.

[0176] Характеристики воспроизводящих громкоговорителей определяются для определенной конфигурации воспроизводящей среды путем применения уравнений панорамирования к данным звукового объекта, например, как описано выше (блок 1612). В блоке 1615 демонстрируются положение звукового объекта и характеристики воспроизводящих громкоговорителей. Характеристики воспроизводящих громкоговорителей также могут воспроизводиться посредством громкоговорителей, которые сконфигурированы для связи с логической системой.

[0177] В блоке 1620 логическая система определяет, обнаруживается ли перегрузка для какого-либо воспроизводящего громкоговорителя воспроизводящей среды. Если обнаруживается, то до тех пор, пока не перестанет обнаруживаться перегрузка, могут применяться вышеописанные правила перераспределения объектов (блок 1625). Вывод аудиоданных в блоке 1630 может по желанию сохраняться и выводиться на воспроизводящие громкоговорители.

[0178] В блоке 1635 логическая система может определять, будет ли продолжен процесс 1600. Процесс 1600 может продолжаться, если, например, логическая система принимает указатель того, что пользователь изъявляет желание так поступить. Например, процесс 1600 может продолжаться, возвращаясь в блок 1607 или блок 1610. Иначе, процесс 1600 может завершаться (блок 1640).

[0179] Некоторые реализации предусматривают доопределенные уравнения коэффициентов усиления при панорамировании, которые могут использоваться для изображения положения звукового объекта в трехмерном пространстве. Некоторые примеры будут описаны ниже со ссылкой на фиг. 17А и 17В. На фиг. 17А и 17В показаны примеры звукового объекта, помещенного в трехмерную виртуальную воспроизводящую среду. Вначале, со ссылкой на фиг. 17А, можно видеть положение звукового объекта 505 в виртуальной воспроизводящей среде 404. В данном примере, зоны 1-7 громкоговорителей расположены в одной плоскости, а зоны 8 и 9 громкоговорителей расположены в другой плоскости, как показано на фиг. 17В. Однако номера зон громкоговорителей, плоскостей и т.д. даны только для примера; концепции, описываемые в данном раскрытии, могут распространяться на другие номера зон громкоговорителей (или отдельные громкоговорители) и более чем на две плоскости возвышения.

[0180] В данном примере, параметр возвышения «z», который может находиться в интервале от нуля до 1, присваивает положение звукового объекта плоскостям возвышения. В данном примере, значение z=0 соответствует базисной плоскости, которая содержит зоны 1-7 громкоговорителей, в то время как значение z=1 соответствует верхней плоскости, которая содержит зоны 8 и 9 громкоговорителей. Значения z между нулем и 1 соответствуют смешиванию между звуковым образом, генерируемым с использованием только громкоговорителей в базисной плоскости, и звуковым образом, генерируемым с использованием только громкоговорителей в верхней плоскости.

[0181] В примере, показанном на фиг. 17В, параметр возвышения для звукового объекта 505 имеет значение 0,6. Соответственно, в одной из реализаций, первый звуковой образ может генерироваться с использованием уравнений панорамирования для базисной плоскости в соответствии с координатами (х,y) звукового объекта 505 в базисной плоскости. Второй звуковой образ может генерироваться с использованием уравнений панорамирования для верхней плоскости в соответствии с координатами (х,y) звукового объекта 505 в верхней плоскости. Результирующий звуковой образ может генерироваться путем объединения первого звукового образа со вторым звуковым образом в соответствии с близостью звукового объекта 505 к каждой из плоскостей. Может применяться функция возвышения z, сохраняющая энергию или амплитуду. Например, полагая, что z может находиться в интервале от нуля до единицы, значения коэффициентов усиления первого звукового образа могут умножаться на , а значения коэффициентов усиления второго звукового образа могут умножаться на так, чтобы сумма их квадратов была равна 1 (сохранение энергии).

[0182] Другие реализации, описываемые в данном раскрытии, могут включать вычисление коэффициентов усиления на основе двух или большего количества методик панорамирования и создание совокупного коэффициента усиления на основе одного или нескольких параметров. Указанные параметры могут содержать один или несколько из следующих параметров: требуемое положение звукового объекта; расстояние от требуемого положения звукового объекта до исходного положения; скорость звукового объекта; или тип содержимого звукового объекта.

[0183] Некоторые указанные реализации будет описаны ниже со ссылкой на фиг. 18 и след. На фиг. 18 показаны примеры зон, которые соответствуют различным режимам панорамирования. Размеры, формы и величина этих зон приводятся только в качестве примера. В данном примере, к звуковым объектам, расположенным в пределах зоны 1805 применяются способы панорамирования в ближней зоне, а к звуковым объектам, расположенным в зоне 1815 за пределами зоны 1810, применяются способы панорамирования в дальней зоне.

[0184] На фиг. 19А-19D показаны примеры применения методик панорамирования в ближней зоне и дальней зоне к звуковым объектам в различных местоположениях. Вначале, со ссылкой на фиг. 19А, звуковой объект по существу находится за пределами виртуальной воспроизводящей среды 1900. Это местоположение соответствует зоне 1815 по фиг. 18. Поэтому в данном случае будет применяться один или несколько способов панорамирования в дальней зоне. В некоторых реализациях, способы панорамирования в дальней зоне могут основываться на уравнениях амплитудного панорамирования на векторной основе (VBAP), которые известны средним специалистам в данной области. Например, способы панорамирования в дальней зоне могут основываться на уравнениях VBAP, описываемых в разделе 2.3, стр. 4 публикации V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (AES International Conference on Virtual, Synthetic and Entertainment Audio), которая ссылкой включается в данное раскрытие. В альтернативных реализациях, для панорамирования звуковых объектов в ближней зоне и дальней зоне могут использоваться другие способы, например, способы, которые включают использование синтеза соответствующих акустических плоскостей или сферической волны. Значимые способы описаны в монографии D. de Vries, Wave Field Synthesis (AES Monograph 1999), которая ссылкой включается в данное раскрытие.

[0185] Со ссылкой на фиг. 19В, звуковой объект находится внутри виртуальной воспроизводящей среды 1900. Его местоположение соответствует зоне 1805 по фиг. 18. Поэтому в данном случае будет применяться один или несколько способов панорамирования в ближней зоне. Некоторые из указанных способов панорамирования в ближней зоне будут использовать несколько зон громкоговорителей, заключающих в себе звуковой объект 505 в виртуальной воспроизводящей среде 1900.

[0186] В некоторых реализациях, способ панорамирования в ближней зоне может включать панорамирование «с двойным балансом» и объединение двух наборов коэффициентов усиления. В примере, изображенном на фиг. 19В, первый набор коэффициентов усиления соответствует переднему/заднему балансу между двумя наборами зон громкоговорителей, заключающих в себе положения звукового объекта 505 по оси y. Соответствующие характеристики включают все зоны громкоговорителей виртуальной воспроизводящей среды 1900 за исключением зон 1915 и 1960 громкоговорителей.

[0187] В примере, изображенном на фиг. 19С, второй набор коэффициентов усиления соответствует левому/правому балансу между двумя наборами зон громкоговорителей, заключающих в себе положения звукового объекта 505 по оси х. Соответствующие характеристики включают зоны 1905-1925 громкоговорителей. На фиг. 19D указан результат объединения характеристик, указанных на фиг. 19В и 19С.

[0188] По мере того, как звуковой объект входит в виртуальную воспроизводящую среду 1900 или покидает ее, может потребоваться смешивание различных режимов панорамирования. Соответственно, для звуковых объектов, расположенных в зоне 1810 (см. фиг. 18), может применяться смесь коэффициентов усиления, вычисленных согласно способам панорамирования в ближней зоне и способам панорамирования в дальней зоне. В некоторых реализациях, для смешивания коэффициентов усиления, вычисленных согласно способам панорамирования в ближней зоне и способам панорамирования в дальней зоне, может использоваться парный закон панорамирования (например, синусный или степенной закон сохранения энергии). В альтернативных реализациях, парный закон панорамирования может быть сохраняющим амплитуду, а не сохраняющим энергию, так, чтобы вместо суммы квадратов единице была равна сумма. Также можно смешивать результирующие обработанные сигналы, например, для обработки звукового сигнала с независимым использованием обоих способов панорамирования и плавным переходом между двумя результирующими звуковыми сигналами.

[0189] Может потребоваться предусмотреть механизм, позволяющий создателю содержимого и/или воспроизводителю содержимого легко подвергать тонкой регулировке различные измененные представления данных для заданной авторской траектории. В контексте микширования кинокартин, считается важной концепция баланса энергии между экраном и помещением. В некоторых случаях автоматическое изменение представления данных для заданной траектории звука (или «панорамирования») будет приводить к другому балансу между экраном и помещением, зависящему от количества воспроизводящих громкоговорителей в воспроизводящей среде. Согласно некоторым реализациям, смещение между экраном и помещением может регулироваться в соответствии с метаданными, созданными в ходе процесса авторской разработки. Согласно альтернативным реализациям, смещение между экраном и помещением может регулироваться исключительно на стороне представления данных (т.е. под управлением воспроизводителя содержимого), а не в ответ на метаданные.

[0190] Соответственно, некоторые реализации, описываемые в данном раскрытии, предусматривают одну или несколько форм управления смещением между экраном и помещением. В некоторых таких реализациях, смещение между экраном и помещением может реализовываться как операция масштабирования. Например, операция масштабирования может включать оригинальную намеченную траекторию звукового объекта в направлении спереди назад и/или масштабирование положений громкоговорителей, используемых в устройстве представления данных для определения коэффициентов усиления при панорамировании. В некоторых таких реализациях, управление смещением между экраном и помещением может представлять собой переменную величину в интервале от нуля до максимального значения (например, единицы). Изменение может управляться, например, GUI, виртуальным или физическим ползунком, кнопкой и т.д.

[0191] В альтернативном варианте, или в дополнение, управление смещением между экраном и помещением может реализовываться с использованием какой-либо формы ограничения областей громкоговорителей. На фиг. 20 указаны зоны громкоговорителей воспроизводящей среды, которая может использоваться в процессе управления смещением между экраном и помещением. В данном примере, может устанавливаться область 2005 передних громкоговорителей и область 2010 (или 2015) задних громкоговорителей. Смещение между экраном и помещением может регулироваться в зависимости от выбранных областей громкоговорителей. В некоторых таких реализациях, смещение между экраном и помещением может реализовываться как операция масштабирования между областью 2005 передних громкоговорителей и областью 2010 (или 2015) задних громкоговорителей. В альтернативных реализациях, смещение между экраном и помещением может реализовываться бинарным образом, допуская выбор пользователем смещения на передней стороне, смещения на задней стороне или отсутствие смещения. Настройки смещения для каждого случая могут соответствовать предварительно определенным (и, обычно, ненулевым) уровням смещения для области 2005 передних громкоговорителей и области 2010 (или 2015) задних громкоговорителей. По существу, такие реализации могут предусматривать три предварительных набора для управления смещением между экраном и помещением вместо (или в дополнение к) операции масштабирования с непрерывными значениями.

[0192] Согласно некоторым таким реализациям, в GUI (например, 400) для авторской разработки могут создаваться две дополнительные логические зоны громкоговорителей путем разбиения боковых стен на переднюю боковую стену и заднюю боковую стену. В некоторых реализациях, две дополнительные логические зоны громкоговорителей соответствуют областям левой стены/левого окружающего звука и правой стены/правого окружающего звука устройства представления данных. В зависимости от пользовательского выбора того, какие из этих двух логических зон громкоговорителей являются активными, инструментальное средство представления данных может применять предварительно установленные коэффициенты масштабирования (например, описанные выше) при представлении данных в конфигурации Dolby 5.1 или Dolby 7.1. Инструментальное средство представления данных также может применять указанные предварительно определенные коэффициенты масштабирования при представлении данных для воспроизводящих сред, которые поддерживают определение этих двух дополнительных логических зон, например, по причине того, что конфигурации их физических громкоговорителей не содержат более одного физического громкоговорителя на боковой стене.

[0193] Фиг. 21 представляет собой блок-схему, которая приводит примеры компонентов устройства авторской разработки и/или представления данных. В данном примере устройство 2100 содержит систему 2105 интерфейсов. Система 2105 интерфейсов может содержать такой сетевой интерфейс, как беспроводной сетевой интерфейс. В альтернативном варианте, или в дополнение, система 2105 интерфейсов может содержать интерфейс универсальной последовательной шины (USB) или другой подобный интерфейс.

[0194] Устройство 2100 содержит логическую систему 2110. Логическая система 2110 может содержать процессор, такой как одно- или многокристальный процессор общего назначения. Логическая система 2110 может содержать процессор цифровой обработки сигналов (DSP), проблемно-ориентированную интегральную микросхему (ASIC), программируемую вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, или компоненты дискретного аппаратного обеспечения, или их комбинации. Логическая система 2110 может конфигурироваться для управления другими компонентами устройства 2100. И хотя на фиг. 21 не показаны интерфейсы между компонентами устройства 2100, логическая система 2110 может конфигурироваться с интерфейсами для связи с другими компонентами. При необходимости, другие компоненты могут конфигурироваться, или могут не конфигурироваться, для связи друг с другом.

[0195] Логическая система 2110 может конфигурироваться для выполнения функциональной возможности авторской разработки звука и/или представления данных, включающего в качестве неограничивающих примеров те типы функциональных возможностей авторской разработки звука и/или представления данных, которые описаны в данном раскрытии. В некоторых таких реализациях, логическая система 2110 может конфигурироваться для действия (по меньшей мере, частично) в соответствии с программным обеспечением, хранящимся в памяти одного или нескольких постоянных носителей данных. Постоянные носители данных могут включать такую связанную с логической системой 2110 память, как память с произвольным доступом (RAM) и/или постоянное запоминающее устройство (ROM). Постоянные носители данных могут содержать память системы 2115 памяти. Система 2115 памяти может содержать один или несколько постоянных носителей данных подходящих типов, такие как флеш-память, накопитель на жестком магнитном диске и т.д.

[0196] Дисплейная система 2130 может содержать дисплей одного или нескольких подходящих типов в зависимости от проявления устройства 2100. Например, дисплейная система 2130 может содержать жидкокристаллический дисплей, плазменный дисплей, бистабильный дисплей и т.д.

[0197] Система 2135 пользовательского ввода может включать одно или несколько устройств, сконфигурированных для приема ввода от пользователя. В некоторых реализациях, система 2135 пользовательского ввода может содержать сенсорный экран, который накладывается на дисплей дисплейной системы 2130. Система 2135 пользовательского ввода может содержать мышь, шаровой манипулятор, систему обнаружения жестов, джойстик, один или несколько интерфейсов GUI и/или меню, представленные на дисплейной системе 2130, кнопки, клавиатуру, переключатели и т.д. В некоторых реализациях, система 2135 пользовательского ввода может содержать микрофон 2125: пользователь может отдавать устройству 2100 голосовые команды через микрофон 2125. Логическая система может конфигурироваться для распознавания речи и для управления, по меньшей мере, некоторыми операциями устройства 2100 в соответствии с этими голосовыми командами.

[0198] Система 2140 питания может содержать один или несколько подходящих аккумуляторов, таких как никель-кадмиевая батарея или литий-ионная батарея. Система 2140 питания может конфигурироваться для получения энергии от электрической розетки.

[0199] Фиг. 22А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого. Например, система 2200 может использоваться для создания звукового содержимого в микшерных студиях и/или монтажных павильонах. В данном примере, система 2200 содержит инструментальное средство 2205 авторской разработки звука и метаданных и инструментальное средство 2210 представления данных. В данной реализации, инструментальное средство 2205 авторской разработки звука и метаданных и инструментальное средство 2210 представления данных содержат, соответственно, интерфейсы 2207 и 2212 подключения звука, которые могут конфигурироваться для связи посредством AES/EBU, MADI, аналоговой связи и т.д. Инструментальное средство 2205 авторской разработки звука и метаданных и инструментальное средство 2210 представления данных содержат, соответственно, сетевые интерфейсы 2209 и 2217, которые могут конфигурироваться для отправки и приема метаданных посредством протокола TCP/IP или любого другого подходящего протокола. Интерфейс 2220 сконфигурирован для вывода аудиоданных на громкоговорители.

[0200] Система 2200 может, например, содержать такую уже существующую систему авторской разработки, как система Pro Tools™, которая запускает инструментальное средство создания метаданных (т.е. описываемое в данном раскрытии инструментальное средство панорамирования) в качестве программного расширения. Инструментальное средство панорамирования также может запускаться в автономной системе (например, на ПК или микшерном пульте), подключенном к инструментальному средству 2210 представления данных, или может запускаться на том же физическом устройстве, что и инструментальное средство 2210 представления данных. В последнем случае, инструментальные средства панорамирования и представления данных могут использовать локальное соединение, например, через совместно используемую память. GUI инструментального средства панорамирования также может являться удаленным на планшетном устройстве, ноутбуке и т.д. Инструментальное средство 2210 представления данных может содержать систему представления данных, которая содержит устройство обработки звука, которое сконфигурировано для исполнения программного обеспечения представления данных. Система представления данных может содержать, например, персональный компьютер, ноутбук и т.д., который содержит интерфейсы для ввода/вывода звука и соответствующую логическую систему.

[0201] Фиг. 22В представляет собой блок-схему, которая отображает некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде (например, в кинотеатре). В данном примере, система 2250 содержит сервер 2255 для кинотеатра и систему 2260 представления данных. Сервер 2255 для кинотеатра и система 2260 представления данных содержат сетевые интерфейсы 2257 и 2262, соответственно, которые могут конфигурироваться для отправки и приема звуковых объектов посредством TCP/IP или любого другого подходящего протокола. Интерфейс 2264 сконфигурирован для вывода аудиоданных на громкоговорители.

[0202] Средним специалистам в данной области могут быть легко понятны различные модификации реализаций, описанных в данном раскрытии. Общие принципы, определенные в данном раскрытии, могут применяться к другим реализациям без отступления от духа и объема данного раскрытия. Таким образом, формула изобретения не предполагается как ограниченная реализациями, показанными в данном раскрытии, но подлежит согласованию с наиболее широким объемом, соответствующим данному раскрытию, принципам и новаторским характерным признакам, раскрытым в данном раскрытии.

Изобретение относится к средствам для представления трехмерных аудиоданных. Технический результат заключается в повышении эффективности представления трехмерных аудиоданных. Принимают данные звуковоспроизведения, содержащие один или более звуковых объектов и метаданные, связанные с каждым из одного или более звуковых объектов. Принимают данные воспроизводящей среды, содержащие указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды. Представляют звуковые объекты в сигналы, подаваемые на громкоговорители, путем применения способа амплитудного панорамирования к каждому звуковому объекту. При этом способ амплитудного панорамирования основан на метаданных, связанных с каждым звуковым объектом и с местоположением каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды, и где каждый сигнал, подаваемый на громкоговоритель, соответствует одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды. Метаданные, связанные с каждым звуковым объектом, содержат координаты звукового объекта и метаданные ограничения зон. 3 н. и 12 з.п. ф-лы, 47 ил.

1. Способ представления звуковых объектов, включающий:

прием данных звуковоспроизведения, содержащих один или более звуковых объектов и метаданные, связанные с каждым из одного или более звуковых объектов;

прием данных воспроизводящей среды, содержащих указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды; и

представление звуковых объектов в один или более сигналов, подаваемых на громкоговорители, путем применения способа амплитудного панорамирования к каждому звуковому объекту, где способ амплитудного панорамирования основан, по меньшей мере, частично на метаданных, связанных с каждым звуковым объектом и с местоположением каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды, и где каждый сигнал, подаваемый на громкоговоритель, соответствует, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды;

где метаданные, связанные с каждым звуковым объектом, содержат координаты звукового объекта, указывающие на предполагаемое положение воспроизведения звукового объекта в пределах воспроизводящей среды, и метаданные ограничения зон, указывающих на то, включает ли представление звукового объекта наложение ограничений на зоны громкоговорителей.

2. Способ по п. 1, где наложение ограничений на зоны громкоговорителей предусматривает блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон.

3. Способ по п. 2, где зоны громкоговорителей, указанные метаданными ограничения зон, соответствуют одной или более из передней области, левой области, правой области, левой задней области, правой задней области, верхней области и задней области.

4. Способ по п. 3, где передняя область соответствует области воспроизводящей среды для кинематографии, в которой расположен экран, или области дома, в которой расположен телевизионный экран.

5. Способ по п. 2, где блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон, предусматривает использование уравнений панорамирования для вычисления коэффициентов усиления, рассматривая один или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон как отключенные.

6. Устройство представления звуковых объектов, содержащее:

систему интерфейсов; и

логическую систему, сконфигурированную для:

приема через систему интерфейсов данных звуковоспроизведения, содержащих один или более звуковых объектов и метаданные, связанные с каждым из одного или более звуковых объектов;

приема через систему интерфейсов данных воспроизводящей среды, содержащих указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды; и

представления звуковых объектов в один или более сигналов, подаваемых на громкоговорители, путем применения способа амплитудного панорамирования к каждому звуковому объекту, где способ амплитудного панорамирования основан, по меньшей мере, частично на метаданных, связанных с каждым звуковым объектом и с местоположением каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды, и где каждый сигнал, подаваемый на громкоговоритель, соответствует, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды;

где метаданные, связанные с каждым звуковым объектом, содержат координаты звукового объекта, указывающие на предполагаемое положение воспроизведения звукового объекта в пределах воспроизводящей среды, и метаданные ограничения зон, указывающих на то, включает ли представление звукового объекта наложение ограничений на зоны громкоговорителей.

7. Устройство по п. 6, где наложение ограничений на зоны громкоговорителей предусматривает блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон.

8. Устройство по п. 7, где зоны громкоговорителей, указанные метаданными ограничения зон, соответствуют одной или более из передней области, левой области, правой области, левой задней области, правой задней области, верхней области и задней области.

9. Устройство по п. 8, где передняя область соответствует области воспроизводящей среды для кинематографии, в которой расположен экран, или области дома, в которой расположен телевизионный экран.

10. Устройство по п. 7, где блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон, предусматривает использование уравнений панорамирования для вычисления коэффициентов усиления, рассматривая один или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон как отключенные.

11. Постоянный носитель данных, содержащий хранящееся в его памяти программное обеспечение, при этом программное обеспечение содержит команды для выполнения следующих операций:

приема данных звуковоспроизведения, содержащих один или более звуковых объектов и метаданные, связанные с каждым из одного или более звуковых объектов;

приема данных воспроизводящей среды, содержащих указатель количества воспроизводящих громкоговорителей в воспроизводящей среде и указатель местоположения каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды; и

представления звуковых объектов в один или более сигналов, подаваемых на громкоговорители, путем применения способа амплитудного панорамирования к каждому звуковому объекту, где способ амплитудного панорамирования основан, по меньшей мере, частично на метаданных, связанных с каждым звуковым объектом и с местоположением каждого воспроизводящего громкоговорителя в пределах воспроизводящей среды, и где каждый сигнал, подаваемый на громкоговоритель, соответствует, по меньшей мере, одному из воспроизводящих громкоговорителей в пределах воспроизводящей среды;

где метаданные, связанные с каждым звуковым объектом, содержат координаты звукового объекта, указывающие на предполагаемое положение воспроизведения звукового объекта в пределах воспроизводящей среды, и метаданные ограничения зон, указывающих на то, включает ли представление звукового объекта наложение ограничений на зоны громкоговорителей.

12. Носитель данных по п. 11, где наложение ограничений на зоны громкоговорителей предусматривает блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон.

13. Носитель данных по п. 12, где зоны громкоговорителей, указанные метаданными ограничения зон, соответствуют одной или более из передней области, левой области, правой области, левой задней области, правой задней области, верхней области и задней области.

14. Носитель данных по п. 13, где передняя область соответствует области воспроизводящей среды для кинематографии, в которой расположен экран, или области дома, в которой расположен телевизионный экран.

15. Носитель данных по п. 12, где блокирование одного или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон, предусматривает использование уравнений панорамирования для вычисления коэффициентов усиления, рассматривая один или более воспроизводящих громкоговорителей в пределах зон громкоговорителей, указанных метаданными ограничения зон как отключенные.